Malgré sa couleur riche, le gâteau de velours rouge possède une saveur de chocolat très douce. Traditionnellement, les gâteaux de velours rouge utilisent une petite quantité de poudre de cacao, et certains demandent du babeurre et de la vanille ou d'autres extraits, qui peuvent varier la saveur.
Les saveurs exactes du gâteau peuvent changer selon la recette, en fonction de l'utilisation d'extraits, tels que la vanille ou les agrumes, le type et la quantité de poudre de cacao et l'utilisation de babeurre dans le gâteau.
Les recettes modernes de gâteau de velours rouge nécessitent souvent de grandes quantités de colorant alimentaire rouge, ce qui peut affecter la saveur. Ces recettes utilisent souvent de plus petites quantités de cacao hollandais, car cela peut faire brunir le gâteau au lieu de devenir rouge.
Certaines recettes utilisent une petite quantité de poudre de cacao naturelle combinée à un ingrédient acide, tel que du babeurre ou du vinaigre, pour produire une couleur rouge naturelle.