Stiftung Warentest testet Kaffee und Kaffeevollautomaten – Fail?!

Kennt ihr das? Ihr lest gerne eine Zeitung oder ein Magazin und vertraut auf dessen Inhalte.  Aber sobald über ein Thema geschrieben wird,  in dem ihr euch gut auskennt, bemerkt ihr, da fehlt was oder da stimmt was nicht!? Das Vertrauen schwindet ein wenig. Das heißt nicht, dass die Informationen falsch sein müssen. Aber ihr merkt deutlich, dass kein “Experte” den Artikel geschrieben hat.

Da ich Kaffeebohnen und Espresso sowie Kaffeevollautmaten schon seit Jahren teste, interessieren mich die Erzeugnisse der staatlich unterstützten Konkurrenz natürlich sehr.

Um es gleich zu sagen, ich finde vieles, was Stiftung Warentest macht, richtig gut. So finde ich beispielsweise “Das Vorsorge-Set” zu Patientenverfügung, Testament, Betreuungsverfügung und Vorsorgevollmacht extrem gut und hilfreich.

Oder, um näher am Thema zu bleiben, die Stiftung Warentest testet vor kurzem den Reparatur-Service der Hersteller von Geräten: “Kaffee­voll­automat, Staubsauger, Wasch­maschine: Wann sich eine Reparatur lohnt“. Das kann ein normaler Blogger nicht leisten und es ist für mich interessant, weil ich diese Ergebnisse mit den Erfahrungsberichten von Lesern abgleichen kann.

Stiftung Warentest – richtig gut! Danke dafür.

Aber warum beschwere ich mich?

Dieses schöne Zitat habe ich in einem Zeit Artikel gefunden: “Obwohl keine Instanz die Testmethoden der Stiftung wirklich kontrolliert, haben ihre Noten für Produkte und Dienstleistungen eine enorme Auswirkung auf die Käufer und natürlich die Hersteller. Postfaktische Gesellschaft – war da was?”

Gerade habe ich auch einen Interessanten und kritischen Artikel von netzpolitik.org gefunden. Zum Thema Netzneutralität: “Verletzung der Netzneutralität: Stiftung Warentest testet völlig unkritisch StreamOn und Vodafone Pass“.

  1. Extremer Einfluss
  2. Keine Kontrolle

Was die Experten zu dem Thema Netzneutralität an Kritik anmelden, möchte ich gleichsam für das Thema Kaffee machen.

Kaffee und Kaffeevollautomaten

Über einen Kaffee Test der Stiftung habe ich an anderer Stelle schon vor Jahren geschrieben. Mein Kritikpunkt hier war, dass einerseits auf hochwertige, frische Kaffees kleiner Röster im Test verzichtet wird mit dem Argument der Zugänglichkeit. Andererseits wurde proklamiert:

Das sensorische Einheitsprofil der Kaffees im Test mag Kaffeegourmets nicht schmecken. Sie zahlen viel Geld für Kaffee einer bestimmten Herkunft und Sorte. Doch solche Spezialitätenröstungen haben mit dem Alltagskaffee von heute wenig gemeinsam. Handelsübliche Kaffees orientieren sich gezielt am populären Geschmack.”

Ich finde schon lustig, dass sie ihre „sieben trainierten Kaffeeprüfer“ damit als keine Kaffeegourmets outen. Müssen sie auch nicht sein, wenn es, wie es heißt, den breiten Massengeschmack widerspiegeln soll. Aber die dann als (und ich sage es wieder, weil es so schön ist) „trainierte Kaffeeprüfer“ vorzustellen, ist dann auch kein Glanzstück.

Ok, Stiftung Warentest hat sich entschieden nur Massenkaffees zu testen. Das ergibt auch ein Stück weit Sinn, weil die dann jeder überall kaufen kann. Das Internet scheint leider noch nicht zu zählen. Damit supportet sie natürlich extrem viele der teilnehmenden “Industrie-Röster”. Aber dann auch noch auf “Kaffeegourmets” einzuhauen und als extrem teuer und irgendwie unnormal-elitär zu bezeichnen finde ich gemein.

Der Artikel, auf den ich mich beziehe, stammt aus dem Jahr 2009. Er kann mittlerweile kostenlos als PDF runtergeladen werden.

Kernpunkte der Kritik

Zusammenfassung meiner Kritik am Kaffee-Test:

  1. Inkonsistente Darstellung: „sieben trainierte Kaffeeprüfer“ sind keine “Kaffeegourmets”.
  2. Ausschluss frischer Spezialitäten Kaffees mit dem Ergebnis, dass die Supermarkt-Kaffes gewinnen. Was sie auch mussten, da es keine anderen im Test gab.
  3. Die Konklusion der Tester wirkt fast politisch motiviert: “Das sensorische Einheitsprofil der Kaffees im Test mag Kaffeegourmets nicht schmecken”. Das ist eine These, die wir diskutieren können. Aber was ist der populäre Geschmack? Und warum gibt es diese These schon vor dem Test? Wäre dieser nicht dazu da, sie zu Belegen (also mit anderen Kaffees in der Auswahl).

Das Problem sind also:

  • Festigung von Thesen für den Test ohne Überprüfung.
  • Fixierung auf Massenware, weil Massenware von den Massen gekauft wird.

Ähnliche Probleme haben auch schon andere Medien kommentiert:

Bei Schadstofftests wird  Stiftung Warentest (ebenfalls) politisch: “Die Kritiker bemängeln insbesondere, dass die Stiftung bei Schadstoff-Tests eigene Qualitätskriterien bei ihren Test anlegt.” Siehe einen Artikel aus der Wirtchtschafts Woche. Hier zeigt sich sehr gut die Macht dieser Institution. Maßstab sind die eigenen Kriterien. Wenn man sich gerade auf Kaffeegourmets, die viel Geld für Kaffee ausgeben, eingeschossen hat, unterstützt man so (beabsichtigt oder nicht) die Industrie-Röster.

Damit umgeht man natürlich auch die Frage nach dem Preis. Diese elitären Snobs seien kein Maßstab (das ist kein Zitat, sondern mein Gefühl beim Lesen).  Wäre es nicht angebracht, hier mal über den Preis von Supermarkaffee zu diskutieren? Hier spricht die Stiftung wiederum von Bio- oder Fairtrade-Produkten. An dieser Stelle würde ich mir, wie bei den Schadstoff-Tests, dann doch mal eigene Maßstäbe wünschen.

Stiftung Warentest für Billig-Kaffee?

So entstehen dann Prüf-Kommentare wie “Gut und preis-günstig.” oder  “Guter, aber teurer, fair gehandelter Bio-Kaffee.”, in dem Fall für einen Kaffee der 10,60 EUR kostet. Pro Kilo! (5/2009 Test S. 22).

Das muss ich mir schon auf der Zunge zergehen lassen. Stiftung Warentest findet, dass ein fair gehandelter Bio-Kaffee teuer ist, wenn er 10,60 EUR kostet. Dem Kaffeegourmet Arne schmeckt das überhaupt nicht!

Dazu habe ich jemanden befragt, der sich besser mit Kaffeehandel auskennt als ich. Und zwar einen Kaffee-Röster und Experten für direkten Handel von Kaffee. Es handelt sich um Pingo, den Gründer der Direktimportrösterei Quijote-Kaffee.

Was sagen Kaffeeexperten dazu

Arne: Was sagst du zu der Aussage von Stiftung Warentest, dass ein fair gehandelter Bio-Kaffee, der 10,60 EUR pro Kilo kostet, “teuer” sei?

Pingo: “Diese Aussage ist eine Frechheit. Wir haben als völlig ernst gemeintes Element unserer Firmenpolitik, dass wir keine soziale Selektion unserer Kundschaft über die Preise unserer Kaffees haben möchten. Daher sind wir bemüht, den Kaffee (den wir so “teuer” wie möglich direkt beim Produzenten einkaufen), so preiswert wie möglich an unsere Kunden abzugeben. Unser “billigster” Kaffee kostet trotzdem 11,50 Euro pro Pfund. Wer sich jemals damit beschäftigt hat, wieviel Arbeit in dem Produkt steckt, käme niemals dazu, 10,60 Euro / Kilo für “teuer” zu halten. Die Redakteure scheinen ihre sonstigen Lebensmittel bei Lidl oder Aldi einzukaufen.”

Fun Fact: Ihren Espresso testet Stiftung Warentest auch im Kaffeevollautomaten. Die Vollautomaten testen sie mit dem 15. Platz ihres Espresso Tests. Der wird als “Besonders fein-porige Crema. Schmeckt stärker bitter.” (12/2016 Test S. 21) beschrieben. Getestet wurde im Saeco Moltio, der war seines Zeichens  Testsieger 12.2014 Test S. 65

Testsieger im Espresso Test war übrigens der Lavazza Espresso Cremoso. Was durchaus wieder zu Diskussionen mit diesen Kaffeegourmets führen könnte. Aber an anderer Stelle der Ausgabe steht immerhin zum Unternehmen, die den Testsieger rösten: “Wenig überzeugend. Lavazza, ein Familienunternehmen aus Turin, zeigte keine großen Nachhaltigkeitsbestrebungen. Es hielt die Herkunft seines Kaffees samt Erzeuger geheim. Fragen beantwortete die Firma nur teilweise.” (12/2016 Test S. 29)

Es wird aber wieder mit dem Illy Espresso, der den 15. Platz belegt, hat gestet. Das geht aber nur aus einem älteren Artikel hervor, wie ich auf Nachfrage erfuhr:

Stiftung Warentest:Im ‘So haben wir getestet’ des aktuellen Tests (12/2017) verweisen wir darauf, dass die Prüfungen entsprechend des Kaffeevollautomatentests im Heft 12/2016 erfolgten. Dort ist unter dem Prüfpunkt ‘Sensorische Beurteilung’ beschrieben, dass wir für unsere Prüfungen illy-Espressobohnen der Sorte ‘Caffè in grani’ verwendet haben. Anhand des angegebenen Mindesthaltbarkeitsdatums haben wir sicher gestellt, dass die verwendeten Bohnen noch mehr als ein Jahr haltbar und damit möglichst frisch waren.

Das finde ich schon sehr spannend. Wir erinnern uns an den teuren Kaffee für  10,60 EUR und hier wird mit einem Espresso getestet der 35,00 EUR das Kilo kostet.

Persönliche Anmerkung: Preis von Kaffee ist ein umstrittenes Thema. Es gibt Kaffees und Espressos, die meiner Meinung nach 35,00 EUR das Kilo wert sind. Ich persönlich finde, dass diese Illy Kaffeebohnen tatsächlich das schlechteste Preis-Leistungs-Verhältnis auf dem Markt haben. Seht hier meinen Test: Illy.

Möglichst frisch bedeutet für Stiftung Warentest bei Espresso also ein MHD von mehr als 12 Monaten. Dazu habe ich mal wieder meinen Experten befragt:

Arne: Glaubst du für einen Espresso-Test reicht die Frische aus, wenn das MHD noch mindestens 1 Jahr in der Zukunft liegt? Der Espresso könnte so beim Test bis zu 12 Monate alt sein.

Pingo: “Wir empfehlen unseren Kunden, die Espressi frühestens 10 Tage nach der Röstung (wir bedrucken die Packungen selbstverständlich mit dem Röstdatum) und spätestens 6 Wochen nach der Röstung zu konsumieren. Danach wird Kaffee alt, flach und bei dunklen Röstungen (wie im Test) definitiv ranzig. Klassische Espressi, die älter als 6 Wochen sind, schmecken mir persönlich wie in ranziger Butter gesottenes Hammelfleisch. Kann man mögen, ist aber nicht das, was ich mir von einem Kaffee erwarte.”

Illy selbst lässt sich dazu hinreißen zu behaupten, dass ihr “proprietary patented pressurized system” dazu führe, dass ihr Kaffee wie ein guter Rotwein im Alter besser wird. “The effect of illy’s aging process is similar in many ways to the development of complex flavors when a fine red wine is aged under proper conditions.”

Ich setze mich erst mal hin.

Unbelegte Annahmen der Stiftung Warentest

Ich hatte die Tester dann noch weiter befragt:

Ihr habt geschrieben, dass es ein Qualitätskriterium sei, wenn Zucker auf der Crema liegen bleibt. Woher kommt diese Info? Ich hätte gerne eine Quelle. Von Experten höre ich immer wieder, dass die Crema eigentlich für die Sensorik egal ist.

Ihr schreibt auch “Der Espresso sollte kräftig, stark geröstet und bitter sowie deutlich säuerlich schmecken.” Wer sagt das? Hört sich wie die Beschreibung von jemandem an, der keinen Espresso mag. Und warum bringt ihr hier “stark geröstet” rein? Das liegt doch an der Röstung und nicht der Zubereitung.

Stiftung Warentest:Die Crema geht mit ihrem Aussehen und ihrer Beschaffenheit in unsere sensorischen Beurteilung des Espressos mit ein.

Unsere Aussage, dass idealerweise aufgestreuter Zucker auf der Crema liegen bleiben und nicht sofort untergehen soll, zielt dabei auf die geforderte Konsistenz der Crema ab: Sie sollte möglichst fest und beständig sein.

Als Basis für die sensorische Beurteilung gleicht ein auf Kaffeeverkostung geschultes Panel aus acht Personen die Espressi anonymisiert und randomerisiert mit einer bereits bestehenden Attributliste zur Beschreibung der Produkte ab. Das Panel aus acht Personen beschreibt die Kategorien Aussehen, Geruch, Geschmack und Mundgefühl anhand einer stufenlosen Intensitätsskala und wir werten die Ergebnisse statistisch aus. Wichtig ist beim Geschmack, dass durch die Maschinen kein Fremdgeschmack an den Espresso abgegeben wird – etwa nach Metall oder Kunststoff.

Darüber hinaus wurden Geschmacksattribute wie Gesamtintensität, geröstet, bitter und säuerlich überprüft. Im Vergleich bewerten wir intensiv schmeckende Espressi als positiv. Dazu zählt auch das Röstaroma der Bohnen. Es sollte im Espresso deutlich wahrnehmbar sein, aber das Getränk sollte nicht verbrannt schmecken.

Natürlich können geschmackliche Vorlieben bei nicht auf Kaffeeverkostung geschulten Personen durchaus individuell ausfallen oder anders wahrgenommen werden.

Ich habe der Original-Antwort einige Absätze hinzugefügt.

Beantwortet das meine Fragen? Eigentlich nicht. Vor allem würden mich die Quellen für die Thesen interessieren. Ist das mit der Crema wirklich so? Darf (muss) ein Espresso “geröstet und bitter sowie deutlich säuerlich” schmecken? Ich frage lieber wieder Pingo.

Arne: Würdest du dieser Aussage zustimmen: Ein Qualitätskriterium für guten Espresso ist es, dass Zucker auf der Crema liegen bleibt.

Pingo: “Ich kenne sehr wohl den Wunsch vieler frisch gebackener Espressomaschinenbesitzer, dass ihr Espresso so aussehen soll, wie sie es in alten Werbephotos und -videos von klassischen süditalienischen Espressomarken kennen. Wenn dann Freunde zu Besuch sind, und die 5000,- Euro teure Maschine vorgeführt wird, soll der Kaffee dann auf jeden Fall die Erwartungen an die Optik erfüllen. Dicke Crema kann ein Indikator für halbwegs frische Bohnen sein und ist häufig ein Indikator für einen Anteil an Robusta-Bohnen oder zumindest reichlich Naturals im Blend. Über die Qualität des Kaffees sagt Crema freilich gar nichts aus.”

Arne: Würdest du dieser Aussage zustimmen: Espresso sollte kräftig, stark geröstet und bitter sowie deutlich säuerlich schmecken.

Pingo: “Bei kräftig und stark gehe ich noch mit. Das gefällt mir persönlich auch. Vor allem in Kombination mit einer deutlichen Süße. Säuerlich hört sich nicht schön an. Vielleicht verwechseln die Redakteure es mit fruchtig? Bitter mag ich gar nicht, bitter soll mir wegbleiben. Kaffee soll meiner Meinung nach niemals bitter sein. Hört sich für mich so an, als würden die Leute von der Stiftung Warentest zu viele alte Krimis gelesen haben, in denen die echten Kerle sich ihren Kaffee genau so wünschen.”

Fazit

Stiftung Warentest ist nicht überall gleich gut. Beim Thema Kaffee ist es mir glaube ich gelungen, zu zeigen, dass es nötig gewesen wäre, jemanden ins Team zu holen, der sich mit Kaffee auskennt.

Und zwar nicht nur, um Kommentare zu Milchschaum zu machen, sondern um sich das Konzept und die Test-Methodik anzuschauen und zu überarbeiten.

Insbesondere scheint mir der Anspruch der Vergleichbarkeit mit vorherigen Tests eine große Gefahr zu sein. Die Beibehaltung aller Abläufe und Kriterien bedeutet, dass der Test nicht besser werden kann.

Neue Erkenntnisse oder widerlegte Grundannahmen werden beibehalten und immer wieder mit durchgeschleppt.

So ist dann auch der 16. Platz aus dem letzten Espresso-Test immer noch der Referenzespresso. Zur Methodik der Bohnen-Tests habe ich schon ausreichend geschrieben.

Was sagt ihr zu meiner Analyse? Hat Stiftung Warentest das verdient oder war ich zu kritisch?

Vielen Dank an Pingo für die fachliche Einordnung!

Nicht so schüchtern. Ich freue mich von dir zu hören.

Ich freue mich über deinen Kommentar

Your email address will not be published. Required fields are marked *