Kaffeetests bei Stiftung Warentest: Wir müssen reden!

Wenn ihr die aktuellen Nachrichten aus der Kaffeewelt aufmerksam verfolgt, dürftet ihr auch über eine eklatante Schweinerei gestolpert sein: Der Rohstoffpreis für Arabica-Kaffee ist im April 2019 auf ein 13-Jahrestief gefallen. Trotz sinkender Ernteerträge und dem neuen Bewusstsein, das aus der Spezialitätenkaffeewelt langsam in den Massenmarkt tröpfelt.

Das Schlimmste daran ist, dass die Spekulanten an den Rohstoffbörsen darauf wetten, dass die Preise weiter fallen. Und weil der Markt nun einmal auf sich selbsterfüllenden Prophezeiungen beruht, fallen sie auch weiter.

Über die Auswirkungen, die ein Pfundpreis von 0,83 Euro bzw. 0,94 US-Dollar (Stand 09. April 2019) für das Rohprodukt Arabica auf die gesamte Lieferkette hat, müssen wir nicht diskutieren. Noch weniger müssen wir darüber diskutieren, wer bei einem letztendlichen Verkaufspreis von rund 3,00 Euro für das fertig produzierte Pfund Supermarktkaffee den Kürzeren zieht.

Dementsprechend fatal ist auch das Signal, dass der größte deutsche Marktplayer Tchibo in den Massenmarkt schickt: Der Einkauf ist billiger geworden, also senken wir den Verkaufspreis für unsere Produkte. Yeah! Let’s Ramsch!

Umso wütender macht es mich, dass eine allenthalben hoch angesehene Prüfinstanz wie die Stiftung Warentest immer noch kein Problem darin sieht, seine Kaffeevollautomaten Tests mit Industriekaffee durchzuführen und sogar eigenständige Tests zum Industriekaffee veröffentlicht.

Das hat mich daran erinnert, dass ich meine alte Tirade zu den Testmethoden der Stiftung aktualisieren sollte. Denn jetzt ist es umso wichtiger, noch einmal ausdrücklich darauf hinzuweisen, dass JEDER Test, dessen Ergebnisse auf dem Einsatz von Industriekaffee beruhen, eigentlich gleich in die Tonne getreten werden kann.

Hinzu kommt, dass der wichtigste Rohstoff für Kaffeevollautomaten oder artverwandte Produkte und Geräte (also einen Wachstumsmarkt) es verdient hat, nicht wie ein Ramschprodukt angepriesen zu werden.

Doch warum gehe ich ausgerechnet auf die Stiftung los, wenn sie doch mit dem aktuellen Kaffeepreis nichts zu hat? Ihr werdet sehen: Auch wenn sie „nur“ Geräte und Produkte testet, trägt sie doch einen Anteil an der Misere mit.

Versteht mich nicht falsch: Es geht nicht darum, dass die Tests gekauft sind oder grundsätzlich zweifelhaft wären. Es geht auch nicht darum, die Stiftung Warentest in ihren Grundfesten zu verdammen. Schließlich macht sie viele Dinge richtig und gut.

Mir geht es als Kaffeeblogger darum, dass die Stiftung Warentest unter den völlig falschen Voraussetzungen in meinem Fachgebiet unterwegs ist und dennoch als objektive Instanz der Verbraucherwahrheit wahrgenommen wird.

Und das hat einen so krassen Dominoeffekt auf die gesamten Tests und die Leser dieser Tests, dass ich mir diese ganzen Zusammenhänge unbedingt noch einmal näher anschauen musste.

Eine umfassende Einschätzung zur Maschinenseite der Tests findet ihr in meinem Artikel „Stiftung Warentest testet Kaffee und Kaffeevollautomaten – Fail?!“ An dieser Stelle will ich näher auf das Kernprodukt eingehen – den Kaffee.

Wer testet Kaffee bei der Stiftung Warentest?

Werden Filterkaffeemaschinen (zuletzt im Juli 2018) oder Kaffeevollautomaten und Siebträgermaschinen (zuletzt im Dezember 2018) getestet, ist dafür ein „auf Kaffeeverkostung geschultes Panel aus acht Personen“ verantwortlich.

Dieses Panel übernimmt die „sensorische Beurteilung“, die zu 35 Prozent in den beiden Tests in die Gesamtwertung eingeflossen ist. So weit, so gut.

Auch beim Test von Espressobohnen aus dem November 2016 kam eine „Gruppe aus acht trainierten Prüfpersonen, die auf die Beschreibung von Kaffeegetränken geschult ist“, zum Einsatz. Beim zugegebenermaßen schon hornalten Test von „31 Marken“ aus der Supermarktwelt von April 2009 waren „sieben trainierte Kaffeeprüfer“ am Werk.

Was stört mich daran?

Zum einen die völlige Gesichtslosigkeit. Wenn ich und andere ernsthafte Kaffeeblogger Kaffeebohnen oder Kaffeevollautomaten testen, stehen wir dabei mit unserer Fresse und unserem Namen für jedes einzelne Wort ein.

Wir machen deutlich, woher wir unsere Expertise nehmen und sagen euch auch, warum wir dieses oder jenes meinen. Wir machen uns damit ganz klar auch angreifbar. Die Kaffeeexperten der Stiftung Warentest haben nicht nur keinen Namen, sie liefern auch keinerlei Beweis dafür, dass sie wirklich existieren oder sich wirklich Experten schimpfen dürfen.

Lediglich im (Bezahl)-PDF zum Espresso-Test der Stiftung taucht der Barista Eric Wolf auf, der laut Text am Kaffeetest teilgenommen hat. Angesichts der unten folgenden Ausführungen zu den Testbedingungen hoffe ich, dass er dafür wenigstens gut bezahlt wurde. Sorry Eric, kein Diss gegen dich. Nur gegen das „System“.

Zum anderen stört mich, dass dieses Panel zwar suggerieren soll, dass hier mehrere Meinungen zusammenkommen und aneinander abgeglichen werden. Und weil Kaffeeexperten in der Mehrzahl gleich noch einmal so autoritätsgeladen klingt, wird von uns erwartet, dass wir den Befunden aufs Wort glauben.

Aber wir haben keine Ahnung, wie weit die Einschätzungen auseinander liegen, ob es vielleicht einen Platzhirsch gibt, der das Panel anführt und wie weit die sowieso schon zusammen gedampften Befunde überhaupt einen Kompromiss darstellen.

Beim Espressotest 2016 wurde zumindest angegeben, dass „jede Prüfperson […] die anonymisierten Proben computergestützt unter standardisierten Bedingungen“ beschrieben hat. Ach ja, standardisierte Prüfbedingungen für das unstandardisierteste Produkt der Welt … tipptopp. Das führt mich zum nächsten Punkt.

Wie wird bei der Stiftung Warentest Kaffee geprüft?

Wenn die Stiftung Warentest eines kann, dann Kaffee, die Kaffeezubereitung und Kaffeetrinker völlig falsch angehen und einschätzen.

Fangen wir doch gleich mal beim Espressotest 2016 an. Einer meiner ersten Lieblingssätze war „Wir verwendeten die vom Hersteller für Espresso empfohlenen Werkseinstellungen. Sie entsprachen jeweils zirka 9 Gramm Espressobohnen und 40 Milliliter Getränk.“

Ich weiß nicht, wie oft ich schon die wichtigsten, praktisch unverrückbaren Faktoren eines guten Espresso vorgebetet habe:

Natürlich gibt es je nach Siebträgermaschine und Espressobohne Schwankungen. Aber kein Schwein mit echtem Anspruch an seine Rolle in einem Expertenpanel käme auf die Idee, 9 Gramm Espressopulver auf 40 Milliliter einen guten Espresso zu nennen, den man ordentlich bewerten kann.

Der Warentest-Test wurde außerdem in einer Saeco Moltio HD 8769 durchgeführt. Das ist an sich ein großartiger Vollautomat. Aber eben keine Espressomaschine. Espresso aus dem Siebträger und KVA-Espresso sind zwei völlig unterschiedliche paar Schuhe.

Das müsste man also zumindest begründen. Zum Beispiel mit „Wir haben den Vollautomaten genommen, weil die meisten unserer Leser Vollautomaten haben. Aber damit entsteht kein echter Espresso, sondern …“ Und weil die Werkseinstellungen nicht verändert wurden, gehe ich mal davon aus, dass das Mahlwerk viel zu grob eingestellt geblieben ist.

Zum anderen ist eine anonymisierte und standardisierte Sensorik-Beurteilung natürlich aus Stiftungssicht prima, weil sich die Eintragungen am Ende zu einer gut lesbaren Zahl zusammendampfen lassen, die man hervorragend auf Siegel oder in Tabellen eintragen kann.

Nur leider sagt diese Zahl absolut nichts aus. Was glaubt ihr wohl, warum ein ordentlicher Kaffeetest sich immer liest wie eine Übung im kreativen Schreiben? Warum wohl suchen Röster mit Anspruch nach den besten Assoziationen und Vergleichen, die das Geschmacksprofil ihres Kaffees am besten wiedergeben?

Warum kommen wir auf die Idee, die Sensorik mit Blüten oder Äpfeln, Leder oder „in Brand gesteckte Getreidemühle“ zu beschreiben? Weil Aussagen wie „Keine Besonderheiten“ (Sensorik-Beurteilung für Aldi Süd-Kaffee) oder „Crema relativ grobporig“ (Dallmayr Espresso d’Oro) euch nicht weiterbringen.

Weil die Note „Gut“ suggeriert, dass es beim Geschmack, dem Aussehen oder dem Mundgefühl festgeschriebene, unverrückbare und objektive Wahrheiten gibt. Die gibt es aber nicht. Mit unseren Adjektivschlachten wollen wir versuchen, unseren Eindruck, der auf einer langjährigen sensorischen Schulung beruht, so wiederzugeben, dass ihr euch etwas unter dem Kaffee vorstellen könnt, ohne ihn getrunken zu haben.

Nun ist es natürlich keine Besonderheit, dass ein Industriekaffee „keine Besonderheiten“ aufweist. Aber auch zwischen Dallmayr und Melitta, zwischen Eduscho und Aldi MUSS es zumindest abgrenzbare Tendenzen geben, die ein Test abbilden sollte.

Zurück zur Methodik. Der sehr alte Kaffeemarkentest der Stiftung hat „alle Kaffees […] mit haushaltsüblicher Kaffeemaschine […] [und] mit Kolbenkanne als Aufguss“ überprüft. Ich musste echt zur Sicherheit noch mal gucken, was die mit Kolbenkanne meinten. Die Jungs und Mädels meinten die French Press.

Hier konnte ich weder in der herunterladbaren PDF noch im Onlinetest irgendwelche näheren Angaben zu den Zubereitungsmethoden und -parametern finden. Nach dem, was wir wissen, könnten sie auch genauso gut nach der Methode „Pro Tasse ein Löffel plus einer für die Kanne“ vorgegangen sein. Very experty, kann man auch hier nur sagen.

Welche Kaffees werden getestet?

Spätestens ab jetzt sehe ich rot. Wenn die Stiftung Warentest ihre Prüfungen vorbereitet, glaube ich, dass sie mit einem Verbraucherbild aus den Fünfzigern agiert. Der Konsument will möglichst billigen Kaffee, der möglichst überall verfügbar ist … auf in den Supermarkt!

Im Espresso-Test wird Folgendes gesagt: „Unsere Kunden erwarten typisch italienische Geschmacksprofile“. Zitiert wird hier Holger Preibisch vom Deutschen Kaffeeverband. Die Vorstände dieser Interessenvertretung gehören zu Melitta, Jacobs und einem Großimporteur aus Hamburg.

„Typisch italienisch“ heißt übersetzt möglichst dunkel, möglichst kräftig, möglichst ölig und bitter – zumindest wenn man danach geht, was die Testauswahl bereithält.

Beim Espresso-Test hat man ein bisschen Augenwischerei betrieben und mit den Espressomischungen der Kaffeeketten Balzac und Starbucks ein wenig „Kaffee-Expertise“ ins Spiel gebracht. Daneben tummeln sich Aldi, Rapunzel, Lidl, Lavazza, Illy und Tchibo.

Ich bin mir zwar ziemlich sicher, dass zwischen 2016 und jetzt noch einmal ein Qualitätssprung erfolgt und das Bewusstsein der Verbraucher für guten Kaffee gewachsen ist.

Anders kann ich es mir beim besten Willen nicht erklären, dass ausnahmslos alle Tests zum Thema Kaffee mit Supermarktvariationen durchgeführt werden und nicht EINE EINZIGE UNABHÄNGIGE RÖSTUNG dazu gehört.

Und wer hat bei den 18 untersuchten Röstungen nun gewonnen? Trommelwirbel, Tusch und Applaus: Es ist der Lavazza Espresso cremoso für 12,60 Euro pro Kilogramm zum Testzeitpunkt. Die Tester sagten, er habe sie mit viel fester Crema und einem vielschichtigen Geruch überzeugt.

Warum ich diesen Testsieg aus tiefstem Herzen zurückweise, habe ich bereits im Lavazza Espresso Perfetto Test und im Lavazza Caffe Crema Dolce Test ausführlich erklärt. Der Hersteller ist für mich der Inbegriff alles Schlechten in der Espressowelt. Und dafür habe ich belegbare Argumente.

Gleich danach kommt für mich Illy, der unanständig viel kostet und im Vergleich dazu nichts liefert, was das rechtfertigt. Bei der Stiftung Warentest gab es dafür ein Gut (2,5) und eine 1,9 in der sensorischen Beurteilung. Ich frage euch: Wie?!

In genau der gleichen Manier wurden auch die Kaffees für den 31-Marken-Test ausgesucht und bewertet. Damals gewann der Lidl Bellarom Gold mit einer Gesamtnote von 2,1 und einer 2,0-Wertung in der Sensorik.

Laut meiner Recherchen zum Artikel Kaffee aus dem Supermarkt ist Bellarom ein Erzeugnis der Rösterei Minges aus Breitengüßbach, die auch viele andere große Namen beliefert. Auch hier also wieder Klüngelei. Und natürlich war 2009 noch weniger zu erwarten, dass sich auch nur ein „echter“ Handwerkskaffee in die Testauswahl verirrt.

Zurück zur angeblichen Erwartungshaltung der Kunden, die vordergründig als Argument für die Testauswahl herhalten muss. Schon beim Kaffeetest 2009 hat sich die Stiftung Warentest mit einem Satz selbst demontiert:

„Das sensorische Einheitsprofil der Kaffees im Test mag Kaffeegourmets nicht schmecken. Sie zahlen viel Geld für Kaffee einer bestimmten Herkunft und Sorte. Doch solche Spezialitätenröstungen haben mit dem Alltagskaffee von heute wenig gemeinsam.“

Erst einmal gibt die Stiftung damit hintergründig zu, dass ihr „Expertenpanel“ wohl nicht aus Kaffeegourmets besteht. Zweitens zieht sie einen Graben zwischen den „Luxusärschen“, die ihr Geld für teuren Firlefanz ausgeben, und den „Plebejern“, die einfach nur (billigen) Kaffee wollen.

Damit repetieren sie den ältesten Denkfehler, der in meinen Augen auch zur Preis-Katastrophe an den Börsen geführt hat: Angeblich will der Kunde einfach nur billig und einheitlich, also müssen die Unternehmen auch billig und einheitlich produzieren – egal, wer dabei verliert.

Dieser Gedanke war zweifelsohne einmal wahr. Doch auch beim Kaffee hat sich das inzwischen geändert.

Außerdem gilt die (unterschwellige) Behauptung, man müsse Kaffee testen, der besonders leicht (also im Supermarkt) zu bekommen ist, schon lange nicht mehr.

Ich habe ja gehört, dass dieses Internet auch in Sachen Onlinekauf von Kaffee aus kleinen Röstereien so langsam richtig in Fahrt kommt. Ist aber nur ein Gerücht …

Und, liebe Stiftung, ihr solltet vielleicht mal kurz ein paar Gedanken an eure Zielgruppendefinition verschwenden:

Menschen, die sich die Mühe machen und einen Kaffeetest einer anerkannten Stiftung lesen, sind ganz sicher nicht die Leute, die im Supermarkt nur den Kaffee kaufen, der gerade im Angebot ist.

Diese Testleser haben zumindest rudimentäre Qualitätsvorstellungen und wollen diese bestätigt oder widerlegt sehen. In meinen Augen ist es die PFLICHT aller Tester mit einer gewissen Vertrauensbasis, diese Qualitätsvorstellungen auszubauen und in die richtigen Bahnen zu lenken.

Ja ich weiß, die Stiftung ist kein Spezialinstitut für Kaffee. Aber sie hat die Markt- und Meinungsmacht, Produkten und Marken zum Erfolg zu verhelfen oder sie zum Umdenken zu zwingen. Als muss sie aufhören, ein Luxusgut von Wert mit billigem Plastikschrott gleichzusetzen – und die Tests entsprechend anpassen.

Welche guten Seiten hat die Stiftung Warentest?

So unkonkret und in meinen Augen fahrlässig die Stiftung Warentest beim Kaffee an sich ans Werk geht, so eindeutig und klar wird sie bei Dingen wie der Schadstoffbelastung. Und genau hier liegt die Expertise.

Die Stiftung verfügt über Labore und Testgeräte, die wir simplen Kaffeeblogger nicht haben. Sie kann also überprüfen, was da so an Schadstoffen im Kaffee ist und auch erklären, warum wir darauf achten sollten.

Das macht sie im Grunde auch ganz vorbildlich. Es besteht ja auch kein Interpretationsspielraum. Entweder, da ist die Menge X an Acrylamid, Metallen oder Mineralölbestandteilen drin, oder eben nicht.

Während die Sensorik im Allgemeinen eher abgebügelt wird, widmen sich die Texte in vielen Absätzen dem Thema Schadstoffen. Auch das ist nicht dumm, schließlich lässt sich mit der diffusen Angst der Menschen ganz hervorragend spielen. Dennoch: Gut, dass mal jemand nachguckt.

Schön finde ich auch, dass sie beim Espressobohnen Test 2016 wenigstens auch eine große „Sonderkategorie“ zum Thema Nachhaltigkeit und Corporate Social Responsibility (CSR) eingeführt haben. Dabei haben sie die teilnehmenden Unternehmen mittels Fragebogen und Belegen dazu „verpflichtet“, ihre Liefer- und Beschaffungsketten offenzulegen.

Dabei stellte sich heraus, dass etwa Rapunzel und andere Bio- und Fairtrade-Unternehmen sehr hohe CSR-Wertungen erhalten, während ausgerechnet Lavazza und Dallmayr so gar keine Lust auf Transparenz haben. Gut, das ist für uns keine Überraschung.

Aber ich finde, dass dieser Testteil vielleicht so manchem die Augen öffnen könnte. Doof nur, wenn man diesen Aspekt in der Bezahl-PDF ungefähr zehn Seiten nach dem eigentlichen Test findet. Und doof auch, dass dieser wichtige (!) Aspekt eigentlich die Testergebnisse des Geschmacks- und Kaffeechecks komplett aufheben sollte.

Intransparenter, billiger Kaffee von schweigsamen Unternehmen KANN NUR auf schlechten Arbeitsbedingungen und Ausbeutung sowie mieser Röstqualität beruhen. Eine andere Möglichkeit gibt es angesichts der Kaffeewertschöpfungskette gar nicht!

Zu diesem Thema lege ich euch meinem Artikel „Was bekommen Kaffeebauern?“ ans Herz. Da berichte ich vom „Transparency Colloquium“ in Hamburg und habe mir genau diese Transparenz der Kaffeewertschöpfungskette ganz genau angesehen.

Coffeeness auf Kreuzzug gegen die Stiftung Warentest?

Mein zugegebenermaßen sehr leidenschaftlicher Rant sollte nicht darüber hinwegtäuschen, dass ich die Stiftung Warentest in ihren Grundzügen und ihrem Ansatz sehr gut finde. Denn ihre Arbeit hat dafür gesorgt, dass der Konsument nicht mehr jedes Angebot widerspruchslos akzeptiert und genauer hinschaut, wenn es um den Kauf bestimmter Produkte geht.

Gleichzeitig hat das auch dazu geführt, dass die Hersteller nicht mehr jeden Schrott ohne Gegenwind auf den Markt bringen können. Denn wirklich niemand will ein „Mangelhaft“ im Testurteil kassieren.

Wenn wir ehrlich sind, ist der Stil der Stiftung auch prägend für die Art, wie wir Spezialblogger an unsere Tests gehen: Wir testen nicht für Nerds und Fachidioten, sondern für die breite Leserschaft. Dementsprechend müssen wir auch nachvollziehbare Kategorien und Testkriterien anlegen. Gäbe es die Stiftung nicht, würden wir vermutlich wesentlich öfter in unserem eigenen Spezialistensaft kochen.

Doch leider sind wir eben auch die Art von Spezialisten, die die Maßstäbe der Stiftung Warentest genauer beleuchten und beständig hinterfragen. Und für mein Gebiet kann ich nur sagen, dass diese Ansätze veraltet, fahrlässig und in jeder Hinsicht bescheuert sind.

Ich weiß, dass sich dieser Text auf recht veraltete Tests bezieht und vielleicht deswegen etwas überholt wirken könnte. Dass sie aber auch in anderen Bereichen der Kaffeewelt immer noch die gleiche Schiene fahren, seht ihr im Bericht „Stiftung Warentest testet Kaffee und Kaffeevollautomaten – Fail?!“

Sobald die Stiftung das nächste Mal direkt mit Kaffee- oder Espressobohnen hantiert, könnt ihr euch natürlich darauf verlassen, dass ich auch diese Tests genau hinterfrage.

Jetzt interessiert mich: Wie steht ihr zur Stiftung? Lest und befolgt ihr die Tests? Sind sie ein Kaufkriterium? Ich freue mich auf eure Kommentare.