Überlegungen zur Signifikanz von Kabelklang-Tests

Überlegungen zur Signifikanz von Kabelklang-Tests

Eines vorweg: Wer sich nicht die Mühe machen will, genauer über das Thema Kabelklang aus naturwissenschaftlich empirischer Sicht nachzudenken, sondern diese Sache für endgültig negativ entschieden hält, braucht nicht weiterzulesen, er verschwendet nur seine Zeit.

Keiner der hier im Forum gern zitierten Blindtests (München, Chiemsee, Wien, Studiomagazin) wird beanspruchen, wissenschaftlichen Anforderungen zu genügen. Trotzdem gibt es Leute, die unter Hinweis auf diese und viele weitere ähnliche Versuche behaupten wollen, Kabelklang sei als naturwissenschaftlich widerlegt zu betrachten. Es ist aber alles andere als wissenschaftlich, Tests, die methodisch und sachlich mangelhaft sind, als stichhaltige Beweise für eine Überzeugung anzuführen, nur weil einem vielleicht das Ergebnis gefällt. Wissenschaftlich vorgehen heißt, Fragen quantitativ zu untersuchen und sich und anderen über Grenzen und Möglichkeiten der eingesetzten Methoden so exakt wie möglich Rechenschaft abzulegen. Wer auf grobe Hörtests hinweist und sich über ihre viel zu geringe Empfindlichkeit nicht im klaren ist, darf nicht einfach behaupten, sie wären genau genug, um auch kleinste hörbare Unterschiede zu erfassen. Denn das sind sie mit Sicherheit nicht. Und wer aus diesen Tests vorschnell allgemeingültige und vereinfachte Behauptungen ableitet, weil er über die viel zu geringe Tragweite und Aussagekraft der Experimente schlecht informiert ist, hat keine Ahnung vom wissenschaftlichen Denken, und wenn er es noch so heftig für seinen Standpunkt reklamieren will.

Es geht beim Thema Kabelklang nicht darum zu beweisen, dass er nicht existiert. Es geht darum, so sorgfältig und genau wie möglich danach zu suchen, ob, wo und wann Unterschiede noch hörbar sein könnten. Von diesem Anspruch sind die bisherigen Tests meilenweit entfernt. Es geht auch nicht darum, private Tests, die sicher mit viel Engagement durchgeführt worden sind, oder ihre Teilnehmer zu diskreditieren. Es geht auch nicht darum, Kabelfetischismus zu rechtfertigen und Partei für die Goldohrenfraktion zu ergreifen. Es soll einfach darum gehen, die Voraussetzungen der bisherigen Tests klarzustellen und ihre prinzipiellen Einschränkungen klarzumachen. Dann sieht man schnell, dass sie völlig überinterpretiert werden. Für „valide“ Tests braucht man ein paar grundlegende Kenntnisse in Sinnesphysiologie, Statistik, Versuchsplanung und Datenauswertung. Erst dann lassen sich Art und Umfang von ernstzunehmenden Kabeltests sinnvoll abschätzen. Wer von diesen Dingen nichts wissen will kann mit pauschalen und undifferenzierten Argumenten vielleicht rhetorisch beeindrucken. Aber er kann nicht beanspruchen, wissenschaftlich zu überzeugen.

Es dürfte unstrittig sein, dass der klangliche Einfluss von Kabeln sehr gering sein muss und dass Dinge wie Raumakustik, Lautsprecherkonstruktion und Verstärkeraufbau einen viel größeren und wichtigeren Anteil am Klanggeschehen haben. Leute, die behaupten, Kabel und Zubehör bestimmten den Klang einer Anlage zu „75%“ und man könne jederzeit kinderleicht enorme Klangunterschiede heraushören brauchen hier ebenfalls nicht weiterzulesen. Derart überzogene Auffassungen sind völlig indiskutabel, denn so schwach die bisherigen Blindtests auch sein mögen, so zeigen sie doch ganz eindeutig, dass Unterschiede in diesen Größenordnungen auszuschließen sind.

Um einen ungefähren Eindruck zu bekommen, um welche Größenordnungen es bei Unterschieden im Kabelklang wirklich gehen dürfte, wenn es sie denn gibt, braucht man nur an den geringen Markterfolg hochauflösender Tonträger zu denken. Obwohl der Unterschied zur CD deutlich hörbar ist, bleibt das Interesse an diesen Formaten minimal, der kleine klangliche Abstand nach oben ist für die meisten Hörer uninteressant, viele werden den Unterschied gar nicht bemerken. Umgekehrt sind datenkomprimierte Formate mit noch größeren klanglichen Abstand zur CD, nur eben nach unten, sehr erfolgreich. Da Kabelklang im Gegensatz zu diesen unstrittigen, aber geringen Klangunterschieden äußerst umstritten ist, kann man daraus ableiten, wie gering hier die Unterschiede sein müssen. Diesen geringen, aber möglicherweise noch hörbaren Klangunterschieden wissenschaftlich auf die Spur zu kommen, oder sie einigermaßen sicher auszuschliessen, bedeutet zwangsläufig hohen Aufwand. Wie hoch er sein muß, sollen die folgenden Überlegungen zu einem einfachen Signifikanztest auf Unterschiede beim Klang zweier Kabel veranschaulichen:

0. Wir nehmen an, in jedem Durchgang werden die beiden verschiedenen Kabel A und B je 1 Minute nacheinander bekannt gehört (wechselnde Reihenfolge). Der Proband hört danach eine weitere Minute eines der beiden Kabel unbekannt und ist gezwungen, sich währenddessen oder unmittelbar danach zu entscheiden, ob er dabei A oder B erkannt hat. Mit jedem Durchgang hat das Ohr die Chance, den eventuell typischen Klang eines Kabels immer besser kennenzulernen. ( Ich übergehe Selbstverständlichkeiten wie Randomisierung, Verblindung (am besten doppelt), reproduzierbarer Testaufbau, Einzeltests (kein Gruppenhören mit unterschiedlicher Raumakustik an verschiedenen Plätzen und gegenseitiger Beeinflussung), identische Versuchsbedingungen, einwandfreie Gerätetechnik etc.) Welche statistischen Bedingungen wären darüber hinaus nötig?

1. Für ausagekräftige Ergebnisse braucht man genügend viele Teilnehmer, bei denen es sich nicht um Enthusiasten und besonders Interessierte handeln soll, die nur das Bild verzerren, sondern um eine repräsentative unvoreingenommene Gruppe. Aus Meinungsumfragen werden viele wissen, dass dazu zwischen 1000 und 2000 Leute nötig sind und das auch nur, wenn die Auswahl wirklich zufällig erfolgt. Mit kleineren Stichproben sinkt die Chance, Leute mit besonderem Hörvermögen zu finden (nicht solche, die es nur von sich behaupten) so schnell ab, dass die Ergebnisse keine Verallgemeinerung mehr zulassen. Will man auf diese Verallgemeinerungen verzichten und möchte mit so geringem Aufwand wie möglich wenigstens eine vernünftige Chance auf ein brauchbares Zufallsergebnis erreichen, ist es zwecklos, weniger als 150 Leute zu untersuchen. Man kann nämlich davon ausgehen, dass deutlich überdurchschnittliche sinnesphysiologische Fähigkeiten bei weniger als etwa 2% aller Menschen vorkommen, und man muß mindestens 3 solcher Leute finden, um damit eine signifikante Ministatistik machen zu können. (Eine 2% Schwelle für deutliche überdurchschnittliche Leistungsfähigkeit wird z.B. auch bei Visusbestimmungen (Sehschärfe), IQ-Messungen etc. zugrundegelegt)

2. Um auf die nötigen Teilnehmerzahlen zu kommen ist es nicht zulässig, Daten aus verschiedenen aber vermeintlich ähnlichen Tests einfach aufzuaddieren. Minimal ungleiche Versuchsbedingungen führen trotz scheinbar vernachlässigbarer Abweichungen zu Fehlschlüssen. Und das noch mehr, wenn man wie beim Thema Kabelklang an die Grenzen des statistisch Erfassbaren gehen muß.

3. Um einen Test sinnvoll zu konzipieren muß man vernünftige Annahmen über die gewünschte Messgenauigkeit machen. In vielen Fällen hat man sich darauf geeinigt, einen 5%igen Unterschied einer Meßgröße als signifikant zu bewerten und kleinere Unterschiede zunächst zu vernachlässigen. Übertragen auf einen Kabeltest, wo die unbekannte Meßgröße die statistische Wahrscheinlichkeit ist, mit der zwei Kabel hörbar auseinandergehalten werden können, heißt das folgendes: es müssen so viele Testdurchläufe mit jeder Versuchsperson stattfinden, dass ein Unterschied von 5% in den Erkennungswahrscheinlichkeiten zweier verglichener Kabel statistisch gerade noch zuverlässig erfasst werden könnte, wenn er vorläge (analog zu den "gefühlten" 5% Unterschied beim Kabelklangtest des Studiomagazins).

4. Um das Risiko des Tests klein zu halten, jemanden der Kabelunterschiede hören könnte fälschlich auszuschließen (Fehler 2.Art oder β-Risiko für falsch negativ), erlaubt man bei den Anfangstests ein höheres Risiko, jemanden der keine Unterschiede hören kann versehentlich als Kabelklanghörer einzustufen. Dieses letztgenannte Risiko (Fehler 1. Art oder α-Risiko für falsch positiv, auch Irrtumswahrscheinlichkeit oder Signifikanzniveau genannt) wird oft mit 5% Wahrscheinlichkeit zugelassen. Für sensitive Tests sind aber auch 10% α-Risiko gebräuchlich, denn man kann in Folgetests solche falsch positiven Befunde immer noch später ausschließen.

5. Wenn man einen statistischen Test auf An oder Abwesenheit eines Merkmals macht, hier also auf die Frage, klingen zwei gehörte Kabel gleich oder verschieden, ist es wichtig zu verstehen, dass ein und dieselbe Trefferquote je nach Anzahl der Testdurchläufe völlig verschiedene Bedeutung für die Aussage des Tests hat. Wenn von 10 Durchläufen 7 richtig erkannt wurden hat man 70% Trefferquote. Diese Quote ist bei nur 10 Durchläufen so leicht durch Zufall zu erreichen, dass man nicht von einem signifikanten Ergebnis sprechen kann. Mit anderen Worten, dieses Ergebnis spricht nicht für einen hörbaren Unterschied zwischen den Kabeln. Wenn aber bei 100 Durchläufen desselben Tests 70 richtig erkannt werden, bedeuten die ebenfalls 70% Trefferquote nun ein signifikantes Ergebnis: Bei reinem Raten oder per Zufall wäre nur ein Ergebnis zwischen 41 und 59 Treffern (Indifferenzbereich, in dem 90% aller Zufallswerte liegen) sehr wahrscheinlich. Hier sprächen die 70% Trefferquote also stark für einen Unterschied beider Kabel, weil der Wert 70 außerhalb des Indifferenzbereichs liegt, dem Bereich, in dem die Treffer mit hoher Wahrscheinlichkeit allein durch Zufall zu liegen kommen. Um feine Unterschiede an der Grenze des Hörbaren statistische zu erfassen braucht man also viele Durchläufe. Die Frage ist, wie viele Durchläufe braucht man, um bei einer Irrtumswahrscheinlichkeit α von 10% einen Unterschied von 5% in der Erkennungswahrscheinlichkeit zweier Kabel statistisch erfassen zu können.

6. Die Antwort darauf lautet 1000 Testdurchläufe pro Person. Nachfolgende Tabelle listet die Zahlen für den Zusammenhang zwischen der Zahl der Testdurchläufe , dem jeweiligen Indifferenzbereich (für α = 10%) in dem dann 90% aller Zufallswerte zu liegen kommen, und der resultierenden Signifikanzschwelle auf. Jedes Ergebnis außerhalb des Indifferenzbereich spricht dann signifikant für einen Unterschied der getesteten Kabel: Mit mindestens 527 Treffern bei 1000 Testdurchläufen wäre ein Unterschied gefunden, der um 5% über dem zufallserwarteten Mittelwert von 500 läge.


Testdurchläufe……………Indifferenzbereich (für α = 10%)………Signifikanzschwelle ab ≥
10…………………………………..1 – 9………………………………..10
20…………………………………..5 – 15………………………………16
30…………………………………10 – 20………………………………21
40…………………………………14 – 26………………………………27
50…………………………………18 – 32………………………………33
60…………………………………23 – 37………………………………38
80…………………………………32 – 48………………………………49
100………………………………..41 – 59………………………………60
500………………………………231 – 269……………………………..270
1000……………………………..474 – 526……………………………..527

[EDIT Administration]:

Auf Wunsch des Beitragsverfassers "kammerklang" (Usermeldung 162115 vom Montag, 18. November 2013, 18:38 Uhr) wird hier und heute (Montag, 18. November 2013, 18:56 Uhr) eine Korrektur obiger Tabelle eingefügt, da laut Beitragsverfasser bei obiger Tabelle ein Rechenfehler besteht (Zitat Beitragsverfasser: "Alle Werte für den Indifferenzbereich und für die Signifikanzschwelle sind wegen eines Rechenfehlers um den Wert 1 nach oben bzw. unten verschoben"):

E R R A T U M

Testdurchläufe……………Indifferenzbereich (für α = 10%)………Signifikanzschwelle ( ≈ Erfolgsquote % ) ab ≥
10…………………………………..2 – 8………………………………..9 ( 90% )
20…………………………………..6 – 14………………………………15 ( 75% )
30…………………………………11 – 19……………………………….20 ( 66,7% )
40…………………………………15 – 25……………………………….26 ( 65% )
50…………………………………19 – 31……………………………….32 ( 64% )
60…………………………………24 – 36……………………………….37 ( 61,7% )
80…………………………………33 – 47……………………………….48 ( 60 % )
100………………………………..42 – 58……………………………....59 ( 59 % )
500………………………………232 – 268…………………………….269 (53,8% )
1000……………………………..475 – 525…………………………….526 (52,6% )

[Ende EDIT Administration]

Man kann grob überschlagen, dass ein Test mit 1000 bis 2000 Leuten und 1000 Durchläufen pro Person, wenn jeder Durchgang 3 Minuten dauert und jede Person sich 3 mal für 45 Minuten pro Tag genügend hoch konzentrieren kann gute 2 bis 4 Jahre dauern würde. Selbst wenn man 10 apparativ gleiche Testkabinen hätte wären es noch 3 bis 6 Monate – vom personellen, und finanziellen Aufwand ganz zu schweigen. Nicht berücksichtigt wäre außerdem, dass das Ergebnis nur für die beiden getesteten Kabel gelten würde, und man für eine vernünftige Absicherung den gleichen Testaufwand für ein paar weitere andere Kabel zu treiben hätte. Ist dieser Aufwand utopisch? Beim Thema Kabelklang bestimmt, die Frage ist zu unbedeutend.

Im Falle wissenschaftlich wichtiger, prinzipiell aber vergleichbarer Fragen, scheuen Wissenschaftler jedoch keine Mühe und treiben solchen Aufwand durchaus – vorausgesetzt das Geld reicht. Im habe an entsprechend aufwendigen Blindtests schon teilgenommen, bei denen es allerdings nicht um akustisch, sondern um taktil oder visuell gerade noch wahrnehmbare Unterschiede ging und geht. Und bei denen die Ergebnisse für zukunftige Entwicklungen in der Kybernetik benötigt werden. Für Dinge wie Robotik, Displaytechnologie oder Simulatoren virtueller Umgebungen, bei deren Entwicklung man ohne solche Daten nicht auskommt, spendiert die Industrie dann auch das nötige Kleingeld…

Welche Alternativen hätte man privat? Mit den oben genannten Zahlen kann jeder erkennen, bei wie vielen Durchgängen er welche Erfolgsquote braucht, um einen signifikanten Unterschied zwischen zwei Kabeln zu erkennen. Vielleicht machen ein paar Interessierte zusammen mit einem Freund bei sich zu Hause einen einfachen blinden Umstecktest, bei dem die Bedingungen immer gleich bleiben. Jeden Tag 10 Durchgänge a 3 Minuten, und nach knapp 2 Wochen kommen 100 zusammen. Wer sich statt der halben Stunde pro Tag 3 mal 50 Minuten konzentrieren kann ist schon nach zwei Tagen durch. Und wer bei 100 Durchgängen mehr als 60 Treffer erzielt hat, kann sich ja mal hier im Forum melden und sich mit den Holzohren anlegen…

Kobe8 schrieb:

Gude! kammerklang schrieb: Außerdem ist es nicht nur ein Mißverständnis, sondern schlicht falsch zu behaupten, der Nachweis von Kabelklang "bedeute 100 Jahre physikalische Forschung und elektrotechnischen Erkenntnisgewinn in die Tonne zu kloppen." Kabelklang existiert nämlich ganz ohne jeden Zweifel! Das sieht man doch schon daran, dass die Dämpfung von Kupferkabeln bei großen Längen sehr wohl zu akustischen Beeinträchtigungen führt. Es gibt also Effekte, nur die Größenordnungen im Hifi-Bereich zu Hause stehen zu Recht in Frage. Kann es sein, dass du den Sinn eines Pegelabgleichs bzw. warum dieser gemacht wird, und warum er NICHTS mit 'Klang' zu tun hat, nicht richtig verstanden hast? Fragen... Kobe

Vorsicht
Ich bin normalerweise deiner Meinung, aber dieser Satz

kammerklang schrieb:

dass die Dämpfung von Kupferkabeln bei großen Längen sehr wohl zu akustischen Beeinträchtigungen führt

von Kammerklang ist richtig. Der Widerstand der Leitung bildet zusammen mit der Impedanz des Lautsprechers einen frequenzabhängigen Spannungsteiler. Die dadurch hervorgerufene Frequenzgangänderung kann man ausrechnen, messen und evtl sogar hören.