"Wie kommt man mit Hilfe von Hörvergleichen zu aussagefähigen und nachvollziehbaren Ergebnissen?"

Interessanter Bericht

Meine Kommentare im Einzelnen:

pumo9 schrieb:

1. Eine Kette ist nur so gut, wie ihr schwächstes Glied. Folglich muß das Instrument, die Audioanlage von hoher Güte und unzweifelhafter Qualität sein.

Stimmt. Es wäre aber festzulegen, was man unter Güte und Qualität versteht und wie man sich davon überzeugt daß die Anlage diese Bedingung erfüllt. Geht's hier um bestimmte Meßwerte, die einzuhalten sind? Wenn ja, welche?

2. Nachvollziehbare Ergebnisse gelingen nur im Blindvergleich. Es müssen also mindestens zwei am Test teilnehmen, wobei einer die Geräte bedient, während er dem Hörer nur den zu testenden Probanden A oder B nennt.

Ob eine zweite Person nötig ist hängt von den Umständen ab. In bestimmten Fällen kann man Blindtests auch alleine machen, wenn man über technische Hilfsmittel verfügt, die das Umschalten und das Mitprotokollieren bewerkstelligen. Siehe z.B. der in foobar2000 eingebaute ABX-Test.

Grundsätzlich ist aber richtig das es einen Blindtest braucht, weil sonst nicht klar ist ob die Ergebnisse zuverlässig sind oder nicht.

3. Es darf immer nur ein Glied der Audiokette verändert werden. Auch die Lautstärke muß zu Testbeginn festgelegt werden und während des Hörvergleichs nicht verändert werden. Probanden, die eine unterschiedliche Lautstärke produzieren, müssen vorab auf exakt gleiche Lautstärke eingepegelt werden, was beim Umschalten mit zu berücksichtigen ist. Der Hörer darf während des Vergleichs seine Hörposition nicht verändern.

Völlig einverstanden.

4. Striktes Redeverbot beim Test (natürlich bis auf die Ansage; Leute, die keine zwei Minuten brauchen, um ihre Erkenntnisse an die Teilnehmer weiter zu geben, oder während des Umschaltens schwätzen, sind zu meiden, wie die Pest). Notizen machen für die abschließende Diskussion.

Im Extremfall können die Leute einzeln testen, dann fällt das Gequatsche ohnehin weg. Falls der Test mehrere Hörer zugleich hat sollte man, wie Du richtig schreibst, darauf achten daß sie sich nicht gegenseitig beeinflussen.

5. Man kann nur stressfrei, ausgeruht und in absolut ruhiger Umgebung gut hören. Deshalb ist der Vormittag zum Hören die beste Zeit. Ist man zum Hörvergleich angereist, so sollte man seinen Ohren zum Regenerieren 15 Minuten Ruhezeit gönnen. Außer Wasser, das den Sauerstofftransport ins Gehirn fördert, sollte man nichts zu sich nehmen.

Ich bezweifle daß man in den Forderungen so weit gehen muß. Bis zu einem gewissen Grad sollte man den Hörern ihre Freiheit lassen, nicht jeder reagiert in dieser Hinsicht gleich. In der Tendenz hast Du aber recht.

6. Es können nur so viele Hörer teilnehmen, wie gleich gute Hörplätze zur Verfügung stehen, also höchstens drei. Auch die Zeitdauer muß beschränkt werden, denn stundenlanges Hören ist kontraproduktiv. Nach einer Stunde macht auch das beste Ohr nicht mehr mit.

Ich würde sogar sagen daß man den Hörern ihren eigenen Rhythmus lassen sollte, wenn möglich. Das geht natürlich am einfachsten wenn es nur einen Hörer pro Zeiteinheit gibt.

7. Bei Lautsprechervergleichen müssen die Probanden immer auf die selbe Position kommen. Nebeneinander stehende Boxen verschlechtern sich durch Schallreflexionen gegenseitig. Deshalb sind Boxenvergleiche besonders aufwändig und problematisch.

Richtig. Spezielle Einrichtungen für Hörvergleiche von Lautsprechern haben dazu Drehtische, mit denen man die Lautsprecher in die richtige Position rotieren kann.

8. Bei der Auswahl des Musikmaterials ist besondere Sorgfalt angebracht. Popmusik ist meistens ungeeignet, da zu viel Künstliches bei der Abmischung hinzu kommt. Nicht zu große klassische und Jazz-Ensembles sind sicher richtig. Die menschliche Stimme immer, denn an sie ist man von Anfang an gewöhnt. Deshalb werden hierbei Verzerrungen (Verfärbungen) am deutlichsten.

Es kommt darauf an was man feststellen will. Verschiedene Effekte haben verschiedene "kritische" Klänge durch die sie am leichtesten aufgedeckt werden. Man wird sich hier auf die Erfahrung stützen müssen, die hoffentlich die Hörer selbst auch mitbringen. Wenn sie angeben, bei bestimmtem Material Unterschiede besonders deutlich wahrzunehmen, sollte man das berücksichtigen. Deine Überlegungen sind allerdings prinzipiell richtig.

9. Kein schnelles Umschalten. Lieber die 3-4 Minuten eines Titels komplett abspielen, dann wechseln und wieder mit dem gleichen Titel beginnen. Ein Hörtest ist nicht nur ein Hörspaß, sondern Arbeit! Wer zu oft und mittendrin wechselt, verliert schnell den "Überblick".

Am besten wäre es, wenn man dem Hörer das Umschalten selbst überlassen kann. Das setzt natürlich voraus, daß es nur ein Hörer ist, und daß er technische Hilfsmittel zur Verfügung hat, die die Verblindung aufrechterhalten (z.B. ABX-Umschaltbox).

10. Jede Audiokette braucht ebenso, wie das Ohr, eine "Aufwärmphase" zur Topform. Man sollte deshalb die ersten 15 Minuten nicht zum klanglichen Urteil heranziehen.

Falls möglich, kann man die Aufwärmphase auch gleich zum Training heranziehen, indem man bekannte Unterschiede vorspielt, die dazu dienen können, sein Unterscheidungsvermögen zu schärfen, und ggf. auch eine Einschätzung erlauben wie der Hörer "drauf ist".


Was noch fehlt sind Angaben darüber, wie der Test auszuwerten ist. Das betrifft die Informationserfassung von den Hörern, die statistische Auswertung, und das Ziehen von Schlüssen daraus. Wichtig ist es, die zu klärende Frage im Vorfeld klar zu formulieren, und die statistischen Parameter für die Auswertung festzulegen. Wieviele Versuche brauche ich, und welche Trefferquote, um eine ausreichend sichere Aussage zu erhalten? Welche Frage müssen die Hörer beantworten, ist es nur eine A/B-Entscheidung oder soll es eine feinere Skala sein?

Aussagen über den Hörraum sind auch nicht überflüssig. Wie groß, wie geformt, welche akustischen Eigenschaften (z.B. Nachhall), welche Position von Lautsprechern und Hörern, welches maximale Hintergrundgeräusch?

Und wie oben schon erwähnt, sollte man festlegen welche konkreten Anforderungen an die Anlage zu stellen sind. Es sollte sich dabei um nachprüfbare Kriterien handeln, und nicht um Dinge wie "Reputation" oder "Ruf".

Für eine Diskussion ist der Katalog aber ein guter Ansatz. Vergleiche dazu auch hier.

Tag,

gut, in der Tat führt auch der hier von pumo9 eröffnete Zugang zu einem Versuchs- und Vergleichsaufbau über die gängige hands-on-Manier hinaus. Dies ist aus gegebenem Anlass gesagt.

MfG
Albus

pelmazo schrieb:

Stimmt. Es wäre aber festzulegen, was man unter Güte und Qualität versteht und wie man sich davon überzeugt daß die Anlage diese Bedingung erfüllt. Geht's hier um bestimmte Meßwerte, die einzuhalten sind? Wenn ja, welche?

Auch die beteiligten Geräte der Audiokette sind natürlich durch ein mitunter jahrelanges Auswahlverfahren gegangen.

Ob eine zweite Person nötig ist hängt von den Umständen ab. In bestimmten Fällen kann man Blindtests auch alleine machen, wenn man über technische Hilfsmittel verfügt, die das Umschalten und das Mitprotokollieren bewerkstelligen. Siehe z.B. der in foobar2000 eingebaute ABX-Test. Grundsätzlich ist aber richtig das es einen Blindtest braucht, weil sonst nicht klar ist ob die Ergebnisse zuverlässig sind oder nicht.

Das sind natürlich ideale Forderungen. Aus Zeitmangel und wenn kein zweiter zur Hand ist, muss ich auch manchmal pfuschen. Bin mir aber dabei immer bewusst, was an Eingang 1 und Eingang 2 angeschlossen ist.

Es kommt darauf an was man feststellen will. Verschiedene Effekte haben verschiedene "kritische" Klänge durch die sie am leichtesten aufgedeckt werden. Man wird sich hier auf die Erfahrung stützen müssen, die hoffentlich die Hörer selbst auch mitbringen. Wenn sie angeben, bei bestimmtem Material Unterschiede besonders deutlich wahrzunehmen, sollte man das berücksichtigen. Deine Überlegungen sind allerdings prinzipiell richtig.

Sicher ist es für den Hörer hilfreich, wenn er Musikmaterial hört, das er kennt (aber manchmal so ungeeignet ist, dass ich eingreifen muss). Ebenso hilfreich kann es aber auch sein, wenn er etwas völlig Neues zu hören bekommt.

Aussagen über den Hörraum sind auch nicht überflüssig. Wie groß, wie geformt, welche akustischen Eigenschaften (z.B. Nachhall), welche Position von Lautsprechern und Hörern, welches maximale Hintergrundgeräusch?

Für den Hörraum gilt das selbe, wie für die Anlage. Mein Hörraum ist auch kein Wohnraum, er ist - was seine Bedämpfung von Außengeräuschen, Eliminierung von Raumresonanzen und Einstellung der Nachhallzeit betrifft- entsprechend eingerichtet.

pumo9 schrieb:

Auch die beteiligten Geräte der Audiokette sind natürlich durch ein mitunter jahrelanges Auswahlverfahren gegangen. Für den Hörraum gilt das selbe, wie für die Anlage. Mein Hörraum ist auch kein Wohnraum, er ist - was seine Bedämpfung von Außengeräuschen, Eliminierung von Raumresonanzen und Einstellung der Nachhallzeit betrifft- entsprechend eingerichtet.

Äh, so genau wollte ich's jetzt gar nicht wissen.

Man erkennt, das Thema geht doch sehr ins Detail.

Aber jetzt mal im Ernst, versuchst Du Dich herauszureden oder kommt da noch etwas Konkreteres?

Aus Zeitmangel und wenn kein zweiter zur Hand ist, muss ich auch manchmal pfuschen. Bin mir aber dabei immer bewusst, was an Eingang 1 und Eingang 2 angeschlossen ist.

Verstehe ich das richtig, Du weißt welchem Gerät Du jeweils zuhörst? Ich dachte es geht um Blindtests!?!

Sicher ist es für den Hörer hilfreich, wenn er Musikmaterial hört, das er kennt (aber manchmal so ungeeignet ist, dass ich eingreifen muss). Ebenso hilfreich kann es aber auch sein, wenn er etwas völlig Neues zu hören bekommt.

Das wäre dann bei untrainierten oder zufällig ausgewählten Hörern so. Bei jemandem der eine bestimmte Behauptung oder These vorbringt, z.B. bezüglich der Unterschiede zwischen Komponenten, sollte man aber schon erwarten können daß er das Quellmaterial, bei dem diese Unterschiede hervortreten, auch benennen kann. Da ist es nur folgerichtig daß er den Test dann auch mit diesem Material durchführen kann.

pelmazo schrieb:

Keine Sorge, so weit wollte ich es sicher nicht treiben. Ich wollte bloß wissen wo Du Signifikanzschwellen ansetzt, welche Versuchsanzahl Du für nötig hältst, welche Fragestellungen Du vorschlägst (einfaches A/B oder A/B/Unentschieden, oder feinere Abstufungen etwa wie nach BS.1284), und solche Basics.

(aus Anti-Voodoo-Argumentationshilfe)

Einfaches A/B. Keine "Fakes", wie 'A' ansagen, aber 'B' spielen. Das menschliche Hirn kann zwei "Events" gut verarbeiten. Kommt ein drittes dazu, ist es überfordert, was man beim Autofahren besipielsweise in schöner Regelmäßigkeit beobachten kann. Schließlich machen wir Hörtests, nicht um jemanden hereinzulegen, sondern um Erkenntnisse zu gewinnen. Scope-Hamburg, die ehemalige Vertriebsfirma von Quad, hat mal eine Promotionstour für deren Verstärker in Deutschland veranstaltet, wobei nur nach diesem Fake-Schema Hörvergleiche durchgeführt worden sind. Haben tolle Preise versprochen für den, der es fertig brächte, im Blindtest Unterschiede zwischen dem Quadverstärker und einem beliebigen Konkurrenzprodukt festzustellen. Aber statt angesagten`'A' spielte 'B', oder es wurde überhaupt nicht umgeschaltet, obwohl es laut knackte. Die Verwirrung war natürlich vollständig und auch so gewollt. Scope ist dafür in der Branche ziemlich "abgewatscht" worden, wie Forumsmitglied Christoph Held sich a.a.O. auszudrücken beliebte, und hat Quad mehr geschadet als genutzt. Scope ist dann auch bald Pleite gegangen.
Fazit: Die Hörer müssen dem Moderator vertrauen können, und wenn nur der Hauch von Mißtrauen aufkommen sollte, ist es ratsam, die Stätte zu verlassen.

pumo9 schrieb:

Einfaches A/B. Keine "Fakes", wie 'A' ansagen, aber 'B' spielen.

Ich vermute der Hörer kennt beide Geräte aus einer nichtblinden Trainingsphase. Die Frage die der Hörer beantworten muß ist dann: Welches Gerät steht hinter A und welches hinter B? Oder werden sie gefragt: Welches klingt besser? Werden sie auch gefragt warum?

Wie wird der Test ausgewertet? Welche Erfolgsquote gilt als signifikant? Gilt auch das verkehrte Ergebnis als signifikant? Also wenn auffällig oft B für A gehalten wird?

Weiß der Ansager was sich hinter A und B verbirgt? Wird nach einem vorgegebenen Zeitplan umgeschaltet oder haben die Hörer darauf Einfluß? Wie viel Zeit vergeht für einen Durchlauf bis zur Abgabe des Votums? Wird das Material durchgespielt oder für jedes Gerät wiederholt? Wer sucht das abgespielte Material raus, und nach welchen Kriterien?

Sorry falls ich nerve, aber ich finde es ausgesprochen mühsam, Dir handfeste Informationen zu entlocken. Dein letzter Beitrag hat einen einzigen Satz konkrete Antwort auf eine meiner mehreren Fragen enthalten (den ich oben zitiert habe), der Rest bleibt unbeantwortet. Ich frage nicht aus Langeweile, warum können wir das nicht etwas effektiver abhandeln?