Die neue Content-Evaluation

!hatemail @Mental
Wann kommt denn die große Bonjwa Evaluation? :smiley:

3 „Gefällt mir“

Es geht doch darum, dass alle (oder zumindest die meisten) von der gleichen Fragestellung ausgehen sollen. Und nicht die einen z.B. die Frage, ob man einen Adblocker benutzt, als “grundsätzlich” interpretieren und die anderen als “bei rbtv” interpretieren. Dann weiß man doch gar nicht auf welche Frage die Leute eigentlich geantwortet haben. Da gibt es doch einige Beispiele z.B. hier im Thread, wo es Unklarheiten gibt, die man auch rechtzeitig beseitigen könnte.

Andere Punkte wie Freilassen / keine Angabe bei Einkommen etc. hätte man so auch vorher klären und ändern können. So hat man auf das Feedback während der Umfrage reagiert und diese für die eine Gruppe geändert. Hat jetzt aber vielleicht absichtlich falsche Angaben in der Gruppe vor der Änderung.

Diese Dinge könnte man doch vermeiden/verbessern, hätte man sie vorher veröffenlicht.

Dass manche Leute sich über ihre Antworten bei z.B. “Welchen Moderator / welche Sendung findest du am besten?” unterhalten und sich dadurch vielleicht unterbewusst beeinflussen lassen, kann man doch so oder so nicht groß verhindern und betrifft doch eher einen kleinen Teil der Befragten im Gegensatz zu uneindeutigen Formulierungen.

1 „Gefällt mir“

“Aus welchen Bereichen sollen Gäste in Zukunft vermehrt kommen ?”

Verstehe nicht warum da nicht auch Gaming mit aufgeführt ist.

8 „Gefällt mir“

Warum sollte es RBTV interessieren ob du auf Pornhub den Addblock an hast?

3 „Gefällt mir“

Das war ja nur eine Beispiel anhand einer Frage die mir noch im Kopf war, weil es eine der letzten Fragen war. Ich wollte jetzt nicht nochmal den Thread durchscrollen, um konkrete Fragen rauszuschreiben, wo es offensichtlich mehrere Interpretationen gab. Eine war z.B. irgendwas mit “Kennt ihr …?”, wo es um die Frage ging, wie das Wort “Kennt” hier gemeint ist.

Wenn du den Thread hier bzw. im subreddit gelesen hast, wirst du ja wohl nicht bestreiten, dass es einige Streitpunkte gab. Einige dieser Streitpunkte hätte man halt so vermieden. Nur darum ging es mir, nicht umbedingt um eine bestimmte Frage.

Unwichtig, da eine der Hauptintentionen hinter der Evaluation ist ein ungefiltertes direktes Feedback “aus dem Bauch heraus” von den Leuten zu bekommen.
Dementsprechend verfälscht ein vorheriges Veröffentlichen/diskutieren der einzelnen Fragen die Umfrage massivst… das die Umfragen immer irgendwo noch in einzelnen Detailpunkten verbessert werden können ist klar… aber das ist dann eben ein “interner Lernprozess”, die Umfrage vorher öffentlich zur Diskussion zu stellen dennoch, nach dieser Prämisse des “ungefilterten Bauchgefühl Feedbacks”, keine Option.

5 „Gefällt mir“

Sehe ich das richtig. dass die beliebten/unbeliebte Shows nicht in einer zufälligen Auswahl vorgestellt werden? Als ich die Umfrage gemacht habe, war ich mir sehr sicher dass es sicherlich allein schon um nicht zu verfälschen immer gemischt wird. Erstaunt mich doch.

Ich denke, damit ist vor allem gemeint, sich vor dem Beantworten der Umfrage mit Leute noch dem Motto “wen wirst du denn wählen, ich wählen wohl den und den…” auszutauschen.

Es geht mir ja um das Klären von Verständnisfragen. Wie das die Umfrage mehr verfälschen soll, als wenn Leute für sich praktisch unterschiedliche Fragen beantworten, deren Antworten dann in einem Topf landen, erschließt sich mir nicht. Aber okay, ich schätze mal wir sind da einfach verschiedener Meinung.

1 „Gefällt mir“

Nein, nicht ganz :slight_smile:
Ich bin auch der Meinung das es die Umfrage verfälscht… einzig in der Gewichtung sind wir uns uneins… ich sehe nur das die viel viel viel Amateurhaftere „Nacht-und-Nebel“ Umfrage zur 1 Evaluation von Simon, doch für die Mehrheit der Zuschauer zu einer Verbesserung des Programms in sehr vielen Punkten geführt hat.
Dort waren sehr viel mehr Streitpunkte vorhanden, als in der jetzigen, daher sehe ich dort kein Problem… zumindest kein größeres als wenn sie jetzt ihr Hauptziel dieser Evaluation (relativ von Diskussionen unbeeinflusstes direktes Feedback) mit einer vorherigen Veröffentlichung der Fragen torpedieren würden.

2 „Gefällt mir“

Kann euer “Geschmäckle” nach der Umfrage nachvollziehen, einige Fragen und Antworten waren unstimmig, hätte mir auch noch sowas gewünscht wie auf welche Formate kann man auf gar keinen Fall verzichten und auf welche kann man verzichten.

Aber man sieht natürlich nur seine Antworten usw. Letztendlich wird in der Summe an Antworten doch was sinnvolles bei rauskommen. Und die Bohnen werden sich dabei schon was gedacht haben bei den Fragen und deren Auswertung. ZB. die 5 Formate, mit denen man zufrieden ist, die man nennen soll, die einige kritisieren. Letztendlich wird es bei 2-3 Sendungen hohe Überschneitungen geben, weil die meisten die wählen werden, bei weiteren Sendungen werden sich weitere mittelmäßigere Überschneidungen geben, da es da schon wieder sehr viele Unterschiede im Interessensbereich geben wird, es wird aber trotzdem genug Leute geben, die einen ähnlichen Geschmack haben und dann wird es eher wenige Formate geben, die das Schlussbild bilden, weil es da allgemein sehr wenig Klickzahlen gibt. Aber es wird keine Sendungen geben, die komplett hinten runterfallen. Ob man alle Formate nach Beliebtheit sortiert oder jeder nur 5 auswählt, das macht in der Gesamtauswertung nicht viel Unterschied, es wird sich ein ähnliches Bild ergeben, dadurch dass soviele Leute teilnehmen.

Also ich denke, ihr macht euch da umsonst so einen Kopf. Auch beim Interpretieren der Frage. In der Gesamtheit wird ein stimmiges Ergebnis rauskommen, was RBTV weiterhilft.

Liebe Grüße

1 „Gefällt mir“

Exakt. :slight_smile:

Ich hatte ja auch geschrieben, dass ich die neue Umfrage grundsätzlich sehr viel gelungener finde. Auch die erste war natürlich grundsätzlich gut (manche Punkte fand ich sogar ein bisschen besser gelöst) - wenn auch mit einigen Ungenauigkeiten mehr. Das liegt natürlich zum Teil auch daran, dass man eine Stichprobe von 30 000 Zuschauern aus vielleicht 100 000 - 500 000 potentiellen Zuschauern erhalten hat, (die dazu noch ein Eigeninteresse haben, die Umfrage möglichst genau auszufüllen), was einfach eine grandiose Ausgangssituation ist, um Erkenntnisse zu gewinnen.

Mir geht es deshalb ja auch nicht darum das Erreichte – sei es nun die erste Umfrage & ihre Folgen, oder die verbesserte und professionalisierte neue Umfrage – kleinzureden, sondern auf mögliches Potential hinzuweisen für die nächste Umfrage, eben weil (!!!) das einfach eine einmalige Ausgangssituation und ein großer Vorteil ist, für den andere TV-Sender und Firmen „töten würden“. Das wollte ich nur nochmal differenzieren.

1 „Gefällt mir“

du meinst, dass die leute zu faul sind runter zu scrollen? oder dass sie oben schon 5 finden die ihm nicht gefallen? bzw. was ist der hintergrund / vorteil an einer zufälligen anordnung?

Die ersten liest du noch aufmerksam. Je weiter du runter gehst umso mehr überfliegst du die Namen nur noch.

1 „Gefällt mir“

Bei so einer Auflistung kann die Reihenfolge schon einen Effekt haben, auch wenn es auf den ersten Blick nicht so scheint. Daher ordnet man normalerweise alles per Zufall an, um möglichen Einflüssen vorzubeugen.

ja meine frage bezog sich ja auf den effekt … welcher genau … dass es einen haben kann wurde weiter oben schon gesagt. darum fragte ich ja nach!

Das bei den Shows z.B. die ersten und letzten besonders Aufmerksamkeit erhalten und eher bewertet werden als die in der Mitte, welche nur flüchtig überlesen werden.
Ist die Anordnung bei allen Befragten so, kann es sein, dass Shows die in der Mitte stehen insgesamt eher wenig beachtet werden. Man würde die Ergebnisse so interpretieren, dass diese Shows einfach nicht besonders viel Anklang finden/ nicht gemocht werden, was aber eigentlich nicht der Fall ist.

Ich hatte keine Probleme beim Ausfüllen. Hab halt alles auf RBTV bezogen und wenn man auf etwas nicht detailliert genug Antworten konnte, hab ichs halt nicht gemacht.
Verstehe ehrlich gesagt nicht, wieso so viele Probleme damit haben.

16 „Gefällt mir“

Befragte machen ihre Antwort nicht nur von gestellten Frage abhängig, sondern auch von der Form und Art der Fragestellung, dies führt zu systematischen Abweichungen der Umfrage (response bias). Hier geht es um die Anordnung der Antworten, die zu dieser Abweichung führen kann (response order effect) Das kann in dem Falle sich so ausdrücken, dass die ersten Antworten (primacy effect) oder auch die letzten (recency effect) besonders bevorzugt werden, weil sie nun mal kognitiv als erstes oder letztes erfasst werden. Nun könnte man vermuten, dass davon eher mündliche Umfragen betroffen sind, bei denen auch die ersten oder letzten Antwortmöglichkeiten im Gedächtnis haften bleiben ohne nochmal nachzusehen, aber auch Onine-Umfragen sind davon nicht ganz befreit. Daher sollte das am besten randomisiert werden.

1 „Gefällt mir“

same here, war in 5 Minuten fertig…aber wenn man lang genug sucht wird man immer was zu bekritteln haben. außerdem scheinen hier alle Statistik studiert zu haben…Füllt den Shit einfach aus und überlasst die Interpretation RBTV

3 „Gefällt mir“

Jetzt beim zweiten mal hat es auch geklappt. :smiley: