Ranking-Filter Prototyp

Geschrieben von Tom   
Mittwoch, 31. Dezember 2008

Am 16.12.2005 sind die ersten von Nutzern verfassen Artikel in unser Satire-Portal Sensation! eingegangen. Sensation! ist ein auf Joomla! basierendes Nachrichtenportal für kreative Schnellschreiber, welches wir für die Berliner Tageszeitung "Der Tagesspiegel" entwickelt haben.

Ein paar Worte zu Sensation!:

"Wir geben Ihnen 1 Thema, 4 Wörter und 5 Minuten Zeit! Mehr nicht. Jetzt sind Sie dran: Erstellen Sie in den 5 Minuten eine möglichst originelle Story, die auf das Thema eingeht und die vorgegebenen vier Worte sinnvoll integriert!

Noch vor Ablauf der Zeit – also innerhalb der 5 Minuten – müssen Sie Ihren Text abgeschickt haben. Nun wird er von mehreren Mitspielern, den anderen Autoren, bewertet. Nur die besten Stories schaffen es auf die Titelseite von Sensation! oder eine der Ressortseiten."

Jeden Tag wird hier eine neue, komplett von Nutzern verfasste und bewertete Titelseite präsentiert. Dabei haben wir von Anfang an mit unterschiedlichsten Mechanismen versucht, ein möglichst gerechtes und motivierendes Bewertungsklima zu schaffen. Das Bewertungsprinzip bei Sensation! folgt anderen Regeln als auf bekannten UGC-Portalen. Das Ranking der Artikel wird nicht durch Hits, Rocks, Diggs oder werweißwas ermittelt, sondern durch das anonyme Bewerten vom System vorgegebener ebenfalls anonymer Artikel.

Der Ranking-Filter

Einer dieser Mechanismen war der Bewertungsfilter, oder die "Ausreißeranalyse", wie sie mal genannt wurde. Der Ranking-Filter, kurz Filter, funktioniert für das Sensation!-Format recht gut und hat schon so manche ungerechte Bewertung wieder geradegebogen. Trotzdem gibt es auch bei Sensation! immer wieder Nutzer welche fantastische Verschwörungstheorien spannen (Redaktion zieht aus politischen Ambitionen bestimmte Artikel runter) oder auch mal komplett Amok laufen (Ausweiskontrolle für jeden registrierten Autor).

Zur Zeit basteln wir an Konzepten und Prototypen für eines neuen UGC-Portal. Falls sich das Format in die Richtung entwickelt, welche uns vorschwebt, benötigen wir einen etwas höher entwickelten Filter, als er bei Sensation! zum Einsatz kommt.

votes-filter.gif Aus diesem Grund habe ich unseren momentanen Prototypen online gestellt, um von der Sensation! Community und allen die daran Interesse haben etwas Feedback zu bekommen.

Der Umgang wird auf der Seite des Filters relativ detailiert beschrieben.

Bewertungen filtern? Was soll der Quatsch!?

Stellen Sie sich vor, sie haben DEN Artikel Ihres (kurzen) Blogger-Lebens geschrieben und stellen ihn auf einem Portal ein, um von anderen Bloggern bewertet zu werden und gegen deren Artikel anzutreten. Und tatsächlich bekommen Sie auf der Notenskala von Eins bis Sechs ausgezeichnete Bewertungen! Vier Einsen und eine Zwei sind dabei. Doch dann sprechen sich zwei neidische Blogger ab und drücken Ihnen eine Fünf und eine Sechs rein. Boom! Ihr Notendurchschnitt von 1.2 sinkt auf tragische 2.43 womit Sie auf dem Ranking komplett abgeschlagen sind.

Zugegeben, das hört sich etwas kleinkarriert an. Bei Fehlen eines Filters kann das bei Interessen getriebenenen Communitys jedoch schnell zu Frustration großer Teile der Community führen.

Grundlegendes

Wer sich mit dem Prototypen auseinandersetzen will, sollte folgendes wissen: Das Ziel ist einerseits herauszufinden, ob mit dem momentanem Filter grundsätzlich zufriedenstellende Ergebnisse erzielbar sind, und andererseits welcher Schwellenwert allgemein als gerecht empfunden wird.

Der Schwellenwert

Einfach formuliert gibt der Schwellenwert (Schwelle) an, wie "hart" beziehungsweise "tolerant" der Filter vorgeht. Eine hohe Schwelle (z. B. 5) verhält sich toleranter gegenüber stark schwankenden Bewertungen. Eine extrem niedrige Schwelle (z. B. 0.1) filtert schon weniger abweichende Bewertungen.

Obwohl der Sensation!-Filter anders aufgebaut ist, beinhaltet auch er eine Schwelle. Durch verschiedene Tests hat sich herausgestellt, dass diese Schwelle etwas härter eingestellt ist, als unser Richtwert für den neuen Filter. Das liegt daran, das seinerzeit die Sensation!-Community viel Feedback für die Einstellung der "richtigen" Schwelle gegeben hat. So werden bei Sensation! schon relativ leichte Abweichungen gefiltert, was als gerecht empfunden wird. Dies hat natürlich auch Nachteile, denn der Filter arbeitet auf beiden Seiten der Notenskala. So wird bei einer härteren Einstellung auch mal eine 1 gefiltert, wo sonst nur Noten um die 3 liegen. Eine weichere Einstellung des Filters zeigt sich bei einer hohen Anzahl an Bewertungen als praktikabler.

Für Sensation!-Autoren

Als erstes sollten Sie wissen, dass der neue Filter nur ein Experiment ist und KEINEN EINFLUSS AUF DIE BEWERTUNG BEI SENSATION! hat. Sie können mit dem Prototypen spielen und Vorschläge aller Art einbringen.

votes-profil.gifEs besteht die Möglichkeit, sich die Ergebnisse des neuen Filters bei Sensation! parallel zur echten Story-Note anzeigen zu lassen. So können Sie jederzeit sehen, wie sich der neue Filter im Vergleich zum Alten verhält. Um die Anzeige zu aktivieren, müssen Sie registrierter Sensation!-Autor sein. Gehen Sie in Ihrem Profil auf "Profil bearbeiten" und aktivieren Sie ganz unten den "Remote Filter".

Danach sollten sie bei den Storys der Woche folgendes sehen:

votes-story.gifRemote-Was??! Da sich der Prototyp auf einem anderen Server als Sensation! befindet, wird der neue Filter von einem entfernten Server geholt. Unser Entwickler nannte das ganze dann "Remote-Filter". Am besten nicht drüber nachdenken...
Das nette dabei ist, dass Sie auf die neue Note klicken können, direkt auf dem Prototypen landen und mit dieser, von Sensation! stammenden Bewertung auf dem Prototypen rumspielen können.

Falls Sie sich wundern, dass der neue Filter grundsätzlich immer die selben Ergebnisse liefert wie der alte Sensation! Filter kann ich Sie beruhigen: Das tut er auch meistens. Einerseits wird bei Sensation! meistens gerecht bewertet und andererseits geht die Anzahl der Votes selten über Zehn hinaus. Falls Sie eine Abweichnung der beiden Filter finden, sollten Sie diese genauer unter die Lupe nehmen und überlegen welcher der Filter hier sinnvoller vorgeht.

Für alle anderen

Wer von Sensation! noch nie etwas gehört hat, kann zwei Dinge tun. Erstens: Autor werden und den oberen Absatz lesen. Zweitens: Einfach den Filter auf Herz und Nieren testen. Es können automatisch generierte Bewertungen als Basis genommen werden, um z. B. zu sehen, wie sich der Filter bei vielen Votes verhält. Es können auch manuelle Votes getestet werden, um damit den Schwellenwert auf eine tausendstel Stelle nach dem Komma zu justieren.

Wie funktioniert der Filter?

Als Basis der Berechnungen dienen Formeln der beschreibenden Statistik. Obwohl ich persönlich kein Freund von Konstanten bin und häufig versuche Lösungen "aus dem System" zu entwickeln, hat sich bei dieser Aufgabe einen solche "Eselei", also der Schwellenwert, als bis jetzt flexibelste Lösung erwiesen. Die ersten Tests verschiedener neuer Filter führte ich bei Google Docs durch und dabei entstand folgendes:

thumb_docs-filter.gif

Die auf dem Bild vorhandenen Filter gehen von F3 bis F9 (das ist der Aktuelle). Im grünen Bereich links sehen Sie die momentane Bewertung. Der grüne Bereich unten sind die Schwellenwerte für jeden der getesteten Filter.

Die Grafik unten zeigt den Schwellenwert von F9, also 2.35 in Blau, und die Varianzen der einzelnen Bewertungen im Vergleich dazu. Liegt eine Varianz über dem Schwellenwert, wird deren Note gefiltert. In diese Berechnung fließen noch einige andere Faktoren, aber das wäre das Grundprinzip. Was eine Varianz ist, muss man nicht wissen, auch sind die ganzen grauen Zahlen unwichtig.

Bevor Sie sich über die Zahl 2.35 (momentane Schwelle) beschweren:

Sind Sie sicher, dass Ihr Vorschlag verschiedenensten Bewertungsszenarien Stand hält? Sie finden es blöd, dass bei einer Bewertung wie 1,2,2,4 nicht die Vier gefiltert wird? Aber was passiert, wenn Sie aus einer der Zweien eine Eins machen?

Wenn Sie alle möglichen Szenarien probiert haben, versuchen Sie folgende Bewertung: 1,1,1,1,6,6,6. Welche Noten sollten Ihrer Meinung hier gefiltert werden? Meiner Meinung nach keine, solange keine der beiden Seiten deutlich überhand gewinnt.

Das ist natürlich ein Extrembeispiel, welches z. B. bei Sensation so noch nie vorkam. Allerdings wird der Filter, welcher sich hier bewährt, bei den meisten (meistens gerechten) Bewertungen keine Schwierigkeiten haben.

feed8 Kommentare
F.K.
Januar 18, 2009
Stimmen: +1

Der Neue gefällt mir immer noch gut. Er filtert nicht zu radikal und die Ergebnisse sind insgesamt leicht nachvollziehbar und „gerecht“. Um die Bewertung einer eigenen Story für den/die User so fair wie möglich zu gestalten, sollte aber unbedingt auch die Anzahl der Votes deutlich dargestellt werden. Dabei muß es gar nicht so privat zugehen wie in Sensation. Es reicht die klare Anzahl, z.B. 76 Votes. Dann ist zu beachten, dass, je mehr Votes vergeben werden, umso mehr wird die Gesamtnote zur gefühlten Mittelmäßigkeit tendieren. Eine „2“ wird bei 76 Votes schwerer zu erreichen sein als eine „1,5“ bei 4 Votes. Diese „2“ ist also keine schlechtere sondern vielmehr eine bessere Note, weil schwerer zu erlangen. Hier gilt es, verständlichen Frust bei den Autoren zu vermeiden.

report abuse
vote down
vote up
Tom
Januar 18, 2009
Stimmen: +1

Hallo,
beim unserem Bewertungsprinzip ist es unmöglich, dass ein Artikel 76 Votes bekommt und ein anderer nur 4. Das Bewertungssystem behandelt Artikel mit geringen Votes eher als andere. Dadurch ist (auch bei Sensation!) gewährleistet, dass alle Artikel fast gleiche viele Votes haben.
In konventionelle Rating-Verfahren (z. B. Digg) ist der von Ihnen beschriebene Effekt jedoch ein Problem, da Artikel, Produkte, User usw. gezielt bewerten werden können uns so manche Artikel sehr viele Bewertungen und andere sehr wenige Bewertungen bekommen. Um hier eine Gerechtigkeit zu erreichen, setzt man den so genannten "Bayesian" Filter ein (http://www.thebroth.com/blog/118/bayesian-rating).
Dieser eignet sich für solche Effekte hervorragend. Bei unserem Berwertungssystem ist dies jedoch nicht nötig, da es nie zu einer so radikalen Ungleichverteilung an Votes kommmen kann.

report abuse
vote down
vote up
Foxy. Kn.
Januar 24, 2009
Stimmen: +1

Klingt gut. Und die Anzahl der Votes- wird die sichtbar sein?

report abuse
vote down
vote up
Minako
Februar 24, 2009
Stimmen: +1

Was für ein Portal wird das denn? Was würde ich bewerten?

report abuse
vote down
vote up
Tom
Februar 24, 2009
Stimmen: +0

Hallo Minako,
es wird ein Portal in dem echte Nachrichten publiziert werden.
Kein Spiel also, obwohl das Bewertungsprinzip und die Titelseitenfunktion von Sensation! teilweise beibehalten werden.

report abuse
vote down
vote up
Minako
Februar 25, 2009
Stimmen: +1

Wir User dürfen dann die richtigen Nachrichten benoten...cool!!!Wann, wo, wie? Nach welchen Kriterien werden die benotet? Und welche Nachrichten? Alle? Oder werden die ausgesucht?? Und wenn ja, von wem?

report abuse
vote down
vote up
Minako
März 25, 2009
Stimmen: +0

Mist! Keiner antwortet.

report abuse
vote down
vote up
Tom
März 30, 2009
Stimmen: +0

Hallo Minako,
sorry für die späte Antwort. Es handelt sich wie gesagt um ein Portal im Entstehen. Wo und wann kann ich also noch nicht sagen.
Als Kriterien sehe ich momentan EINE Punkte/Notenskala von 1 bis 5 oder 6.
Welche nachrichten bewertet werden? Na alle die durch die User zu stande kommen. Es werden keine durch eine Redaktion vorgegebenen Nachrichten sein, sondern wie bei Sensation! von Usern verfasste.

report abuse
vote down
vote up

Kommentar schreiben
 
  kleiner | groesser
 

security image
Bitte den folgenden Code eintragen


busy
 

B01 realisiert zeitgenössische Online-Kommunikationsmittel.
Wir sind spezialisiert auf OSCMS und unterstützen unsere Kunden vom Konzept bis zum Launch mit Erfahrung und exklusiven Komponenten zur Umsetzung von Communitys, Shops, Portalen und Webseiten.

B01 Kunden

Unsere Ideen, unsere Produkte, unsere Kunden.

B01 empfiehlt:

ZOO Content Construktion Kit

ZOO CCK

Virtuemart Shopsystem

E-Commerce

Joomla SEO

SEO

Joomla Content Editor

Content Editor

Joomla Social Networking

JomSocial