First of all, I would like to thank all 39 jurors for their participation.
This is the best attendance ever in a vote on the homepage images.
● On the left you can see 4 previous
scale-based votings on 48 images (one with only 45). You can see the widespread reluctance to utilise the entire available scale. People's judgements are generally too positive. This flatters the photographers, but does not fulfil the task well. As a result, the shape of the curve is relatively flat, which reduces differentiation.
● On the right, highlighted in yellow, you can see the latest voting using the
Pairwise Comparison Method. You can see that the scale range has been significantly better utilised. This improves the differentiation between the images.
● This is confirmed by the fact that only 3 ranks were awarded more than once in the pairwise comparison (highlighted light magenta). In the earlier scale-based assessments, the number of multiple awards is higher.
As a result of this first study, it can be concluded that the pairwise comparison provides a better differentiated result. Further tests should be carried out to verify this finding.
~~~~~
Here you can see the ranking of the homepage pictures for the summer season according to this evaluation:
Loading
5 comments
Erhard Bernstein said:
Bergfex replied to Erhard Bernstein:
Magst Du sagen, in welchem Zusammenhang Du das früher angewendet hast?
Erhard Bernstein replied to Bergfex:
Das war zum einen bei Vorbereitung von komplexen Entscheidungen zwischen mehreren Alternativen, etwa bei der Weiterentwicklung des Produktportfolios. Da kann man ja mit verschiedenen Kriterien herangehen: finanzieller Investitionsbedarf, Umsetzungsrisiken, Zeitbedarf, Ressourcenauslastung etc.
In einem ersten Schritt werden diese Kriterien sauber definiert - jeder muss wissen, was genau gemeint ist, was in einem Kriterium "sehr gut" und was "sehr schlecht" ist (also eine Quantifizierung und Skalierung) und die Kriterien müssen voneinander unabhängig sein.
In einem zweiten Schritt kommt der paarweise Vergleich: welches Kriterium ist mir wichtiger als das andere. Das führt zu Wertungsfaktoren für die einzelnen Kriterien, wie man es auch bei "Stiftung Warentest" kennt.
Im letzten Schritt gibt man den einzelnen Varianten in den einzelnen Kriterien Punkte oder Noten entsprechend der definierten Skalierung und kann nun in einer einfachen Matrix ausmultiplizieren, welche Variante am besten abschneidet.
Ich habe es auch mal für mich alleine gemacht, als ich eine Stelle zu besetzten hatte und mehrere Bewerberinnen hatte. Bei einer späteren "Revision" musste ich allerdings feststellen, dass ich die Bewerberin mit der schlechtesten Punktzahl gewählt hatte - und die hatte sich im Job geradezu hervorragend bewährt!
Manchmal siegt doch das Bauchgefühl über die Systematik ...
Bergfex replied to Erhard Bernstein:
Pearl said: