Każdy film ma cztery źródła ocen: dwóch krytyków (Michał i Jarek) oraz dwa serwisy (Filmweb i IMDb). Problem polega na tym, że te skale są ze sobą nieporównywalne — Michał chętniej daje najwyższe noty, Jarek je oszczędza; IMDb nagradza popularne filmy wyższymi średnimi niż Filmweb. Bezpośrednie uśrednienie dałoby wypaczony wynik.
Zamiast tego każda ocena jest najpierw normalizowana do wspólnej skali, a dopiero potem uśredniana.
Średnia ocena na IMDb oparta na 50 głosach jest mało wiarygodna. Zanim cokolwiek normalizujemy, przyciągamy ją w stronę średniej całego zbioru proporcjonalnie do tego, jak mało mamy głosów:
Parametr K oznacza „wirtualną" liczbę głosów prioru:
K = 1000 dla IMDb,
K = 500 dla Filmwebu
(Filmweb ma ~3× mniej głosów niż IMDb, więc jego próg jest odpowiednio niższy).
Film z milionem głosów praktycznie nie zmienia swojej oceny;
film z 80 głosami zostaje mocno przyciągnięty do średniej.
Dla każdego źródła z osobna sprawdzamy, gdzie dana ocena wypada na tle wszystkich filmów w bazie. Jeśli film dostał od Jarka wyższy wynik niż 90% pozostałych jego ocen — jego percentyl wynosi 0,90.
Percentyl jest zawsze w przedziale [0, 1]. Dzięki temu każde źródło jest normalizowane względem własnej skali — skąpy krytyk i hojny krytyk są traktowani sprawiedliwie.
Percentyl mapujemy na docelowy rozkład normalny N(5,5 ; 1,5) za pomocą odwrotnej funkcji dystrybuanty (PPF — Percent Point Function). Oznacza to, że film na 50. percentylu dostaje ~5,5; film na 84. percentylu ~7,0; film na 16. percentylu ~4,0.
Wynik jest obcinany do przedziału [1, 10]. Percentyle ekstremalne (poniżej 0,1% i powyżej 99,9%) są przycinane, żeby uniknąć wartości ±∞.
Końcowa ocena to prosta średnia ze znormalizowanych wartości ze wszystkich czterech źródeł. Krytycy i serwisy są jednak traktowani różnie w przypadku brakujących ocen:
5,5
(środek wspólnej skali, równy globalnej średniej po normalizacji).Dzięki temu film oceniony tylko przez jednego krytyka nie trafi automatycznie na szczyt rankingu — brak oceny z serwisów „przyciąga" wynik ku środkowi skali, sygnalizując niepewność co do jego wartości.
Przykład: Jarek dał „10" tylko czterem filmom, Michał — aż trzynastu. Film z „10" od Jarka jest na 99,9. percentylu jego skali → znormalizowana ocena ≈ 10,00. Ten sam film z „10" od Michała jest tylko na ~99,7 percentyla — dogania go 12 innych filmów z taką samą najwyższą notą — → znormalizowana ocena ≈ 9,68. To celowe: im rzadziej krytyk sięga po najwyższą ocenę, tym mocniej wyróżnia ona film po normalizacji. Normalizacja premiuje wymagania i konsekwencję krytyka.
Dla każdego źródła po lewej widać rozkład surowych ocen, a po prawej ten sam zbiór po normalizacji — sprowadzony do wspólnej skali ze średnią ~5,5. Widać, jak skąpi i hojni krytycy schodzą do jednej skali, a na końcu rozkład oceny końcowej. Najedź na słupek, by zobaczyć liczbę filmów.