Werkwijze

Hoe weten we dit?

Van uitzending naar cijfer — in vier stappen
1
Uitzending opknippen
Elke uitzending wordt gesplitst in losse nieuwsblokken (items).
2
Twee modellen labelen blind
Twee taalmodellen beoordelen elk item onafhankelijk op onderwerp en toon.
3
Derde model beslist
Zijn de twee het oneens, dan hakt een derde model de knoop door.
4
Betrouwbaarheid berekend
We meten hoe vaak de modellen het eens waren — dat bepaalt hoe stevig een cijfer is.
De betrouwbaarheidsschaal
Stevig
Rust op circa 80 uitzendingen of meer. Het beeld is stabiel.
Indicatief
Rust op een kleinere of nog lopende steekproef. Geeft een richting aan, maar kan nog verschuiven.

Deze badges staan bij elke grafiek en bevinding op de site — zo zie je per cijfer hoe stevig het is.

Betrouwbaarheid per steekproefkwartaal
KwartaalAfl.Itemsα onderwerpα politieke relevantietoon (Jaccard)
2023 Q184 afl.1.2000,870,930,83
2025 Q191 afl.1.2420,860,880,82
2026 Q142 afl.5210,840,880,78

Wat we analyseren.Het NOS Jeugdjournaal maakt elke dag nieuws voor kinderen van 9 tot 13 jaar. Wij nemen elke uitzending en knippen die op in losse nieuwsblokken — de “items”. Elk item krijgt een onderwerp, een inschatting van hoe politiek het is, en een of meer labels voor de toon. Zo kunnen we optellen hoeveel zendtijd naar welk thema gaat, en welke onderwerpen het journaal het belangrijkst vond.

Hoeveel data. Op dit moment zijn 217 uitzendingen geanalyseerd, samen bijna 3.000 nieuwsblokken. Die komen uit drie steekproefperiodes: de eerste kwartalen van 2023, 2025 en 2026. We kozen bewust telkens hetzelfde kwartaal, zodat de jaren eerlijk met elkaar te vergelijken zijn. Het volledige archief (zo'n 1.449 uitzendingen) volgt later.

Hoe de labels tot stand komen. Het toekennen van onderwerp en toon gebeurt door taalmodellen. Om fouten te beperken werken we dubbel en blind: twee modellen beoordelen elk item onafhankelijk van elkaar. Zijn ze het oneens, dan hakt een derde model de knoop door. Vervolgens controleren we statistisch hoe vaak de modellen het met elkaar eens waren (uitgedrukt als Krippendorffs alfa) — hoe hoger die overeenstemming, hoe steviger het resultaat. Een steekproef door mensen om de labels te controleren is onderdeel van de methode en nog in uitvoering.

Wat “betrouwbaar” betekent. Bij elke grafiek staat hoeveel uitzendingen eronder liggen. Een beeld dat op 84 of 91 uitzendingen rust noemen we stevig; een beeld op 42 uitzendingen (van 91 in dat kwartaal) indicatief — het geeft een richting aan, maar kan nog verschuiven. We tonen dat expres, zodat u zelf kunt inschatten hoe hard een cijfer is.

Wat we (nog) niet weten.De analyse steunt op de ondertitels, niet op het beeld — beeldkeuze en emotie via beelden meten we niet. Langlopende dossiers en de vergelijking met het NOS Achtuurjournaal zijn methodisch uitgewerkt maar nog niet als data beschikbaar; die pagina's tonen daarom een gemarkeerde voorbeeldweergave met fictieve cijfers. Voor dossiers geldt daarbij een werkdefinitie: een dossier telt als afgesloten wanneer het onderwerp acht weken niet meer in beeld is geweest, en kan daarna opnieuw actief worden. En omdat we met een steekproef werken, laten trendgrafieken drie momenten zien, geen doorlopende lijn.

Onafhankelijk. Jeugdjournaal-watcher is een onafhankelijk onderzoeksproject en heeft geen banden met de NOS of het Jeugdjournaal. We werken uitsluitend met openbaar beschikbare uitzendingen en ondertitels.

Wil je de volledige verantwoording?

De onderzoekersinterface toont per bewering op welke afleveringen en items ze berust, inclusief de technische betrouwbaarheidsmaten.

Naar de onderzoekersinterface →