Voor een van mijn websites beoordeelt een taalmodel elke dag honderden nieuwsberichten over hetzelfde onderwerp. Per bericht dezelfde vraag: is dit relevant genoeg voor het lijstje dat ik 's ochtends doorloop? Maandenlang liet ik dat doen door het beste model dat ik heb, hetzelfde model waarmee ik code schrijf en klantwerk voorbereid. Dat voelde logisch. Het beste model geeft de beste beoordelingen, dacht ik.
Tot ik keek waar mijn verbruik heenging. Niet naar het moeilijke werk, maar naar het sorteerwerk. Honderden kleine beoordelingen per dag die geen van alle iets vragen wat een veel kleiner model niet ook kan. Ik liet mijn beste vakman de post openmaken.
Twee seconden per bericht
Dus zette ik er een klein model naast. Gemma heet het, een gratis model van Google dat via een programma als Ollama gewoon op mijn eigen Mac mini draait. Geen abonnement, geen verbruik, en het werkt ook als de internetverbinding eruit ligt.
Om te weten of dat verantwoord was heb ik de twee tegen elkaar gemeten, op 233 echte berichten, met exact dezelfde beoordelingscriteria. In 82 procent van de gevallen kwamen ze op dezelfde beslissing uit. Interessanter was wat er in de verschillen zat: bij een flink deel daarvan was het niet het kleine model dat afweek, maar het grote dat zijn eigen instructies losjes nam. Het kleine model volgde de regels juist strak. Wie dat meerekent, komt effectief rond de negentig procent gelijke beslissingen uit.
En het tempo: ongeveer twee seconden per bericht. Een complete dagvoorraad is in tweeënhalve minuut beoordeeld. De echte missers zaten in een handvol geruchten en interviews, precies de berichten waar context zwaarder weegt dan trefwoorden. Daar valt mee te leven door de lat lokaal iets lager te leggen: liever een twijfelgeval extra op mijn lijstje dan eentje dat stilletjes verdwijnt.
Niet elk sterker model past
Onderweg leerde ik nog iets anders. Van Gemma bestaat een nieuwere generatie, en die wilde ik natuurlijk proberen. Via de software van Google zelf kreeg ik hem aan de praat, maar alleen op de grafische chip van de Mac, en die had er zijn handen zo vol aan dat de rest van het apparaat onbruikbaar werd. Een achtergrondklusje dat je computer platlegt is geen achtergrondklusje meer. Het model is er weer af.
Dat zette iets recht in mijn hoofd. Een beter model is niet automatisch een betere keuze. Het moet ook passen in de opstelling waarin het zijn werk moet doen. Hier wint de oudere generatie die mijn Mac met rust laat het van de nieuwere die hem claimt.
Welk werk naar welk model
Eerder haalde ik het ophalen van nieuws al weg bij de denkende AI en zette ik het op een dom script. Dit is dezelfde beweging, één verdieping hoger. De vraag per taak blijft gelijk: wat heeft dit werk eigenlijk nodig? Is de uitkomst een label, een score of een ja of nee, en is de prijs van een enkele fout laag, dan mag het naar het kleine model op mijn eigen machine. Vraagt het om schrijven, om oordeel, of om iets waar een fout echt pijn doet, dan blijft het bij het grote model. Sorteren is geen denken.
Grote klussen splits ik tegenwoordig langs diezelfde lijn. Het kleine model wijst in bulk aan welke van de duizenden artikelen aandacht verdienen, het grote model of ikzelf doet daarna het echte werk. En omdat een stil falend systeem me al eens een dag nieuws heeft gekost, is de terugval geregeld: draait het lokale model niet, dan neemt de cloud het hoorbaar over. Duurder, maar nooit stiekem leeg.
Inmiddels doet datzelfde kleine model ook de voorselectie voor mijn wekelijkse leeslijst. In de meting vooraf: twintig van de twintig goed, niets onterecht weggegooid.
Mijn verbruik gaat nu naar schrijven, bouwen en de beslissingen waar ik zelf bij wil zijn. Het sorteren gebeurt op het apparaat onder mijn bureau. Voor niks.