AI-ontwikkelaars beweren dat kunstmatige intelligentie alle beschikbare data al heeft ‘verwerkt’ en alles heeft geleerd wat er te leren valt. Toch denken wetenschappers, waaronder die van Google, dat er een oplossing is gevonden. Hoewel deze ontdekking misschien niet direct levensveranderend is voor de gemiddelde persoon, biedt het zeker hoop voor beleggers en bedrijven die miljarden dollars in AI hebben geïnvesteerd. Zij verwachten dat AI zich oneindig zal blijven ontwikkelen en verbeteren.
De datalimiet bereikt
OpenAI-medeoprichter Ilya Sutskever maakte tijdens het jaarlijkse NeurIPS-evenement in december een verontrustende aankondiging. “We hebben de datalimiet bereikt en er komt niets meer bij,” verklaarde hij. Alle bruikbare gegevens op internet zijn al gebruikt om AI-modellen te trainen, een proces dat bekend staat als pretraining. Dit heeft geleid tot grote doorbraken in generatieve AI, zoals ChatGPT, maar de verbeteringen zijn aan het vertragen. Sutskever benadrukte dat dit tijdperk “ongetwijfeld ten einde zal komen.”
Voor veel AI-experts is dit vooruitzicht echter geen reden tot paniek. Waarom? Omdat er mogelijk manieren zijn om deze datalimiet te doorbreken.
Een nieuwe aanpak: test-time compute
Een relatief nieuwe techniek genaamd test-time/inference-time compute biedt een mogelijke oplossing. Met deze methode kunnen AI-modellen complexe taken opsplitsen in kleinere subtaken. Elk onderdeel wordt apart geanalyseerd en verbeterd voordat het model naar de volgende stap gaat. Dit proces, bekend als de inferentiefase, resulteert in een keten van redeneringen en leidt uiteindelijk tot betere antwoorden.
In september introduceerde OpenAI een model genaamd o1, dat gebruikmaakt van deze techniek. Kort daarna volgden Google en het Chinese AI-lab DeepSeek met vergelijkbare inferentiemodellen. Benchmarktests laten zien dat deze modellen vooral goed presteren bij complexe taken zoals wiskundige problemen, waar duidelijke eindantwoorden vereist zijn.
Een iteratieve zelfverbeteringslus
Het meest interessante aspect van deze aanpak is het potentieel om betere uitvoer te gebruiken als nieuwe trainingsdata. Dit creëert een iteratieve zelfverbeteringslus, waarbij de resultaten van eerdere analyses worden gebruikt om toekomstige modellen te verbeteren.
Onderzoekers van Google DeepMind beschreven deze techniek in augustus als een veelbelovende manier om grote taalmodellen te verbeteren. “Door aanvullende berekeningen toe te passen in de testfase, kunnen we resultaten terugkoppelen naar de basismodellen, wat leidt tot voortdurende verbetering,” aldus hun rapport.
Wat zeggen de onderzoekers?
Een van de medeauteurs van dit onderzoek, Charlie Snell, vertelde over zijn motivatie. “De beperkte beschikbaarheid van data vormt een grote uitdaging voor verdere AI-ontwikkeling,” zei hij. “Als je een AI-model extra berekeningen kunt laten doen tijdens de inferentiefase, creëer je betere synthetische data, wat een nieuwe bron van trainingsgegevens biedt.”
Met deze vooruitgang lijkt de AI-industrie een manier te hebben gevonden om de datalimiet te omzeilen. Hoewel de uitdaging groot blijft, blijft de ontwikkeling van kunstmatige intelligentie doorgaan, aangedreven door innovatie en samenwerking tussen toonaangevende bedrijven en onderzoekers.
Toen Microsoft-CEO Satya Nadella onlangs in een podcast werd gevraagd naar de vertraging in de verbetering van AI-modellen en het gebrek aan nieuwe, hoogwaardige trainingsgegevens, bleef hij opmerkelijk kalm en zelfs optimistisch.
Hij beschreef de berekeningen in de inferentiefase als “een andere schaalwet.”
“Je hebt dus pre-training en dan efficiënte bemonstering in de testfase. Dit creëert tokens die kunnen worden teruggekoppeld naar pre-training, waardoor krachtigere modellen ontstaan die vervolgens op inferentie werken,” legde hij uit.
“Ik denk dat het een fantastische manier is om de mogelijkheden van het model uit te breiden,” voegde Nadella glimlachend toe.
Ilya Sutskever, medeoprichter van OpenAI, noemde tijdens zijn toespraak op NeurIPS in december eveneens testfase computing als een potentiële oplossing voor het probleem van ontbrekende gegevens.
De toekomst van AI: een nieuwe aanpak
In 2025 zal deze innovatieve aanpak grondig worden getest. Hoewel de uitkomsten nog onzeker zijn, blijft Charlie Snell, een vooraanstaand onderzoeker, optimistisch.
“De afgelopen drie jaar leek vooruitgang in AI vanzelfsprekend,” zei hij. “Nu bevinden we ons in een verkennende fase.”
Een cruciale vraag blijft echter onbeantwoord: hoe goed werkt deze rekentechniek in de praktijk? Volgens Snell presteert het bijzonder goed bij taken met een duidelijk en controleerbaar antwoord, zoals wiskundige vraagstukken.
“Maar bij taken zoals het schrijven van een essay, waar er geen eenvoudig te controleren antwoord is, blijft het lastig om de kwaliteit van de oplossing objectief te beoordelen,” legde hij uit.
Eerste tekenen van succes
Ondanks de uitdagingen tonen de eerste resultaten veelbelovende vooruitzichten. Snell vermoedt zelfs dat de uitkomsten van deze modellen al worden gebruikt om nieuwe AI-systemen te trainen.
“Er is een grote kans dat deze synthetische data beter zijn dan wat er momenteel op internet beschikbaar is,” verklaarde hij.
Een theoretisch voorbeeld: als het o1-model van OpenAI 90% scoort op een specifieke AI-benchmark, kunnen deze resultaten worden gebruikt om oudere modellen, zoals GPT-4, te verbeteren.
“Met een grote queryset kun je gegevens van o1 gebruiken om een nieuwe trainingsset te creëren en daarop een verbeterd model te ontwikkelen,” aldus Snell.
Concurrentie met DeepSeek
Volgens een rapport van TechCrunch uit december lijkt DeepSeek de output van OpenAI’s o1 te hebben gebruikt om zijn eigen AI-model te trainen. Het nieuwste product van DeepSeek, V3, presteert uitstekend in industriële benchmarks.
“Zij waren waarschijnlijk de eersten die o1 hebben nagebouwd,” zei Snell. “Ik heb bij OpenAI navraag gedaan, en zij zeggen dat het model er hetzelfde uitziet, maar weten niet hoe DeepSeek dit zo snel heeft gedaan.”
Optimisme voor de toekomst
Hoewel er uitdagingen zijn, blijven onderzoekers en bedrijven optimistisch over de toekomst van AI. Met nieuwe technieken zoals testfase computing en synthetische data lijkt de AI-industrie een manier te hebben gevonden om door te blijven groeien, zelfs nu de datalimieten in zicht komen.
