Het gebruik van ChatGPT kan OpenAI dagelijks tot PLN 700.000 kosten. Microsoft wil daar verandering in brengen. Computerservers kosten het meest.
Het gebruik van ChatGPT voor het schrijven van sollicitatiebrieven, het genereren van lesplannen en het bijwerken van je datingprofiel kan OpenAI dagelijks tot $ 700.000 kosten vanwege de dure technische infrastructuur waarop de AI draait, zegt Dylan Patel, hoofdanalist bij halfgeleideronderzoeksbureau SemiAnalysis, tegen The Information.
Dit komt omdat ChatGPT een enorme verwerkingskracht vereist om antwoorden te berekenen op basis van gebruikersopdrachten.
“De meeste van deze kosten hebben betrekking op dure servers”, aldus Patel in de technologiepublicatie.
In een telefonisch interview met Insider zei Patel dat het systeem nu waarschijnlijk nog duurder is om te gebruiken, omdat de eerste schattingen gebaseerd zijn op het GPT-3-model van OpenAI. GPT-4, het nieuwste model van het bedrijf, zou nog duurder in gebruik zijn, voegde hij eraan toe.
OpenAI reageerde niet onmiddellijk op het verzoek van Insider om commentaar voorafgaand aan de publicatie.
Hoewel het trainen van grote ChatGPT-taalmodellen tientallen miljoenen dollars kan kosten, zijn de operationele kosten of gevolgtrekkingskosten “veel hoger dan de trainingskosten bij het inzetten van het model op elke redelijke schaal”, vertelden Patel en Afzal Ahmad, een andere analist bij SemiAnalysis, aan Forbes. “In feite zijn de kosten van het afleiden in ChatGPT hoger dan de trainingskosten op wekelijkse basis”, leggen ze uit.
Bedrijven die OpenAI-taalmodellen gebruiken, betalen al jaren hoge prijzen. Nick Walton, CEO van Latitude, de startup achter het AI Dungeon-spel dat hints gebruikt om een plot te genereren, zei dat het het bedrijf $200.000 heeft gekost om het model uit te voeren – samen met de serverkosten van Amazon Web Services – per maand, zodat AI in 2021 kan reageren op miljoenen vragen van gebruikers, zoals gerapporteerd door CNBC.
De hoge kosten zijn de reden dat Walton besloot over te stappen naar een door AI ondersteunde taalsoftwareleverancier 21 Labs, die volgens hem de AI-kosten van zijn bedrijf heeft gehalveerd tot $100.000 per maand.
“We grapten dat we menselijke werknemers en AI-werkers hadden, en dat we aan elk van hen ongeveer hetzelfde bedrag besteedden”, vertelde Walton aan CNBC. “We gaven honderdduizenden dollars per maand uit aan AI, en we zijn geen grote startup, dus het waren zeer hoge kosten.”
Microsoft werkt naar verluidt aan een geheime chip
In een poging om de generatieve kosten van AI-modellen te verlagen, werkt Microsoft aan een AI-chip die het Athena noemt, zoals gerapporteerd door The Information. Het project, gelanceerd in 2019, ontstond jaren nadat Microsoft een deal van $ 1 miljard had gesloten met OpenAI, waarbij OpenAI zijn modellen exclusief op de Azure-cloudservers van Microsoft moest draaien.
Volgens The Information was het idee achter de regeling tweeledig. Directeuren van Microsoft realiseerden zich dat ze achterliepen op Google en Amazon als het ging om het maken van hun eigen chips, vertelde een bron die bekend was met de zaak aan The Information. Daarom ging Microsoft op zoek naar goedkopere alternatieven. Zijn AI-modellen draaiden op Nvidia-chips, ook wel grafische processors genoemd, en uiteindelijk besloot hij een chip te bouwen die goedkoper zou zijn.
Bijna vier jaar later werken volgens het rapport ruim 300 Microsoft-medewerkers aan de chip. Volgens twee met de zaak bekende bronnen zou de chip al volgend jaar beschikbaar kunnen worden gesteld voor intern gebruik door Microsoft en OpenAI.
