Nieuw onderzoek toont aan dat door AI aangedreven chatbots, zoals ChatGPT van OpenAI, een softwarebedrijf snel en kostenefficiënt kunnen runnen met minimale menselijke tussenkomst. Eerder publiceerden onderzoekers resultaten van een ander onderzoek waarin AI-bots, aangedreven door grote taalmodellen, zelfstandig een virtuele stad konden besturen.
In de nieuwste publicatie beschrijft een team van onderzoekers van Brown University en verschillende Chinese universiteiten een experiment waarin werd getest of AI-bots die ChatGPT 3.5 gebruiken het softwareontwikkelingsproces konden voltooien zonder voorafgaande training.
Elke AI-bot kreeg zijn taken
Om dit te testen, creëerden de onderzoekers een hypothetisch softwareontwikkelingsbedrijf genaamd ChatDev. Gebaseerd op het watervalmodel, een sequentiële benadering van softwareontwikkeling, werd het proces chronologisch in vier fasen verdeeld: ontwerp, codering, testen en documentatie.
De onderzoekers gaven specifieke rollen aan de AI-bots en voorzagen elk van ‘relevante details’ die ‘de toegewezen taken en rollen, communicatieprotocollen, beëindigingscriteria en beperkingen’ beschreven.
Nadat de rollen waren toegewezen, werd elke bot aan de juiste fase gekoppeld. Zo werkten de “CEO” en de “Chief Technology Officer” in de fase “ontwerp”, terwijl de “ontwikkelaar” en “grafisch ontwerper” in de fase “codering” werkten.
In elke fase communiceerden de AI-bots met elkaar om specifieke delen van het softwareontwikkelingsproces te voltooien, van het bepalen van de programmeertaal tot het opsporen van fouten in de code en het voltooien van de software, allemaal met minimale menselijke tussenkomst.
Verschillende scenario’s
De onderzoekers voerden experimenten uit met verschillende softwarescenario’s en analyseerden hoe lang het ChatDev kostte om elk type software te voltooien en hoeveel het zou kosten.
Zo kreeg ChatDev de opdracht om “een eenvoudig Gomoku-spel” te ontwerpen, een strategisch bordspel dat ook bekend staat als “Five in a Row.”
In de ontwerpfase vroeg de CEO de CTO om een “geschikte programmeertaal voor te stellen” die “aan de gebruikersbehoeften zou voldoen.” De CTO koos voor Python, waarop de CEO enthousiast reageerde en de eenvoud en leesbaarheid van Python prees als een populaire keuze voor zowel beginners als ervaren programmeurs.
Minder dan zeven minuten, goedkoper dan een dollar
Na 70 taken te hebben toegewezen, bleek uit het onderzoek dat het door AI aangestuurde bedrijf het hele softwareontwikkelingsproces kon voltooien “in minder dan zeven minuten, tegen een kostprijs van minder dan $ 1,” en dat het potentiële beveiligingskwetsbaarheden kon opsporen en oplossen dankzij functies als “geheugen” en “zelfreflectie.”
De publicatie vermeldde dat ongeveer 86,66 procent van de gegenereerde programma’s “zonder fouten” werkte.
“De resultaten van ons experiment demonstreren de efficiëntie en kosteneffectiviteit van een geautomatiseerd softwareontwikkelingsproces geleid door CHATDEV,” schreven de onderzoekers.
Op het moment van schrijven hadden de onderzoekers nog niet gereageerd op het verzoek van Insider om commentaar.
De bevindingen van het onderzoek wijzen op een van de vele manieren waarop krachtige generatieve AI-technologieën zoals ChatGPT specifieke banen kunnen overnemen. Sinds de lancering van de AI-chatbot in november wordt deze in verschillende sectoren gebruikt om tijd te besparen en de productiviteit te verhogen.
Problemen van het experiment
Het onderzoek was echter niet perfect. De onderzoekers identificeerden beperkingen, zoals fouten en vooroordelen in taalmodellen, die obstakels kunnen vormen voor softwareontwikkeling. Toch concluderen de onderzoekers dat hun bevindingen “het potentieel hebben om junior ontwikkelaars of ingenieurs in de praktijk te helpen.”
