Nieuw onderzoek toont aan dat AI-aangedreven chatbots zoals ChatGPT van OpenAI een softwarebedrijf snel en kosteneffectief kunnen runnen, met minimale menselijke tussenkomst.
Eerder publiceerden onderzoekers de resultaten van een ander onderzoek waarin AI-bots, aangedreven door grote taalmodellen, zelfstandig een virtuele stad konden besturen.
In de nieuwste publicatie beschrijft een team van onderzoekers van Brown University en verschillende Chinese universiteiten een experiment waarin werd getest of AI-bots die ChatGPT 3.5 gebruiken het softwareontwikkelingsproces konden voltooien zonder voorafgaande training.
Elke AI-bot kreeg zijn taken
Om dit te testen, creëerden de onderzoekers een hypothetisch softwareontwikkelingsbedrijf genaamd ChatDev. Gebaseerd op het watervalmodel, een sequentiële benadering van softwareontwikkeling, werd het proces in chronologische volgorde in vier fasen verdeeld: ontwerp, codering, testen en documentatie.
De onderzoekers kenden vervolgens specifieke rollen toe aan de AI-bots, waarbij ze elk van hen ‘relevante details’ gaven die ‘de aangewezen taken en rollen, communicatieprotocollen, beëindigingscriteria en beperkingen’ beschreven.
Nadat de onderzoekers de AI-bots hun rollen hadden toegewezen, werd elke bot toegewezen aan de juiste fasen. De “CEO” en “Chief Technology Officer” van ChatDev werkten bijvoorbeeld in de fase “ontwerp”, en “ontwikkelaar” en “grafisch ontwerper” werkten in de fase “codering”.
In elke fase praatten AI-bots met elkaar, met minimale menselijke tussenkomst, om specifieke delen van het softwareontwikkelingsproces te voltooien, van het beslissen welke programmeertaal ze moesten gebruiken, tot het identificeren van fouten in de code, tot het voltooien van de software.
Verschillende scenario’s
De onderzoekers voerden een experiment uit met verschillende softwarescenario’s en onderwierpen deze aan meerdere analyses om te zien hoe lang het zou duren voordat ChatDev elk type software zou voltooien en hoeveel elk zou kosten.
ChatDev ontving onder meer de opdracht om “een eenvoudig Gomoku-spel te ontwerpen”, een strategisch bordspel dat ook wel bekend staat als “Five Points”.
In de ontwerpfase vroeg de CEO de technologiedirecteur om “een specifieke programmeertaal voor te stellen” die “zou voldoen aan de behoeften van de nieuwe gebruiker”, en hij koos voor Python. Toen zei de CEO: “Geweldig!” en legde uit dat “de eenvoud en leesbaarheid van deze programmeertaal het een populaire keuze maken voor zowel beginners als ervaren programmeurs.”
Nadat de CTO zei: “Laten we beginnen”, ging ChatDev verder met de codeerfase, waar de CTO de ontwikkelaar vroeg om het bestand te maken, en vervolgens vroeg de ontwikkelaar de ontwerper om een ”prachtige grafische gebruikersinterface” te maken. De reeks gesprekken werd in elke fase herhaald totdat de software werd ontwikkeld.
Minder dan zeven minuten, goedkoper dan een dollar
Na het toewijzen van 70 taken aan ChatDev bleek uit het onderzoek dat het AI-aangedreven bedrijf in staat was om het hele softwareontwikkelingsproces te voltooien “in minder dan zeven minuten, tegen een kostprijs van minder dan $1”, en dit alles terwijl “potentiële kwetsbaarheden” werden geïdentificeerd en geëlimineerd dankzij de functies “geheugen” en “zelfreflectie”.
De publicatie vermeldde dat ongeveer 86,66 procent van de gegenereerde programma’s “zonder fouten werden uitgevoerd”.
“De resultaten van ons experiment demonstreren de efficiëntie en kosteneffectiviteit van een geautomatiseerd softwareontwikkelingsproces onder leiding van ChatDev”, schreven de onderzoekers in de paper.
Op het moment van schrijven hadden de onderzoekers nog niet gereageerd op het verzoek van Insider om commentaar.
De bevindingen van het onderzoek wijzen op een van de vele manieren waarop krachtige generatieve AI-technologieën zoals ChatGPT specifieke banen zouden kunnen overnemen. Sinds de AI-chatbot in november werd gelanceerd, gebruiken werknemers in verschillende sectoren deze op het werk om tijd te besparen en de productiviteit te verhogen.
Vooral ontwikkelaars kunnen generatieve AI-tools nuttig vinden voor hun persoonlijke en professionele leven. Daniel Dippold, een programmeur uit Berlijn, gebruikte ChatGPT om een programma te ontwikkelen dat hem hielp een appartement te vinden, en medewerkers van Amazon gebruikten ChatGPT om software te maken.
Problemen van het experiment
Het onderzoek was echter niet perfect. Onderzoekers hebben beperkingen geïdentificeerd, zoals fouten en vooroordelen in taalmodellen, die een obstakel kunnen vormen voor de ontwikkeling van software. Toch zeggen onderzoekers dat de conclusies van het onderzoek “het potentieel hebben om junior ontwikkelaars of ingenieurs in de echte wereld te helpen.”
