We zullen tekstomschrijvingen omzetten in video’s met het Firefly Video-model, een nieuw product geïntroduceerd door Adobe. Deze videogenereertool wordt onderdeel van de Premiere Pro-app en vormt concurrentie voor OpenAI, Runway, Google en Meta in een steeds drukker wordende markt.
In tegenstelling tot zijn concurrenten benadrukt Adobe dat het Firefly Video-model uitsluitend is getraind op gelicentieerde content waarvoor het bedrijf de juiste toestemming heeft verkregen. Hierdoor zouden er geen ethische of auteursrechtelijke problemen zijn. Adobe heeft een groot deel van zijn videomateriaal uitbesteed en geïnvesteerd in het opbouwen van een eigen database die zijn AI-model helpt bij het genereren van video’s.
Volgens Adobe is dit bovendien “het eerste publiekelijk beschikbare AI-videomodel dat veilig voor commerciële doeleinden gebruikt kan worden.”
Voorlopig is de AI-video functie echter niet beschikbaar voor alle gebruikers. Op dit moment loopt de bètatest, en alleen mensen op de wachtlijst hebben toegang.
AI-video: Snel werktempo
Het Firefly Video-model is in ontwikkeling sinds april 2023, of althans toen Adobe voor het eerst meldde dat het daadwerkelijk werkte aan een AI-videogenereermodel. Het bedrijf biedt al AI-tools aan voor het bewerken van foto’s en illustraties, die geïntegreerd zijn in de Photoshop-applicatie. Nu hoopt Adobe dat videomakers en editors de nieuwe AI-mogelijkheden zullen waarderen, vooral omdat het model video’s kan genereren die naadloos aansluiten bij traditioneel opgenomen beeldmateriaal.
Adobe wil profiteren van de groeiende populariteit van AI-tools om meer gebruikers en daarmee betalende klanten aan te trekken. Omdat de technologie vrij is van auteursrechtelijke problemen, verwacht Adobe bovendien dat veel zakelijke klanten geïnteresseerd zullen zijn in het kopen van toegang. “Wat we horen van klanten is dat ze AI-tools geweldig vinden, maar dat hun juridische afdelingen vaak toegang blokkeren,” zegt Eliot Greenfield, Chief Digital Media Technology Officer van Adobe, verwijzend naar concurrenten. Bij Firefly Video zou dit probleem niet spelen.
Veel bedrijven maken al gebruik van Adobe-software, dus het bedrijf verwacht veel belangstelling. Momenteel wordt de AI van Adobe alleen gebruikt in Illustrator en Photoshop, die worden ingezet voor grafische bewerking. Greenfield benadrukt dat alle Adobe-oplossingen ‘commercieel veilig’ zijn.
Hoe is het model precies getraind om video’s te genereren? Volgens Adobe hebben ze voornamelijk inhoud gebruikt uit een uitgebreide bibliotheek met commercieel gelicentieerde stockbeelden, bedoeld voor marketeers en creatieve bureaus, en in sommige gevallen gebruikten ze content uit het publieke domein of met de juiste licenties. Adobe heeft ook veel werk uitbesteed aan freelancers voor $3 per minuut opname, waarbij de rechten werden overgedragen.
AI-video’s van hoge kwaliteit
De eerste tool voor het genereren van video’s, genaamd Generative Extend, is uitgebracht als een bètaversie in Premiere Pro. Deze tool kan worden gebruikt om beeldmateriaal dat iets te kort is uit te breiden aan het begin of einde van een clip, of om correcties aan te brengen midden in een opname, zoals het herstellen van verschoven zichtlijnen of onverwachte bewegingen.
Clips kunnen slechts met twee seconden worden verlengd, dus Generative Extend is vooral geschikt voor kleine aanpassingen. Het kan echter de noodzaak om opnieuw op te nemen verminderen om kleine onvolkomenheden te corrigeren. De uitgebreide clips kunnen worden gegenereerd in 720p of 1080p met 24 frames per seconde.
Daarnaast biedt Adobe ook testversies van Text-to-Video aan, een tool die op dezelfde manier werkt als andere videogeneratoren zoals Runway of Sora van OpenAI. Gebruikers hoeven slechts een tekstbeschrijving in te voeren van wat ze willen genereren, waarna ze het voltooide resultaat ontvangen. Er kunnen verschillende stijlen worden nagebootst, zoals “echte” film, 3D-animatie of stop-motionanimatie.
Image-to-Video gaat nog een stap verder, waardoor u naast een tekstprompt ook een referentieafbeelding kunt toevoegen, zodat u meer controle heeft over de resultaten.
Voorlopig is het echter nog niet mogelijk om op deze manier volledige films te maken. De maximale lengte van de gegenereerde clips is slechts enkele seconden.
De demonstratie van het videogeneratiemodel werd niet met veel enthousiasme ontvangen door investeerders. De aandelen van Adobe stegen slechts licht, maar zijn sinds het begin van het jaar met 16% gedaald.
