La startup Pika Labs ha introdotto una nuova funzionalità rivoluzionaria sulla sua piattaforma di generazione video AI: la sincronizzazione labiale dell’audio con i personaggi AI.
Sebbene OpenAI abbia recentemente attratto l’attenzione con il suo generatore di video AI, Sora, Pika Labs, un’azienda di dimensioni più ridotte, ha svelato questa nuova funzionalità esclusiva sulla propria piattaforma.
In collaborazione con ElevenLabs, un’altra piattaforma basata sull’intelligenza artificiale, Pika ha sviluppato la nuova funzionalità Lip Sync, consentendo ai creatori di far parlare i personaggi nei video AI e sincronizzare i movimenti delle labbra con il discorso desiderato.
Questa rappresenta un ulteriore progresso nel campo dei video AI, mentre la tecnologia continua a evolversi. È probabile che i video AI raggiungeranno presto una fedeltà simile alle immagini AI.
I filmmaker che utilizzano i video AI possono finalmente far interagire i loro personaggi in conversazioni realistiche. In passato, i personaggi video dell’intelligenza artificiale non potevano parlare autonomamente o l’audio doveva essere aggiunto separatamente in fase di post-produzione.
La funzione Lip Sync è attualmente disponibile solo per gli abbonati al piano Pro di Pika Lab, al prezzo di $58 al mese.
Sebbene la funzionalità non sia ancora perfetta, come mostrato nel video di esempio, rappresenta comunque un passo avanti significativo e sarà sicuramente gradita da molti registi.
Per utilizzare Lip Sync, gli utenti devono inserire un testo per far sì che il programma lo converta in audio. Tuttavia, è anche possibile caricare direttamente l’audio desiderato, ad esempio proveniente da un podcast.
Tom’s Guide osserva che esiste già un’offerta simile con Synthesia, ma questa si limita a generare teste parlanti invece di personaggi completi.
Il 2024 si prospetta come un anno importante per la generazione di video AI, con aziende consolidate come Runway ML e Pika Labs che dovranno confrontarsi con la concorrenza di Stable Diffusion e Sora di OpenAI. Si dice anche che Midjourney stia lavorando su una propria piattaforma video AI.
A novembre, Pika Labs ha lanciato la versione 1.0 della sua piattaforma dopo aver annunciato di aver raccolto un finanziamento di 55 milioni di dollari.
