L'IA pot dirigir pel·lícules? Aquest acaba de fer

Tots els éssers humans, fins i tot directors de cinema famosos com Federico Fellini, tenen una vida útil limitada. Però el seu talent pot viure (i seguir creant) amb? intel · ligència artificial ? Potser sí.



Campari Red Diaries: Fellini Davant , un curtmetratge i un documental entre bastidors, s'estrena al Festival de Cinema de Venècia el 7 de setembre i es presentarà al Festival de Cinema de Nova York abans d'un llançament sota demanda en mercats selectes.

Tot i que hi ha tres humans amb crèdits de direcció: Zackary Canepari i Drea Cooper pel documental i Maximilian Niemann al curtmetratge, la força creativa posthumana d'aquesta pel·lícula és la intel·ligència artificial, dirigida per l'estudi de producció d'innovació. UNITAT 9 . Hem parlat amb Marc D’Souza, director de producció a UNIT9, per saber-ne més.






Trobar el Flair de Fellini

La pregunta darrere Campari Red Diaries: Fellini Davant és si es pot entrenar la intel·ligència artificial no només per imitar l'obra de Fellini, sinó per ampliar-la a obres noves i originals. No hem vist la pel·lícula ni el documental, ja que no es va posar a disposició de la premsa abans de la seva estrena, però la pel·lícula està ambientada a Roma i explora la vida, l'obra i els somnis de Fellini com amb el propi estil de Fellini. El documental que l'acompanya ofereix la història de fons sobre com l'IA va aprendre a dirigir-lo.

halo 5 té forja

'Hem utilitzat algorismes d'IA en una selecció de pel·lícules i guions anteriors de Fellini per extreure un conjunt de dades ric i establir patrons que poguessin determinar les decisions creatives de Fellini, diu D'Souza. El processament del llenguatge natural, la visió per ordinador i el processament d'imatges es van utilitzar per extreure les dades. Es van analitzar el tipus de pla, els talls d'escena, el moviment de la càmera, els objectes per fotograma, l'emoció facial i la sintaxi i l'estructura d'acció/diàleg, així com escenes i ubicacions.



Marc D’SouzaMarc D’Souza

Fellini té un estil molt reconeixible, ideal per a una intel·ligència que busca patrons, i el director va ser prolífic, de manera que hi havia molt material per a l'IA per ingerir. Un gegant del cinema d'art del segle XX, Fellini va arribar a la majoria d'edat sota el trauma del feixisme italià de postguerra i va quedar fascinat pel subconscient, mantenint diaris de somnis durant dècades per entendre què el va impulsar, abans de transposar al cel·luloide les escenes més estranyes i meravelloses.


Supervisió de la IA

Per garantir un control del projecte, l'equip de producció global es va reunir sota l'atenta mirada de Francesca Fabbri Fellini. És la neboda de Fellini i la fundadora de Revista Fellini , que protegeix el seu llegat per a les generacions futures. Els membres supervivents de la tripulació original de Fellini també van consultar sobre el projecte, per aconsellar a l'IA què era (o era). no ) 'Felliniesque'.

Com els que millor coneixien l'esperit del director, van ser capaços de validar la visió de l'IA perquè la producció final es pogués percebre com una veritablement felliniana, assenyala D'Souza.

mlb 15 ressenyes de l'espectacle

Matemàtiques de la Universitat d'Oxford Professor Marcus du Sautoy , i Dr. Emily L. Spratt , un historiador de l'art de la Universitat de Princeton i un expert en ciències de dades, van ser cridats per a la supervisió acadèmica. Però, com va ensenyar l'equip de producció a la IA a dirigir com Fellini?

La IA va tenir dos papers principals dins del procés, diu D'Souza. El primer va ser analitzar les pel·lícules i els guions del passat de Fellini per extreure allò que les fa felliniques. El segon va ser utilitzar aquestes dades per generar suggeriments per a la creació d'aquest nou curtmetratge amb el sabor de Fellini. Es van investigar milions de fotogrames. Per exemple, per estudiar el moviment de la càmera, només un element de molts, vam analitzar prop de 3 milions de fotogrames i vam dedicar gairebé 260 hores a extreure les dades'.


Coneix el guionista sintètic

Però abans de capturar cap fotograma a la llauna virtual, necessitaven un guió.

UNIT9 va crear una eina personalitzada per gestionar la generació de scripts originals, basant-se en OpenAI GPT-2 (haurien utilitzat GPT-3, però no va sortir el 2019 quan es va iniciar el desenvolupament del projecte). Això va significar que l'IA es va establir per llegir tots els guions que Fellini va escriure, desglossant-los en estil, context, nomenclatura, juxtaposicions de conceptes, temes/motius recurrents, etc.

encaminador asus ac1900 de banda dual

Llavors, l'IA va compondre un guió completament nou, que és realment genial, tret que et guanyis la vida d'escriure guions especificats a Hollywood.


Dins del conjunt d'eines d'IA

noi assegut a un escriptori amb diverses pantalles editant la pel·lícula

Què hi havia sota el capó de la configuració tecnològica?

UNIT9 va desplegar algunes eines de creació d'algoritmes comercials existents ( TensorFlow , PyTorch ), però també en va crear diverses de noves des de zero. En lloc de desplegar una xarxa adversa generativa (GAN), on dues xarxes neuronals en competència l'obtenen per obtenir la sortida correcta, UNIT9 va decidir utilitzar un enfocament d'aprenentatge supervisat. Això els va donar més control sobre el procés i els va permetre treballar en múltiples reptes alhora, explica D'Souza.

Recomanat pels nostres editors

pel·lícules 6 serveis de streaming Els amants del cinema els encantaran Els millors serveis de reproducció de pel·lícules per a la imatge del 2021 Els millors serveis de reproducció de pel·lícules per al 2021 Nit de pel·lícules virtuals: com organitzar una imatge de festa de visualització Nit de pel·lícules virtuals: com organitzar una festa de visualització

'Per identificar i classificar diferents tipus de plans cinematogràfics, hem utilitzat el Classificador de tipus de tir Model per a la xarxa ResNet-50; Màscara R-CNN per a la detecció d'objectes, i YOLOv3 i DeepSort per al seguiment de diverses persones en temps real', diu D'Souza. 'També vam portar Dur , l'API d'aprenentatge profund de Python per a la detecció d'emocions dins d'un canal de càmera en directe.

Vam desenvolupar una eina clau per a la 'visualització prèvia', diu D'Souza, que va generar una seqüència de plans i retalls de càmera, i després els va avaluar amb l'estil de llenguatge visual de Fellini, abans de comprometre'ns a rodar-los. Aquest model d'IA al nucli de l'eina, amb el model de predicció de trets de Fellini, el vam desenvolupar a UNIT9 des de zero, i després el vam integrar a Unreal Engine d'Epic com a connector.

En el llenguatge cinematogràfic, l'IA es va convertir en un assistent de direcció i director de fotografia de la segona unitat.


Cap al Festival de Cinema de Venècia

Al final, el curtmetratge s'assemblava a l'obra del gran Federico Fellini? Deu tenir, com Francesca Fabbri Fellini, protectora del seu llegat, li ha donat la seva benedicció.

telèfon kyocera at&t

Campari Red Diaries: Fellini Davant ara es dirigirà a la seva estrena al Festival de Cinema de Venècia. A mesura que l'equip UNIT9 desmunta els servidors i comença el següent projecte, D'Souza està satisfet que el resultat final sigui la prova que la IA és cada dia més intel·ligent.

El que personalment m'agrada d'aquest projecte és que realment provoca debat sobre el futur del cinema i el paper que hi jugarà l'IA, ens diu D'Souza. A més, una part de la bellesa d'utilitzar la IA és que hi ha moltes coses possibles, coses que com a humans potser ni tan sols hem pensat encara.

Recomanat