SORA: a nova AI da openAI que transforma palavras em vídeo é absurda!

[Lucasgabd]

Já viram o que a openAI lançou ontem?
uma engine equivalente ao dall-e para imagens, mas dessa vez para vídeos

fiquei muito impressionado com ela
dêem uma olhada

https://openai.com/sora

tem muitos tweets sobre o assunto também



a imagem original virou esse vídeo.

recomendo darem uma olhada, não consigo nem prever ainda o impacto total disso no mundo, realmente o futuro será incrível.

[TryNinja]

Vi os videos de exemplo com seus respectivos prompts, mas não consigo medir a gravidade dessa atualização sem tentar eu mesmo. O problema sempre é a naturalidade dos videos quando a customização e maluquisse vai mais a fundo.

Ficarei convencido se der pra colocar algo muito especifico e realmente sair um video bom, como "Um ninja, com uma camisa do Bitcoin, quebrando exatamente quatro tabuas em sequencia, cada uma marcada com um número, enquanto faz piruetas. De fundo o Rio de Janeiro cyberpunk, cai um meteoro do céu e os passaros voam para longe."



Por enquanto já to achando surreal.

[Disruptivas]

Fico imaginando sempre que vamos começar a falar com as pessoas via promp/imagens malucas.

Acordo falando:
Oi mãe, como está?

Ela digita um prompt no WhatsApp e ele gera um video da expressão e sensação que quer passar e ai vai. E no final, ninguém mais nem entende nada HAHAHAHA
Palavras > Emojis > Reações > Vídeos de Prompt

Mas.... procurei o preço pra testar e não encontrei. Será que está inclusivo na ultima versão paga do ChatGPT?

[TryNinja]

Mas.... procurei o preço pra testar e não encontrei. Será que está inclusivo na ultima versão paga do ChatGPT?

Ainda não está aberta ao público, aquela coisa de limitar o acesso para analisar os riscos e corrigir falhas. Com o tanto de "jailbreak" que rolou lá no começo do ChatGPT, fico meio preocupado com o que pode ser feito com essa ferramenta. Imagina se for possível gerar vídeos fakes com coisas sérias com cunho sexual, violencia corporal, assasinato, etc...

Today, Sora is becoming available to red teamers to assess critical areas for harms or risks. We are also granting access to a number of visual artists, designers, and filmmakers to gain feedback on how to advance the model to be most helpful for creative professionals.

We’re sharing our research progress early to start working with and getting feedback from people outside of OpenAI and to give the public a sense of what AI capabilities are on the horizon.

[joker_josue]

Ainda não está aberta ao público, aquela coisa de limitar o acesso para analisar os riscos e corrigir falhas. Com o tanto de "jailbreak" que rolou lá no começo do ChatGPT, fico meio preocupado com o que pode ser feito com essa ferramenta. Imagina se for possível gerar vídeos fakes com coisas sérias com cunho sexual, violencia corporal, assasinato, etc...

Eles a partida já estão a configurar a ferramenta para evitar esse tipo de situação:

For example, once in an OpenAI product, our text classifier will check and reject text input prompts that are in violation of our usage policies, like those that request extreme violence, sexual content, hateful imagery, celebrity likeness, or the IP of others. We’ve also developed robust image classifiers that are used to review the frames of every video generated to help ensure that it adheres to our usage policies, before it’s shown to the user.

Agora, se vai mesmo ser o suficiente para evitar abusos, é que iremos ver.

[rdluffy]

É impressionante essa ferramenta, eu fiquei imaginando com os novos óculos de realidade virtual de qualidade, igual ao da Apple, o tanto de conteúdo que não pode gerar e o nível de imersão que poderá proporcionar no futuro?
O pessoal já está mostrando uns vídeos bem legais, é uma pena só saber que irão usar esse conteúdo pro mal também, pra fazer conteúdo político, pra fazer montagem com as pessoas, conteúdo adulto etc

Mas será que finalmente chegou a hora que "qualquer" um poderá criar seu filme com o roteiro próprio e custo baixíssimo?

[sabotag3x]

Mas será que finalmente chegou a hora que "qualquer" um poderá criar seu filme com o roteiro próprio e custo baixíssimo?

Pior que até grandes estúdios já estavam usando IA, dá uma olhada na cena de abertura desse filme da Marvel: https://youtu.be/JUyfia7aQS8?t=74

O maior problema que vejo é que essas IAs são bem limitadas, ontem estava vendo uma comparação entre os novos vídeos da Sora e imagens do MidJourney (mesmos prompts), tem muita coisa IGUAL: https://twitter.com/nickfloats/status/1758497031696621793

Vou colar uma imagem aqui para vocês não precisarem sair do fórum para ver, mas há vários outros exemplos:


Em cima é um vídeo da Sora, em baixo são 4 imagens do MidjOurney.. é basicamente o mesmo cara.

Então vejo um problema nesses filmes, de todos parecerem iguais tanto em personagens quanto em outros detalhes.. Ou será que isso é bom e teremos estrelas virtuais assim como temos as reais? quem sabe o "senhor de Paris" acima fique famoso igual o Leonardo DiCaprio

[Lucasgabd]

Vi os videos de exemplo com seus respectivos prompts, mas não consigo medir a gravidade dessa atualização sem tentar eu mesmo. O problema sempre é a naturalidade dos videos quando a customização e maluquisse vai mais a fundo.

Ficarei convencido se der pra colocar algo muito especifico e realmente sair um video bom, como "Um ninja, com uma camisa do Bitcoin, quebrando exatamente quatro tabuas em sequencia, cada uma marcada com um número, enquanto faz piruetas. De fundo o Rio de Janeiro cyberpunk, cai um meteoro do céu e os passaros voam para longe."



Por enquanto já to achando surreal.

acho que daqui uma ou duas versões novas já deve ser possível fazer isso
se é que não dá na versão atual

agora fico pensando, "piruetas" pode ser um monte de coisas né,
"dançando" também num outro possível prompt.

qual será o default de estilo de pirueta, dança, etc que a AI escolhe?
isso acho interessante

definitivamente na dança a dois ela deve escolher o passo clássico "dois prá lá, dois pra cá" a não ser q se prove o contrário

seguindo a ideia de que a IA é o dataset que alimenta ela + a forma como ela relaciona esse dataset, na área da dança o que vai dominar são os videozinhos estilo tiktok.

<..>

Mas será que finalmente chegou a hora que "qualquer" um poderá criar seu filme com o roteiro próprio e custo baixíssimo?

essa hora já está acontecendo
dá uma olhada no runway e nas competições que eles fazem
https://runwayml.com/

aqui tem alguns:
https://gen48.runwayml.com/winners

[joker_josue]

Então vejo um problema nesses filmes, de todos parecerem iguais tanto em personagens quanto em outros detalhes.. Ou será que isso é bom e teremos estrelas virtuais assim como temos as reais? quem sabe o "senhor de Paris" acima fique famoso igual o Leonardo DiCaprio

Mas, assim como acontece nos filmes atuais, sem recurso a IA, que a redução desses detalhes - "erros", depende do realizador e do tempo gasto na edição. O mesmo irá acontecer nos trabalhos realizados via IA. E redução desses "erros" vai depender do tempo dedicado a edição do filme.

Porque as vezes ocorrem erros bem simples, que só os mais atentos reparam. Por exemplo, no outro dia estava a ver um filme, e notou-se claramente que a mesma cena foi grava em dias diferentes ou apos uma pausa no set, porque num momento o ator estava de chinelas e de repente ficou com tênis. 

Enfim, até no IA nem tudo vai ser bom. Mas, certamente irão surgir trabalhos fantásticos.

[Pumared]

Olhando bem lembra bastante engines do Unity. Ainda acredito que seja algum sistema dessa forma. Onde possui todos os assets e a partir do comando do usuário ele tenta juntar toda a cena usando as regras de fisica, como se comportam, colisões etc etc

[joker_josue]

Olhando bem lembra bastante engines do Unity. Ainda acredito que seja algum sistema dessa forma. Onde possui todos os assets e a partir do comando do usuário ele tenta juntar toda a cena usando as regras de fisica, como se comportam, colisões etc etc

Claro que terá um motor gráfico por detrás. E provavelmente o Unity, sendo uns dos melhores e mais acessível, talvez seja o utilizado.

Mas esses motores, tem a possibilidade de trabalhar com código. Então, em conjunto com assets de alta qualidade, ou em combinação com as ferramentas de criação de imagens IA, que criam assets, e com o código gerado com base no texto do utilizador, é criado o filme.

E a partir do momento que estas plataformas, como o SORA, além do vídeo, disponibilizarem os ficheiros brutos dos mesmos, a qualidade irá aumentar muito mais.

[Pumared]

Olhando bem lembra bastante engines do Unity. Ainda acredito que seja algum sistema dessa forma. Onde possui todos os assets e a partir do comando do usuário ele tenta juntar toda a cena usando as regras de fisica, como se comportam, colisões etc etc

Claro que terá um motor gráfico por detrás. E provavelmente o Unity, sendo uns dos melhores e mais acessível, talvez seja o utilizado.

Mas esses motores, tem a possibilidade de trabalhar com código. Então, em conjunto com assets de alta qualidade, ou em combinação com as ferramentas de criação de imagens IA, que criam assets, e com o código gerado com base no texto do utilizador, é criado o filme.

E a partir do momento que estas plataformas, como o SORA, além do vídeo, disponibilizarem os ficheiros brutos dos mesmos, a qualidade irá aumentar muito mais.

Acho que não seria algo tão "claro" assim vide que outros do mesmo seguimento estão fazendo um caminho totalmente contrário. Mas acredito que eles não dependeriam de uma engine como a Unity. Seria interessante ter uma própria pois atualizações vão ser necessárias e depender da Unity não seria uma vantagem.

[joker_josue]

Acho que não seria algo tão "claro" assim vide que outros do mesmo seguimento estão fazendo um caminho totalmente contrário. Mas acredito que eles não dependeriam de uma engine como a Unity. Seria interessante ter uma própria pois atualizações vão ser necessárias e depender da Unity não seria uma vantagem.

Sim, não tem de ser exatamente o Unity. Falamos do Unity porque é o mais conhecido e acessível, com uma qualidade excelente.

Agora, também não estou a ver eles construírem um engine do zero. Porque isso exige muitos recursos, para garantir a qualidade já apresentada. Mas, existem muito engines no mercado, e poderão ter pegado num deles e adaptar as suas necessidades, não ficando dependentes de terceiros.

[sabotag3x]

Vocês acham que tem alguma engine por trás? na minha visão o negócio deles não calcula nenhuma física, tanto que ainda aparecem diversos bugs de iluminação, movimentação, etc.. parece ser uma geração de imagens em sequência sem nenhuma regra.

Falando nisso, fiquei curioso sobre o tempo que leva para gerar esses vídeos.. se uma imagem de IA já levava uns "30 segundos", um vídeo de 1 minuto deve demorar 24 frames * 60s de duração * 30s de renderização = bastante.

[joker_josue]

Vocês acham que tem alguma engine por trás? na minha visão o negócio deles não calcula nenhuma física, tanto que ainda aparecem diversos bugs de iluminação, movimentação, etc.. parece ser uma geração de imagens em sequência sem nenhuma regra.

Falando nisso, fiquei curioso sobre o tempo que leva para gerar esses vídeos.. se uma imagem de IA já levava uns "30 segundos", um vídeo de 1 minuto deve demorar 24 frames * 60s de duração * 30s de renderização = bastante.

Se não usa, mais cedo ou mais tarde vai usar.
Criar frame a frame, mesmo para um IA, é muito tempo de produção. Não faz sentido.

A ideia é o IA usando as ferramentas existes, ser capaz de executar o mais rápido possível os trabalhos propostos. Se não eles começam a querer reinventar a roda, o que não faz muito sentido.

Além disso, esses bugs mencionados, podem ocorrer mesmo tendo um engine por trás, visto que tudo vai depender do código escrito.
Isto é como em bugs de jogos, que as vezes os cálculos não são corretos, e vemos carros a ultrapassar paredes sem danificar.

[Lucasgabd]

lembro que motion tracking pelo after effects para fazer máscaras e alguns efeitos especiais básicos já me impressionavam bastante
mas isso vai pra um lugar mágico completamente novo e surreal
não dá nem pra imaginar o que vai existir no futuro considerando a evolução que essas ferramentas tiveram em apenas um ano.

[criptoevangelista]

lembro que motion tracking pelo after effects para fazer máscaras e alguns efeitos especiais básicos já me impressionavam bastante
mas isso vai pra um lugar mágico completamente novo e surreal
não dá nem pra imaginar o que vai existir no futuro considerando a evolução que essas ferramentas tiveram em apenas um ano.

Você tocou nesse assunto de efeitos e criar máscaras e tal... e como você tem um canal de bastante sucesso no Youtube, talvez você possa me ajudar... vou usar como exemplo o Biticoinheiros o efeito que o Dov usa, para manter sua privacidade. Você saberia me dizer como ele faz aquilo? é um software? de usar um avatar ao invés de aparecer no vídeo? desculpe se a pergunta parecer idiota, é que sou bem leigo a respeito de produções audio visuais.

eu gostaria de criar uns tutoriais e conversar sobre games no youtube mas não to muito afim de por minha cara la  

[sabotag3x]

Você tocou nesse assunto de efeitos e criar máscaras e tal... e como você tem um canal de bastante sucesso no Youtube, talvez você possa me ajudar... vou usar como exemplo o Biticoinheiros o efeito que o Dov usa, para manter sua privacidade. Você saberia me dizer como ele faz aquilo? é um software? de usar um avatar ao invés de aparecer no vídeo? desculpe se a pergunta parecer idiota, é que sou bem leigo a respeito de produções audio visuais.

eu gostaria de criar uns tutoriais e conversar sobre games no youtube mas não to muito afim de por minha cara la  

Já vi tutoriais sobre isso, mas você está testando minha memória.. é um programa da Adobe também.. talvez é o Character Animator, dá uma olhada: https://youtu.be/VvT4cBWdViE?t=70

Não sei se é esse que o Dov usa, mas é mais ou menos nessa linha.. Achei esse outro vídeo com o uso do CA em lives, então provavelmente é esse mesmo: https://youtu.be/w-Xp800e5tc?t=876

[alegotardo]

Ainda não está aberta ao público, aquela coisa de limitar o acesso para analisar os riscos e corrigir falhas. Com o tanto de "jailbreak" que rolou lá no começo do ChatGPT, fico meio preocupado com o que pode ser feito com essa ferramenta. Imagina se for possível gerar vídeos fakes com coisas sérias com cunho sexual, violencia corporal, assasinato, etc...

Então, eu acredito que o "motor de interpretação" já esteja bem protegido de falhas desse tipo, então agora o que eles precisam fazer é apenas a saída em um novo formato... texto já temos, imagens estão "quase perfeitas" e o novo obstáculo agora é os videos.

Enfim não sei se fui claro, mas a chances de eles fazerem um video de violência corporal é tão improvável quanto já é hoje vermos o ChatGP montando um diálogo sobre isso.
Obviamente que falhas ainda existem, e aí o que podemos concluir de fato é o alcance dos estragos. Pois ler uma frase de "eu matei fulano" é muito diferente de vermos um video com essa ação.

[Lucasgabd]

lembro que motion tracking pelo after effects para fazer máscaras e alguns efeitos especiais básicos já me impressionavam bastante
mas isso vai pra um lugar mágico completamente novo e surreal
não dá nem pra imaginar o que vai existir no futuro considerando a evolução que essas ferramentas tiveram em apenas um ano.

Você tocou nesse assunto de efeitos e criar máscaras e tal... e como você tem um canal de bastante sucesso no Youtube, talvez você possa me ajudar... vou usar como exemplo o Biticoinheiros o efeito que o Dov usa, para manter sua privacidade. Você saberia me dizer como ele faz aquilo? é um software? de usar um avatar ao invés de aparecer no vídeo? desculpe se a pergunta parecer idiota, é que sou bem leigo a respeito de produções audio visuais.

eu gostaria de criar uns tutoriais e conversar sobre games no youtube mas não to muito afim de por minha cara la  

nunca fiz esse tipo de coisa mas acho interessante também
não parece muito complexo, só usar um filtro que modifique sua imagem e outro que modifique a voz, nao? deve ter um monte de tutoriais no youtube sobre como fazer
aqui tem um exemplo usando warpfusion para transformar um video em AI que pode ser usado pra isso
https://www.youtube.com/watch?v=tUHCtQaBWCw
(mas acredito que existem soluções mais simples

provavelmente perguntar pro próprio bitcoinheiros pode ser uma boa.