você sabe como o ChatGPT funciona?

[Lucasgabd]

Compartilhei esse artigo em resposta a um outro tópico e achei que ele valia um tópico por si só

já viram como essas LLMs (large language models) funcionam?

tem uma relação forte com estatísticas da linguagem, o modelo calcula qual a palavra/frase com mais probabilidade de gerar um bom resultado e coloca essa frase em sequência, com um tempero de aleatoriedade e uma memória do que foi dito.

What Is ChatGPT Doing … and Why Does It Work?



O artigo é do Wolfram, que criou uma ferramenta absurda de cálculo online, imagine o google da matemática, caso alguém não conheça:
https://www.wolframalpha.com/

O artigo vai bem além da minha compreensão e fica bem técnico mas me ajudou a entender melhor o que o ChatGPT faz e como ele "pensa". Vale ler.

[1714985076]

1714985076

[1714985076]

1714985076

[1714985076]

1714985076

[1714985076]

1714985076

[1714985076]

1714985076

[joker_josue]

tem uma relação forte com estatísticas da linguagem, o modelo calcula qual a palavra/frase com mais probabilidade de gerar um bom resultado e coloca essa frase em sequência, com um tempero de aleatoriedade e uma memória do que foi dito.

É ai que depois entra a capacidade de processamento rápido, e uma linha de auto aprendizagem, para reduzir a repetição de cálculos.
Por isso é que, quando se soltar ainda mais as rédeas aos IA, as coisas vão escalar muito rápido.

[darkv0rt3x]

Conheci o Wolfram Alpha em 2012. Fiquei bastante surpreendido com o que o site conseguia fazer. Quando comecei a usar o WolframAlpha, ainda não era o que é hoje mas era impressionante. E a forma como o site interpreta o nosso input era o que mais saltava à vista!

De grosso modo, e quem tem uma noção, mesmo que  muito pequena sobre computadores, tecnologia e programação, sabe que determinados caractéres têm significado específico/diferente em alguns contextos. Por exemplo a ",", o ";", o ".", em programação são usados com diferentes propósitos, e na altura, era muito fácil (como o é agora), de ir ao WolframAlpha, pedir um cáculo qualquer, e em duas ou três tentativas, a gente acerta a forma como devemos enviar os dados ao WolframAlpha. Se precisarmos de um cálculo que tenhamos que enviar dois ou mais dados, se aquilo não funcionar com uma vírgula ou com um ponto-e-vírgula e eventualmente uns parêntesis, é porque estamos a fazer algo mesmo sem lógica nenhuma, mas regra geral, é muito fácil obter resultados dali.

No entanto, em 2012, o site só pedia para pagar se nós quiséssemos ver os cálculos passo a passo e ver os passos todos. Dava para copiar e colar quase tudo e fazer até download de PDFs com a "papinha" toda feita.
Grande ferramenta, sem dúvida...

Quanto ao chatGPT, só tenho pena que não expliquem o que querem dizer as imagens logo do início do post! Não sei como interpretar aquilo.

[alegotardo]

Exatamente!

Uma vez eu li a seguinte frase: "IA não é um computador inteligente, ela é apenas estatística".
Muitos dos modelos de IA que vemos não são inteligentes porque eles não conseguem compreender o significado das coisas, não entendem o contexto das palavras, o seu "aprendizado" consiste em um grande banco de informações do qual ela consegue extrair padrões que possam ser replicados, o problema é quando entram as exceções... saber qual é o peso dessa "exceção" no universo de propbabilidades que ela já havia calculado para aquele cenário.

Mas, eu acredito que em algum lugar estejam de fato tentando criar (se é que já não existe) algo de fato inteligente, aprimorando os modelos que temos hoje.... talvém um computador híbrido com partes de um cérebro humano ligado à chips?

[Lucasgabd]

@darkv0rt3x o wolfram é muito potente mesmo
adorei que agora incorporaram AI para que possamos fazer as consultas em linguagem natural, muito interessante


exato @alegotardo
entender que as LLMs são basicamentes modelos baseados em estatística da linguagem ajuda muito a desmistificar o que está acontecendo (sem fazer com que deixe de ser incrível)

sobre o final da sua mensagem, acho que temos que pensar aí o que é inteligência
isso me faz lembrar um video que vi no instagram uma vez

Entrevistador: "você acha que as IAs vão subsitituir seu trabalho um dia"
entrevistado responde com um sorriso e uma piscadinha: "não, sem chance, porque as IAs funcionam de forma lógica. E eu... nem sempre "

acho sensacional

[joker_josue]

sobre o final da sua mensagem, acho que temos que pensar aí o que é inteligência
isso me faz lembrar um video que vi no instagram uma vez

Entrevistador: "você acha que as IAs vão subsitituir seu trabalho um dia"
entrevistado responde com um sorriso e uma piscadinha: "não, sem chance, porque as IAs funcionam de forma lógica. E eu... nem sempre "

acho sensacional

Grande observação sem duvida.

É que, nós humanos, temos uma inteligência criativa, analítica, sentimental, observadora e imprevisível. Por mais avançado que o IA seja, dificilmente vai conseguir reunir isso tudo, em especial a parte sentimental - que acaba por ser fundamental para tudo.

É verdade que podem evoluir muito, com a base na experiencia que vão obtendo. Mas, o elemento sentimental e de imprevisibilidade, são únicos dos humanos. Até os animais, são previsíveis. Os humanos não.

Basta um humano fazer algo que o IA não esperava, para tudo já não bater certo. Por mais probabilidades que o IA analise, haverá sempre uma que ele não analisou.

[darkv0rt3x]

Exatamente!

Uma vez eu li a seguinte frase: "IA não é um computador inteligente, ela é apenas estatística".
Muitos dos modelos de IA que vemos não são inteligentes porque eles não conseguem compreender o significado das coisas, não entendem o contexto das palavras, o seu "aprendizado" consiste em um grande banco de informações do qual ela consegue extrair padrões que possam ser replicados, o problema é quando entram as exceções... saber qual é o peso dessa "exceção" no universo de propbabilidades que ela já havia calculado para aquele cenário.

Mas, eu acredito que em algum lugar estejam de fato tentando criar (se é que já não existe) algo de fato inteligente, aprimorando os modelos que temos hoje.... talvém um computador híbrido com partes de um cérebro humano ligado à chips?

Pois, o cenário de um cérbero ligado a chips parece-me bem possível. Temos nanotecnologia e isso pode ser meio caminho andando. Acho que já aqui há uns tempos eu falei num conceito que eu acho extremamente interessante e que não sei como nunca foi criado ou eu pelo menos nunca ouvi falar, que era uma forma de conseguirmos transmitir determinados sentimentos, e aqui eu refiro-me a dor, mas dôr física, se é que me posso referir à dor de partir um braço, como dor física. Quano falo em dor, quero excluir sentimentos por exemplo de saudades, corações partidos, etc. lol. Refiro-me a dor causada por traumatismos, dôr de estomago, dor de intestino, etc. Penso nisto no contexto de quando nos queremos queixar a um médico de uma dor e não a conseguirmos explicar, de a podermos transmitir para que o médico saiba exactamente do que estamos a falar. Ou até mesmo quando os médicos, de uma forma geral, se estão a formar, poderem experienciar essas dores para serem capazes de identificar problemas com eficácia quando a pessoa não consegue explicar o que sentem! Ou mesmo quando explicam mas o médico pode interpretar mal e diagnosticar mal!

[Prancheiro]

já viram como essas LLMs (large language models) funcionam?

tem uma relação forte com estatísticas da linguagem, o modelo calcula qual a palavra/frase com mais probabilidade de gerar um bom resultado e coloca essa frase em sequência, com um tempero de aleatoriedade e uma memória do que foi dito.

Não tinha essa ideia de que é baseado em estatística até ver uns vídeos da code.org


E quanto às IAs que geram imagens?

Um método chamado Diffusion:
Parte-se de uma imagem e uma descrição do que ela é (ex: cavalo marrom com céu azul atrás).
Adiciona-se um pouco de ruído à essa imagem. Algo como borrar ou deixar ela um pouco mais pixelada. Assim como uma imagem vai perdendo qualidade conforme vamos printando e repassando ela.
Ao se fazer isso várias vezes, a imagem perde a nitidez e se torna ruído puro.
Cada etapa desse processo é uma oportunidade de se ensinar a IA como reverter o processo.
E assim ela aprende a advinhar como uma versão com mais detalhes seria.
Então, a partir de uma descrição (ex: cavalo marrom com céu azul atrás), ela consegue gerar uma imagem totalmente nova!


Aprendi isso lá também!

https://code.org/ai#ai-videos