Bitcoin Forum
October 18, 2026, 04:04:40 PM *
News: Latest Bitcoin Core release: 31.1 [Torrent]
 
   Home   Help Search Login Register More  
Pages: [1]
  Print  
Author Topic: Trabalho avaliado por IA: o problema é o critério ou a nota?  (Read 27 times)
skibiidii (OP)
Newbie
*
Offline

Activity: 7
Merit: 0


View Profile
Today at 04:18:56 AM
 #1

Vim trazer um caso que me fez repensar como a gente lida com trabalho remoto. Mas antes o contexto.

Outro dia recusei um freela de redação. O briefing era bom, o valor era justo, o cara parecia sério. Só que quando pedi alguma garantia, a resposta foi "fica tranquilo, já trabalhei com muita gente". Sem contrato, sem depósito, sem nada. Se ele sumir, eu fico no prejuízo e não tenho nem a quem reclamar.

O ponto que eu quero levantar não é sobre esse cara específico. É sobre o fato de que praticamente todo trabalho remoto hoje roda em cima de confiança pura. E confiança não escala.

Foi nessa que encontrei um protocolo na Base chamado Verdikta. Funciona assim: o valor fica travado em contrato antes do trabalho começar, e quem decide se a entrega passou é um painel de modelos de IA independentes, cada um dando nota por critério.

Até aí, escrow com avaliação automatizada. Já vi coisa parecida. O que me chamou atenção foi outro detalhe: a rubrica de avaliação é publicada antes de você começar. Você sabe quais critérios são obrigatórios, quais só somam ponto e qual é a nota de corte.

Isso resolve, na minha opinião, o problema mais chato da avaliação por IA. Quando o critério é uma caixa-preta, a conversa vira "a IA errou e pronto". Quando o critério é público, a conversa vira "esse critério está mal escrito" — e aí dá para discutir de verdade. As notas por critério também ficam registradas on-chain, então dá para apontar exatamente onde você perdeu ponto.

Agora, o que isso NÃO resolve, porque não quero vender ilusão:

O painel de IA só lê o arquivo que você envia. Trabalho que depende de verificar conta, dispositivo ou algo físico não dá para avaliar assim.

Tem também um limite mais estrutural: se a rubrica for mal escrita, a nota sai ruim mesmo com tudo registrado certinho na chain. Auditabilidade não conserta critério ruim, só deixa o erro visível. O que já é melhor do que o silêncio que a gente recebe hoje, mas está longe de ser solução.

E esse aqui eu não tenho resposta: se a nota sair claramente injusta, existe algum caminho de contestação? Não vi nada sobre isso.

Então trago duas perguntas para quem já mexeu com esse tipo de sistema:

1. Faz sentido usar IA como júri para trabalho criativo, ou o critério sempre vai ser subjetivo demais?
2. Alguém aqui já teve trabalho avaliado por IA e conseguiu contestar alguma nota?

Para quem quiser olhar: https://bounties.verdikta.org
skibiidii (OP)
Newbie
*
Offline

Activity: 7
Merit: 0


View Profile
Today at 04:32:04 AM
 #2

Vou complementar com um exemplo concreto, porque acho que fica mais fácil de ver onde a coisa quebra.

Peguei uma rubrica dessas para ler e ela tinha um critério assim: "a entrega precisa ser clara e bem organizada". Isso não é critério, é desejo. Não dá para discordar de nada, porque não existe nada ali para apontar. Qualquer nota entre 40 e 100 é defensável.

O mesmo critério escrito de outro jeito: "o texto precisa ter uma tese identificável logo na abertura, e cada parágrafo precisa sustentar ou contradizer essa tese". Agora sim. Se eu recebo 60, eu consigo abrir o texto, apontar o parágrafo 4 e dizer "aqui eu abandonei a tese e não retomei". A discussão vira objetiva.

A diferença entre os dois não é a IA. É quem escreveu a rubrica.

Isso me leva a uma dúvida que talvez alguém aqui saiba responder: quem escreve a rubrica nesses sistemas? Quem contrata, a plataforma, ou é aberto para qualquer um propor? Porque se for o contratante escrevendo sozinho, ele tem incentivo para deixar vago — critério vago é critério que ele consegue torcer depois.
joker_josue
Legendary
*
Offline

Activity: 2548
Merit: 7621


**In BTC since 2013**


View Profile WWW
Today at 07:05:12 AM
 #3

Uma IA avaliar um trabalho criativo feito 100% por um humano, é o mesmo de pedir a um agricultor para dizer se um avião esta bem construído.
A maquina não consegue fazer uma avaliação correta de algo criativo feito por um humano.

Pode apontar erros técnicos, ou se esta gramaticalmente bem escrito e coisas do gênero. Mas, nunca dizer que algo esta bem ou mal.

A IA só sabe quem aquilo que os humanos disseram que as coisas são. Os humanos "ditaram as regras". E quando tu és quem dita as regras, podes ajustar, mudar eliminar quando quiseres.

Muita coisa que os humanos inventaram, ia contra as regras e logicas da altura. Uma IA iria dizer sempre que estava errado.

Por sua vez, os critérios humanos podem também se tornar falhos no processo. Pois se quem pede o trabalho, explica mal a maquina os criterios, ela vai avaliar mal um trabalho, que vai ao encontro logico do pedido.



PS: Você já ganho algo? Provavelmente com este texto ganhou.  Roll Eyes

▄▄████████████████████▄▄
▄███████▀▀██████▀▀███████▄
█████▀██████████████▀█████
████████▄▄██████▄▄████▀███

██████████████████████████
██▄▄██████████████▄▄██████
██▀▀██████████████████▄▄██
██████▀▀██████████████▀▀██
██████████████████████████
███▄████▀▀██████▀▀████████
█████▄██████████████▄█████
▀███████▄▄██████▄▄███████▀
▀▀████████████████████▀▀
 
 DΞX.fo 
▄▄██████
█████████
██████████
██████████
██████████
█████████
▀▀██████

▄███████
▄██████████
████████████
█████████████
█████████████
|
▄▄█
▄████▀
▄███▀█▄
▄██▀█▄██
█████▀▀█
████████
████████
▀██▄████
▄████▄▄█
▄█████▀███
▄█████▀████▀
█████▀███████
▀██▀█████████
|..BTC......XMR...
..USDT.....LTC...
....Fees  0.8%.....
Pages: [1]
  Print  
 
Jump to:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.19 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!