Bitcoin Forum
October 18, 2026, 10:25:26 PM *
News: Latest Bitcoin Core release: 31.1 [Torrent]
 
   Home   Help Search Login Register More  
Pages: [1]
  Print  
Author Topic: Trabalho avaliado por IA: o problema é o critério ou a nota?  (Read 31 times)
skibiidii (OP)
Newbie
*
Online Online

Activity: 7
Merit: 0


View Profile
Today at 04:18:56 AM
 #1

Vim trazer um caso que me fez repensar como a gente lida com trabalho remoto. Mas antes o contexto.

Outro dia recusei um freela de redação. O briefing era bom, o valor era justo, o cara parecia sério. Só que quando pedi alguma garantia, a resposta foi "fica tranquilo, já trabalhei com muita gente". Sem contrato, sem depósito, sem nada. Se ele sumir, eu fico no prejuízo e não tenho nem a quem reclamar.

O ponto que eu quero levantar não é sobre esse cara específico. É sobre o fato de que praticamente todo trabalho remoto hoje roda em cima de confiança pura. E confiança não escala.

Foi nessa que encontrei um protocolo na Base chamado Verdikta. Funciona assim: o valor fica travado em contrato antes do trabalho começar, e quem decide se a entrega passou é um painel de modelos de IA independentes, cada um dando nota por critério.

Até aí, escrow com avaliação automatizada. Já vi coisa parecida. O que me chamou atenção foi outro detalhe: a rubrica de avaliação é publicada antes de você começar. Você sabe quais critérios são obrigatórios, quais só somam ponto e qual é a nota de corte.

Isso resolve, na minha opinião, o problema mais chato da avaliação por IA. Quando o critério é uma caixa-preta, a conversa vira "a IA errou e pronto". Quando o critério é público, a conversa vira "esse critério está mal escrito" — e aí dá para discutir de verdade. As notas por critério também ficam registradas on-chain, então dá para apontar exatamente onde você perdeu ponto.

Agora, o que isso NÃO resolve, porque não quero vender ilusão:

O painel de IA só lê o arquivo que você envia. Trabalho que depende de verificar conta, dispositivo ou algo físico não dá para avaliar assim.

Tem também um limite mais estrutural: se a rubrica for mal escrita, a nota sai ruim mesmo com tudo registrado certinho na chain. Auditabilidade não conserta critério ruim, só deixa o erro visível. O que já é melhor do que o silêncio que a gente recebe hoje, mas está longe de ser solução.

E esse aqui eu não tenho resposta: se a nota sair claramente injusta, existe algum caminho de contestação? Não vi nada sobre isso.

Então trago duas perguntas para quem já mexeu com esse tipo de sistema:

1. Faz sentido usar IA como júri para trabalho criativo, ou o critério sempre vai ser subjetivo demais?
2. Alguém aqui já teve trabalho avaliado por IA e conseguiu contestar alguma nota?

Para quem quiser olhar: https://bounties.verdikta.org
skibiidii (OP)
Newbie
*
Online Online

Activity: 7
Merit: 0


View Profile
Today at 04:32:04 AM
 #2

Vou complementar com um exemplo concreto, porque acho que fica mais fácil de ver onde a coisa quebra.

Peguei uma rubrica dessas para ler e ela tinha um critério assim: "a entrega precisa ser clara e bem organizada". Isso não é critério, é desejo. Não dá para discordar de nada, porque não existe nada ali para apontar. Qualquer nota entre 40 e 100 é defensável.

O mesmo critério escrito de outro jeito: "o texto precisa ter uma tese identificável logo na abertura, e cada parágrafo precisa sustentar ou contradizer essa tese". Agora sim. Se eu recebo 60, eu consigo abrir o texto, apontar o parágrafo 4 e dizer "aqui eu abandonei a tese e não retomei". A discussão vira objetiva.

A diferença entre os dois não é a IA. É quem escreveu a rubrica.

Isso me leva a uma dúvida que talvez alguém aqui saiba responder: quem escreve a rubrica nesses sistemas? Quem contrata, a plataforma, ou é aberto para qualquer um propor? Porque se for o contratante escrevendo sozinho, ele tem incentivo para deixar vago — critério vago é critério que ele consegue torcer depois.
joker_josue
Legendary
*
Offline

Activity: 2548
Merit: 7622


**In BTC since 2013**


View Profile WWW
Today at 07:05:12 AM
 #3

Uma IA avaliar um trabalho criativo feito 100% por um humano, é o mesmo de pedir a um agricultor para dizer se um avião esta bem construído.
A maquina não consegue fazer uma avaliação correta de algo criativo feito por um humano.

Pode apontar erros técnicos, ou se esta gramaticalmente bem escrito e coisas do gênero. Mas, nunca dizer que algo esta bem ou mal.

A IA só sabe quem aquilo que os humanos disseram que as coisas são. Os humanos "ditaram as regras". E quando tu és quem dita as regras, podes ajustar, mudar eliminar quando quiseres.

Muita coisa que os humanos inventaram, ia contra as regras e logicas da altura. Uma IA iria dizer sempre que estava errado.

Por sua vez, os critérios humanos podem também se tornar falhos no processo. Pois se quem pede o trabalho, explica mal a maquina os criterios, ela vai avaliar mal um trabalho, que vai ao encontro logico do pedido.



PS: Você já ganho algo? Provavelmente com este texto ganhou.  Roll Eyes

▄▄████████████████████▄▄
▄███████▀▀██████▀▀███████▄
█████▀██████████████▀█████
████████▄▄██████▄▄████▀███

██████████████████████████
██▄▄██████████████▄▄██████
██▀▀██████████████████▄▄██
██████▀▀██████████████▀▀██
██████████████████████████
███▄████▀▀██████▀▀████████
█████▄██████████████▄█████
▀███████▄▄██████▄▄███████▀
▀▀████████████████████▀▀
 
 DΞX.fo 
▄▄██████
█████████
██████████
██████████
██████████
█████████
▀▀██████

▄███████
▄██████████
████████████
█████████████
█████████████
|
▄▄█
▄████▀
▄███▀█▄
▄██▀█▄██
█████▀▀█
████████
████████
▀██▄████
▄████▄▄█
▄█████▀███
▄█████▀████▀
█████▀███████
▀██▀█████████
|..BTC......XMR...
..USDT.....LTC...
....Fees  0.8%.....
skibiidii (OP)
Newbie
*
Online Online

Activity: 7
Merit: 0


View Profile
Today at 10:22:43 PM
 #4

Boa resposta, joker — e acho que você tocou exatamente no ponto que eu queria chegar.

Concordo que IA não avalia como humano avalia: a máquina não tem gosto, ela tem pesos. Ela não diz "isso é bom", ela diz "isso passa ou não passa de acordo com a régua que recebeu". O problema é que muita gente trata o sistema como se ele tivesse opinião própria, quando na verdade ele só aplica uma régua que alguém escreveu.

E é aí que sua última pergunta importa: quem escreve a régua importa mais do que quem aplica.

Critério vago ("texto bem estruturado") transforma a nota em loteria. Qualquer nota entre 40 e 100 é defensável, e ninguém consegue discordar porque não existe nada objetivo para apontar. Critério específico ("tese identificável na abertura; cada parágrafo sustenta ou contradiz essa tese") torna a discussão objetiva: abro o texto, aponto o parágrafo 4 e digo "aqui perdi o fio". Você pode discordar da minha avaliação, mas não pode chamá-la de arbitrária.

Sobre "quem dita as regras pode mudá-las": é por isso que eu acho que o desenho certo separa quem escreve a rubrica de quem julga o trabalho. Quando a mesma pessoa contrata, define o critério e avalia, o incentivo pra deixar tudo vago existe — critério vago é critério que dá pra torcer depois. O que me deixa curioso é se esses sistemas conseguem tornar isso auditável de fora: critério publicado antes, nota por critério publicada depois, escrow liberando sozinho quando passa do limite. Na prática, a régua fica registrada e qualquer um pode conferir depois.

E pra responder sua pergunta: ainda não ganhei nada. Mas é justamente a parte da auditoria que me interessa — se um dia eu tiver um caso concreto de nota injusta, volto aqui com os números.
Pages: [1]
  Print  
 
Jump to:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.19 | SMF © 2006-2009, Simple Machines Valid XHTML 1.0! Valid CSS!