Vou trazer um caso de desenho de sistema que me fez repensar como a gente avalia entrega por IA. É mais uma pergunta de arquitetura do que de opinião.
O problema que quase todo sistema de avaliação automatizada tem é a ordem das coisas. Primeiro o trabalho é entregue, depois o modelo decide se aquilo "ficou bom", e só no fim você descobre que o critério existia na cabeça de alguém e nunca foi escrito. Quando a resposta é negativa, não sobra nada para apontar. A conversa morre em "a IA errou".
O Verdikta, um protocolo na Base, inverte essa ordem. Antes de qualquer entrega ser aceita, a rubrica já está publicada: quais critérios são obrigatórios, quais apenas somam ponto e qual é a nota de corte. O valor, por sua vez, já está preso no contrato quando o trabalho é publicado, então o escrow não depende de boa vontade entre as duas pontas.
O ponto técnico que me interessa é a granularidade da saída. Em vez de um binário de aprovado ou reprovado, sai uma nota por critério, e cada uma fica registrada. Se a entrega perde ponto, dá para localizar exatamente em qual critério e com que margem. Isso desloca a discussão: a pergunta deixa de ser sobre a idoneidade do modelo e passa a ser sobre a redação do critério. A segunda pergunta tem resposta; a primeira não tem.
Tem também um detalhe de calibração: a nota de corte varia conforme o serviço e é divulgada antes. Quem vai executar consegue pesar se vale entrar antes de gastar uma semana.
Agora o que isso não resolve, porque não quero vender solução completa:
O júri lê o arquivo que é enviado. Verificação que depende de dispositivo, conta ou qualquer coisa no mundo físico não tem como ser feita assim. Continua precisando de olho humano.
E existe um limite que nenhum registro em chain conserta: se o critério foi mal redigido, a nota sai confusa mesmo que todo o processo fique auditável. Auditabilidade deixa o erro visível, não o corrige. Na prática, o gargalo migra do modelo para quem escreve o critério — e esse gargalo é humano, não estatístico.
Sobre contestação, não achei caminho claro. Se a nota sair claramente injusta, não sei dizer o que acontece depois. Isso é a lacuna mais séria do desenho, na minha leitura.
Para escopo que dá para descrever em texto — documentação, revisão, pesquisa curta — faz sentido, porque dá para escrever critério específico. Para julgamento realmente subjetivo, tipo decidir se um design "tem a cara certa", eu ainda fico com um pé atrás, e aí a discussão volta a ser sobre o critério, não sobre a IA.
Alguém aqui já implementou avaliação por LLM em produção? Me interessa saber como vocês lidaram com versionamento da rubrica, porque no fim é isso que decide se a nota é reproduzível. Para quem quiser olhar o mecanismo:
https://bounties.verdikta.org
