Como medimos
Este anexo acompanha o white paper. Para cada teste: o desenho, a régua, o que controla vieses e os números completos.
Princípios comuns
- Fora do tempo. Toda previsão é feita com dados anteriores a uma data de corte e avaliada em decisões posteriores. Nos testes com agentes, o relatório só contém decisões até 30/6/2025; os casos foram julgados depois.
- Comparação pareada. Cada braço é comparado com outro no mesmo caso; o intervalo de confiança de 95% vem de bootstrap sobre os casos (4.000 reamostragens).
- Régua da tarefa. Medimos o que o produto entrega (acertar o desfecho, achar o documento certo), não perplexidade.
- Isolamento dos agentes. Uma conversa por braço, pasta própria, sem internet, sem acesso a outros braços nem ao gabarito; identificadores anônimos; número do processo tapado.
- Anonimização antes de sair. Todo texto enviado a um serviço externo passa pelo anonimizador local e é conferido por uma pessoa.
1. Encoder: ligar a ementa ao relatório
- Tarefa
- Dada a ementa, recuperar o relatório do mesmo acórdão entre todos os do conjunto de teste (R@1).
- Dados
- 48 mil pares de treino; teste «limpo» = votos cujo número CNJ não aparece no pré-treino do Lapwing (32% do teste original estava no pré-treino e foi excluído).
- Receita
- Igual para todos: contrastivo, lote e passos iguais, taxas 2e-5 e 5e-5, a melhor de cada modelo; 512 tokens. Jina v3 com todos os pesos e o adaptador de recuperação.
- Custo
- US$ 19,63 no total do teste (GPU L40S).
| Modelo | Parâmetros | Antes do afinamento | Depois (limpo) |
|---|---|---|---|
| Jina v3 | 572 M | 0,433 | 0,628 |
| Lapwing | 103 M | 0,164 | 0,617 |
| E5-base multilíngue | 278 M | — | 0,579 |
| tf-idf | — | — | 0,554 |
| BERTimbau | 110 M | 0,037 | 0,522 |
| legal-BERT | 110 M | — | 0,392 |
Contexto longo (2.048 tokens, 48 mil pares): Jina 0,649, Lapwing 0,609; Lapwing com a época inteira (135 mil pares) 0,652. Servir: Lapwing ~US$ 1,6 por milhão de documentos (L40S), E5 0,84, Jina 3,03; consulta em CPU de 8 núcleos 130–170 ms contra 1,0–1,6 s do Jina.
Versão 3 do encoder
Afinamento multitarefa a partir da versão anterior. Réguas: busca de votos pela tese (282 consultas «mesma tese, outro relator», R@10) 0,826 = v2; busca de ementas 0,722 (v2 0,745); ligação de partes R@1 0,726 (melhor anterior 0,652). Conferência de precisão: cosseno mínimo bf16 vs fp32 0,9997.
2. Agentes: a petição inicial
- Casos
- Duas edições, 15 casos por tese e caminho (1.º grau → TJ e juizado → turma), todos do TJAC e julgados no recurso depois de 1/7/2025. 1.ª edição: inscrição indevida e progressão funcional, tese escolhida pelo texto; 12 casos de outra matéria, identificados depois, ficam de fora (48 casos). 2.ª edição: 60 casos novos, tese pelo assunto CNJ da sentença (prestação de serviços e indenização por dano moral), o mesmo critério que monta o relatório. Total: 108.
- Entrada
- Os fatos do relatório da sentença, anonimizados; o agente redige a inicial e devolve um bloco JSON com pedidos, normas, teses e a chance de vitória no recurso.
- Braços
- Só fatos · relatório completo · relatório + o nosso método de leitura otimizado · recortes curtos do relatório (na tabela, o que vai para o produto; os restantes ficam no arquivo). Em rodadas anteriores: números invertidos e relatório de outra tese (placebos).
- Agente
- Gemini 3.8 Flash em modo agente (Antigravity); repetido com Claude em quatro braços.
- Régua
- Brier da chance contra o desfecho real; decomposto em erro de média (deslocar a média para a taxa real) e erro de separação (o que sobra).
| Braço | Brier (108) | AUC | Erro de média | Chance média |
|---|---|---|---|---|
| Só fatos | 0,243 | 0,69 | 0,026 | 57% |
| Relatório completo | 0,211 | 0,70 | 0,004 | 47% |
| Recorte curto | 0,207 | 0,71 | 0,002 | 45% |
| Relatório + método otimizado | 0,202 | 0,73 | 0,003 | 46% |
Vitória real do autor: 41%. Erro de média somado dentro de cada edição. Pareado, relatório + método otimizado contra só fatos: −0,041 nos 108 casos (IC 95% −0,075 a −0,008); por edição, −0,041 (48; IC −0,087 a +0,002) e −0,040 (60; IC −0,088 a +0,008); com os 12 casos fora da tese, −0,044 (120; IC −0,075 a −0,014).
3. Varredura de variáveis
- Tribunais
- AC e CE (exploração), DF e MA (confirmação).
- Unidade
- Decisão de 2.º grau ou turma, ligada à sentença da mesma cadeia.
- Variáveis
- Dezenas, classificadas pelo momento em que se conhecem; o que só existe depois do julgamento fica de fora.
- Alvos
- Vitória do autor, reforma, valor do dano moral, tempo até o julgamento.
- Desenho
- Treino nos 70% mais antigos, teste nos 30% mais recentes; controle fixo dos vieses estruturais; cada interação avaliada por duas réguas independentes, num tribunal de exploração e de novo num de confirmação.
Só as interações confirmadas pelas duas réguas e em dois tribunais entram no relatório.
4. Casos parecidos por embedding da sentença
13.399 sentenças de cadeias do TJAC, 25 vizinhos de antes do corte (sempre outro processo). O ganho na previsão da reforma a partir dos vizinhos cresce com a semelhança: no quartil de precedentes mais parecidos (similaridade ≥ 0,68) a combinação com a regra de referência reduz o erro em 0,009 (intervalo exclui zero).
5. Agentes: o recurso
- Casos
- 60 cadeias do TJAC (15 por assunto, quatro assuntos), entre as 30% mais recentes, com uma só parte recorrente (41 o autor, 19 o réu) e com precedentes parecidos no acervo (similaridade ≥ 0,65).
- Entrada
- A sentença inteira, anonimizada; o agente é o advogado de quem recorreu, escreve o recurso (apelação ou recurso inominado) e estima a chance de provimento total ou parcial.
- Braços
- Só a sentença · + relatório curto do assunto (só decisões anteriores) · + até 5 acórdãos de casos parecidos (anonimizados) · + os dois.
- Referência
- O melhor modelo estatístico do tribunal, ajustado só com cadeias anteriores ao corte.
| Braço | Chance média | Brier | AUC | Contra só a sentença |
|---|---|---|---|---|
| Só a sentença | 41% | 0,201 | 0,74 | — |
| + relatório curto | 25% | 0,167 | 0,73 | −0,034 |
| + acórdãos parecidos | 29% | 0,167 | 0,77 | −0,033 (IC −0,065 a −0,002) |
| + os dois | 25% | 0,166 | 0,73 | −0,035 |
| Modelo estatístico (referência) | 31% | 0,164 | 0,77 | −0,037 |
Reforma real: 27% (16 de 60).
Arquivos
Todos os números vêm de arquivos versionados no R2 (whitepaper/resultados_2026-10-29_v4.tar.gz; encoder em ninho/arq/), com as respostas completas de cada agente em cada braço.