Resultados de modelos nos ambientes da Reforma Tributária

Em 23/10/2026, um modelo rodou o pacote de amostra: Claude Opus 5.5, esforço alto, com índice fisco de 88,6% (média das taxas de aprovação nas 8 famílias do índice). Nenhum outro modelo foi rodado ainda; as linhas abaixo dele são âncoras de referência, não modelos. R1, N1, N2 e N3 ainda não foram rodadas por nenhum modelo e ficam fora do índice.

Índice fisco

Uma linha por configuração de modelo que de fato rodou. As âncoras de referência abaixo dela não são modelos: elas delimitam a escala, do gabarito a não fazer nada, com um script simples, sem IA, no meio.

Índice = média das taxas de aprovação nas 8 famílias do índice (F1, F2, F3, F4, F1T, F4T, S1, I1), com peso igual por família; a nota média é a mesma média sobre a nota parcial. Só uma execução que rodou todas essas famílias recebe índice e posição. R1, N1, N2 e N3 ainda não foram rodadas por nenhum modelo e ficam fora do índice. Quando um modelo rodar uma delas, ela entra no índice, e daí em diante só execuções que a incluam têm posição. Tokens de entrada incluem leituras e escritas de cache.

Aprovação por família

As barras são taxas de aprovação (todos os campos corrigidos certos); as linhas finas são intervalos de 95%; o triângulo marca quanto tira um script simples, sem IA (na maioria das famílias, supondo tributação integral para tudo). Com amostras tão pequenas os intervalos são largos: diferenças de poucos pontos são ruído.

Famílias à espera de um modelo

Estas famílias estão no pacote de amostra, com seus corretores e âncoras de referência, mas nenhum modelo rodou nelas ainda. Elas ficam fora do índice; quando um modelo rodar uma delas, ela entra no índice e no ranking acima.

Quanto valem as ferramentas de consulta

A F1T e a F4T tiram do enunciado o que o agente precisa consultar: os trechos dos anexos, as descrições da NCM e a tabela de cClassTrib. As mesmas tarefas rodaram com as cinco ferramentas de consulta offline e sem elas.

Quanto uma nova execução muda

Quando uma família rodou mais de uma vez nas mesmas tarefas, cada execução aparece aqui e o ranking usa o número agregado, com um intervalo que toma a tarefa, e não a resposta, como unidade. Uma única execução de algumas dezenas de tarefas pode mudar vários pontos de um dia para o outro sem que nada tenha mudado.

Erros, conferidos contra a lei

Cada erro de cada execução de modelo é conferido à mão contra o texto da lei e as tabelas oficiais. Os erros do modelo são, na maioria, de enquadramento em anexo: água sanitária com o código do hipoclorito de sódio em vez do 3808.94.19 que o Anexo VIII cita, óleo de soja refinado ou iogurte no anexo errado, agulhas de sutura com o código de serviços de saúde do Anexo III em vez do código de dispositivos médicos do Anexo IV, cortes de frango com o subitem vizinho. Nas auditorias da EFD, ele deixou passar uma contagem de linhas e um código fora da lista de valores válidos de um campo, e leu o CST de ICMS 200 como de base reduzida em três linhas corretas. No ICMS (I1), CFOPs, alíquotas e abstenções estão certos quase sempre; os erros são a base do DIFAL em alguns estados de destino. Para Minas Gerais, o gabarito segue os exemplos numéricos publicados pela própria SEF/MG. Sem as ferramentas, os erros são exceções e condições de anexo de que ele não se lembra.

Como os números são feitos

Famílias e o pacote de amostra

Todas as execuções aqui são no pacote de amostra gratuito, as mesmas tarefas que um laboratório recebe para avaliar. As tarefas são em português, sobre documentos brasileiros; partes e notas são fictícias, produtos, códigos e regras são reais, e os itens da F4 e da F4T são descrições de produto e códigos declarados reais, de dados abertos de NF-e de compras federais.

Correção

• Determinística, sem LLM como juiz. Cada resposta é corrigida campo a campo por código: o motor tributário da TribAPI calcula o tratamento esperado a partir da lei, das tabelas oficiais de NCM e cClassTrib e das regras do leiaute da NF-e, e o corretor compara. Corrigir de novo uma resposta salva sempre dá a mesma nota.
• Taxa de aprovação é a fração de tarefas com todos os campos corrigidos certos: a recompensa binária. Nota média é o crédito parcial: diferença de campos ponderada pelo impacto tributário (F1, F1T), diferença só das correções no grupo IBS/CBS (F2), metade F1 por item e metade F1 por campo sobre os apontamentos (F3, F4T) e os seus quatro campos (consistente ou não, o NCM correto, os dois cClassTrib), ponderados, cada um por acerto exato (F4). As auditorias da EFD são corrigidas como a F3, sobre apontamentos (linha, regra), e as correções da EFD como a F2.
• O formato conta. A tarefa pede um único objeto JSON (ou o XML inteiro, na F2); texto em volta, um segundo bloco ou números enviados como texto zeram a nota, para qualquer modelo.
• Valores passam com diferença de até R$ 0,01, a tolerância que as regras de validação da NF-e aceitam; os erros plantados são sempre maiores.
• A abstenção é corrigida. Uma venda de 2027, cujas alíquotas o Senado ainda não fixou, só passa se o agente se abstiver; abster-se numa tarefa respondível zera a nota.
• Execuções. O enunciado da tarefa é a entrada inteira: sem prompt de sistema (as tarefas com ferramentas recebem só a nota das ferramentas com o orçamento de chamadas), sem exemplos, uma resposta por tarefa e nenhuma nova tentativa após um erro. As tarefas com ferramentas rodam um laço de uso de ferramentas dentro do orçamento da tarefa, e cada chamada fica registrada.

Índice e intervalos

• Índice fisco: a média das taxas de aprovação de uma execução nas famílias do pacote de amostra, com peso igual por família, qualquer que seja o número de tarefas. Uma execução que pulou uma família não recebe índice nem posição; os resultados por família continuam aparecendo.
• Intervalos de 95%: intervalos de Wilson sobre a taxa de aprovação quando cada tarefa foi respondida uma vez. Quando uma família rodou mais de uma vez nas mesmas tarefas, o intervalo sai das frações de aprovação por tarefa (aproximação normal), para que respostas repetidas à mesma tarefa não contem como evidência independente.
• O índice não tem intervalo próprio; os intervalos por família mostram quanto cada parte pode variar.

Gabarito

Cada tarefa registra o nível em que seu gabarito se apoia. No pacote de amostra, 267 de 279 tarefas se apoiam nas nossas leituras da legislação (as listas de NCM e NBS dos anexos da LC 214, as regras de produto da F4, as regras de ICMS de cada estado da I1, as regras de retenção da R1 e as regras de validação da EFD), checadas por máquina (nível ai_verified): uma checagem reproduzível contra os textos e tabelas oficiais passa com zero erros, mas a assinatura de um contador ainda está pendente. As outras 12 se apoiam só nas tabelas oficiais (verified).

Execuções e análise dos erros

Todos os números desta página são gerados a partir dos arquivos de execução registrados, pelo mesmo código que escreve o relatório interno de linhas de base, e um teste falha se a página e os arquivos discordarem. Cada pasta de execução tem um README que passa por cada erro contra a lei; eles acompanham o pacote de amostra, sob pedido. As datas estão no horário de Brasília.

Só os modelos listados acima foram rodados. Outros modelos de ponta vêm a seguir; para avaliar o seu no pacote de amostra, escreva para nós.