Qual a melhor IA hoje: como comparar de verdade em vez de seguir opinião de internet

O que você leva deste artigo

• Capacidade e preferência humana são duas medidas diferentes, e o topo de cada uma raramente coincide.
• O ECI da Epoch AI junta mais de 50 benchmarks numa escala única, ancorada para permitir comparação no tempo.
• O ELO da Arena mede o que as pessoas preferem receber, que não é o mesmo que capacidade bruta.
• Nenhum dos dois mede o que decide o seu caso: preço, velocidade e qualidade em português.
• O teste que resolve é rodar as suas dez tarefas reais nos candidatos, com um gabarito escrito antes.
• A liderança muda a cada poucos meses: escolha arquitetura que permita trocar de modelo.

Por que a pergunta não tem uma resposta só

Perguntar qual é a melhor IA é como perguntar qual é o melhor veículo. A resposta muda completamente se você vai levar sete pessoas, se vai atravessar a cidade no horário de pico ou se vai carregar quinhentos quilos de areia.

No caso dos modelos, existem pelo menos duas perguntas escondidas dentro de uma. A primeira é sobre capacidade: qual deles resolve os problemas mais difíceis, aqueles que exigem raciocínio longo, matemática, programação e conhecimento especializado. A segunda é sobre preferência: qual deles as pessoas gostam mais de receber como resposta numa conversa comum.

As duas são legítimas e medem coisas diferentes. Um modelo pode resolver um problema de olimpíada de matemática e escrever de um jeito que ninguém gosta de ler. Outro pode ser agradável, direto e bem calibrado no tom, e tropeçar num problema que exige quinze passos de raciocínio.

É por isso que rankings sérios não colapsam tudo numa nota única. Quando alguém publica um número só, ele escolheu por você qual das duas perguntas importa, e provavelmente não avisou.

Nota única é confortável de ler e impossível de auditar. Duas colunas que discordam entre si dizem muito mais.

O ECI: capacidade medida em provas difíceis

A Epoch AI é uma organização de pesquisa que acompanha a evolução técnica dos modelos, e o índice que ela publica, o Epoch Capabilities Index, resolve um problema chato de comparação.

O problema é este: benchmarks saturam. Uma prova em que todos os modelos tiram nota máxima deixa de distinguir qualquer coisa, e é substituída por outra mais difícil. Só que aí você não consegue mais comparar o modelo de hoje com o de dois anos atrás, porque eles fizeram provas diferentes.

O ECI resolve combinando o desempenho em mais de cinquenta benchmarks distintos numa escala única, usando um método estatístico que estima ao mesmo tempo a dificuldade de cada prova e a capacidade de cada modelo. É a mesma família de técnica usada para calibrar prova em educação, e permite comparar modelos que nunca fizeram exatamente os mesmos testes.

Para dar noção da escala, ela é ancorada em pontos conhecidos: o Claude 3.5 Sonnet foi fixado em 130 e o GPT-5 em 150. Números maiores indicam capacidade maior, e a distância entre eles tem significado consistente ao longo do tempo, que é justamente o que um benchmark isolado não consegue oferecer.

O ELO da Arena: o que as pessoas preferem

A outra medição funciona por um princípio completamente diferente, e é mais fácil de explicar: pessoas mandam a mesma pergunta para dois modelos sem saber quais são, leem as duas respostas e escolhem a melhor.

Com muitos votos, isso vira uma nota calculada no mesmo esquema de rating usado no xadrez, o ELO. Ganhar de um modelo bem colocado vale mais do que ganhar de um mal colocado, e a nota se ajusta continuamente.

O que essa medição captura é real e importa: clareza, tom adequado, resposta no tamanho certo, não enrolar, entender o que a pessoa queria de verdade. São qualidades que nenhum benchmark técnico mede e que definem a experiência de quem usa a ferramenta todo dia.

E ela tem um viés conhecido, que vale conhecer para não superinterpretar: como quem vota são pessoas fazendo perguntas comuns, o ranking premia o que agrada em conversa cotidiana. Resposta bem formatada, simpática e confiante tende a ganhar. Isso favorece modelos ajustados para agradar, e nem sempre agradar é acertar.

Quando os dois discordam, e por que isso é útil

A discordância entre as duas listas não é falha de nenhuma delas: é o dado mais informativo do conjunto.

Um modelo alto em capacidade e baixo em preferência costuma ser aquele que resolve o problema difícil e responde de um jeito que cansa: longo demais, técnico demais, sem se ajustar ao que a pessoa perguntou. Para um sistema automatizado, em que ninguém lê a resposta bruta, isso importa pouco. Para um assistente que fala com cliente, importa muito.

Um modelo alto em preferência e mais baixo em capacidade é agradável, direto e bem calibrado, e vai tropeçar quando a tarefa exigir raciocínio longo. Para atendimento e redação, ótimo. Para análise complexa, arriscado.

A leitura prática, então, é esta: olhe a capacidade quando a tarefa for difícil e a preferência quando o texto for lido por gente. Se as duas apontam para o mesmo modelo, a escolha é fácil. Quando apontam para modelos diferentes, elas acabaram de te dizer que você tem duas tarefas, não uma.

Essas duas medições, com crédito às fontes originais, estão reunidas no AI Benchmark, que atualiza sozinho todo dia. A ROO3 não mede modelo nenhum e não é afiliada às organizações que medem: a página reúne, traduz e explica dado público.

O que nenhum ranking mede, e decide a sua escolha

Aqui está a parte que quase nunca aparece na discussão de qual é o melhor, e que na prática decide mais do que a nota.

Preço. A diferença de custo entre o modelo mais capaz e um intermediário pode ser de várias vezes. Se a tarefa é classificar mensagem, pagar pelo topo do ranking é desperdício puro. A conta de como isso escala está em token e janela de contexto.

Velocidade. Um modelo que pensa mais responde mais devagar. Num relatório noturno, tanto faz. Num chat com cliente esperando, oito segundos de silêncio é uma conversa perdida.

Qualidade em português. Os rankings são dominados por avaliação em inglês. Um modelo excelente lá pode escrever um português correto e sem naturalidade, com construções que soam traduzidas. Isso só aparece testando com o seu material.

Acesso ao que acabou de acontecer. Os dois rankings avaliam perguntas fechadas, e nenhum deles pergunta se o modelo sabe o que saiu no noticiário hoje de manhã. Para quem trabalha com assunto quente ou com reação pública, isso elimina candidato sem mexer em nota nenhuma.

Integração e política de dados. O modelo se conecta ao que você já usa? O contrato permite mandar dado de cliente? Existe compromisso de não usar o seu conteúdo em treinamento? Essas perguntas eliminam candidatos independentemente de posição em ranking.

Um exemplo de como um critério desses decide sozinho: o Grok lê o X em tempo real, e isso não move um ponto em nenhum dos dois rankings. Para quem precisa disso, a lista de candidatos encolhe para um. Para quem não precisa, é irrelevante.

• Preço por volume de texto, considerando entrada, saída e raciocínio.
• Tempo de resposta, quando alguém está esperando do outro lado.
• Naturalidade em português, testada com o seu próprio material.
• Acesso a informação recente, que depende de buscar na hora e não do que o modelo treinou.
• Integração com os sistemas que a empresa já usa.
• Política de dado e existência de plano corporativo com compromisso contratual.

O teste que resolve a dúvida em uma tarde

Depois de tudo isso, o método que realmente decide é embaraçosamente simples, e quase ninguém faz.

Escreva dez tarefas reais suas. Não perguntas de demonstração: as coisas que você faria de verdade, com o seu material, no seu vocabulário. Um e-mail que você precisa escrever, um documento que você precisa resumir, uma mensagem de cliente que você precisa classificar.

Escreva o gabarito antes. O que seria uma boa resposta para cada uma. Isso parece burocrático e é o passo que separa avaliação de impressão: sem critério escrito antes, você julga pela primeira resposta que soou bonita.

Rode as dez em dois ou três candidatos e compare. Em uma tarde você tem uma resposta baseada no seu caso, que vale mais do que qualquer ranking geral. E guarde essas dez tarefas: elas viram o seu teste padrão para toda vez que sair um modelo novo.

Uma última recomendação que vale mais que a escolha em si: construa de um jeito que permita trocar. A liderança muda a cada poucos meses, e um sistema amarrado a um fornecedor específico transforma cada troca em projeto. Padrões abertos como o MCP existem em boa parte por causa disso. Se você quer montar esse teste com o rigor certo para o seu caso, é assim que começa a consultoria em IA da ROO3.

Perguntas frequentes

Qual é a melhor IA hoje?

Depende do que você chama de melhor. Por capacidade medida em provas difíceis, vale olhar o topo do ECI da Epoch AI. Por preferência de pessoas em conversas comuns, vale o topo do ELO da Arena. Os dois rankings frequentemente discordam, e a liderança muda a cada poucos meses.

O que é o ECI da Epoch AI?

É o Epoch Capabilities Index, um índice composto que combina o desempenho de um modelo em mais de cinquenta benchmarks numa escala única. Ele usa um método estatístico que estima ao mesmo tempo a dificuldade de cada prova e a capacidade de cada modelo, o que permite comparar modelos que fizeram testes diferentes.

O que é o ELO da Arena?

É uma nota de preferência humana. Pessoas mandam a mesma pergunta para dois modelos sem saber quais são, escolhem a melhor resposta, e o sistema calcula uma nota no mesmo esquema de rating do xadrez. Mede o que as pessoas gostam de receber, que não é a mesma coisa que capacidade bruta.

Por que os dois rankings discordam?

Porque medem coisas diferentes. Um modelo pode resolver problemas muito difíceis e responder de um jeito longo e cansativo, enquanto outro é agradável e direto mas tropeça em raciocínio longo. A discordância é informação útil: ela indica qual modelo serve para tarefa técnica e qual serve para texto que uma pessoa vai ler.

Preciso sempre usar o modelo do topo do ranking?

Não, e usar o mais capaz para tudo é o erro de custo mais comum em empresa. Para classificar, extrair e etiquetar, um modelo pequeno entrega o mesmo resultado por uma fração do preço. O topo se justifica em texto que vai ao cliente e em tarefas com muitas etapas de raciocínio.

Como testo qual modelo é melhor para o meu caso?

Escreva dez tarefas reais suas, com o gabarito do que seria uma boa resposta definido antes de testar, e rode as dez em dois ou três candidatos. Em uma tarde você tem uma resposta baseada no seu material, e essas dez tarefas viram o seu teste padrão a cada modelo novo que sair.

Fontes

• Epoch AI: Epoch Capabilities Index
• Epoch AI: documentação do ECI
• LMArena: ranking de preferência humana

Rodrigo Fávaro

Fundador da ROO3, agência de marketing e tecnologia em São José do Rio Preto. Constrói produtos com IA em produção (Tobia, gerar.app, Pense Mercado) e mantém o AI Benchmark, ranking público de modelos de IA. Veja a consultoria em IA da ROO3.

X @rodmf LinkedIn rodrigofavaro