Qual IA é a melhor hoje? Com a fonte de cada número.

Depende do que você chama de melhor. Por capacidade medida em provas difíceis, vale o topo do ECI. Por preferência de pessoas comuns em conversas do dia a dia, vale o topo do ELO. O LiveBench é uma terceira leitura, com perguntas renovadas para reduzir a chance de o modelo já ter visto a prova. Os rankings não coincidem, e é por isso que esta página mostra as colunas lado a lado em vez de inventar uma nota única.

Epoch Capabilities Index, da Epoch AI. Um índice composto que junta o desempenho do modelo em vários benchmarks difíceis numa escala só, o que permite comparar modelos que nunca fizeram exatamente as mesmas provas. Quanto maior, melhor.

É a nota de preferência humana da Arena. Pessoas mandam a mesma pergunta para dois modelos sem saber quais são, escolhem a melhor resposta, e o sistema calcula uma nota no mesmo esquema de rating do xadrez. Mede o que as pessoas gostam de receber, que não é a mesma coisa que capacidade bruta.

É um benchmark com 23 tarefas objetivas em 7 categorias (raciocínio, programação, programação com agentes, matemática, análise de dados, linguagem e seguir instruções), com perguntas renovadas a cada seis meses para reduzir a chance de o modelo já ter visto a prova. A nota vai de 0 a 100 e é a média das categorias, a mesma conta que o site do LiveBench usa. Costuma publicar a nota de um lançamento antes do índice da Epoch AI.

Porque aquele modelo não foi encontrado na Arena com certeza. Casar nome por semelhança é como um ranking passa a mentir sem dar erro nenhum. Quando não há casamento exato, a coluna fica vazia. Preferimos a lacuna ao número errado.

Se ele saiu há pouco, ele aparece no cartão de lançamento no topo da página e na lista "Recém-lançados, ainda sem nota", logo abaixo da tabela. A Epoch AI cadastra o modelo no dia do lançamento e calcula a nota de capacidade depois, então existe uma janela em que o modelo é público mas ainda não tem ECI. Nessa janela ele não ocupa posição no ranking, que é ordenado por capacidade, mas aparece com as notas do LiveBench e da Arena quando elas já existem, o que costuma acontecer antes do ECI. Não estimamos a nota que falta.

Aparece, e dá para filtrar só por eles na barra acima da tabela. A coluna Acesso mostra se o modelo é servido por API, se os pesos são abertos ou se o acesso é restrito, conforme a classificação da própria Epoch AI.

Os dados originais são das três fontes citadas nos créditos: Epoch AI e Arena sob Creative Commons Attribution 4.0, e LiveBench sob Attribution-ShareAlike 4.0. Você pode usar, inclusive comercialmente, desde que credite as fontes originais do mesmo jeito que fazemos aqui; o que vier do LiveBench segue sob a mesma CC BY-SA. O crédito não é gentileza: é a condição da licença.

Seis vezes por dia, automaticamente. A data e a hora da última apuração ficam no topo da página e no rodapé da tabela. Se uma das fontes estiver fora do ar, a página mantém os números da apuração anterior em vez de zerar a coluna.