O que é um LLM, como ele funciona por dentro e o que ele definitivamente não faz

O que você leva deste artigo

• Um LLM prevê o próximo pedaço de texto, e todas as suas habilidades saem dessa única operação.
• Ele não tem banco de dados de fatos: o conhecimento está diluído em bilhões de parâmetros numéricos.
• Erro de data e de número não é bug, é consequência direta do mecanismo de previsão.
• Cada resposta começa do zero: o modelo não lembra da conversa anterior a menos que ela seja reenviada.
• Onde o custo de errar é alto, o texto do modelo é rascunho, não decisão.
• A forma de melhorar o resultado é dar contexto, não pedir com mais educação.

A operação que explica tudo o resto

Um LLM faz uma coisa só, repetida milhares de vezes por segundo: dado o texto que existe até agora, ele calcula qual é o próximo pedaço mais provável, escolhe um e recomeça o cálculo já contando com o pedaço que acabou de escrever. É isso. Não há uma segunda função escondida.

A primeira reação de quase todo mundo é achar que isso é pouco demais para explicar o que a ferramenta faz. É uma reação razoável, e ela é errada por um motivo específico: para prever bem a próxima palavra em qualquer texto do mundo, o sistema é obrigado a aprender uma quantidade enorme de estrutura. Para completar "a capital da França é", ele precisa ter capturado geografia. Para completar corretamente o final de um contrato, ele precisa ter capturado a forma jurídica. Para fechar uma função de código, ele precisa ter capturado a lógica.

Isso responde uma pergunta que aparece sempre: o modelo entende o que está dizendo? Depende do que você chama de entender, e essa discussão é filosófica de verdade, não retórica. Do ponto de vista prático, que é o que interessa para quem vai usar, a resposta é outra: ele se comporta como quem entende em uma faixa enorme de tarefas, e falha de um jeito que ninguém que entendesse falharia.

Guarde essa última frase. O padrão de erro de um LLM é diferente do padrão de erro humano, e é por isso que ele surpreende. Ele escreve um parecer bem estruturado e erra a data de uma lei. Uma pessoa que erra a data daquela lei normalmente também escreveria um parecer ruim. Aqui, as duas coisas são independentes.

Nenhuma das habilidades dele foi programada por alguém. Todas são efeito colateral de fazer uma única previsão muito bem.

Onde o conhecimento fica guardado

Não existe, dentro do modelo, um banco de dados que você possa abrir e consultar. Não há uma tabela com a capital de cada país nem um arquivo com o texto das leis. Existe uma quantidade gigantesca de números, chamados parâmetros, ajustados durante o treinamento.

Esses parâmetros codificam relações estatísticas entre pedaços de texto. O conhecimento fica espalhado neles, não armazenado em um endereço. É por isso que ninguém consegue apagar um fato específico de um modelo pronto, e é por isso que o modelo não sabe dizer de onde tirou uma informação: ele não tirou de um lugar, ele reconstruiu a partir de um padrão distribuído.

Aqui está a raiz do comportamento que mais irrita quem começa a usar. Quando o padrão é forte, porque aquilo apareceu milhares de vezes em textos parecidos, a reconstrução é confiável. Quando o padrão é fraco, porque o assunto é raro, recente ou específico demais, a reconstrução produz algo que tem o formato certo e o conteúdo errado. É o que se chama de alucinação, e ela vem do desenho, não de um defeito de fabricação.

Existe também um recorte no tempo. O treinamento terminou em alguma data, e tudo que aconteceu depois simplesmente não está ali. Um modelo que responde sobre acontecimentos recentes está buscando na internet naquele momento, não lembrando.

Como um modelo é feito, em três fases

A primeira fase é o pré-treinamento. O sistema recebe um volume imenso de texto público e é ajustado para prever a continuação. Essa fase é a mais cara de todas, por uma margem enorme: é ela que consome os meses de computação em milhares de placas de vídeo de que os laboratórios falam, e é o que cria a capacidade bruta. Ao fim dela, o modelo sabe muito e não sabe conversar: ele completa texto, inclusive completando a sua pergunta com outras perguntas parecidas.

A segunda fase é o ajuste de instrução. O modelo é treinado com exemplos de pedido e resposta adequada, e aprende que quando alguém escreve uma pergunta, a continuação esperada é uma resposta, não mais perguntas. É a fase que transforma um completador de texto em um assistente.

A terceira é o alinhamento, em que pessoas comparam respostas do modelo e indicam quais são melhores, e esse julgamento é usado para ajustar o comportamento. É daqui que vêm o tom, a recusa em certos assuntos e a tendência a explicar em vez de despejar. É também daqui que vem um vício conhecido: o modelo aprende que respostas confiantes agradam mais que respostas hesitantes, e passa a ser confiante mesmo quando não deveria.

Modelos mais recentes acrescentam uma etapa de raciocínio, em que o sistema é treinado a produzir um rascunho interno antes da resposta final. Isso melhora muito matemática, lógica e programação, e cobra em tempo e em custo, porque o rascunho também é gerado e também é cobrado.

Por que ele não lembra de você

Cada resposta é calculada do zero. O modelo não guarda nada entre uma chamada e outra. Quando parece que ele lembra do começo da conversa, o que aconteceu foi que o programa em volta reenviou a conversa inteira junto com a sua nova mensagem.

Isso tem duas consequências que aparecem no dia a dia. A primeira é o limite: existe um teto de quanto texto cabe numa chamada, chamado janela de contexto, e conversas longas eventualmente estouram esse teto e começam a perder o começo. A segunda é o custo: reenviar a conversa inteira a cada mensagem significa pagar por ela de novo a cada mensagem. Esse detalhe está explicado com a conta feita em token e janela de contexto.

Os recursos de memória que alguns produtos oferecem não mudam o mecanismo: eles guardam notas sobre você fora do modelo e injetam essas notas no começo de cada conversa nova. É um arquivo do lado de fora, não uma lembrança do lado de dentro.

Para quem vai construir alguma coisa, essa é a informação mais útil deste artigo. Todo comportamento do sistema é definido pelo que entra na chamada. Se a informação não está no texto enviado, ela não existe para o modelo, por mais óbvia que pareça para você.

O que ele faz muito bem

Existe um padrão claro no que funciona, e ele é útil para decidir onde aplicar. Um LLM é excelente em tarefas de transformação: pegar um texto que existe e devolvê-lo em outro formato, outro tom, outro idioma, outro tamanho.

Imagine um escritório de contabilidade que recebe por WhatsApp trinta mensagens de cliente por dia, cada uma escrita de um jeito. Transformar essas mensagens em fichas padronizadas, com assunto, urgência e o que o cliente está pedindo, é exatamente o tipo de trabalho em que o modelo acerta quase sempre, porque toda a informação necessária já está na mensagem. Ele não precisa saber nada do mundo, precisa reorganizar.

Ele também é muito bom em rascunho. Primeira versão de proposta, resposta padrão, descrição de produto, roteiro de vídeo, e-mail difícil. O ganho não é ter o texto final, é sair da página em branco em trinta segundos com algo para editar.

E é surpreendentemente bom em classificar e extrair. Ler cem avaliações de clientes e separar por tipo de reclamação. Ler um contrato e listar prazos e valores. Ler um currículo e extrair experiência. São tarefas em que o material está todo na entrada e a saída é estruturada.

• Transformar formato: mensagem solta vira ficha, áudio vira resumo, texto longo vira lista de pendências.
• Rascunhar: primeira versão de qualquer texto repetitivo, para uma pessoa revisar.
• Classificar e extrair: separar, etiquetar e puxar campos de material que já existe.
• Traduzir e adaptar tom: mesmo conteúdo, público diferente.
• Explicar: transformar assunto técnico em linguagem de leigo, com controle de profundidade.

O que ele não faz, por desenho

Ele não é fonte de fato. Nome, data, número, valor, artigo de lei, referência bibliográfica: tudo isso é reconstruído por padrão, não consultado. Onde errar custa caro, o texto do modelo é rascunho para conferência, não decisão. Isso não melhora com modelo melhor, melhora com o fato sendo entregue junto da pergunta.

Ele não calcula de forma confiável sozinho. Modelos com raciocínio melhoraram muito nisso, mas a operação de base continua sendo previsão de texto. Para dinheiro, imposto, folha ou qualquer coisa em que a conta precisa fechar, o cálculo pertence ao código, e o modelo entra para explicar o resultado. Na ROO3 isso é regra em projeto: valor não é calculado por modelo de linguagem.

Ele não tem intenção nem opinião própria. Quando ele concorda com você depois de você insistir, isso não é convencimento: é o efeito do treinamento que premia respostas agradáveis. Essa é uma das armadilhas mais perigosas em uso profissional, porque parece validação e não é.

E ele não sabe o que não sabe. Não existe um medidor interno de confiança que ele possa consultar antes de responder. É por isso que a mesma voz segura sai para o que ele acertou e para o que ele inventou.

O que muda entre um modelo e outro

Todos os modelos grandes fazem a mesma operação, e ainda assim há diferença real entre eles. Ela aparece em quatro lugares: quanto texto cabe numa chamada, quão bem o modelo se sai em provas difíceis de raciocínio e código, quanto custa por volume de texto e quão rápido ele responde.

Essas quatro coisas se movem em direções opostas. Modelo mais capaz costuma ser mais caro e mais lento. Modelo rápido e barato dá conta de classificar e extrair, e tropeça em raciocínio longo. A escolha certa depende da tarefa, e usar o modelo mais caro para tudo é o erro de custo mais comum em projeto de IA.

Para comparar sem depender de opinião, existem duas medições públicas que valem: um índice composto de capacidade, que junta o resultado do modelo em dezenas de provas difíceis numa escala só, e uma nota de preferência humana, em que pessoas comparam respostas às cegas. Elas medem coisas diferentes e frequentemente discordam.

Essas duas medições estão reunidas e explicadas no AI Benchmark, que atualiza sozinho todo dia. A ROO3 não mede modelo nenhum: a página reúne e credita o dado público de quem mede. Se você quer saber qual usar hoje, o assunto está detalhado em qual a melhor IA hoje.

O que isso muda na sua empresa

A conclusão prática é uma regra de triagem. Tarefas em que todo o material necessário já está na entrada e o resultado é verificável rapidamente são as que dão retorno agora, com pouco risco. Tarefas em que o modelo precisa saber algo do mundo sozinho e ninguém vai conferir são as que geram prejuízo.

Entre esses dois extremos está a maior parte do trabalho real, e para ele existe uma solução conhecida: entregar o fato junto com a pergunta. Em vez de perguntar ao modelo qual é a sua política de troca, você manda a política junto e pede para ele responder com base nela. Isso tem nome, chama-se RAG, e é o desenho que a maior parte dos projetos sérios usa.

A segunda regra é sobre onde o humano fica. Não em revisar tudo, o que anula o ganho, mas nos pontos em que errar sai caro: antes de mandar para o cliente, antes de gravar no sistema, antes de qualquer coisa envolvendo dinheiro.

Se você está decidindo por onde começar na sua empresa, o caminho em ordem está em IA para pequena empresa. E se preferir que alguém olhe o seu caso específico antes de você investir, é isso que a consultoria em IA da ROO3 faz na primeira etapa.

Perguntas frequentes

O que significa a sigla LLM?

LLM vem de large language model, ou modelo de linguagem grande. Grande se refere ao tamanho do modelo, medido em bilhões de parâmetros, e ao volume de texto usado no treinamento. É a tecnologia por trás de ferramentas como ChatGPT, Claude e Gemini.

O LLM entende o que está dizendo?

A discussão é genuinamente aberta e depende do que se chama de entender. Do ponto de vista prático, ele se comporta como quem entende em muitas tarefas e falha de maneiras que ninguém que entendesse falharia, como errar uma data dentro de um texto tecnicamente impecável.

Por que a IA inventa informação com tanta segurança?

Porque ela não consulta um banco de fatos: reconstrói a resposta a partir de padrões estatísticos. Quando o padrão é fraco, o resultado sai com o formato certo e o conteúdo errado. E o treinamento premia respostas confiantes, então não há hesitação avisando que aquilo é reconstrução frágil.

A IA aprende com as minhas conversas?

O modelo em si não muda enquanto você conversa: ele é fixo depois do treinamento. Se as suas conversas serão ou não usadas em treinamentos futuros depende da política do produto que você usa, e planos corporativos normalmente excluem isso por contrato. Vale ler os termos antes de colocar dado de cliente.

Qual a diferença entre LLM e IA?

Inteligência artificial é o campo inteiro, que inclui coisas bem diferentes como visão computacional, recomendação e previsão. LLM é um tipo específico de modelo, especializado em texto. Todo LLM é IA, mas grande parte da IA que roda no mundo hoje não é LLM.

Preciso entender isso para usar IA na minha empresa?

Não precisa da matemática, mas precisa do mecanismo. Saber que o modelo prevê texto em vez de consultar fatos é o que faz você entregar a informação junto da pergunta em vez de esperar que ele saiba, e é a diferença entre um projeto que funciona e um que gera retrabalho.

Fontes

• Epoch AI: documentação do Epoch Capabilities Index
• Kalai, Nachum, Vempala e Zhang: Why Language Models Hallucinate

Rodrigo Fávaro

Fundador da ROO3, agência de marketing e tecnologia em São José do Rio Preto. Constrói produtos com IA em produção (Tobia, gerar.app, Pense Mercado) e mantém o AI Benchmark, ranking público de modelos de IA. Veja a consultoria em IA da ROO3.

X @rodmf LinkedIn rodrigofavaro