Da demo ao produto: os 12 conceitos de uma IA em produção, trabalhando juntos

Colocar um modelo de linguagem para responder a uma pergunta leva uma tarde. Colocar o mesmo modelo para atender clientes, consultar sistemas e falar em nome da empresa, todos os dias, é outro trabalho. A diferença entre os dois não está no modelo, e sim em tudo o que fica ao redor dele.

Circulam nas redes listas com os conceitos mais importantes para levar uma aplicação de IA à produção: embeddings, bancos vetoriais, RAG, chunking, reranking, cache semântico, roteamento de modelos, guardrails, chamada de ferramentas, memória, evals e streaming. As listas acertam nos itens, mas costumam apresentar cada um isolado, como cartas de um baralho. Na prática, o que importa é a ordem em que eles entram em ação e como um depende do outro.

O jeito mais claro de entender isso é seguir uma pergunta, do momento em que o usuário digita até a resposta aparecer na tela.

Antes da pergunta: preparar o conhecimento

Para a IA responder com base nos documentos da empresa, e não só no que aprendeu no treinamento, esses documentos precisam estar prontos para busca. Isso acontece antes de qualquer pergunta, e de novo sempre que um documento muda.

1. Chunking. Manuais, políticas e contratos são divididos em trechos menores, com uma pequena sobreposição entre eles para não cortar uma ideia no meio. Trechos grandes demais trazem ruído; pequenos demais perdem o sentido.
2. Embeddings. Cada trecho vira um vetor, uma lista de números que representa o significado do texto. Trechos com sentido parecido ficam próximos: "devolução do dinheiro" fica perto de "política de reembolso", mesmo sem nenhuma palavra em comum.
3. Banco vetorial. Os vetores são guardados num banco feito para encontrar rapidamente os vizinhos mais próximos de uma pergunta, entre milhões de trechos.

Os detalhes dessa etapa pesam muito no resultado. Num estudo publicado pela Anthropic em 2024, acrescentar a cada trecho uma breve explicação de contexto, gerada a partir do documento inteiro e específica daquele trecho, reduziu em 35% as falhas de recuperação. Aplicando o mesmo contexto também à busca por palavras-chave, a redução chegou a 49%, e com reranking, a 67%.

Durante a pergunta: o caminho de cada resposta

1. Guardrail de entrada. A primeira barreira confere o que chegou: tentativas de manipular o agente com instruções escondidas, dados pessoais que não deveriam entrar e pedidos fora do escopo. A injeção de instruções é o primeiro risco da lista da OWASP para aplicações com modelos de linguagem.
2. Cache semântico. Se uma pergunta com o mesmo sentido já foi respondida, a resposta salva é devolvida sem chamar o modelo, o que corta custo e tempo. O cuidado é não confundir parecido com igual: "status do pedido 123" e "status do pedido 456" são quase idênticas para um vetor, e respostas pessoais nunca podem ser reaproveitadas entre usuários.
3. Roteador de modelo. Nem toda tarefa precisa do modelo mais caro. Classificar uma mensagem cabe num modelo pequeno e rápido; um raciocínio longo pede um maior. O roteador também define o modelo reserva, se o principal falhar.
4. RAG, com reranking. A pergunta vira vetor, o banco devolve os trechos mais próximos e um reranker reordena esses trechos pela relevância real, porque proximidade de significado não é o mesmo que responder à pergunta. Só os melhores vão para o modelo, junto com a pergunta.
5. Modelo, ferramentas e memória. O modelo responde usando o contexto recebido. Quando precisa de um dado atual, como o status de um pedido, chama uma ferramenta: o sistema da empresa executa a consulta e devolve o resultado. A memória guarda o que importa da conversa e, quando faz sentido, entre conversas. Ações de risco, como um reembolso, passam por aprovação de uma pessoa.
6. Guardrail de saída. Antes de sair, a resposta é conferida: dados que não podem vazar, promessas que a empresa não faz, formato esperado.
7. Streaming. A resposta aparece na tela à medida que é gerada. O tempo total é o mesmo, mas a espera percebida cai, e o usuário já começa a ler.

Depois da resposta: medir para melhorar

É aqui que muitos projetos param, e é aqui que um produto se separa de uma demo.

• Registros de cada etapa. A pergunta, os trechos recuperados, a ferramenta chamada, a resposta, o tempo e o custo de cada passo. Sem isso, quando algo dá errado, ninguém sabe se o problema estava na busca, no modelo ou na instrução.
• Evals. Uma bateria de casos de teste, com respostas esperadas, roda a cada mudança de instrução, de modelo ou de documentos. Trocar o modelo por um mais novo pode melhorar um tipo de resposta e piorar outro; só a bateria mostra.
• Ajuste com régua. Só vai para produção a mudança que melhorou a nota. O ciclo se repete, e o sistema tende a ficar melhor a cada volta, em vez de mudar no escuro.

O que as listas costumam deixar de fora

• Custo por resultado. O total da fatura não diz se o dinheiro foi bem gasto. O que diz é quanto custa cada atendimento resolvido ou cada documento processado.
• Permissões no RAG. A busca precisa respeitar quem está perguntando. Um vendedor não pode receber, por similaridade, um trecho do contrato de outro cliente ou da folha de pagamento.
• Pessoas no circuito. Para decisões de impacto, o desenho certo é o agente preparar e uma pessoa aprovar, com a regra clara de quando isso acontece.
• Plano para quando algo falha. Provedor fora do ar, ferramenta lenta, resposta bloqueada pelo guardrail: o sistema precisa de um caminho previsto para cada caso, e não de uma tela de erro.

Nem todo sistema precisa dos 12

A recomendação da Anthropic para quem constrói com agentes é encontrar a solução mais simples possível e só aumentar a complexidade quando necessário. A mesma empresa observa que, se a base de conhecimento tem menos de 200 mil tokens, cerca de 500 páginas, dá para colocá-la inteira no contexto do modelo, sem RAG.

O assistente deste site é um exemplo. Todo o conteúdo publicado, das ofertas às perguntas frequentes, cabe no contexto do modelo. Por isso ele não usa banco vetorial nem RAG: recebe o conteúdo inteiro, com cache de prompt, em que a parte repetida da instrução custa uma fração do preço normal de entrada. Ele usa streaming, chama uma ferramenta para registrar o atendimento e enviar o resumo à equipe, segue regras no prompt de sistema que fazem o papel de guardrails e tem o modelo configurável. Banco vetorial, reranking e roteador entram quando o volume de documentos ou de conversas pedir.

A ordem que mais funciona na prática começa por onde as listas costumam terminar: primeiro definir o que é uma boa resposta e montar a bateria de testes; depois o caminho mais simples que passa nela; e só então acrescentar peças, uma de cada vez, conferindo na bateria se cada uma ajudou.

Perguntas rápidas

Fontes

1. Introducing Contextual Retrieval. Anthropic, 19/09/2024.
2. Building effective agents. Anthropic, 19/12/2024.
3. OWASP Top 10 for LLM Applications 2025. OWASP GenAI Security Project, 2025.
4. Prompt caching. Anthropic (documentação), consultado em 10/2026.

Os dados foram conferidos nas fontes acima na data de publicação. Pesquisas citadas por veículos de imprensa estão indicadas com o nome do veículo.