RAG (geração aumentada por recuperação)

RAG existe para resolver um problema: um modelo de linguagem perguntado sobre o seu negócio vai responder de qualquer jeito, a partir de conhecimento genérico, e soa exatamente igual de confiante quando está errado. O RAG insere uma etapa de busca antes da geração, para que o modelo escreva a partir de trechos que saíram do seu próprio conteúdo.

Na prática é um pipeline de indexação mais uma busca. Suas fontes são quebradas em pedaços, convertidas em vetores e armazenadas; na hora da pergunta, os pedaços mais próximos são recuperados e entregues ao modelo junto com a pergunta.

A qualidade da resposta passa a depender menos do modelo e mais da recuperação. Se o trecho certo nunca volta da busca, nenhum modelo recupera isso, e é por isso que o estado da sua base de conhecimento importa mais do que qual modelo está por trás.