Dominando a engenharia RAG8 / 10
Tratando Alucinações e Guardrails
Quando a recuperação vem vazia, um modelo prestativo inventa. Guardrails transformam 'confiantemente errado' em 'honestamente incerto' — a diferença que os usuários realmente confiam.
Uma alucinação em RAG é geralmente uma falha de recuperação disfarçada: o modelo recebeu contexto fraco ou irrelevante e — treinado para ser prestativo — preencheu o vazio com invenção. Guardrails tornam essa falha visível em vez de fluente.
Gate na confiança de recuperação
Antes de gerar, verifique a recuperação. Se a pontuação do top re-ranked estiver abaixo de um limiar, ou nenhum chunk passar por uma barra de relevância, não gere uma resposta confiante — retorne "Não consegui encontrar isso nas fontes" ou escale.
if top_score < THRESHOLD:
return "I don't have a reliable source for that."
O limiar é ajustado contra as questões fora do escopo do seu conjunto de avaliação.
Verifique a saída, não apenas a entrada
Após a geração, execute uma verificação de fidelidade: cada afirmação rastreia até um chunk recuperado? Uma segunda chamada de modelo barata ("Esta resposta é totalmente apoiada por essas fontes? Liste as afirmações não apoiadas.") detecta desvios antes de chegar ao usuário.
Falhe graciosamente
Honesto sob incerteza, fundamentado quando confiante. Próximo: mantendo tudo isso acessível.
Série — Dominando a engenharia RAG
- Parte 01Por que RAG Ingênuo Falha em ProduçãoA demo de busca vetorial de 50 linhas que impressiona no notebook desmorona no momento em que usuários reais fazem perguntas reais. Aqui está o porquê — e o mapa de saída.
- Parte 02Chunking — The Decision That Sets Your CeilingYou can't retrieve what you chunked badly. Chunking is the most under-rated lever in RAG — and the cheapest to get right.
- Parte 03Embeddings & Vector Stores 101Um embedding transforma significado em geometria. Uma vector store torna essa geometria pesquisável em milissegundos. Acerte ambos e a recuperação fica fácil.
- Parte 04Hybrid Retrieval — Keyword + VectorVector search compreende significado mas tropeça em termos exatos, IDs e palavras raras. Keyword search acerta nesses e erra em paráfrase. Use ambos.
- Parte 05Re-Ranking — The Cheap Quality WinRetrieval gets you 30 plausible chunks. A re-ranker reads them against the actual question and floats the truly relevant few to the top.
- Parte 06Prompting the Generator — Grounding & CitationsGreat retrieval is wasted if the model ignores it or can't point to its sources. Grounding is a prompt-design discipline, not an afterthought.
- Parte 07Avaliação — Você Não Pode Melhorar o Que Não MedeSem um conjunto de avaliação, toda mudança em RAG é uma intuição. Com um, você afina chunking, retrieval e prompts com um número que diz se ajudou ou prejudicou.
- Parte 08Tratando Alucinações e Guardrails — você está aquiQuando a recuperação vem vazia, um modelo prestativo inventa. Guardrails transformam 'confiantemente errado' em 'honestamente incerto' — a diferença que os usuários realmente confiam.
- Parte 09Disciplina de Custo e LatênciaUma consulta RAG toca embeddings, um vector DB, um re-ranker e um LLM. Cada um adiciona milissegundos e centavos. Em escala, disciplina aqui é a diferença entre uma margem e um incêndio.
- Parte 10The Production RAG Reference ArchitectureEvery piece, assembled: ingestion, hybrid retrieval, re-ranking, grounded generation, guardrails, eval and caching — the blueprint you can ship.