Dominando a engenharia RAG7 / 10
Avaliação — Você Não Pode Melhorar o Que Não Mede
Sem um conjunto de avaliação, toda mudança em RAG é uma intuição. Com um, você afina chunking, retrieval e prompts com um número que diz se ajudou ou prejudicou.
Este é o artigo que transforma RAG de adivinhação em engenharia. Um conjunto de avaliação é uma lista fixa de perguntas com respostas conhecidas como boas (ou fontes conhecidas como relevantes). Execute-o após cada mudança e você obtém um número — isso ajudou ou prejudicou?
Construa o conjunto primeiro
- Colete 30–100 perguntas reais (de usuários, tickets de suporte, docs). Real é melhor que inventado.
- Para cada uma, marque o(s) chunk(s) de fonte relevante(s) e uma resposta de referência.
- Inclua casos difíceis: ambíguos, multi-salto e fora do escopo (a resposta deve ser "Não sei").
As métricas que importam
- Retrieval recall@k — o chunk relevante ficou no top-k? Este é seu teto; corrija primeiro.
- Faithfulness — toda alegação na resposta é apoiada pelo contexto recuperado? Detecta alucinação.
- Answer relevance — a resposta realmente aborda a pergunta?
LLM-as-judge, responsavelmente
Um modelo forte pode pontuar faithfulness e relevance em escala. Use-o — mas calibre contra rótulos humanos em uma amostra, dê ao juiz uma rubrica rigorosa e nunca deixe que avalie o estilo de seu próprio gerador.
Com um número para otimizar, toda decisão posterior — guardrails, custo, arquitetura — se torna mensurável em vez de religiosa.
Série — Dominando a engenharia RAG
- Parte 01Por que RAG Ingênuo Falha em ProduçãoA demo de busca vetorial de 50 linhas que impressiona no notebook desmorona no momento em que usuários reais fazem perguntas reais. Aqui está o porquê — e o mapa de saída.
- Parte 02Chunking — The Decision That Sets Your CeilingYou can't retrieve what you chunked badly. Chunking is the most under-rated lever in RAG — and the cheapest to get right.
- Parte 03Embeddings & Vector Stores 101Um embedding transforma significado em geometria. Uma vector store torna essa geometria pesquisável em milissegundos. Acerte ambos e a recuperação fica fácil.
- Parte 04Hybrid Retrieval — Keyword + VectorVector search compreende significado mas tropeça em termos exatos, IDs e palavras raras. Keyword search acerta nesses e erra em paráfrase. Use ambos.
- Parte 05Re-Ranking — The Cheap Quality WinRetrieval gets you 30 plausible chunks. A re-ranker reads them against the actual question and floats the truly relevant few to the top.
- Parte 06Prompting the Generator — Grounding & CitationsGreat retrieval is wasted if the model ignores it or can't point to its sources. Grounding is a prompt-design discipline, not an afterthought.
- Parte 07Avaliação — Você Não Pode Melhorar o Que Não Mede — você está aquiSem um conjunto de avaliação, toda mudança em RAG é uma intuição. Com um, você afina chunking, retrieval e prompts com um número que diz se ajudou ou prejudicou.
- Parte 08Tratando Alucinações e GuardrailsQuando a recuperação vem vazia, um modelo prestativo inventa. Guardrails transformam 'confiantemente errado' em 'honestamente incerto' — a diferença que os usuários realmente confiam.
- Parte 09Disciplina de Custo e LatênciaUma consulta RAG toca embeddings, um vector DB, um re-ranker e um LLM. Cada um adiciona milissegundos e centavos. Em escala, disciplina aqui é a diferença entre uma margem e um incêndio.
- Parte 10The Production RAG Reference ArchitectureEvery piece, assembled: ingestion, hybrid retrieval, re-ranking, grounded generation, guardrails, eval and caching — the blueprint you can ship.