RAG (geração aumentada por recuperação)

Um sistema de RAG tem duas etapas. Primeiro, a indexação corta cada documento em passagens e transforma cada passagem em um embedding, uma lista de números que captura o sentido dela. Passagens sobre assuntos parecidos terminam com vetores parecidos. Depois, na hora da pergunta, ela é convertida em vetor do mesmo jeito, as passagens mais próximas são encontradas comparando vetores e entram no prompt ao lado da pergunta. O modelo responde usando-as.

O método resolve dois limites de um modelo comum. Ele não consegue ler o que não viu no treinamento, como suas anotações de aula, o contrato de um fornecedor, o manual de um produto ou o registro de mudanças da semana passada, e sua janela de contexto é finita. A recuperação traz apenas o necessário, então uma biblioteca muito maior que a janela ainda pode ser consultada. Também dá à resposta um apoio: o modelo pode citar a passagem usada, o que facilita flagrar uma alucinação.

A qualidade da resposta depende da qualidade da recuperação. Se a passagem certa não é encontrada, o modelo não tem o que citar e pode recorrer a palpites. O tamanho da passagem também pesa: um fragmento cortado no meio da frase perde o sentido, e um bloco do tamanho de um capítulo desperdiça espaço. Páginas digitalizadas, tabelas e notas de rodapé são pontos comuns de tropeço. Por isso, uma resposta de RAG é melhor lida com as passagens citadas à vista. Os blocos de construção típicos são um modelo de embeddings, um índice de vetores, um reclassificador, uma regra de divisão e um modelo de prompt; os usos típicos são robôs de atendimento, pesquisa jurídica, auxílio de estudo e wikis internas. Configurações híbridas combinam vetores semânticos com a pontuação clássica por palavras-chave, como o BM25, e depois reclassificam a lista curta com um cross-encoder, porque códigos de produto, sobrenomes e números de erro são encontrados melhor por termos literais do que só pelo sentido.

O Cofre do NeverNo é um RAG pensado em torno da sua privacidade. Os documentos que você adiciona, em PDF, Word, Markdown, texto ou código, ficam no seu navegador, no banco IndexedDB chamado neverno, criptografados com a mesma chave das suas conversas. Cada documento é cortado em passagens de cerca de 800 tokens, e cada passagem recebe um vetor de 1.024 números. Esse vetor é calculado uma única vez por um modelo privado na DeepInfra, e a busca em si é feita no seu navegador, sobre os vetores guardados ali.

Quando a opção “Responder com meu cofre” está ativa, uma pergunta envia apenas as passagens mais próximas dela, no máximo 6, ou 3 no plano gratuito, com o nome do documento, só com aquela mensagem, ao modelo que responde. O resto dos seus documentos nunca sai. Com um modelo anonimizado, as passagens chegam à empresa responsável junto com a mensagem, sob as regras dela. O GLM 5.3 Flash é um modelo privado gratuito da Z.ai que lê imagens, e a página da IA privada explica onde tudo fica guardado.