U10 · Secundários

IRS Helper — RAG sobre documentos fiscais dos EUA

Sistema RAG sobre formulários e publicações do IRS: coleta os PDFs e EPUBs do site oficial, indexa em pgvector e responde por uma API no formato da OpenAI, usada pelo OpenWebUI como se fosse um modelo.

privado

Decisões técnicas

  • Coleta com Scrapy: spiders separados para PDFs e EPUBs do irs.gov, salvando no Postgres. EPUBs são convertidos em PDF e enviados ao Cloudflare R2.
  • Vetorização com embeddings OpenAI (1536 dimensões), filtrando versões do mesmo documento em outros idiomas.
  • Busca em dois modos: se a pergunta pede um formulário ("Form 1040"), um regex encontra o número e devolve o link direto, sem chamar o LLM. Senão, busca vetorial com rerank do Cohere e resposta com o contexto.
  • API FastAPI compatível com `/v1/chat/completions` (inclui `stream: true` em SSE), então qualquer cliente OpenAI funciona sem mudança.
  • Exposto no OpenWebUI através do LiteLLM, que registra o servidor como um modelo chamado `irs-helper`.
  • Dashboard web com estatísticas do índice e lista de documentos ainda não vetorizados.

Stack

PythonScrapyPostgreSQLpgvectorOpenAI EmbeddingsCohere RerankFastAPILiteLLMOpenWebUIDocker

O que mostra

Quem precisa achar rápido um formulário ou uma regra em um acervo grande de documentos fiscais, usando uma interface de chat que já conhece.