Na Wis, nossos agentes de IA precisam de um combustível de alta octanagem: conhecimento jurídico preciso, estruturado e acessível instantaneamente. Procuramos um Engenheiro de Dados especialista para arquitetar e construir o sistema nervoso central de nossa plataforma. Sua missão será projetar e operar os pipelines que transformam o universo caótico de dados jurídicos não estruturados (leis, jurisprudências, contratos) em uma base de conhecimento otimizada para o raciocínio dos agentes.
Você será o mestre por trás do nosso sistema de RAG (Retrieval-Augmented Generation), garantindo que, quando um agente precisa de uma informação, ele encontre exatamente o que precisa, com velocidade e relevância.
1. Arquitetura de Pipelines de Dados: Projetar e construir pipelines de ETL/ELT robustos e escaláveis para ingerir, processar, limpar e enriquecer grandes volumes de documentos jurídicos.
2. Engenharia de RAG: Implementar e otimizar o ciclo completo de RAG: desde o chunking inteligente de documentos, passando pela geração de embeddings, até a indexação e o gerenciamento de bancos de dados vetoriais.
3. Otimização de Relevância: Desenvolver e testar estratégias para melhorar a qualidade da recuperação de informação, incluindo o re-ranking de resultados e a implementação de grafos de conhecimento.
4. Qualidade e Governança: Criar sistemas de validação e monitoramento da qualidade dos dados, garantindo a conformidade com normas de segurança e privacidade (LGPD).
5. Infraestrutura de Dados: Trabalhar com a equipe de infraestrutura para provisionar e manter a performance de bancos de dados vetoriais (Pinecone, Weaviate, etc.) e outras ferramentas do ecossistema de dados.
a. Sólida experiência como Engenheiro de Dados, com histórico de construção de pipelines de dados complexos em ambiente de nuvem.
b. Proficiência avançada em Python e SQL.
c. Experiência prática com orquestradores de workflow como Airflow, Dagster ou Prefect.
d. Familiaridade com o processamento de dados não estruturados (texto, PDFs, etc.).
e. Compreensão dos conceitos de IA, especialmente RAG e embeddings.
f. Diferencial: Experiência direta com bancos de dados vetoriais; conhecimento de processamento distribuído (Spark); experiência com NLP.
