Engenheiro(a) Sénior de Testes de IA
A Alternative Path procura um Senior AI Test Engineer para liderar a garantia de qualidade num projeto com uma empresa de dados e análise financeira. A função passa por construir frameworks de avaliação, conjuntos de dados golden e métricas específicas de RAG.
Esta é uma posição remota. Engenheiro(a) Sénior de Testes de IA Localização: Remoto Sobre a Função A Alternative Path procura um(a) Engenheiro(a) Sénior de Testes de IA para liderar a garantia de qualidade num projeto com um cliente, uma empresa líder em dados e análises financeiras que construiu sistemas de agentes de IA (chatbots, geração de investigação/relatórios baseada em RAG, agentes de chamada de ferramentas baseados em MCP) sobre os seus próprios conjuntos de dados proprietários para os seus próprios clientes. Esta é uma função sénior, com contacto direto com o cliente: será responsável pela estratégia de testes destes sistemas de ponta a ponta, trabalhando diretamente com a equipa de engenharia do cliente para validar a precisão, fiabilidade e segurança antes de estes agentes chegarem aos utilizadores finais do setor financeiro — onde alucinações ou recuperação de dados incorreta acarretam risco real para o negócio. Isto não é QA convencional. Irá construir frameworks e conjuntos de dados de avaliação, executar avaliações sistemáticas e definir padrões de qualidade para sistemas não determinísticos, orientados por LLM, que operam sobre dados financeiros complexos. O Que Irá Fazer - Ser responsável pela estratégia de testes e avaliação para os sistemas de agentes de IA do cliente — chatbots, geração de investigação/relatórios baseada em RAG e agentes de chamada de ferramentas baseados em MCP Ser responsável pela estratégia de testes e avaliação para os sistemas de agentes de IA do cliente — chatbots, geração de investigação/relatórios baseada em RAG e agentes de chamada de ferramentas baseados em MCP - Conceber e construir suites de avaliação cobrindo precisão, fundamentação/fidelidade aos dados de origem, conclusão de tarefas, latência e segurança Conceber e construir suites de avaliação cobrindo precisão, fundamentação/fidelidade aos dados de origem, conclusão de tarefas, latência e segurança - Construir e curar conjuntos de dados de referência (golden datasets) que reflitam casos de uso reais do cliente e casos-limite de dados financeiros (consultas ambíguas, dados desatualizados, fontes contraditórias, precisão numérica) Construir e curar conjuntos de dados de referência (golden datasets) que reflitam casos de uso reais do cliente e casos-limite de dados financeiros (consultas ambíguas, dados desatualizados, fontes contraditórias, precisão numérica) - Utilizar ferramentas de avaliação/observabilidade como LangSmith (ou equivalentes — Ragas, DeepEval, Braintrust, Langfuse, PromptFoo) para rastrear, pontuar e monitorizar execuções de agentes Utilizar ferramentas de avaliação/observabilidade como LangSmith (ou equivalentes — Ragas, DeepEval, Braintrust, Langfuse, PromptFoo) para rastrear, pontuar e monitorizar execuções de agentes - Definir e acompanhar métricas específicas de RAG (precisão/recall de recuperação, taxa de alucinação, precisão de citações/fontes) — crítico dado que os sistemas assentam sobre conjuntos de dados financeiros onde a correção não é negociável Definir e acompanhar métricas específicas de RAG (precisão/recall de recuperação, taxa de alucinação, precisão de citações/fontes) — crítico dado que os sistemas assentam sobre conjuntos de dados financeiros onde a correção não é negociável - Avaliar o comportamento de chamada de ferramentas baseado em MCP — seleção correta de ferramentas, execução de tarefas em múltiplos passos, tratamento de falhas Avaliar o comportamento de chamada de ferramentas baseado em MCP — seleção correta de ferramentas, execução de tarefas em múltiplos passos, tratamento de falhas - Conceber testes de regressão para que alterações a prompts, modelos ou pipelines de dados não degradem silenciosamente a qualidade Conceber testes de regressão para que alterações a prompts, modelos ou pipelines de dados não degradem silenciosamente a qualidade - Executar red-teaming estruturado para alucinações, injeção de prompts e resultados financeiros inseguros/incorretos Executar red-teaming estruturado para alucinações, injeção de prompts e resultados financeiros inseguros/incorretos - Atuar como o principal ponto de contacto de qualidade com os stakeholders de engenharia do cliente — traduzindo conclusões em avaliações de risco claras e acionáveis Atuar como o principal ponto de contacto de qualidade com os stakeholders de engenharia do cliente — traduzindo conclusões em avaliações de risco claras e acionáveis - Orientar/acompanhar quaisquer recursos júniores de QA alocados ao projeto à medida que este cresce Orientar/acompanhar quaisquer recursos júniores de QA alocados ao projeto à medida que este cresce - Construir automação para integrar avaliações em pipelines de CI sempre que viável Construir automação para integrar avaliações em pipelines de CI sempre que viável O Que Procuramos Requisitos essenciais - 3+ anos em QA/testes de software, com experiência prática de nível sénior na avaliação de sistemas de IA baseados em LLM ou agênticos (não apenas QA tradicional) 3+ anos em QA/testes de software, com experiência prática de nível sénior na avaliação de sistemas de IA baseados em LLM ou agênticos (não apenas QA tradicional) - Experiência direta com frameworks/ferramentas de avaliação — LangSmith fortemente preferido; também aceitável: Ragas, DeepEval, PromptFoo, Braintrust, Langfuse Experiência direta com frameworks/ferramentas de avaliação — LangSmith fortemente preferido; também aceitável: Ragas, DeepEval, PromptFoo, Braintrust, Langfuse - Forte compreensão da arquitetura RAG e de como avaliar de forma independente a qualidade da recuperação versus a qualidade da geração Forte compreensão da arquitetura RAG e de como avaliar de forma independente a qualidade da recuperação versus a qualidade da geração - Familiaridade prática com MCP (Model Context Protocol) ou frameworks comparáveis de chamada de ferramentas por agentes Familiaridade prática com MCP (Model Context Protocol) ou frameworks comparáveis de chamada de ferramentas por agentes - Fortes competências em Python para construir harnesses de teste, pipelines de pontuação e automação Fortes competências em Python para construir harnesses de teste, pipelines de pontuação e automação - Experiência na conceção de abordagens de avaliação para sistemas não determinísticos (pontuação probabilística, não aprovação/reprovação binária) Experiência na conceção de abordagens de avaliação para sistemas não determinísticos (pontuação probabilística, não aprovação/reprovação binária) - À vontade para trabalhar diretamente com equipas de engenharia do cliente — forte comunicação, capaz de explicar o risco de qualidade tanto a stakeholders técnicos como de negócio À vontade para trabalhar diretamente com equipas de engenharia do cliente — forte comunicação, capaz de explicar o risco de qualidade tanto a stakeholders técnicos como de negócio - Experiência prévia num ambiente de QA de serviços a clientes / consultoria (este é um projeto com contacto direto com o cliente, não uma equipa de produto interna) Experiência prévia num ambiente de QA de serviços a clientes / consultoria (este é um projeto com contacto direto com o cliente, não uma equipa de produto interna) Requisitos valorizados - Experiência em testar sistemas de IA nos domínios de fintech, mercados de capitais ou dados/análises Experiência em testar sistemas de IA nos domínios de fintech, mercados de capitais ou dados/análises - Familiaridade com considerações de precisão/conformidade de dados financeiros (precisão numérica, rastreabilidade de fontes, trilhas de auditoria) Familiaridade com considerações de precisão/conformidade de dados financeiros (precisão numérica, rastreabilidade de fontes, trilhas de auditoria) - Exposição a práticas de red-teaming/avaliação de segurança de LLM Exposição a práticas de red-teaming/avaliação de segurança de LLM - Experiência com testes de agentes de automação de navegador (Playwright ou similar) Experiência com testes de agentes de automação de navegador (Playwright ou similar) Porque Esta Função É Importante Os utilizadores finais do cliente dependem destes agentes para investigação financeira e tomada de decisões — o custo de um número alucinado ou de uma fonte errada é elevado. Será a autoridade técnica sénior que garante que estes sistemas são fiáveis antes de serem lançados, trabalhando na interseção entre a avaliação de IA e a correção de dados financeiros.
A candidatura é feita diretamente no site da empresa — sem intermediários. Vaga remota verificada para quem reside em Portugal.
Candidatar no site da empresa →