Engenheiro de Dados Staff

A Overstory procura um Staff Data Engineer para liderar o design e a escala da plataforma de dados que suporta a análise de vegetação com IA. O papel inclui a arquitetura da plataforma, a mentoria de engenheiros e a definição de padrões de qualidade de dados.

FUNÇÃO E EQUIPA Como Engenheiro de Dados Staff na Overstory, irá liderar a conceção e o dimensionamento da plataforma de dados que permite a análise de vegetação com IA da Overstory. A nossa análise depende da movimentação de volumes enormes de imagens de satélite, inferências de modelos e dados de redes de distribuição através de pipelines orquestrados de forma fiável, repetível e atempada para apoiar a tomada de decisão dos clientes. Será responsável pela arquitetura dessa plataforma e definirá a direção da sua evolução. Trabalhará em estreita colaboração com engenheiros de dados, ML e produto, bem como com equipas de produto, para garantir que os dados que fluem para os nossos modelos e para os nossos clientes equilibram a entrega pragmática com a durabilidade, a rastreabilidade e a escalabilidade. Como líder técnico sénior, orientará outros engenheiros, impulsionará decisões de arquitetura e definirá padrões para o design de pipelines, limites de serviços e qualidade de dados em toda a Overstory. Requisito de fuso horário: Europa (GMT/WET, CET, EET) e América do Norte Oriental (NST, AST, EST) O QUE IRÁ FAZER Em colaboração com colegas de dados, ML e produto, irá: - Conceber e evoluir a nossa camada de orquestração - grafos de assets, verificações de qualidade, estratégias de particionamento e os padrões que mantêm a escalabilidade de forma fiável. - Conceber e manter pipelines de dados de produção para dados geoespaciais e temporais de grande escala, desde a ingestão até à transformação e entrega. - Liderar o trabalho de design de sistemas em toda a plataforma de dados, incluindo limites de serviços, contratos de dados e o design em torno dos modos de falha que cada um apresenta. - Impulsionar a transição para uma arquitetura orientada a serviços, desacoplando componentes estreitamente ligados em serviços que as equipas podem possuir e implementar de forma independente. - Construir workflows orientados a eventos, substituindo acoplamentos frágeis e coordenação manual por padrões de mensagens duráveis. - Estabelecer frameworks de observabilidade, testes e qualidade de dados para que os problemas surjam antes de os clientes os verem, permitindo que qualquer resultado seja rastreado e explicado. - Orientar engenheiros e definir os padrões de como construímos, testamos e operamos sistemas de dados. COMPETÊNCIAS E EXPERIÊNCIA - Experiência de sucesso na interseção entre engenharia de dados, sistemas distribuídos e dados científicos de grande escala; profundamente motivado pela oportunidade de reduzir o risco de incêndios florestais e melhorar a resiliência da rede através de melhores padrões e infraestruturas de dados - 10+ anos de experiência na conceção e construção de pipelines e sistemas de dados de nível de produção - Experiência prática profunda com Dagster — orquestração baseada em assets, partições, sensores e o lado operacional de o executar em produção (experiência comparável com Airflow, Prefect ou semelhante é uma substituição razoável se estiver preparado para se aprofundar no Dagster) - Histórico comprovado de construção e operação de pipelines de dados à escala, com um conhecimento real de idempotência, backfills e particionamento - Experiência na preparação de sistemas para lidar com períodos de alta procura, com foco nas melhores práticas de testabilidade e escalabilidade - Fortes competências de design de sistemas — é capaz de raciocinar sobre limites, contratos, acoplamento e modos de falha, e explicar os compromissos às pessoas que os irão usar e construir sobre eles - Experiência prática na conceção de arquitetura orientada a serviços, incluindo versionamento e manutenção da operacionalidade através de migrações - Fortes competências em Python e experiência com Google Cloud - Experiência com Pub/Sub e padrões orientados a eventos - Fortes competências de comunicação e capacidade de colaboração entre engenharia, ML e produto - Confortável em liderar discussões de arquitetura e orientar outros engenheiros - Experiência em equipas remotas-first e globalmente distribuídas BOM TER - Conforto em trabalhar com dados geoespaciais e as formas como são armazenados - Experiência na construção de pipelines de dados que suportam treino e inferência de ML - Experiência com ferramentas de engenharia de análise e modelagem de data warehouses no BigQuery - Experiência com infraestrutura como código e conforto em ser responsável pelos seus sistemas em produção - Formação em sensoriamento remoto, silvicultura ou no setor de distribuição de energia Nota: Acreditamos que todas as pessoas são capazes de grandes feitos. Incentivamos a candidatura mesmo que não cumpra todos os requisitos listados nesta descrição de emprego. O QUE OFERECEMOS - Remuneração e benefícios competitivos, específicos por localização - Ambiente de trabalho flexível, autónomo e colaborativo, enraizado na confiança — construímos os nossos dias de trabalho à volta das nossas vidas, e não o contrário - Subsídio de home office, orçamentos de coworking e de educação contínua - Uma cultura de empresa que incorpora genuinamente cada um dos nossos valores fundamentais - Fazer parte de um trabalho verdadeiramente orientado pela missão que reduz incêndios florestais, protege os recursos naturais da Terra e ajuda a resolver a nossa crise climática Benefícios - Orçamento de coworking