Membro da Equipa Técnica, Plataforma de ML (Evals)

A Runway procura um engenheiro de infraestrutura ML para assumir de ponta a ponta a avaliação de modelos, da geração de amostras à entrega de resultados aos investigadores. O trabalho é remoto.

Estamos a construir IA para simular o mundo através da fusão da arte e da ciência. Acreditamos que os modelos de mundo estão na fronteira do progresso em inteligência artificial. Os modelos de linguagem, sozinhos, não resolverão os problemas mais difíceis do mundo — robótica, doenças, descoberta científica. O progresso real requer modelos que experimentam o mundo e aprendem com os seus erros, da mesma forma que os humanos. E este tipo de tentativa e erro pode ser massivamente acelerado quando é feito em simulação, em vez do que no mundo real. Os modelos de mundo oferecem o caminho mais claro para a simeração de propósito geral, mudando a forma como as histórias são contadas, como o progresso científico é feito e como as próximas fronteiras da humanidade são alcançadas. A nossa equipa é composta por pessoas criativas, de mente aberta, atenciosas e ambiciosas que estão determinadas a mudar o mundo. Ambicionamos construir continuamente coisas impossíveis e a nossa capacidade de o fazer depende da construção de uma equipa incrível. Se é movido(a) para fazer o mesmo, teríamos muito gosto em ouvir de si. *Os títulos publicados na nossa página de carreiras são atualizados regularmente para melhor anunciar a função e a senioridade esperada, mas internamente temos um sistema de títulos plano com dois tipos de títulos: um para colaboradores individuais e outro para gestores de pessoas. SOBRE A FUNÇÃO Procuramos um engenheiro de infraestrutura de ML que assuma de ponta a ponta a avaliação de modelos na Runway. Cada decisão que tomámos sobre um modelo — que ponto de controlo continuar a treinar, o que colocar à disposição de milhões de utilizadores, que datamix e arquitetura demonstram mais promessa — assenta em evals. Hoje, esse trabalho está espalhado pela organização. Vai transformá-lo numa única plataforma. O seu trabalho será conceber e construir os sistemas que geram amostras em escala, as pontuam com métricas automáticas e anotações humanas, acompanham resultados ao longo dos pontos de controlo e versões, e colocam as respostas perante os investigadores em minutos em vez de dias. Vai definir o que "melhor" significa operacionalmente — como o medimos, com que confiança, e como um resultado se torna uma decisão de lançar/não lançar. Vai estar integrado nas equipas de investigação como membro da Plataforma de ML, e vai definir a direção técnica dos evals em toda a empresa. Esta é uma função de enorme alavancagem: a qualidade dos nossos modelos é limitada pela forma como conseguimos medi-los. UMA OLHADA NA NOSSA STACK TÉCNICA O nosso código de inferência e treino está escrito em Python (PyTorch) e é cloud-native. Aproveitamos múltiplas clouds e usamos uma combinação de ferramentas nativas do Kubernetes e desenvolvidas internamente para uma orquestração eficiente de tarefas. Somos grandes utilizadores de desenvolvimento e operações agênticas. Temos uma plataforma interna robusta e fornecemos acesso abrangente aos mais recentes modelos e harnesses. Terá acesso aos melhores modelos, agentes, GPUs, armazenamento e serviços cloud de que precisa para impulsionar um pipeline de avaliação de classe mundial que nos ajuda a entregar modelos de fronteira. O QUE VAI FAZER - Assumir de ponta a ponta a plataforma de avaliação: as ferramentas e os sistemas necessários para gerar, anotar, rever e adaptar à escala de fronteira Assumir de ponta a ponta a plataforma de avaliação: as ferramentas e os sistemas necessários para gerar, anotar, rever e adaptar à escala de fronteira - Definir os CLIs, APIs, GUIs e camadas de armazenamento necessários para tornar este processo contínuo, rápido, sofisticado e colaborativo Definir os CLIs, APIs, GUIs e camadas de armazenamento necessários para tornar este processo contínuo, rápido, sofisticado e colaborativo - Trabalhar diretamente com equipas de investigação de vídeo, imagem, áudio, agentes e robótica para perceber o que precisam de medir e construí-lo, e depois generalizar o resultado para a plataforma Trabalhar diretamente com equipas de investigação de vídeo, imagem, áudio, agentes e robótica para perceber o que precisam de medir e construí-lo, e depois generalizar o resultado para a plataforma - Ajudar a definir os padrões de como avaliamos modelos na Runway: reprodutibilidade, definições de métricas, formatos de relatório e quando um resultado é suficientemente fiável para agir Ajudar a definir os padrões de como avaliamos modelos na Runway: reprodutibilidade, definições de métricas, formatos de relatório e quando um resultado é suficientemente fiável para agir - Apoiar a adoção alargada da plataforma e a sua integração em todos os esforços de investigação da Runway, incluindo treino, prestação de modelos em produção e mais Apoiar a adoção alargada da plataforma e a sua integração em todos os esforços de investigação da Runway, incluindo treino, prestação de modelos em produção e mais - Contribuir de forma abrangente, como membro da equipa da Plataforma de ML, para ferramentas e sistemas que ajudam a Runway a treinar e prestar modelos de fronteira Contribuir de forma abrangente, como membro da equipa da Plataforma de ML, para ferramentas e sistemas que ajudam a Runway a treinar e prestar modelos de fronteira O QUE VAI PRECISAR - 5+ anos de experiência na construção de infraestrutura de ML ou plataformas de dados em ambientes de produção, com pelo menos algum desse tempo dedicado a sistemas de avaliação, experimentação ou benchmarking 5+ anos de experiência na construção de infraestrutura de ML ou plataformas de dados em ambientes de produção, com pelo menos algum desse tempo dedicado a sistemas de avaliação, experimentação ou benchmarking - Python e PyTorch sólidos e experiência prática em executar grandes cargas de trabalho GPU em lote no Kubernetes Python e PyTorch sólidos e experiência prática em executar grandes cargas de trabalho GPU em lote no Kubernetes - Experiência na conceção de pipelines de dados e armazenamento para grandes volumes de media ou saídas de modelos, com atenção ao versionamento e à reprodutibilidade Experiência na conceção de pipelines de dados e armazenamento para grandes volumes de media ou saídas de modelos, com atenção ao versionamento e à reprodutibilidade - Familiaridade com estatística experimental: comparações pareadas, intervalos de confiança, armadilhas de múltiplas comparações, concordância entre avaliadores Familiaridade com estatística experimental: comparações pareadas, intervalos de confiança, armadilhas de múltiplas comparações, concordância entre avaliadores - Confiança para construir ferramentas internas de ponta a ponta, da linha de comandos ao browser Confiança para construir ferramentas internas de ponta a ponta, da linha de comandos ao browser - Capacidade de liderar uma área técnica ampla: recolher requisitos de muitas equipas, definir a direção, fazer trocas e impulsionar um roadmap sem esperar que lhe digam o que fazer Capacidade de liderar uma área técnica ampla: recolher requisitos de muitas equipas, definir a direção, fazer trocas e impulsionar um roadmap sem esperar que lhe digam o que fazer - Familiaridade com o ciclo de vida completo do desenvolvimento de modelos: dados, treino, avaliação, prestação Familiaridade com o ciclo de vida completo do desenvolvimento de modelos: dados, treino, avaliação, prestação - Capacidade de iniciar autonomamente e trabalhar integrado em equipas de investigação com ritmo acelerado Capacidade de iniciar autonomamente e trabalhar integrado em equipas de investigação com ritmo acelerado - Pensamento de sistemas sólido e abordagem pragmática à fiabilidade em produção Pensamento de sistemas sólido e abordagem pragmática à fiabilidade em produção - Humildade e mente aberta; na Runway adoramos aprender uns com os outros Humildade e mente aberta; na Runway adoramos aprender uns com os outros BOM TER - Histórico de construção de suítes de avaliação para modelos generativos Histórico de construção de suítes de avaliação para modelos generativos - Trabalho prático com pipelines de LLM-ou VLM-como-juiz Trabalho prático com pipelines de LLM-ou VLM-como-juiz - Experiência com plataformas de experimentação online e ligação de métricas offline a resultados de produto Experiência com plataformas de experimentação online e ligação de métricas offline a resultados de produto - Trabalho anterior na avaliação de agentes ou políticas de robótica Trabalho anterior na avaliação de agentes ou políticas de robótica A Runway esforça-se por recrutar e reter talentos excecionais de origens diversas, garantindo ao mesmo tempo equidade salarial na nossa equipa. Os nossos intervalos salariais baseiam-se em taxas competitivas de mercado para o nosso tamanho, fase e setor, e o salário é apenas uma parte do pacote global de remuneração que providenciamos. Existem muitos fatores que entram nas determinações salariais, incluindo experiência relevante, nível de competências e qualificações avaliados durante o processo de entrevista, e a manutenção da equidade interna com os colegas na equipa. O intervalo partilhado abaixo é uma expectativa geral para a função tal como publicada, mas também estamos abertos a considerar candidatos que possam ter mais ou menos experiência do que o descrito na descrição da função. Neste caso, comunicaremos quaisquer atualizações no intervalo salarial esperado. Por fim, o intervalo fornecido é o salário esperado para candidatos nos EUA. Fora dessas regiões, pode haver uma alteração no intervalo, que, mais uma vez, será comunicada aos candidatos. A TRABALHAR NA RUNWAY Coisas grandes surgem de grandes equipas. https://www.youtube.com/watch?v=kwmj4ato2kw&ab_channel=Runway Teríamos muito gosto em ouvir de si. Estamos empenhados em criar um espaço onde os nossos colaboradores possam levar os seus verdadeiros eu para o trabalho e tenham igual oportunidade de sucesso. Por isso, independentemente de raça, identidade ou expressão de género, orientação sexual, religião, origem, capacidade, idade ou estatuto de veterano, se juntar-se a esta missão falar consigo, encorajamo-lo(a) a candidatar-se. Mais sobre a Runway - Universal World Simulator https://runwayml.com/world-simulator.html Universal World Simulator https://runwayml.com/world-simulator.html - GWM-1 https://runwayml.com/research/introducing-runway-gwm-1 GWM-1 https://runwayml.com/research/introducing-runway-gwm-1 - Gen-4.5 https://runwayml.com/research/introducing-runway-gen-4.5 Gen-4.5 https://runwayml.com/research/introducing-runway-gen-4.5 - General World Models https://runwayml.com/research/introducing-general-world-models General World Models https://runwayml.com/research/introducing-general-world-models - Robotics SDK https://runwayml.com/research/introducing-runway-gwm-1#robotics-section Robotics SDK https://runwayml.com/research/introducing-runway-gwm-1#robotics-section - Conversational Real-time Agents https://runwayml.com/research/introducing-runway-gwm-1#avatars-section Conversational Real-time Agents https://runwayml.com/research/introducing-runway-gwm-1#avatars-section - Runway Studios https://runwayml.com/studios Runway Studios https://runwayml.com/studios Estamos entusiasmados por ser reconhecidos como um dos melhores locais para trabalhar: Crain's https://www.crainsnewyork.com/awards/best-places-work-2023 | InHerSight https://www.inhersight.com/companies/best/city/new-york-city-ny | BuiltIn NYC https://builtin.com/awards/new-york-city/2024/best-places-to-work | INC https://www.inc.com/best-workplaces/2024