Engenheiro de Dados Sénior, Mandarim

A A5 Labs procura um Engenheiro de Dados Sénior para expandir e otimizar a arquitetura de pipelines de dados e o fluxo de dados entre equipas multifuncionais. É necessária proficiência em inglês e mandarim para facilitar a comunicação com a equipa e stakeholders internacionais.

Descrição do Emprego: Procuramos um candidato com 5+ anos de experiência numa função de Engenheiro de Dados, para se juntar à nossa crescente equipa de especialistas em analítica. O profissional contratado será responsável por expandir e otimizar a nossa arquitetura de dados e de pipelines de dados, bem como otimizar o fluxo e a recolha de dados para equipas multifuncionais. O Engenheiro de Dados apoiará a empresa em iniciativas de dados e garantirá que a arquitetura ótima de entrega de dados é consistente ao longo dos projetos em curso, sendo exigida proficiência em inglês e mandarim para facilitar a comunicação eficaz com a nossa equipa diversificada e partes interessadas internacionais. Responsabilidades : Criar e manter a arquitetura ótima de pipelines de dados. Reunir conjuntos de dados grandes e complexos que cumpram requisitos de negócio funcionais / não funcionais. Identificar, conceber e implementar melhorias nos processos internos: automatizar processos manuais, otimizar a entrega de dados, redesenhar a infraestrutura para maior escalabilidade, etc. Construir a infraestrutura necessária para a extração, transformação e carregamento ótimos de dados de uma grande variedade de fontes de dados utilizando tecnologias AWS 'big data' e SQL. Construir ferramentas de analítica que utilizem o pipeline de dados para fornecer insights acionáveis sobre o comportamento do cliente, a eficiência operacional e outras métricas-chave de desempenho de negócio. Trabalhar com partes interessadas, incluindo as equipas Executiva, de Produto, de Dados e de Design, para ajudar com questões técnicas relacionadas com dados e apoiar as suas necessidades de infraestrutura de dados. Manter os nossos dados separados e seguros através de fronteiras nacionais, em múltiplos centros de dados e regiões AWS. Criar ferramentas de dados para membros das equipas de analítica e cientistas de dados que os ajudem a construir e otimizar o nosso produto para se tornar um líder inovador do setor. Trabalhar com especialistas em dados e analítica para procurar uma maior funcionalidade nos nossos sistemas de dados. Competências Obrigatórias : Mínimo de 5+ anos de experiência prática com ecossistemas e ferramentas relacionadas com big data, tais como Databricks, Snowflake Mínimo de 5+ anos de experiência prática com ferramentas relacionadas com big data, tais como Spark, Hive, Hadoop, EMR. Mínimo de 5+ anos de experiência prática com conhecimento e experiência em SQL/NonSQL. Mínimo de 3+ anos de experiência prática com serviços AWS, tais como EC2, ECS, MSK, RDS, Redshift Mínimo de 3+ anos de experiência em desenvolvimento python Experiência prática na construção e otimização de pipelines de dados 'big data', arquiteturas e conjuntos de dados. Experiência prática na construção e otimização de pipelines de dados streaming/batch. Experiência de trabalho em sistemas de grande escala Fortes competências analíticas relacionadas com o trabalho com conjuntos de dados estruturados/não estruturados. Histórico bem-sucedido de manipulação, processamento e extração de valor de grandes conjuntos de dados desconexos. Conhecimento sobre técnicas de modelação de dados, acesso a dados e armazenamento de dados. Licenciatura em Ciências de Computação, Estatística, Informática, Sistemas de Informação ou outra área quantitativa, ou área semelhante; um Mestrado é uma mais-valia Fluência em mandarim é obrigatória Qualificações Preferenciais : Familiaridade com soluções de Indexação, tais como Elasticsearch, Solr Familiaridade com sistemas e ferramentas de streaming, tais como Spark-streaming, Kafka-stream, Flink, etc Familiaridade com ferramentas de gestão de fluxos de trabalho, tais como Airflow, Apache Nifi, etc Bom entendimento de machine learning/competências numéricas e analíticas