Ingénieur BIG DATA 100% Télétravail F/H - Système, réseaux, données (H/F)
- 75 - PARIS 01
Rattaché au Responsable du Pôle « Etudes & Développement » au sein de la DSI.
Missions principales et activités
* Le Data Engineer développe, construit et maintien des infrastructures de données d'un point de vue système et sécurité. Il s'assure de la collecte, du stockage et de l'exploitation des flux de données répondant aux enjeux de l'entreprise.
* Il est garant de l'accès qualitatif des sources de données qui viennent alimenter le Data Lake afin d'en faciliter l'exploitation par les équipes de Data Science. Il définit également la structure des métadonnées. Infrastructures de données :
* Cartographie et documente les sources de données.
* Assure la maintenance et le monitoring des différentes applications données (Data) déployées en production et des infrastructures.
* Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité.
* Structure les bases de données (sémantique, format, etc.).
* Contribue à la gestion des référentiels de données.
Intégration des données :
* Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise.
* Assure la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples.
* Vérifie la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité.
* Nettoie la donnée (élimination des doublons.) et la valide pour une utilisation aval.
Projets :
- Participe aux phases de conception et de développement des projets et services data
- Accompagne les Data Scientist/Analyst dans la mise en place des algorithmes de data science (passage à l'échelle, suivi des bonnes pratiques)
- Automatise le déploiement des projets réalisés 4 Animation des communautés :
- Anime la communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée de l'entreprise.
Veille technologique :
- Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables.
- Propose des évolutions pour les infrastructures et solutions de données en place.
En lien avec le responsable du pôle, il propose et met en place les processus, méthodes, et outils permettant à l'activité de s'industrialiser.
Lien avec les autres services Le chef de projet Data Engineer travaille et communique avec l'ensemble des parties prenantes des projets/développement produit, il est également une fonction support pour les équipes de la DSI (Infrastructure, Exploitation, Sécurité & Développement).
Profil recherché:
Expérience professionnelle
- Savoir s'approprier le besoin du demandeur et interagir avec lui, pour bien comprendre son métier et sa problématique. Sans oublier de tenir compte des attentes des utilisateurs et des développeurs.
- Maîtriser des langages structurés (Javascript, Scala, Python.)
- Maîtriser divers systèmes d'exploitation : Windows, Linux
- Connaissances en solutions de bases de données (SQL Server, PostgreSQL, NoSQL.)
- Forte expertise dans le stockage de données et les outils ETL
- Maîtriser des technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka.) - Maîtriser les logiciels de bureautique (traitement de texte, tableur, présentation.) - Savoir consolider les données, produire des KPI et construire des tableaux de bord à l'aide d'outils tels que Excel, Power BI, Tableau Software, ou encore QlikView.
- Être à l'aise dans des environnements cloud : Azure, OVH - Etre à l'aise avec les outils d'intégration et de déploiement continue : AzureDevOps, création de CI/CD, docker, Ansible, kubernetes, Terraform, etc. - Avoir un niveau de connaissance basique sur le Machine Learning, Data science, et l'Intelligence Artificielle afin de pouvoir travailler en collaboration avec les Data Scientists. - Anglais : anglais courant, professionnel et technique
Environnement technique - Architecture microservice et SOA, cloud Azure - Stack technique frontend : Vue.JS (2 et 3), typescript, Vuetify, Vuex - Stack technique backend : C#, .NetCore, Entity Framework, Dapr - Librairie de visualisation : ESRI, MapLibre - Serveur de cartographie : ESRI, Geo Server, PosGis - Base de données : SQL Server, Redis, PostgreSQL, mongoDB - Message Broker : RabbitMQ, Azure Service Bus, Azure Hub - ETL : SSIS, FME/GTF - Docker, Kubernetes - Azure DevOps, SonarQube, Jira - Terraform & Ansible