Descripción
Nous recherchons un Data Engineer - Databricks & Cloud AWSNous sommes partenaires Databricks et AWS, et le Lakehouse est devenu la colonne vertébrale de nos projets : migrations vers Databricks, mise en place d'Unity Catalog, pipelines Delta, industrialisation ML et GenAI sur Mosaic AI. Vos missions : - Construire des pipelines sur Databricks : ingestion, transformations Spark / Delta, orchestration (Workflows, DLT, dbt), modélisation en couches. - Participer à la gouvernance : vous contribuez à la mise en place d' Unity Catalog chez nos clients : catalogues, lineage, droits d'accès. - Contribuer aux migrations : vous participez aux chantiers de migration de datalakes / data warehouses / plateformes on-premises vers le Lakehouse, aux côtés d'un.e référent.e technique. - Rendre la donnée exploitable par l'IA : vous contribuez aux fondations dont les cas d'usage GenAI et ML ont besoin : qualité et fraîcheur des données, catalogue et lineage, exposition de corpus pour du RAG, recherche vectorielle, feature stores. - Fiabiliser : tests, monitoring, documentation, revue de code. - Apprendre et transmettre : vous passez vos certifications Databricks (prises en charge, sur votre temps de travail), vous suivez un écosystème qui bouge très vite, et vous partagez ce que vous trouvez en interne. Environnement technique (non exhaustif)- Databricks, notre plateforme de référence : Unity Catalog, Delta Lake, Delta Live Tables, Workflows, Databricks SQL, Auto Loader, Mosaic AI, Vector Search, MLflow sur Azure comme sur AWS. - Clouds : AWS principalement (Glue, EMR, Kinesis, Lambda, Bedrock, SageMaker), Azure, et aussi Snowflake, BigQuery, on-premises (Hadoop, Cloudera) - IA & ML : Mosaic AI, Amazon Bedrock, SageMaker, MLflow, frameworks d'orchestration LLM (LangChain, LlamaIndex), bases vectorielles (pgvector, OpenSearch, Qdrant) - BDD : PostgreSQL, MySQL, MongoDB, Cassandra. - Langages : Python, SQL, Spark (PySpark, Spark SQL) - ETL/ELT & orchestration : dbt, Fivetran, Airbyte, D