Contexte
Depuis juillet 2025, j’interviens via Apside au sein de la Data Factory de la CNAV sur le traitement, l’intégration et la migration de données.
- Données métier issues de plusieurs sources
- Données à pseudonymiser et à rapprocher
- Données publiques collectées automatiquement
Enjeu
La migration de Cloudera vers Teradata demande d’adapter les traitements aux contraintes du nouvel environnement tout en appliquant les règles métier.
Objectifs
- Faire évoluer les traitements PySpark sur Cloudera.
- Adapter les traitements à Teradata avec SQL et Shell.
- Intégrer des données issues de plusieurs sources et développer leur rapprochement en Python.
Intervention
Je traduis les règles métier en traitements d’intégration et de migration. Mes travaux comprennent aussi un traitement de pseudonymisation et de rapprochement, ainsi qu’un outil de collecte automatisée de données publiques.
- Développer et faire évoluer les traitements PySpark sur Cloudera.
- Traduire les règles métier et adapter les traitements à Teradata avec SQL et Shell.
- Développer un traitement Python de pseudonymisation et de rapprochement de données.
Travail réalisé
La mission est en cours. Les travaux menés couvrent l’évolution des traitements PySpark, leur adaptation à Teradata et le développement d’outils Python pour la pseudonymisation, le rapprochement et la collecte de données.
Technologies
- Python
- PySpark
- SQL
- Shell
- Cloudera
- Teradata
- Jenkins
- GitLab
Besoin similaire ?
Vous avez un besoin similaire ? Parlons-en.
Présentez vos données, vos traitements et vos objectifs pour discuter d’une intervention adaptée à votre besoin.