Toutes les réalisations

Migration de traitements de Cloudera vers Teradata

Adapter des traitements PySpark à Teradata et intégrer des données issues de plusieurs sources.

Expérience professionnelleIntégration et migration de données

Mission réalisée dans le cadre de mon parcours professionnel. Aucune donnée interne ou confidentielle n’est divulguée.

Illustration abstraite du flux principal — aucune donnée interne ou confidentielle n’est représentée.

Contexte

Depuis juillet 2025, j’interviens via Apside au sein de la Data Factory de la CNAV sur le traitement, l’intégration et la migration de données.

  • Données métier issues de plusieurs sources
  • Données à pseudonymiser et à rapprocher
  • Données publiques collectées automatiquement

Enjeu

La migration de Cloudera vers Teradata demande d’adapter les traitements aux contraintes du nouvel environnement tout en appliquant les règles métier.

Objectifs

  • Faire évoluer les traitements PySpark sur Cloudera.
  • Adapter les traitements à Teradata avec SQL et Shell.
  • Intégrer des données issues de plusieurs sources et développer leur rapprochement en Python.

Intervention

Je traduis les règles métier en traitements d’intégration et de migration. Mes travaux comprennent aussi un traitement de pseudonymisation et de rapprochement, ainsi qu’un outil de collecte automatisée de données publiques.

  • Développer et faire évoluer les traitements PySpark sur Cloudera.
  • Traduire les règles métier et adapter les traitements à Teradata avec SQL et Shell.
  • Développer un traitement Python de pseudonymisation et de rapprochement de données.

Travail réalisé

La mission est en cours. Les travaux menés couvrent l’évolution des traitements PySpark, leur adaptation à Teradata et le développement d’outils Python pour la pseudonymisation, le rapprochement et la collecte de données.

Technologies

  • Python
  • PySpark
  • SQL
  • Shell
  • Cloudera
  • Teradata
  • Jenkins
  • GitLab

Besoin similaire ?

Vous avez un besoin similaire ? Parlons-en.

Présentez vos données, vos traitements et vos objectifs pour discuter d’une intervention adaptée à votre besoin.

Discuter de votre projet