Abdelkabir B.

Collecte et analyse des opérations de Trading.

Le projet consiste à collecter des volumes données conséquents depuis plusieurs sources, les consolider, les enrichir et les sauvegarder dans une base locale. Il s’agissait du batch sourcing/processing qui a pour but de gérer de grands volumes de données provenant de plusieurs sources (API, SFTP, databases).

Mes taches consistent à :

• Développer et optimiser des pipelines ETL en utilisant Python et Pandas. L’architecture du code suit les principes du développement orienté objet et les principes SOLID.

• Concevoir et maintenir des requêtes SQL sur SQL Server et Oracle. Utilisation des index pour accélérer la màj de données.

• Mis en œuvre et promu les principes du Behavior-Driven Development (BDD) et les Tests Unitaires. La couverture des tests est 100% et les BDD couvrent pratiquement tous les scénarios.

• Utiliser Git pour le contrôle de version, en participant activement aux revues de code et aux workflows de développement collaboratif pour maintenir des standards de haute qualité.

• Analyser plusieurs composants du code python et des requêtes SQL pour trouver des ‘bottelnecks’, plusieurs pistes d’amélioration ont été proposées, adoptées et rajoutées au backlog.

• Gérer et déployer des modifications de la base de données à l'aide de Liquibase (via Jenkins et XLR).

• Participer activement à l’alimentation du backlog toute en participation aux cérémonies de Backlog Refinement.

• Participer à l’amélioration continue des pratiques agiles.

• Créer la documentation des composants développés et des processus de déploiement.

• Accompagné l'équipe dans les choix techniques, la conception et l'architecture des applications

. Transformation d'une application qui s'exécute via un terminal en une application Event-Driven avec Kafka et Faust-Streaming :

- Transformation du back-end du projet en une application Faust-streaming pour permettre une scalabilité efficace de l’application quand c’est nécessaire.

- Les agents Faust écoutent et consomment les messages Kafka et lancent les traitements

- Les données générées sont donc envoyées sur un S3

• Migration & dockerisation de plusieurs projets Django de Python 2 vers Python 3.8 et de Windows vers CentOS

• Contribution à la mise en place et la maintenance de processus CI/CD sur GitLab

• Mise en place du GIT flow pour rendre la review et la livraison du code beaucoup plus souple et minimiser les incidents de mise en production.

• Participation avec les équipes devops à la mise en place des configurations d’authentification pour les APIs (using KeyClock)

• Création des « Health Checks » pour surveiller la disponibilité des applis python, ces « Health Checks » sont intégrés par la suite dans des Dashboard Grafana.

• Encadrement des développeurs juniors.

• Animation des Daily Meeting et les Rétrospectives dans le cadre d’une méthodologies Agile (pendant 1 an).

Stack technique : Celery, Django, FastApi, Flask, Pandas, Pydantic, duckdb, RabbitMQ, Kafka, Faust Streaming, Prefect, CI/CD (Gitlab), CentOS, Docker, Test unitaire, d'intégration et acceptance, Oracle, Sqlite, Postgresql, Memgraph, ELK, KeyClock, Jira, Confluence

Au sein du département INFRA, j'occupe le poste de développeur Python Senior, en contribuant à la conception et à la réalisation de projets internes visant à simplifier le déploiement et l'exploitation des réseaux de télécommunication FTTH. Les projets que j’ai mis en place :

• Mise en place d’un processus d’industrialisation pour une série de scripts Python, orchestrant leur exécution en chaîne avec une gestion des dépendances et des logs. L’application a été développée avec Django, en utilisant Celery comme worker.

• Création ‘from scratch’ d’un ETL pour l’extraction des livrables d'avancement : conception et développement de composants d'extraction et de transformation des données attributaires et géométriques à partir des bases de données Oracle, en utilisant principalement pandas & geopandas : analyse des capacités des câbles, traçage des itinéraires optiques, création d'infrastructures fictives, vérification de la continuité optique, et génération de livrables

• Création d’un projet de migration de données d’une base oracle vers une autre base oracle en utilisant FastAPI et Pydantic pour la validation de données et la génération de rapport d’erreur de données

• Implémentation d'une base de données graph avec Memgraph pour simplifier la création des routes optiques

• Création de plusieurs API Rest avec FastAPI et Flask