Pas d’API, pas de problème
Les organisations travaillent généralement avec différents portails, qui ne proposent pas toujours une API pour faciliter les intégrations. Les portails gouvernementaux en particulier sont souvent les plus verrouillés et sécurisés. Cela n’empêche toutefois pas notre équipe de créer des connexions avec ce type de plateformes. Lorsqu’un de nos clients a sollicité notre équipe Ledger Labs pour développer un outil capable de récupérer en continu des données depuis une plateforme gouvernementale clé, nous nous sommes mis au travail.
Tableaux de bord et intégration de la plateforme
La tâche principale de notre équipe consistait à construire une intégration rapide et toujours active avec un portail gouvernemental spécifique, permettant à notre client de recevoir ses données en continu. L’objectif final était d’utiliser ces données pour préparer les factures de ventes mensuelles, basées sur les chiffres publiés sur le portail. En plus de cela, nous avons également livré un tableau de bord Microsoft Power BI qui offrait au client des informations plus complètes que la plateforme d’origine elle-même.
Connexion via des technologies open source
Nous avons construit une intégration en utilisant principalement des ressources open source. Le seul outil sous licence était Microsoft Power BI, qui était la plateforme de visualisation de données exigée par notre client. Toutes les autres technologies utilisées pour l’orchestration des données entre le portail et Power BI étaient open source.
L’intégration que nous avons développée se compose de trois flux :
- Récupération horaire des données
Un orchestrateur Dagster est déclenché et déployé toutes les heures, utilisant un navigateur Selenium pour accéder au portail. Un coffre-fort chiffré est utilisé pour gérer les identifiants d’accès sensibles. Chaque exécution du script extrait les nouvelles données ajoutées depuis la précédente, les stockant dans une base de données structurée qui en facilite l’analyse et la consultation. - Chargement quotidien des données
Trois fois par jour, la base de données est synchronisée avec un Azure Data Lake via une passerelle locale. Une fois dans le cloud, les données deviennent accessibles aux utilisateurs finaux via un rapport Power BI. - Préparation mensuelle des factures
À la fin de chaque mois, les données sont traitées et utilisées pour enregistrer des montants forfaitaires dans le système de facturation. Cela garantit que les chiffres figurant sur les factures de vente correspondent directement aux données extraites du portail gouvernemental.
Faire payer l’automatisation
L’automatisation de la connexion au portail gouvernemental a rationalisé l’ensemble du processus de facturation pour le client. Les factures de vente sont désormais préparées automatiquement à partir des données du portail gouvernemental, éliminant le travail manuel et réduisant les erreurs. Notre client a constaté une diminution des plaintes de la part de ses propres partenaires et clients finaux, les factures étant préparées plus rapidement et avec plus de précision. Lorsque des questions surgissent pour la prise de décision interne, le tableau de bord Power BI offre un appui grâce à des explications claires et détaillées.