Éviter les incohérences de données
Maintenir la cohérence des données entre plusieurs systèmes est un défi, mais c’est essentiel. Lorsque les données ne correspondent pas d’un système à l’autre, cela peut générer davantage d’erreurs dans les flux de travail, entraîner des pertes de temps et créer de la frustration — surtout lorsqu’il est difficile d’en identifier immédiatement la cause.
La meilleure approche consiste à déterminer quel logiciel doit servir de “source unique de vérité” pour chaque type de données. Une fois que vous avez identifié où chaque jeu de données doit résider, vous pouvez commencer à connecter les autres systèmes à cette source primaire et à partager l’information, afin de garantir des flux de données cohérents.
Créer un capteur flexible pour connecter tous les outils
Notre équipe Ledger Labs a développé un connecteur qui permet aux sources de données principales de pousser des mises à jour vers tous les outils connectés à intervalles réguliers. En utilisant l’API REST du système principal, il vérifie l’apparition de nouveaux “événements” chaque minute.
Lorsqu’un changement est détecté, ce capteur déclenche les processus ou “jobs” appropriés pour maintenir la synchronisation des informations sur toutes les plateformes.
Dans cette implémentation spécifique, les données maîtres clients et projets sont synchronisées chaque minute vers le logiciel comptable du client ainsi que vers son CRM. En outre, les chefs de projet reçoivent une notification par e-mail dès qu’une mise à jour importante concerne un projet sous leur responsabilité.
La véritable force de ce capteur ou connecteur réside dans sa flexibilité : notre client peut définir pratiquement n’importe quelle action, déclencheur ou notification en réaction à tout type d’événement provoqué par un changement de données.
Pour construire ce connecteur pour notre client, nous avons choisi d’utiliser Dagster. Sa fonctionnalité de capteurs intégrés s’est révélée parfaitement adaptée aux besoins du client.
Dagster est un orchestrateur de données open source, gratuit pour les organisations capables de gérer leur propre infrastructure. Il est également fourni avec un portail web intuitif qui permet d’analyser en un coup d’œil les performances des connexions et des pipelines de données.