Connecteurs : comment Manty se connecte aux logiciels des administrations publiques ?

‍Depuis plus de 5 ans, notre équipe chez Manty crée des outils pour aider les administrations publiques à être plus efficientes et transparentes grâce à leurs données. Pour cela, nous développons des connecteurs qui extraient les données des logiciels métiers de nos clients, ainsi qu’un entrepôt de données dans lesquelles elles sont stockées. Tour de table du passionnant processus de développement d’un nouveau connecteur ! 

‍

Élément incontournable dans le fonctionnement de notre plateforme, les connecteurs permettent d’avoir une structure unifiée d’accès à la donnée dans nos solutions, et ce, pour tous les logiciels et tous les utilisateurs. Cela signifie que les requêtes qui alimentent nos solutions à partir de l’entrepôt de données ne dépendent pas du logiciel utilisé par la collectivité, l’information ayant déjà été uniformisée. Cela permet également de croiser les données entre les logiciels pour des analyses plus poussées (comme du calcul de coût de revient réel d’une piscine).

‍

Dans cet article, nous revenons sur la création du connecteur au logiciel de gestion de marché LiaWeb avec une communauté d’agglomération d’Auvergne-Rhône-Alpes, afin de vous présenter l’approche collaborative ayant abouti à la création de plus de cinquante connecteurs en collaboration avec nos clients.

Connecteurs : de quoi parle-t-on ?

Les logiciels métiers des collectivités stockent dans des bases de données les informations collectées. La plateforme de données Manty repose sur un entrepôt de données (data warehouse en anglais) qui centralise toutes les données provenant de ces logiciels, des fichiers CSV et de l’open data ; les nettoie puis les structure. Cet entrepôt alimente ensuite en données les solutions Manty ou des solutions externes permettant aux collectivités de manipuler et de valoriser leurs données.

Même s’ils appartiennent au même périmètre (par exemple RH ou finances), les logiciels des collectivités n’ont ni le même schéma de données (c’est-à-dire, pas la même façon d’organiser la donnée dans leur base) ni la même manière de présenter l’information dans leur interface. Ainsi, pour standardiser l’accès à la donnée et permettre à toutes les collectivités d’utiliser nos solutions de la même manière, nos experts data créent régulièrement des connecteurs. “Le connecteur est un pont entre un logiciel et notre entrepôt de données, chaque logiciel dispose donc de son propre connecteur”, développe Sofiane Lounici, Ingénieur déploiement chez Manty. Ce morceau de code permet d’extraire les données pertinentes des bases de ces logiciels métier, de les nettoyer, mais également de les transformer et de les unifier avant qu’elles n’arrivent dans l’entrepôt de données Manty. 

‍

Puisque les informations provenant de ces multiples sources sont structurées de la même façon dans notre entrepôt (par exemple les numéros de matricules sont toujours dans la même colonne de la même table), une requête unique permet d’accéder à l’information depuis Manty Décision, et ce, peu importe que les données initiales viennent de Sedit Finances ou de Cosoluce.

Tous ces connecteurs, qui transforment les données des logiciels en données Manty, sont créés par notre équipe data, avec l’aide et à la demande de nos utilisateurs.

Découvrez tous nos connecteurs !

La création du connecteur pour Lia Web, le logiciel de gestion de marchés 

Après trois ans d’utilisation de Manty Décision, une de nos collectivités clientes situées en Auvergne-Rhône-Alpes a connecté un nouveau logiciel à la plateforme : son logiciel de gestion de marchés. Même si le suivi des marchés était possible de façon très rudimentaire via le logiciel comptable, il était nécessaire de connecter LiaWeb pour aller plus loin et suivre le cycle complet des marchés.

Justine Le Gall, la cheffe de projet qui accompagne l’agglomération dans la mise en place de Manty Décision, est l'intermédiaire entre celle-ci et notre équipe data. Elle recueille le besoin métier auprès de notre interlocutrice principale et le spécifie à nos experts data afin qu’ils évaluent la complexité de mise en place de ce connecteur. “La compréhension du besoin métier est primordiale pour que la demande technique soit bien retranscrite. En tant que chef.fes de projet, nous accompagnons les clients à croiser leurs contraintes réglementaires et de reporting à des cas d’usages métiers concrets.”

Ayant déjà travaillé sur les marchés lors de la conception de plusieurs connecteurs pour logiciels financiers, nos spécialistes data disposent d’une bonne compréhension du métier et des données à extraire de LiaWeb. “Cela aurait été différent pour un logiciel sur lequel nous n’avons pas encore travaillé, comme un logiciel de gestion de police municipale, et nous aurions dû consacrer plus de temps à appréhender les besoins de l’utilisateur”, précise Sofiane Lounici, un de nos experts data qui a travaillé sur le développement du connecteur.

Comprendre l’organisation de la donnée dans le logiciel métier

“Une fois le développement du nouveau connecteur approuvé par l’équipe data, le chef de projet Manty organise une réunion pour définir les besoins. C'est une étape très importante pour structurer le projet et le démarrer sur des bases solides” explique Justine Le Gall, la cheffe de projet Manty qui travaille avec la communauté d’agglomération. 

La porteuse du projet ainsi qu’une agente experte du logiciel au sein de la collectivité présentent le logiciel, expliquent son fonctionnement, leur utilisation, et ce qu’elles souhaitent retrouver dans Manty comme indicateurs. Elles clarifient également le vocabulaire spécifique aux marchés pour garantir que la modélisation des concepts dans notre schéma de données (c’est-à-dire l’organisation des données dans l’entrepôt Manty) corresponde au fonctionnement métier. 

En effet, la création du connecteur n’est pas une duplication des données vers Manty et notre équipe doit donc définir une logique de transformation de données pour ce périmètre (ici : la gestion de projets de marché).

Sofiane Lounici, l’expert data présent lors de la réunion, pose des questions pour éclaircir certains points et les liens qui existent entre différentes données. Par exemple : quelles sont les caractéristiques d'un projet de marché ? Quel est le cycle de vie d'un projet de marché et en quoi est-ce différent d'un marché ? Quels sont les liens entre ces deux concepts ? Quand est-ce qu'un projet devient un marché ?  Il oriente également les discussions en précisant ce qu’il est possible d’extraire et dans quels délais. 

‍

Afin de préparer le terrain pour le développement de la première version du connecteur, la communauté d’agglomération envoie par la suite les documents de référence nécessaires à notre expert data. “Ces documents, qui incluent des captures du logiciel et des extractions Excel, sont essentiels pour appréhender la donnée source (c’est-à-dire celle du logiciel métier), les diverses manières dont les logiciels sont utilisés et les cas particuliers.”, précise Sofiane Lounici.

Développement de la première version du connecteur

En s’appuyant sur les documents transmis précédemment, notre équipe data étudie le schéma de données de LiaWeb, dans le but d’écrire des requêtes qui permettent d’extraire les données pertinentes. Lors de cette étape, l’expert data en charge du connecteur se focalise sur l’extraction et la transformation d’un nombre restreint de données pour fournir au client les indicateurs prioritaires définis au début du projet. Par exemple : le nombre de projets lancés, le nombre de projets par thématique ou le nombre de projets par type de procédure.

Afin d'unifier les données issues de différents logiciels sur un périmètre identique, la démarche ne consiste pas à extraire l'ensemble des champs disponibles, mais plutôt à extraire le maximum d’informations communes à tous les logiciels. Ainsi, chaque utilisateur peut utiliser Manty de manière uniforme.

À ce stade, toute modification dans la structuration du logiciel peut ralentir et complexifier la tâche de notre équipe data. “Bien que cela se produise exceptionnellement, l’interface de LiaWeb a changé pendant que l’on travaillait sur le connecteur. Les captures d’écrans qui avaient été prises au début ne correspondaient plus à ce que la collectivité voyait sur son logiciel. L’experte LiaWeb au sein de l’agglomération a donc préparé de nouveaux documents de référence, et nous avons fait évoluer certaines parties du code”, ajoute notre expert data.

‍

Pendant cette étape, plusieurs réunions avec la responsable du projet et l’experte du logiciel dans la collectivité sont organisées pour leur présenter les avancées, solliciter leurs éclaircissements et garantir que les réalisations correspondent à leurs besoins.

Après quelques semaines de travail, les premières données de LiaWeb étaient disponibles sur Manty Décision.

Fiabilisation

Une fois la première version du connecteur développée par un de nos experts (ici Sofiane Lounici), toute l'équipe data se mobilise pour fiabiliser le connecteur, c’est-à-dire, ajuster le connecteur et veiller à ce que tous les cas particuliers soient traités. Il peut arriver, après extraction, que l’on découvre que certaines des données affichées dans Manty diffèrent légèrement de celles que le client voit dans son logiciel métier. Cela se produit notamment avec les données financières qui disposent de nombreuses lignes et qui sont souvent organisées différemment selon la base de données de chaque client.

Dans le cas de LiaWeb, nous nous sommes par exemple assurés que les projets de marchés s'affichent correctement lorsqu'une requête spécifique est effectuée.

Pour assurer la qualité et la fiabilité du connecteur - et des données qui s’affichent dans nos solutions -  l’équipe data explore plus en détail la base de données du logiciel et fait évoluer le connecteur pour prendre en compte les particularités.

Amélioration continue du connecteur

Une fois la fiabilisation terminée, les utilisateurs peuvent requêter sur les données présentes dans notre entrepôt de données. 

Si au fil du temps une requête nécessite un champ non extrait, nous pouvons adapter le connecteur pour l’extraire, et ainsi l’intégrer à Manty. 

Le connecteur évolue continuellement, s'adaptant aux besoins des clients et aux corrections occasionnelles de bugs. L'avantage ? Les logiciels utilisés par de nombreuses collectivités évoluent rapidement, stimulés par les demandes variées et complémentaires, générant une synergie bénéfique à l’ensemble des utilisateurs. Par exemple, lorsqu’un connecteur RH est amélioré pour extraire - à la demande d’une collectivité - la distance domicile/travail, toutes les collectivités utilisant celui-ci peuvent requêter ce nouveau champ et sortir de nouveaux indicateurs.

Enfin, en cas d'utilisation du connecteur par de nouvelles collectivités, celui-ci est adapté pour répondre également à leurs spécificités. En effet, les clients n'utilisent pas toujours leurs logiciels de la même manière, et l'information n'est donc pas toujours localisée au même endroit. La flexibilité de notre approche nous permet d’assurer que le connecteur fonctionne efficacement pour chaque utilisateur.

Conclusion

Après quelques semaines, la communauté d'agglomération a obtenu les premières données. Grâce à ce dernier, la collectivité a intégré de nouvelles données dans Manty Décision, élaboré de nouveaux indicateurs et automatisé le pilotage de ses marchés. Elle peut notamment : 

• Suivre précisement la notification (c’est-à-dire le lancement) des marchés après saisie. 
• Suivre l’évolution du nombre et des montants des marchés dans le temps
• Visualiser aisément les écarts entre le montant estimé et le montant réel des projets de marchés. Cela a été automatisé grâce au développement d’un indicateur permettant le calcul du “taux de dépassement”

• Connaitre la répartition des marchés par typologie grâce à leur catégorisation dans des thématiques RSE telles que le développement durable, l’insertion, etc. Cela permet par exemple de savoir que “la ville a X% des marché liés à des projets d’insertion”

Si vous souhaitez connecter un nouveau logiciel à notre plateforme, voici deux éléments importants abordés dans l’article à retenir : 

• La présence et la disponibilité d'un expert du logiciel dans l’administration sont cruciales, surtout si c’est un domaine sur lequel nous ne disposons d’aucun connecteur. Il est très difficile pour nos experts data d'organiser et de transformer les données efficacement sans l’aide d’un interlocuteur qui maitrise le logiciel, puisse sortir les documents de références et répondre à nos questions.‍
• Les documents de référence sont primordiaux. 2 ou 3 captures d’écran sont souvent insuffisantes pour créer un connecteur, car elles pourraient représenter des cas particuliers. Il est par exemple complexe d’extraire des informations pertinentes de centaines de milliers de mandats à l’aide d’une seule image. Idéalement, la collectivité nous transmettra un document Excel comprenant une liste détaillée des données, que nous utiliserons pour vérifier méticuleusement que les résultats de nos requêtes correspondent.

Pour discuter de vos besoins d’intégrer un nouveau logiciel, contactez votre chef de projet. 

Pour discuter de votre projet de pilotage par la donnée et de vos besoins, prenez rendez-vous avec un de nos chargés d’affaires.

‍