Written on mars 7, 2022
La « data » est devenue un élément essentiel dans le management (stratégique ou opérationnel) de toute organisation (entreprises, administrations). Elle peut prendre de nombreuses formes, et être plus ou moins abondante : le « big data » devient de plus en plus courant. L’extraction et le traitement de la data doivent être simples et rapides pour qu’elle puisse être exploitée efficacement.
Les sources de la data sont multiples : elle peut provenir d’organismes publics ou privés (INSEE, Banques Centrales, OCDE, Bloomberg, Reuters, banques privées, syndicats professionnels, etc…). Elle peut provenir d’institutions nationales, étrangères ou internationales. Elle peut être interne à l’entreprise (clients, comptage, etc…). Elle peut être accessible gratuitement par tout le monde (open data), payante, d’accès réservé ou confidentielle. La data peut avoir de nombreux formats (JSON, CVS, XML…), et des fréquences allant du « high speed » (de la seconde) aux données quotidiennes, hebdomadaires, mensuelles…
Notre proposition : une Green Digital Factory (GDF)
dataLearning propose une offre « Digital Factory »en complément ou en remplacement du Système d’information (SI) interne du client.
Cette offre est « Green », car adossée aux datacenters éco-responsables de Neutral-IT, dont la chaleur fatale est utilisée pour chauffer l’eau des bâtiments-hôtes (par conception, leur PUE est extrêmement faible), et dont les serveurs sont de seconde main, ce qui permet de réduire sensiblement leur empreinte carbone.
Les différentes étapes de notre Green Digital Factory sont :
I] Collecte des données
- Saisie de données : données saisies manuellement par une personne de l’entreprise
- Envoi de courriel de données
- Capture de données : données récupérées automatiquement sur les différents supports de l’entreprise
- Récupération de données internes ou flux internes à votre entreprise par connexion par API, senseurs internes, robots industriels, IOT, bases de données clients…
- Acquisition de données externes à votre entreprise via une API (services payant tel que Bloomberg, Reuters, … ou open source)
La récupération des données nécessite le consentement des personnes concernées et se cantonne à celles nécessaires à l’objectif fixé.
II ] Stockage de l’information
- Stockage des données sur nos serveurs (données structurées ou non-structurées)
- Sauvegarde et archivage
Les données sont stockées sur des supports chiffrés, dont l’accès est sécurisé par firewall, rupture protocolaire, authentification par clé AES ou ECC et isolations des réseaux.
III] Traitement de l’information
- Nettoyage des données, data wrangling
- Organisation de l’information, combinaison des données disponibles pour créer de nouvelles informations, basées sur du machine Learning et de l’intelligence artificielle.
- Utilisation de différents outils d’analyse tels que le Machine Learning
L’infrastructure distribuée est particulièrement efficace pour le traitement de données parallèles et le calcul distribué. En effet, les données peuvent être morcelées sur différents supports physiques et prétraitées par les processeurs locaux, puis rassemblées pour un traitement final. Ainsi, la puissance de traitement de l’ensemble des nœuds de stockage est mise à contribution, optimisant la vitesse de traitement de l’information.
IV] Sauvegarde des résultats
- Sauvegarde et copie des résultats du traitement des données dans un environnement sécurisé.
V] Diffusion de l’information
- Accès au Dashboard online à accès restreints
- Partage de l’information via l’envoi de courriel / alertes de documents directement exploitables
L’outil permet à l’entreprise d’obtenir un tableau de bord qui l’aidera dans ses décisions opérationnelles et stratégiques.
Les données pourront, si l’utilisateur le souhaite, être exploitées sur tous les logiciels de traitement de données habituels (Excel, R, Eviews, Stata, Statistica, etc…).
VI] Suppression des données
- Archivage, anonymisation, suppression des données non nécessaires
La Green Digital Factory permet au client d’accroître sa productivité, d’optimiser la prise de décision, tout en contribuant au développement d’un numérique responsable. La RSE des entreprises profite directement de l’utilisation de nos solutions.
Un exemple de visualisation via la Green Digital Factory
Dans l’exemple ci-contre, nous traitons les données issues de la DREES sur le statut vaccinal des personnes positives au COVID.
Les données d’origine sont disponibles sur le site https://data.drees.solidarites-sante.gouv.fr/explore/dataset/covid-19-resultats-issus-des-appariements-entre-si-vic-si-dep-et-vac-si/
Nos robots collectent les données quotidiennement à 17h et les stockent dans nos bases de données en accord avec leurs licences d’utilisation.
Une fois les données extraites, nous pouvons facilement réaliser une première visualisation comme ceux ci-dessous:
Pour une utilisation interactive ou toute question, contactez-nous grâce au formulaire ci-dessous et demandez votre accès gratuit pour démonstration des capacités de GDF.