data discovery Archives

[SÉRIE] Data Shopping Partie 2 – L’expérience de Data Shopping dans Zeenea

par Zeenea Software | Juin 24, 2024 | Data Catalog, Data Mesh

Tout comme l’achat de biens en ligne implique de sélectionner des objets, les ajouter à un panier et de choisir les options de livraison et de paiement, le processus d’acquisition de données au sein des organisations a évolué de manière similaire. À l’ère des data products et du data mesh, les data marketplaces internes permettent aux utilisateurs métiers de rechercher, de découvrir et d’accéder aux données pour leurs cas d’usage.

Dans cette série d’articles, vous trouverez un extrait de notre Guide Pratique du Data Mesh et découvrirez tout ce qu’il y a à savoir sur le data shopping ainsi que l’expérience de Zeenea en matière de shopping de données via son Enterprise Data Marketplace :

La consommation de Data Products
L’expérience de Data Shopping dans Zeenea

—

Dans notre précédent article, nous avons abordé le concept de data shopping au sein d’une data marketplace interne, en abordant des éléments tels que la livraison des data products et la gestion de l’accès. Dans cet article, nous allons explorer les raisons qui ont poussé Zeenea à étendre son expérience de data shopping au-delà des frontières internes, ainsi que la façon dont notre interface, Zeenea Studio, permet l’analyse de la performance globale de vos data products.

Le Data Product Shopping dans Zeenea

Dans notre article précédent, nous avons abordé les complexités de la gestion des droits d’accès aux data products en raison des risques inhérents à la consommation de données. Dans un data mesh décentralisé, le propriétaire du data product évalue les risques, accorde l’accès et applique des politiques basées sur la sensibilité des données, le rôle, la localisation et l’objectif du demandeur. Cela peut impliquer une transformation des données ou des formalités supplémentaires, avec une livraison allant de l’accès en lecture seule à des contrôles granulaires.

Dans une data marketplace, les consommateurs déclenchent un workflow en soumettant des demandes d’accès, que les propriétaires de données évaluent et pour lesquelles ils déterminent les règles d’accès, parfois avec l’avis d’experts. Pour la marketplace Zeenea nous avons choisi de ne pas intégrer ce workflow directement dans la solution, mais plutôt de s’interfacer avec des solutions externes.

L’idée est de proposer une expérience uniforme pour déclencher une demande d’accès, mais d’accepter que le traitement de cette demande puisse être très différent d’un environnement à l’autre, voire d’un domaine à l’autre dans la même organisation. Là aussi, le principe est hérité des marketplaces classiques. La plupart proposent une expérience unique pour réaliser une commande, mais débranchent sur d’autres systèmes pour la mise en œuvre opérationnelle de la livraison – dont les modalités peuvent être très différentes en fonction du produit et du vendeur.

Ce découplage entre l’expérience de shopping et la mise en œuvre opérationnelle de la livraison nous semble indispensable pour plusieurs raisons.

La principale est l’extrême variabilité des processus impliqués. Certaines organisations disposent déjà de workflows opérationnels, s’appuyant sur une solution plus large (la demande d’accès aux données est intégrée à un processus général de demande d’accès, supporté par exemple par un outil de ticketing tel que ServiceNow ou Jira). D’autres se sont équipées de solutions dédiées, supportant un fort niveau d’automatisation, mais dont le déploiement n’est pas encore généralisé. D’autres reposent sur les capacités de leur plateforme data, en d’autres encore sur rien du tout – l’accès se fait via des demandes directes adressées au propriétaire des données, qui les traite sans processus formel. Cette variabilité se manifeste d’une organisation à l’autre, mais aussi dans une même organisation – structurellement, quand différents domaines utilisent des technologies différentes, ou temporellement, quand l’organisation décide d’investir dans un dispositif plus efficace ou plus sécurisé et doit migrer progressivement la gestion des accès vers ce nouveau dispositif.

Découpler permet donc d’offrir une expérience homogène au consommateur, tout en s’adaptant à la variabilité des modes opératoires

Pour le client de la data marketplace, l’expérience de shopping est donc très simple. Une fois le ou les data products d’intérêt identifiés, il déclenche une demande d’accès en fournissant les informations suivantes :

Qui il est – cette information est en principe déjà disponible.
À quel data product il souhaite accéder – là aussi l’information est déjà présente, ainsi que les métadonnées nécessaires pour réaliser les arbitrages.
Quel usage il entend faire des données – ce point est fondamental, puisqu’il pilote la gestion de risque et les exigences de conformité.

Avec Zeenea, une fois la demande d’accès soumise, elle est traitée dans un autre système, et son statut peut être suivi depuis la marketplace – c’est le strict équivalent du suivi de commandes que l’on trouve sur les sites e-commerce.

Du point de vue du consommateur, la data marketplace fournit un catalogue de data products (et d’autres produits digitaux), et un système simple et universel pour obtenir l’accès à ces produits.

Pour le producteur, la data marketplace remplit un rôle fondamental dans le pilotage de son portefeuille de produits.

Améliorez la performance des data products avec Zeenea Studio

Comme évoqué précédemment, outre le système de e-commerce, qui est destiné aux consommateurs, une marketplace classique propose aussi des outils dédiés aux vendeurs, leur permettant de superviser leurs produits, de répondre aux sollicitations des acheteurs et de contrôler la performance économique de leur offre. Et d’autres outils encore, destinés aux gestionnaires de la marketplace, pour analyser la performance globale des produits et des vendeurs.

L’Enterprise Data Marketplace de Zeenea intègre ces capacités dans un outil de back-office dédié, Zeenea Studio. Il permet de gérer la production, la consolidation et l’organisation des métadonnées dans un catalogue privatif, et de décider quels objets seront placés dans la marketplace – qui est un espace de recherche accessible au plus grand nombre.

Ces activités relèvent avant tout du processus de production – les métadonnées sont produites et organisées conjointement avec les data products. Mais il permet également de superviser l’utilisation de chaque data product, notamment en fournissant la liste de tous ses consommateurs, et des usages qui leur sont associés.

Ce suivi des consommateurs permet d’asseoir les deux piliers de la gouvernance du data mesh :

La conformité et la gestion de risque – en mettant en place des revues régulières, des certifications, et des analyses d’impact lors des évolutions des data products.

Le pilotage de la performance – le nombre de consommateurs, ainsi que la nature des usages qui en sont fait, sont les principaux indicateurs de la valeur d’un data product. En effet, un data product qui n’est pas consommé n’a aucune valeur.

Outil de support pour les domaines permettant de contrôler la conformité de leurs produits et leurs performances, l’Enterprise Data Marketplace de Zeenea offre également des capacités d’analyse globale du mesh – lineage des data products, scoring et évaluation de leurs performances, contrôle de la conformité globale et des risques, éléments de reporting réglementaire, etc.

C’est la magie du graphe fédéré, qui permet d’exploiter l’information à toutes les échelles – et fournit une représentation exhaustive de tout le patrimoine data.

Le Guide Pratique du Data Mesh: Mettre en place et superviser un data mesh à l’échelle de l’entreprise

Rédigé par Guillaume Bodet, co-fondateur et CPTO chez Zeenea, ce guide vous apportera une approche pratique pour mettre en œuvre un data mesh dans votre organisation, en vous aidant à :

✅ Entamer votre démarche data mesh avec un projet pilote focalisé
✅ Découvrir des méthodes efficaces pour mettre votre mesh à l’échelle,
✅ Comprendre le rôle essentiel joué par une data marketplace interne pour faciliter la consommation des data products
✅ Découvrir pourquoi Zeenea est un système de supervision robuste du data mesh à l’échelle de l’entreprise

TÉLÉCHARGER L'EBOOK

Retour sur les évolutions de la plateforme Zeenea en 2023

par Zeenea Software | Jan 8, 2024 | Data Catalog, Produit Zeenea

2023 a été une belle année pour Zeenea. Avec plus de 50 releases et mises à jour de notre plateforme, ces 12 derniers mois ont été riches en nouveautés et améliorations pour libérer la valeur de vos données d’entreprise. En effet, nos équipes travaillent constamment sur des fonctionnalités qui simplifient et améliorent la vie quotidienne de vos équipes data et métier.

Dans cet article, nous sommes heureux de partager certaines de nos fonctionnalités préférées de 2023 qui ont permis à nos clients de :

Réduire le temps de recherche et de découverte des données
Augmenter la productivité et l’efficacité des Data Stewards
Fournir des informations fiables, sécurisées et conformes dans l’ensemble de l’organisation
Établir une connectivité de bout en bout avec toutes leurs sources de données

Réduire le temps de recherche et de découverte des données

L’une des valeurs fondamentales du produit Zeenea est la simplicité. Nous sommes convaincus que la découverte des données doit être simple et rapide afin d’accélérer les initiatives data dans l’ensemble de l’organisation.

De nombreuses équipes chargées des données ont encore du mal à trouver les informations dont elles ont besoin pour établir un rapport ou un cas d’usage spécifique. Soit parce qu’elles ne parviennent pas à localiser les données parce qu’elles sont dispersées dans diverses sources, fichiers ou feuilles de calcul, soit parce qu’elles sont confrontées à une quantité colossale d’informations et qu’elles ne savent même pas par où commencer leur recherche.

En 2023, nous avons continué de faire évoluer notre plateforme pour qu’elle soit la plus simple possible à utiliser. En offrant des moyens simples et rapides d’explorer les données, Zeenea a permis à nos clients de trouver, découvrir et comprendre leurs actifs en quelques secondes.

Un nouveau look pour Zeenea Explorer

L’une des premières façons dont nos équipes ont voulu améliorer l’expérience de découverte de nos clients a été de fournir une expérience plus conviviale sur notre application d’exploration de données, Zeenea Explorer. Cette refonte comprenait :

Une nouvelle page d’accueil

Notre page d’accueil avait besoin d’un lifting pour une expérience de découverte plus fluide. En effet, pour les utilisateurs qui ne savent pas ce qu’ils cherchent, nous avons ajouté de tout nouveaux chemins d’exploration directement accessibles via la page d’accueil de Zeenea Explorer.

Navigation par Type d’Objet : Si l’utilisateur est sûr du type de données qu’il recherche, comme un jeu de données, une visualisation, un processus ou une donnée personnalisée, il accède directement au catalogue pré-filtré avec le type de données recherché.

Navigation dans le Glossaire Métier : Les utilisateurs peuvent rapidement naviguer dans le glossaire métier de l’entreprise en accédant directement aux ressources du glossaire qui ont été définies ou importées par les Data Stewards dans Zeenea Studio.

Navigation par Thème : L’application permet aux utilisateurs de naviguer dans une liste d’Objets qui représentent un thème spécifique, un cas d’usage ou tout autre élément pertinent pour l’entreprise (plus d’informations ci-dessous).

De nouvelles pages de détail des Objets

Pour comprendre un Objet du Catalogue en un coup d’œil, l’un des premiers changements notables a été la position des onglets de l’Objet. À l’origine, les onglets étaient placés sur le côté gauche de la page, ce qui prenait beaucoup de place. Désormais, les onglets se trouvent en haut de la page, ce qui correspond mieux à la présentation de l’application Zeenea Studio. Cette nouvelle disposition permet aux consommateurs de données de trouver les informations les plus significatives sur un Objet, telles que :

Les propriétés mises en évidence, définies par le Data Stewards dans la conception du catalogue,
Les termes associés du glossaire, pour comprendre le contexte de l’Objet,
Les personnes clés, pour atteindre rapidement les contacts liés à l’Objet.

En outre, notre nouvelle mise en page permet aux utilisateurs de trouver instantanément tous les Champs, les métadonnées et tous les autres Objets liés. Divisés en trois onglets distincts dans l’ancienne version, les consommateurs de données trouvent désormais la description de l’Objet et tous les Objets liés dans un seul onglet nommé « Détails ». En effet, selon le Type d’Objet que vous parcourez, tous les Champs, entrées et sorties, Objets du Glossaire parents/enfants, implémentations et autres métadonnées se trouvent dans la même section, ce qui vous permet de gagner un temps précieux dans la recherche de données.

Enfin, les espaces pour nos composants graphiques ont été agrandis – les utilisateurs ont maintenant plus de place pour voir le lignage de leur Objet, le modèle de données, etc.

Un nouveau système de filtrage

Zeenea Explorer offre un système de filtrage intelligent pour contextualiser les résultats de recherche. Il y a des filtres préconfigurés de Zeenea, comme par exemple, un filtrage par Type d’Objet, Connexion, Contact, ou par les filtres personnalisés de l’organisation. Pour des recherches encore plus efficaces, nous avons repensé notre page de résultats de recherche et notre système de filtrage :

Les filtres disponibles sont toujours visibles, ce qui permet d’affiner plus facilement la recherche,
En cliquant sur un résultat de recherche, un panneau d’aperçu contenant plus d’informations est toujours disponible sans perdre le contexte de la recherche,
Les filtres les plus pertinents pour la recherche sont placés en haut de la page, ce qui permet d’obtenir rapidement les résultats nécessaires pour des cas d’usage spécifiques.

Exploration du catalogue par Thème

L’une des principales nouveautés de 2023 est notre fonctionnalité nommée Thèmes. En effet, pour permettre aux utilisateurs métier de trouver (encore plus !) rapidement leurs actifs de données pour leurs cas d’usage, les Data Stewards peuvent facilement définir des Thèmes dans Zeenea Studio. Pour ce faire, ils sélectionnent simplement les filtres dans le Catalogue qui représentent un Thème spécifique, un cas d’usage, ou tout autre élément pertinent pour l’entreprise.

Les équipes data qui utilisent Zeenea Explorer peuvent donc facilement et rapidement effectuer des recherches dans le catalogue par Thème afin de réduire leur temps de recherche de l’information dont elles ont besoin. Les Thèmes sont directement accessibles sur la page d’accueil de Zeenea Explorer et la barre de recherche lors de la navigation dans le catalogue.

Des noms alternatifs pour les Objets du Glossaire

Afin que les utilisateurs puissent trouver facilement les données et les termes métier dont ils ont besoin pour leurs cas d’usage, les Data Stewards peuvent ajouter des synonymes, des acronymes et des abréviations pour les éléments du glossaire !

Ex : Customer Relationship Management > CRM

Amélioration des performances de recherche

Tout au long de l’année, nous avons mis en œuvre un grand nombre d’améliorations afin d’accroître l’efficacité du processus de recherche. L’ajout de “mots vides” (stop words), comprenant les pronoms, les articles et les prépositions, permet d’obtenir des résultats plus précis et plus pertinents pour les requêtes. En outre, nous avons ajouté un opérateur « INFIELD : », qui permet aux utilisateurs de rechercher les Jeux de Données contenant des Champs spécifiques.

Intégration de Microsoft Teams

Zeenea a également renforcé ses capacités de communication et de collaboration. Plus précisément, lorsqu’un contact est lié à une adresse email Microsoft, Zeenea facilite désormais le lancement de conversations directes via Teams. Cette intégration permet aux utilisateurs de Teams d’engager rapidement le dialogue avec les personnes concernées pour obtenir des informations supplémentaires sur des Objets spécifiques. D’autres intégrations avec divers outils sont en cours de développement ⭐

Augmenter la productivité et l’efficacité des Data Stewards

L’objectif de Zeenea est de simplifier la vie des producteurs de data afin qu’ils puissent gérer, maintenir et enrichir la documentation de leurs données d’entreprise en quelques clics. Voici quelques fonctionnalités et améliorations qui aident à rester organisé, concentré et productif.

Imports automatiques des Jeux de Données

Lors de l’importation de nouveaux Jeux de Données dans le catalogue, les administrateurs peuvent activer la fonction d’import automatique qui importe automatiquement les nouveaux Objets après chaque inventaire programmé. Cette amélioration fait gagner du temps augmente l’efficacité opérationnelle, permettant aux Data Stewards de se concentrer sur des tâches plus stratégiques plutôt que sur le processus d’importation de routine.

Suppression des Champs orphelins

Nous avons également ajouté la possibilité de gérer plus efficacement les Champs orphelins. Cela inclut la possibilité d’effectuer des suppressions en masse de champs orphelins, ce qui accélère le processus de désencombrement et d’organisation du catalogue. Les Stewards peuvent également supprimer un seul Champ orphelin directement à partir de sa page de détails, apportant une approche plus granulaire et plus précise de la maintenance du catalogue.

Construction de de rapports basés sur le contenu du catalogue

Nous avons ajouté une nouvelle section dans Zeenea Studio – le Tableau de Bord Analytique – pour générer facilement des rapports basés sur le contenu et l’usage du catalogue de l’organisation.

Directement sur la page du Tableau de Bord Analytique, les Data Stewards peuvent voir le niveau de complétude de leurs Types d’Objets, y compris les Objets personnalisés. Chaque composant est cliquable pour afficher rapidement la section du catalogue filtrée par le Type d’Objet sélectionné.

Pour obtenir des informations plus détaillées sur le niveau de complétude d’un Type d’Objet en particulier, les Stewards peuvent créer leurs propres analyses ! Ils sélectionnent le Type d’Objet et une Propriété, et ils peuvent consulter, pour chaque valeur de cette Propriété, le niveau de complétude de tous les l’élément du template du Type d’Objet, y compris sa description, et les Objets du Glossaire qui y sont liés.

New Analytics Dashboard Gif Without Adoption

Nouveau look pour le Tableau de Bord du Steward

Zeenea Explorer n’est pas la seule application à avoir fait peau neuve ! En effet, pour aider les gestionnaires de données à rester organisés, concentrés et productifs, nous avons repensé la présentation du Tableau de Bord pour qu’il soit plus intuitif et que le travail soit effectué plus rapidement. Cela inclut :

Nouveau design du Périmètre : Un tout nouveau niveau de personnalisation lors de la connexion au Tableau de Bord. Le périmètre s’étend désormais au-delà du niveau de complétude des Jeux de Données – il inclut tous les Objets pour lesquels on est Dépositaire, y compris les Champs, les traitement de données, les Objets du Glossaire et les Objets Personnalisés.

Widget des Watchlists : Tout comme les Data Stewards peuvent créer des Thèmes pour améliorer l’organisation des utilisateurs des Explorers, ils peuvent désormais créer des Watchlists pour faciliter l’accès aux Objets nécessitant des actions spécifiques. En filtrant le catalogue avec les critères de leur choix, ils enregistrent ces préférences en tant que nouvelle Watchlist via le bouton « Enregistrer les filtres sous », et y accèdent directement via le widget Watchlist lorsqu’ils se connectent à leur Tableau de Bord.

Le widget Dernières Recherches : Il s’adresse désormais spécifiquement au Data Steward, en se concentrant sur ses recherches récentes pour permettre de reprendre là où il/elle s’était arrêté.

Le widget Objets les plus populaires : Il présente les Objets les plus consultés et les plus utilisés dans le périmètre du Steward par les autres utilisateurs. Chaque Objet est cliquable, ce qui permet d’accéder instantanément à son contenu.

Lire la Feature Note

Fournir des informations fiables, sécurisées et conformes dans l’ensemble de l’organisation

Échantillonnage de données sur les Jeux de Données

Pour certaines connexions, il est possible d’obtenir un échantillonnage de données pour les Jeux de Données. Nos capacités de data sampling permettent aux utilisateurs d’obtenir des sous-ensembles représentatifs d’ensembles de données existants, offrant une approche plus efficace pour travailler avec de grands volumes de données. Lorsque l’échantillonnage des données est activé, les administrateurs peuvent configurer les champs pour qu’ils soient offusqués, ce qui réduit le risque d’affichage d’informations personnelles sensibles.

Cette fonction revêt une grande importance pour nos clients, car elle permet aux utilisateurs de gagner un temps précieux et d’économiser des ressources en travaillant avec des portions plus petites, mais représentatives, de vastes Jeux de Données. Elle permet également d’identifier rapidement les problèmes liés aux données, améliorant ainsi la qualité globale des données et les analyses ultérieures. Plus particulièrement, la capacité d’offusquer les Champs répond à des préoccupations essentielles en matière de confidentialité et de sécurité, en permettant aux utilisateurs de travailler avec des sous-ensembles anonymisés ou pseudonymisés de données sensibles, en garantissant la conformité avec les réglementations en matière de confidentialité et en protégeant les données contre les accès non autorisés.

Puissantes capacités de lignage

En 2022, nous avons apporté de nombreuses améliorations à notre graphe de lignage. Non seulement nous avons simplifié sa conception et sa mise en page, mais nous avons également permis aux utilisateurs d’afficher uniquement le premier niveau de lignage, de développer et de fermer le lignage à la demande, et d’obtenir une vue en surbrillance du lignage directe d’un Objet sélectionné.

Cette année, nous avons apporté d’autres modifications importantes à l’interface utilisateur, notamment la possibilité de développer ou de réduire tous les niveaux de lignage en un seul clic, de masquer les processus de données qui n’ont pas au moins une entrée et une sortie, et de visualiser facilement les connexions à l’aide d’une infobulle pour les connexions dont les noms sont longs.

Cependant, la nouveauté la plus notable est la possibilité d’avoir un data lineage au niveau du Champ ! En effet, il est désormais possible de récupérer les Champs d’entrée et de sortie des tables et des rapports, et pour plus de contexte, d’ajouter la description de l’opération. Ensuite, les utilisateurs peuvent directement visualiser leurs transformations au niveau du Champ au fil du temps dans le graphe de lignage des données dans Zeenea Explorer et Zeenea Studio.

Informations sur la qualité des données

En s’appuyant sur les technologies GraphQL et le Knowledge Graph, Zeenea offre une approche flexible pour intégrer les meilleures solutions de gestion de la qualité de données. Via nos capacités d’API de catalogue, Zeenea synchronise les Jeux de Données par le biais de simples opérations de requête et de mutation à partir d’un outil de Data Quality Management (DQM) tiers. L’outil de DQM fournira en temps réel les résultats de l’analyse de la qualité des données du Jeu de Données correspondant dans la plateforme, ce qui permettra aux utilisateurs d’examiner facilement les informations relatives à la qualité des données directement dans le catalogue.

Cette nouvelle fonctionnalité comprend :

Un onglet Qualité des données dans les pages de détails de votre Jeu de Données, où les utilisateurs peuvent voir ses contrôles de qualité exécutés ainsi que leurs type, statut, description, dernière date d’exécution, etc.

La possibilité d’afficher plus d’informations sur la qualité de l’ensemble de données directement dans l’outil DQM via le lien « Ouvrir le Tableau de Bord dans [Nom de l’outil] ».

Un indicateur de la qualité des données d’un Jeu de Données directement affiché dans les résultats de la recherche et dans le lignage.

Lire la Feature Note

Établir une connectivité de bout en bout avec toutes leurs sources de données

Avec Zeenea, vous vous connectez à toutes vos sources de données en quelques secondes. Les scanners et API intégrés de notre plateforme permettent aux organisations de collecter, consolider et relier automatiquement les métadonnées dans leur écosystème. Cette année, nous avons apporté des améliorations significatives à notre connectivité pour permettre à nos clients de construire une plateforme qui représente réellement leur écosystème de données.

Une API de gestion du Catalogue

Reconnaissant l’importance de l’intégration des API, Zeenea a développé de puissantes capacités API qui permettent aux organisations de connecter et d’exploiter de manière transparente leur catalogue de données au sein de leur écosystème existant.
En 2023, Zeenea a développé l’API Catalogue, qui aide les gestionnaires de données dans leurs tâches de documentation. Elle comprennent :

Des opérations de requêtes pour récupérer des actifs spécifiques du catalogue : Les opérations de requête de notre API incluent la récupération d’un actif spécifique, en utilisant sa référence unique ou par son nom et son type, ou la récupération d’une liste d’actifs via une connexion ou un Type d’Objet donné. En effet, l’API Catalogue de Zeenea permet une certaine flexibilité lors des requêtes, permettant de restreindre les résultats afin de ne pas être submergé par une pléthore d’informations.

Opérations de mutation pour créer et mettre à jour les actifs du catalogue : Pour gagner encore plus de temps lors de la documentation et de la mise à jour des données de l’entreprise, l’API Catalogue de Zeenea permet aux producteurs de données de créer, modifier et supprimer facilement des ressources du Catalogue. Cela permet de créer, mettre à jour et supprimer des Objets Personnalisés et des processus de données ainsi que leurs métadonnées associées, et de mettre à jour les Jeux de Données et Visualisations. Cela est également possible pour les Contacts. Ceci est particulièrement important lorsque les utilisateurs quittent l’entreprise ou changent de rôle – les producteurs de données peuvent facilement transférer les informations qui étaient liées à une personne particulière à une autre.

Lire la Feature Note

Gestion des codes de Propriété et de Responsabilité

Une autre fonctionnalité qui a été mise en œuvre est la possibilité d’ajouter un code aux propriétés et aux responsabilités afin de les utiliser facilement dans les scripts API pour des requêtes et des récupérations plus fiables.

Pour toutes les Propriétés et Responsabilités qui ont été créées dans Zeenea (par exemple, les informations d’identification personnelle) ou récoltées à partir de connecteurs, il est possible de modifier leur nom et leur description afin de mieux les adapter au contexte de l’organisation.

Plus d’une douzaine de connecteurs supplémentaires

Chez Zeenea, nous développons des connecteurs avancés pour synchroniser automatiquement les métadonnées entre notre plateforme de découverte de données et toutes vos sources. Cette connectivité native vous évite la tâche fastidieuse et difficile de trouver manuellement les données dont vous avez besoin pour un cas d’usage spécifique qui nécessite souvent l’accès à des ressources techniques limitées.

Rien qu’en 2023, nous avons développé plus d’une douzaine de nouveaux connecteurs ! Cette réalisation souligne notre agilité et notre compétence dans l’intégration rapide des diverses sources de données utilisées par nos clients. En élargissant nos options de connectivité, nous visons à donner une plus grande flexibilité et une meilleure accessibilité.

Voir nos connecteurs

Qu’est-ce que la découverte des données sensibles ?

par Zeenea Software | Nov 12, 2023 | Inspiration Data, Réglementations Data

La protection des données sensibles s’est imposée comme une préoccupation majeure pour les entreprises data-driven. Mais, pour appliquer les stratégies de protection et d’exploitation adaptées, il faut encore inventorier avec précision les données sensibles. C’est la vocation de la découverte de données sensibles, ou sensitive data discovery en anglais. Pour tout comprendre, suivez le guide !

Si la confidentialité des données est une valeur cardinale, toutes les données ne se valent pas. Aussi faut-il distinguer les données sensibles qui doivent faire l’objet d’une attention, et d’une sécurisation particulières. Les données sensibles sont des informations personnelles ou confidentielles qui, si divulguées, pourraient causer des préjudices aux individus ou aux organisations.

Elles englobent une large gamme d’informations, notamment les données médicales, les numéros de sécurité sociale, les données financières, les données biométriques, les informations sur l’orientation sexuelle, les croyances religieuses, les opinions politiques, et bien d’autres.

Le traitement des données sensibles doit respecter des normes strictes en matière de sécurité et de protection de la vie privée. Au sein de votre entreprise, vous êtes donc tenu de mettre en place des mesures de sécurité robustes pour prévenir les fuites, les accès non autorisés et les violations de données. Cela inclut le chiffrement, l’authentification à deux facteurs, la gestion des accès, et d’autres pratiques de cybersécurité avancées.

Une fois ce principe admis, une question centrale persiste. Au sein de votre activité, collectez-vous et manipulez-vous des données sensibles ? Pour le savoir, vous devez vous engager sur le chemin de la découverte des données sensibles.

Comment définir et distinguer data discovery et sensitive data discovery ?

La découverte des données, également connue sous le nom de Data Discovery, est le processus par lequel vous pourrez identifier, collecter et analyser vos données pour en extraire des informations utiles. La découverte de données vise généralement à explorer et à comprendre les données dans leur ensemble, à identifier des tendances, à générer des rapports et à prendre des décisions éclairées. De fait, elle vous est absolument indispensable pour optimiser vos opérations commerciales, ou encore améliorer l’efficacité et optimiser la prise de décision basée sur des données.

Parallèlement, la découverte des données sensibles est une branche plus spécifique de la gestion de l’information. Elle se concentre sur l’identification, la protection et la gestion de données hautement confidentielles. La découverte des données sensibles consiste à localiser ces données au sein d’une organisation, à les classer, à définir des politiques de sécurité appropriées, et à garantir leur protection contre les violations de données et les accès non autorisés.

Que peut-on considérer comme données sensibles ?

Depuis l’entrée en vigueur du RGPD en 2018, la moindre donnée revêt un caractère de sensibilité. Cependant, les données sensibles répondent à une définition propre. Vous éprouvez quelques difficultés à y voir clair ? Voici quelques exemples.

Parmi ces données sensibles, on trouve d’abord les informations personnelles identifiables (également appelées PII). Il s’agit des noms, numéros de sécurité sociale, adresses ou encore numéros de téléphone, qui sont essentiels pour l’identification de vos clients ou de vos collaborateurs par exemple.

Les données bancaires, notamment les numéros de carte de crédit et les codes de sécurité sont, elles aussi, hautement sensibles car elles sont la cible de cyber délinquants. Les données clients, y compris les historiques d’achats, les préférences et les coordonnées, sont précieuses pour les entreprises, mais doivent être protégées pour protéger la vie privée de vos clients.
Les données de santé, telles que les dossiers médicaux, les diagnostics et les antécédents médicaux, sont particulièrement délicates en raison de leur nature personnelle et de leur importance pour les soins de santé.

La liste des données sensibles ne s’arrête pas là ! Ainsi, les documents légaux, tels que les contrats, les accords de non-divulgation et les correspondances juridiques, renfermant des informations juridiques cruciales, doivent rester confidentielles pour préserver les intérêts des parties impliquées. En fonction de votre activité, les données sensibles englobent un éventail de types d’informations critiques, exigeant des mesures de sécurité adéquates pour prévenir tout accès non autorisé ou violation.

Quelles sont les différentes méthodologies associées à la découverte de données sensibles ?

La découverte de données sensibles implique plusieurs méthodologies clés pour garantir non seulement leur bonne identification, mais aussi leur protection, leur gestion et leur conformité réglementaire.

Identification et classification

Cette méthodologie consiste à localiser les données sensibles au sein de l’organisation et à les classer en fonction de leur degré de confidentialité. Elle permet de cibler efficacement les données qui nécessitent une protection accrue.

Data Profiling

Le Data Profiling consiste à analyser les caractéristiques et les propriétés des données sensibles. Celui-ci permet de mieux comprendre ces données, d’identifier les incohérences éventuelles, les erreurs potentielles et les risques liés à leur exploitation.

Data Masking

Le Data Masking (également appelé anonymisation des données) est crucial pour protéger les données sensibles. Cette technique consiste à substituer ou à masquer des données de manière à ce qu’elles restent utilisables pour les besoins légitimes, tout en préservant leur confidentialité.

Conformité aux règlements

Le respect des lois et des réglementations liées à la protection des données sensibles est un axe stratégique. Des régimes tels que le RGPD en Europe ou HIPAA aux États-Unis imposent des normes strictes à suivre. Lorsqu’elles ne sont pas respectées, les conséquences peuvent être graves, tant sur le plan financier que sur celui de la réputation !

Conservation et suppression des données

La gestion fine de la conservation et de la suppression des données sensibles est essentielle pour éviter le stockage excessif de données. Veillez à garantir la destruction sécurisée des informations obsolètes, conformément aux réglementations.

Des usages spécifiques

En fonction des besoins particuliers de certaines activités, d’autres approches peuvent être mises en œuvre, telles que le chiffrement des données, l’audit des accès et des activités, la surveillance de la sécurité, ainsi que la sensibilisation des employés à la protection des données.

Les données sensibles sont une responsabilité majeure qui vous impose non seulement beaucoup de rigueur, mais aussi une remise en question continue de la gouvernance de données.

Principaux enseignements du Zeenea Exchange 2023 : oú comment exploiter la richesse du catalogue de données d’entreprise ?

par Zeenea Software | Juil 18, 2023 | Actu & événements, Data Catalog

Chaque année, Zeenea organise des événements exclusifs qui rassemblent nos clients et partenaires de diverses organisations, favorisant ainsi un environnement propice aux discussions collaboratives et au partage d’expériences et de bonnes pratiques. La troisième édition du Zeenea Exchange France s’est déroulée au cœur du 8ème arrondissement de Paris avec nos clients et partenaires francophones, tandis que la première édition du Zeenea Exchange International s’est tenue en ligne.

Dans cet article, nous donnons un aperçu des discussions qui ont eu lieu lors de ces tables rondes organisées toutes les deux en juin 2023 sur le thème : « Quels sont vos usages et objectifs actuels & futurs pour vos initiatives de catalogues de données ? ».

Quelles sont les raisons qui ont motivé la mise en œuvre d’une solution de catalogue de données ?

Explosion des volumes d’information

Nos clients sont confrontés au défi de collecter et inventorier de grandes quantités d’informations provenant de différentes sources. Un grand nombre de nos participants se sont lancés en adoptant un Data Lake ou une autre plateforme pour stocker leurs informations. Cependant, ils se sont vite rendu compte qu’il était difficile de gérer ce vaste océan de données et se sont posé des questions telles que : « Quelles sont les données dont je dispose ? D’où viennent-elles ? Qui est responsable de ces données ? Ai-je le droit de consulter ces données ? Que signifient ces données ? ».

Par conséquent, la recherche d’une solution capable d’automatiser la centralisation des informations de l’entreprise et de fournir des informations précises sur leurs données est devenue un objectif crucial, ce qui a conduit à la recherche d’une solution de catalogue de données.

Accès limité aux données

L’accès aux données est un autre défi commun qui s’est présenté au sein de notre communauté de clients. Avant de centraliser leurs données dans un référentiel commun, de nombreuses entreprises participantes étaient confrontées à des systèmes d’information disparates, dédiés à différents secteurs d’activité ou départements au sein de l’organisation. Les données étaient donc conservées dans des silos, ce qui rendait difficile, voire impossible, l’établissement de rapports efficaces ou la communication autour de ces informations.

La nécessité de mettre les données à la disposition de tous est une autre raison clé pour laquelle nos clients ont cherché une solution qui pourrait démocratiser l’accès aux données.

Rôles et responsabilités mal définis

Une autre raison majeure de la recherche d’un catalogue de données était d’attribuer des rôles et des responsabilités clairs aux différents consommateurs et producteurs de données. En effet, l’objectif d’un data catalog est de centraliser et de maintenir à jour les informations de contact pour chaque donnée, en fournissant une visibilité claire sur la personne ou l’entité appropriée à contacter lorsque des questions se posent concernant un ensemble spécifique de données.

Quels sont les usages et les défis actuels concernant leurs initiatives de catalogue de données ?

L’absence d’un langage commun

La création d’un langage commun pour les définitions de données et les concepts métier est un défi important auquel sont confrontés beaucoup de nos clients. Ce problème est particulièrement répandu chez nos clients lorsque les différentes branches d’activité ou départements manquent d’alignement dans la définition de concepts ou d’indicateurs de performance spécifiques. Par exemple, certains KPIs peuvent manquer de définitions claires ou plusieurs versions du même KPI peuvent exister avec des définitions différentes. Compte tenu de la complexité du paysage de données de certains de nos clients, comprenant de nombreuses filiales et agences, l’alignement des parties prenantes sur la signification et la définition des concepts pose des défis importants et reste une tâche cruciale.

Plus d’autonomie pour les utilisateurs métier

La mise en œuvre d’un catalogue de données a permis d’accroître considérablement l’autonomie des utilisateurs métier chez la majorité de nos clients. En utilisant Zeenea, qui offre des capacités intuitives de recherche et de découverte des données à travers le patrimoine informationnel de l’organisation, les utilisateurs non techniques disposent désormais d’un moyen convivial et efficace de localiser et d’utiliser les données pour leurs rapports et leurs cas d’usage.

Un client a notamment témoigné que le catalogue de données a accéléré la recherche, la découverte et l’acquisition de données, a amélioré la compréhension des datas, et facilité l’accès aux données existantes et amélioré le processus global d’analyse de la qualité – inspirant ainsi aux utilisateurs une plus grande confiance dans les données.

L’adoption du catalogue reste un sujet sensible

Un autre défi important auquel sont confrontés certains de nos clients est la difficulté de promouvoir l’adoption du catalogue de données et d’encourager une culture axée sur les données. Cette résistance peut être attribuée au fait que de nombreux utilisateurs ne sont pas familiarisés avec les avantages que le data catalog peut offrir. L’instauration d’une culture data-driven nécessite des efforts soutenus pour expliquer les avantages de l’utilisation d’un catalogue. Pour ce faire, il convient de le promouvoir auprès des différents services par le biais de canaux de communication efficaces, d’organiser des sessions de formation et de mettre en évidence les petites réussites qui démontrent la valeur de l’outil dans l’ensemble de l’organisation.

Les avantages de l’automatisation

Le catalogue de données offre la possibilité d’automatiser les tâches fastidieuses liées à la collecte des données, ce qui s’avère être un atout important pour nombre de nos clients. En effet, les API de Zeenea permettent de récupérer des métadonnées externes à partir de différentes sources, facilitant ainsi l’inventaire des termes du glossaire, des informations sur les rôles de propriété, des indicateurs de qualité technique et métier provenant d’outils de qualité des données, etc.

En outre, le catalogue de données permet d’accélérer les programmes de transformation IT et l’intégration de nouveaux systèmes en fournissant une vue claire des sources essentielles, ce qui permet de mieux planifier les nouvelles intégrations.

Quelles sont les prochaines étapes de leur expérience avec le catalogue de données ?

Vers une approche Data Mesh

Certains de nos clients, en particulier ceux qui ont participé à l’édition internationale, ont manifesté leur intérêt pour l’adoption d’une approche Data Mesh. Selon un sondage réalisé pendant l’événement, 66 % des personnes interrogées envisagent ou déploient actuellement une approche Data Mesh au sein de leur organisation.

Une de nos clientes a partagé qu’elle dispose de data warehouse et de data lake, mais le manque de transparence concernant la propriété et l’utilisation des données dans les différents domaines a fait naître le besoin d’une plus grande autonomie, et d’un passage d’un data lake centralisé à une architecture spécifique à chaque domaine.

Zeenea en tant que référentiel central

Nombre de nos clients, quels que soient leurs secteurs d’activité ou leurs tailles, utilisent le catalogue de données comme référentiel centralisé pour leurs données d’entreprise. Cette approche les aide à consolider les informations provenant de plusieurs branches ou filiales au sein d’une plateforme unique, ce qui permet d’éviter les doublons et de garantir l’exactitude des données.

L’objectif du data catalog est de leur permettre de trouver des données dans tous les départements, en facilitant l’utilisation de solutions partagées et en améliorant les processus de découverte et de compréhension des données.

Utiliser le catalogue de données pour les initiatives de conformité

Les initiatives de conformité gagnent en effet en importance pour les organisations, en particulier dans des secteurs très réglementés tels que la banque et l’assurance. Un sondage réalisé lors de l’édition internationale a révélé que 50 % des personnes interrogées utilisent actuellement le catalogue de données à des fins de conformité, tandis que les 50 % restants pourraient envisager de l’utiliser à l’avenir. Un des participants qui a répondu favorablement, a témoigné que son entreprise envisage même de créer un moteur permettant d’interroger et d’extraire des informations sur les données qu’elle possède sur une personne si elle en fait la demande.

Si ces retours d’expérience et témoignages résonnent avec votre quotidien au sein de votre entreprise, n’hésitez pas à nous contacter. Nous serons ravis de vous accueillir dans la communauté des utilisateurs de Zeenea et de vous inviter à nos prochaines éditions du Zeenea Exchange.

Contactez-nous

Quelles sont les différences entre un Data Analyst et un Business Analyst ?

par Zeenea Software | Avr 29, 2021 | Inspiration Data

Tellement proches, tellement différentes ! Les fonctions de Data Analyst et de Business Analyst sont très souvent confondues, alors que leurs missions se superposent rarement. Plus complémentaires que concurrents, retour sur deux profils très recherchés.

La Data est désormais au cœur de tous les processus décisionnels dans les entreprises. Si l’on s’en réfère à une étude réalisée par l’institut IDC pour le compte de Seagate, les volumes de données générés par les entreprises devraient atteindre les 175 Zétaoctets à l’horizon 2025…

Dans ce contexte, collecter l’information ne suffit plus. Ce qui prime, c’est la capacité à tirer de ces données des enseignements permettant des prises de décisions éclairées. Mais en fonction des missions, des enjeux, du type de donnée, les méthodes d’interprétation et la façon même d’exploiter le précieux minerai peuvent être très différentes.

Le caractère protéiforme de la data a permis l’émergence de différents domaines d’expertise, suscitant parfois un certain flou entre des fonctions dont les appellations peuvent être trompeuses. La frontière qui sépare ainsi les missions du Data Analyst et celles du Business Analyst peut sembler ténue. Et pourtant, leurs fonctions, rôles et responsabilités sont très différents… et complémentaires !

Business Analyst & Data Analyst : un terreau commun

Si les fonctions de Business Analyst (en français Analyste d’affaires) et celle de Data Analyst font parfois l’objet d’une confusion, c’est que leurs missions sont intrinsèquement liées à la notion de valorisation de l’information.

Ce qui les distingue, c’est la nature de cette information.

Alors que le Data Analyst travaille sur des données numériques, issues des systèmes d’information de l’entreprise, le Business Analyst quant à lui, peut exploiter les données numériques autant que non-numériques.

Lorsque le premier doit assurer le traitement des données disponibles au sein de l’entreprise pour en extraire les enseignements permettant d’adapter les stratégies, le second apporte des réponses à des enjeux métiers concrets et fondées sur un échantillon de données pouvant dépasser le portefeuille data généré par l’entreprise.

Un large éventail de compétences

De son côté, le Data Analyst doit pouvoir se prévaloir de compétences avancées en mathématiques et en statistiques. Véritable expert des bases de données et du langage informatique, cet artisan de la donnée est bien souvent titulaire d’un diplôme dans le secteur de l’ingénierie informatique ou d’études statistiques.

Le Business Analyst quant à lui, présentera un profil moins marqué data (dans l’acception numérique du terme). S’il exploite l’information pour remplir ses missions, il restera toujours en prise directe avec le management et l’ensemble des directions métiers de l’entreprise.

Si le Business Analyst peut avoir des compétences en algorithmie, en base de données SQL ou maîtriser le langage XML, celles-ci ne constituent pas nécessairement un pré-requis indispensable.

En revanche, le Business Analyst devra être en mesure de démontrer un réel savoir-faire pour communiquer, écouter, entendre et comprendre les enjeux terrain de l’entreprise.

Pour le Data Analyst au contraire, les compétences techniques sont essentielles. Langage SQL, Python, Data modeling et Power BI, expertise IT et analytics lui permettront d’exploiter la donnée dans une dynamique opérationnelle pour l’entreprise.

Les différences de responsabilités et objectifs de chacun

Le quotidien du Data Analyst consiste avant tout à valoriser le patrimoine de l’entreprise. A cette fin, il sera par exemple garant de la qualité des données, de leur nettoyage et de leur optimisation.

L’objectif : tenir à disposition des équipes internes des bases données exploitables dans les meilleures conditions et identifier en permanences tous les leviers d’amélioration susceptibles d’impacter le projet data.

Le Business Analyst tirera profit du travail du Data Analyst qu’il contribuera à valoriser au maximum en mettant en perspective les données natives de l’entreprise avec des données et informations périphériques. En réconciliant et valorisant différentes sources d’informations, l’analyste d’affaires contribuera à faire émerger de nouvelles opportunités marché, organisationnelles ou structurelles pour accélérer le développement de l’entreprise.

En résumé, le Data Analyst est l’artisan du quotidien du projet data de l’entreprise. Le Business Analyst est celui qui intervient, au long cours, sur la stratégie commerciale. Pour relever ce défi, il fonde son action sur la qualité du travail de l’analyste de la donnée.

Deux missions complémentaires, deux profils convergents qui permettront de tirer le meilleur profit de culture data dont les organisations !

Big Data Hebdo : Data catalog, data discovery, et gouvernance des données featuring Zeenea

par Zeenea Software | Jan 4, 2021 | Actu & événements, Data Catalog, Gouvernance des données

Enregistré le 20 novembre 2020, Sandrine Bernaud, Product Manager chez Zeenea, avait été invitée pour participer au podcast Big Data Hebdo pour parler data catalog, data discovery et gouvernance des données.

Présentation de Big Data Hebdo en quelques mots :

Fondé en 2014 par Vincent Heuschling et Benjamin Guinebertière, le podcast Big Data Hebdo rassemble une équipe de quatre animateurs, tous passionnés par la data sous toutes ses formes ! Vous y retrouverez Alexander Dejanovski, consultant Apache Cassandra chez Datastax, Jérôme Mainaud, Architecte logiciel chez Zeenea, Nicolas Steinmetz, fondateur de CérénIT, et Vincent Heuschling, Fondateur d’Affini-Tech.

Ce 113ème épisode s’est concentré sur qu’est-ce un data catalog, pourquoi est-ce un outil nécessaire pour les utilisateurs et managers data, et comment les data catalogs aident les entreprises à découvrir leurs données et initier une gouvernance des données au sein de leur organisation.

Sylvain L., un utilisateur de Zeenea Data Catalog et occupant le poste de Responsable de la gouvernance des données dans une grande banque française, confirme que “le gros point fort [d’un catalogue de données], c’est vraiment de pouvoir rassembler la connaissance de la donnée et de pouvoir permettre aux utilisateurs à la fois métier et IT d’avoir un langage commun, c’est vraiment ça la force dont on a besoin pour développer efficacement nos cas d’usage autour de la donnée.”

Vous pouvez écouter le podcast en entier ici 👇
https://bigdatahebdo.com/podcast/episode-113-data-catalog-et-data-discovery/

Marquez : la solution de découverte de métadonnées chez WeWork

par Zeenea Software | Déc 10, 2020 | Inspiration Data, Metadata Management

Créée en 2010, WeWork est une société internationale de location de bureaux et d’espaces de travail. Son objectif est de fournir des espaces de collaboration à des équipes de toutes tailles, y compris les start-ups, les PME et les grandes entreprises. Pour y parvenir, l’entreprise propose trois catégories de services :

La location d’espace : Pour garantir aux entreprises un espace optimal, WeWork fournit l’infrastructure appropriée : de la réservation de salles de réunion à la location de bâtiments entiers pour les grandes entreprises. La firme doit également s’assurer de proposer les aménagements nécessaires tels qu’une cuisine pour les déjeuners et les pauses café, des WC, etc.

Le communautaire : Via son application interne, l’entreprise permet aux membres de WeWork de se connecter les uns aux autres, que ce soit au niveau local dans leur propre espace WeWork, ou au niveau mondial. Par exemple, WeWork peut mettre en relation un développeur ou un graphiste avec une entreprise en recherche depuis l’application à n’importe quel membre, indépendamment de sa localisation.

Les services : WeWork fournit également à ses membres des services divers en cas de problème tels que des services liés à la facturation, à l’informatique, à l’entretien, etc.

En 2020, WeWork représente :

Plus de 600 000 adhésions,
Implantée dans 127 villes de 33 pays différents,
850 bureaux dans le monde entier,
1,82 milliard de dollars de revenus.

Il est clair que WeWork travaille avec toutes sortes de données provenant de son personnel et de ses clients, qu’il s’agisse de particuliers ou d’entreprises. L’énorme firme avait donc besoin d’une plateforme où ses experts data pourraient consulter, collecter, agréger et visualiser les métadonnées de leur écosystème data. Ce problème a été résolu par la création de Marquez.

Cet article se concentrera sur la mise en œuvre de Marquez par WeWork, provenant principalement de documentations libres et accessibles depuis divers sites, afin d’illustrer l’importance de disposer d’une plateforme de métadonnées pour réellement devenir data-driven.

Pourquoi gérer et utiliser les métadonnées ?

Durant sa conférence « A Metadata Service for Data Abstraction, Data Lineage & Event-based Triggers« , présenté au Data Council en 2018, Willy Lulciuc, data engineer pour le projet Marquez chez WeWork, a expliqué que les métadonnées sont cruciales pour trois raisons :

Garantir la qualité des données : lorsque les données n’ont pas de contexte, il est difficile pour les utilisateurs data de faire confiance à leur patrimoine de données : y a-t-il des champs manquants ? La documentation est-elle à jour ? Qui est le propriétaire des données et en est-il toujours le propriétaire ? L’utilisation de métadonnées permet de répondre à ces questions.

Comprendre le data lineage : il est essentiel de connaître l’origine et les transformations de vos données pour être en mesure de savoir réellement par quelles étapes vos données sont passées au fil du temps.

Démocratisation des jeux de données : Selon Willy Lulciuc, la démocratisation des données dans l’entreprise est essentielle ! Disposer d’un portail central ou d’une interface utilisateur permettant aux utilisateurs de rechercher et d’explorer leurs jeux de données est l’un des moyens les plus importants pour créer une véritable culture de données en libre-service.

En résumé : créer un écosystème de données “healthy“!

Willy explique que le fait de pouvoir gérer et utiliser les métadonnées crée une culture des données durable où les individus n’ont plus besoin de demander de l’aide pour trouver et travailler avec leurs données. Lors de sa conférence, trois catégories sont présentées. Elles constituent cet “écosystème de données healthy” :

Un écosystème en libre service, où les utilisateurs de données ont la possibilité de découvrir les données et les métadonnées dont ils ont besoin, et d’explorer les ressources de données de l’entreprise lorsqu’ils ne savent pas exactement ce qu’ils recherchent. Ajouter du contexte à ses données, donne la possibilité à tous les utilisateurs et citoyens data de travailler efficacement sur leurs cas d’utilisation

Être autonome en donnant aux utilisateurs data la liberté d’expérimenter avec leurs jeux de données ainsi que de la flexibilité de travailler sur tous les aspects de leurs jeux de données, qu’ils soient entrant ou sortant par exemple.

Enfin, au lieu de dépendre de certains individus ou groupes, un écosystème de données sain permet à tous les employés d’être responsables de leurs propres données. Chaque utilisateur a la responsabilité de connaître ses données, leurs coûts (ces données produisent-elles suffisamment de valeur ?) ainsi que de suivre la documentation de ses données afin d’établir la confiance autour de ses jeux de données.

Les réservations de salles avant Marquez

Comme mentionné ci-dessus, l’utilisation des métadonnées est cruciale pour que les utilisateurs data puissent trouver les données dont ils ont besoin. Afin d’illustrer un cas d’usage concret, M. Willy expose un pipeline de données chez WeWork pour la réservation d’une salle.

Pour un « WeWorker », les étapes sont les suivantes :

Trouver un lieu (l’exemple était un complexe d’immeubles à San Francisco)
Choisir la taille de la salle appropriée (généralement divisée en fonction du nombre de participants – dans ce cas, ils ont choisi une salle pouvant accueillir de 1 à 4 personnes)
Choisir la date à laquelle la réservation aura lieu
Décider du créneau horaire pour lequel la salle est réservée ainsi que de la durée de la réunion
Confirmer la réservation

Réservation faite, Willy explique à présent comment une équipe de données standard ferait pour extraire des données depuis ce pipeline. Dans ce cas, l’exercice consiste à trouver le bâtiment qui contient le plus grand nombre de réservations de chambres, et à extraire ces données pour les envoyer à la direction. Les étapes indiquées sont les suivantes :

Lire les réservations de salles à partir d’une source de données (généralement inconnue),
Faites la somme de toutes les réservations de chambres et afficher les meilleurs emplacements,
Une fois le calcule effectué, le retranscrire dans une source de données de sortie,
Exécuter le job une fois par heure,
Traitez les données par le biais de fichiers .csv et stockez-les quelque part.

Cependant, et même si ces mesures semblent être suffisantes, Willy déclare qu’il y a des problèmes récurrents qui surviennent. Ils sont généralement de trois types :

Où puis-je trouver le jeu de données d’entrée du job ?
Le jeu de données a-t-il un propriétaire ? Qui ?
À quelle fréquence le jeu de données est-il mis à jour ?

La plupart de ces questions sont difficiles à répondre et les jobs finissent par échouer. Sans être sûr de faire confiance à ces informations, il peut être compliqué de présenter des chiffres à la direction ! Ce sont ce genre de problèmes et de questions qui ont fait que WeWork a développé Marquez.

Qu’est-ce que “Marquez” ?

Willy définit la plateforme comme une « solution open-source pour l’agrégation, la collecte et la visualisation des métadonnées de l’écosystème de données de WeWork ». En effet, Marquez est un système modulaire et a été conçu comme une solution de gestion des métadonnées hautement extensible et évolutive, indépendante de la plateforme. Il se compose des éléments suivants :

Répertoire de métadonnées : il stocke toutes les métadonnées des jobs et des jeux de données, y compris un historique complet et des statistiques au niveau des jobs (c’est-à-dire le nombre total de jobs, la durée moyenne d’exécution, les succès/échecs, etc.)

API de métadonnées : des API RESTful permettant à un ensemble de clients de collecter des métadonnées sur la production et la consommation des jeux de données.

Interface “user-friendly” des métadonnées : Utilisée pour la découverte de jeux de données, la connexion de plusieurs jeux de données et l’exploration.

Le design de Marquez

Marquez fournit des langages qui mettent en œuvre l’API de métadonnées. Cela permet à un ensemble diversifié d’applications de traitement des données de constituer une collection de métadonnées. Dans leur version initiale, ils ont fourni un support à la fois pour Java et Python.

L’API de métadonnées extrait des informations sur la production et la consommation des jeux de données. Il s’agit d’une couche apatride chargée de spécifier à la fois la persistance et l’agrégation des métadonnées. L’API permet aux clients de collecter et/ou d’obtenir des informations sur les jeux de données à destination/en provenance du répertoire de métadonnées.

Les métadonnées doivent être collectées, organisées et stockées de manière à permettre de riches recherches via l’interface utilisateur des métadonnées. Le répertoire de métadonnées sert à cataloguer les informations sur les jeux de données et proprement extraites les métadonnées par l’API.

Selon Willy, ce qui fait un écosystème de données solide est la possibilité de rechercher des informations et des jeux de données. Les jeux de données de Marquez sont indexés et classés à l’aide d’un moteur de recherche basé sur des mots ou des expressions clés ainsi que sur la documentation d’un jeu de données : plus un jeu de données est contextualisé, plus il a de chances d’apparaître en premier dans les résultats de recherche. La documentation d’un jeu de données comprend, par exemple, sa description, son propriétaire, son schéma, son tag, etc.

Vous pouvez voir plus de détails sur le modèle de données de Marquez dans sa présentation → https://www.youtube.com/watch?v=dRaRKob-lRQ&ab_channel=DataCouncil

L’avenir de la gestion des données chez WeWork

Deux ans après le projet, Marquez s’est avéré être d’une grande aide pour le géant du co-working. Leur roadmap à long terme consiste à se concentrer uniquement sur l’interface utilisateur de leur solution, en incluant davantage de visualisations et de représentations graphiques afin de fournir aux utilisateurs des moyens plus simples d’interagir avec leurs données.

Ils proposent également diverses communautés en ligne via leur page Github, ainsi que des groupes sur LinkedIn pour ceux qui sont intéressés par Marquez afin de poser des questions, obtenir des conseils ou même signaler des problèmes sur la version actuelle de Marquez.

Sources

A Metadata Service for Data Abstraction, Data Lineage & Event-based Triggers, WeWork. Youtube: https://www.youtube.com/watch?v=dRaRKob-lRQ&ab_channel=DataCouncil

29 Stunning WeWork Statistics – The New Era Of Coworking, TechJury.com:https://techjury.net/blog/wework-statistics/

Marquez: Collect, aggregate, and visualize a data ecosystem’s metadata, https://marquezproject.github.io/marquez/

Marquez: An Open Source Metadata Service for ML Platforms Willy Lulciuc

Nouveau livre blanc : « Le Data Discovery vu par les Géants du Web »

par Zeenea Software | Sep 21, 2020 | Actu & événements

Découvrez les solutions de data discovery développées par différents géants du web qui ont permis à leurs équipes data de comprendre et de faire confiance à leurs actifs d’entreprise.

Nous avons publié aujourd’hui un nouveau livre blanc hors série « Le Data Discovery vu par les Géants du Web » qui se concentre sur les différentes plateformes de data discovery développées par de grandes entreprises dans le monde de la tech telles que Airbnb, Uber, Spotify, pour n’en citer que quelques-unes.

Des milliers de données créées chaque jour, et les entreprises se retrouvent avec des informations qu’elles n’arrivent ni à comprendre ni à gérer correctement. Généralement désordonnées, dispersées et non organisées, les équipes de data analytics passent la plupart de leur temps à tenter d’y voir plus clair dans ce chaos d’informations plutôt que de produire de la valeur à partir de celles-ci ! En effet, de nombreuses enquêtes récentes indiquent encore que les équipes de data science passent 80% de leur temps à préparer et nettoyer leurs données au lieu de les analyser.

Les données nombreuses et diverses ajoutées quotidiennement rendent extrêmement difficile, voire impossible, la gestion manuelle de l’ingestion de données ! Ces grandes entreprises ont donc rapidement compris qu’il était essentiel de mettre en place un référentiel de métadonnées qui automatise la découverte des données pour que leurs équipes data et analytics puissent rapidement trouver et comprendre leurs données d’entreprise.

Zeenea a basé sa recherche sur la documentation officielle fournie par ces Géants du Web, qui ont été partagée sur leurs réseaux sociaux et de blogs corporate. Ce livre blanc détaille la manière dont ces entreprises en sont venues à développer leurs solutions, les caractéristiques de leurs plateformes et les prochaines étapes pour chaque organisation.

Les expériences de ces géants du web ont largement inspiré Zeenea quant aux valeurs proposées par son data catalog pour faciliter la découverte d’information par les équipes data, de la manière la plus simple et la plus intelligente possible.

Découvrez les différentes plateformes de data discovery en téléchargeant notre dernier livre blanc !

Téléchargez notre livre blanc

Qu’est-ce-que le data discovery ?

par Zeenea Software | Juil 3, 2020 | Metadata Management

En cette ère où les données sont omniprésentes, les organisations investissent de plus en plus dans des stratégies de data management afin de créer de la valeur et d’acquérir un avantage concurrentiel. Cependant, selon une étude menée par Gemalto en 2018, il a été constaté que 65% des organisations ne peuvent analyser ou catégoriser toutes les données consommateurs qu’elles stockent.

Il est donc crucial pour les entreprises de chercher des solutions qui leur permettent de valoriser leurs données à partir de métriques, d’aperçus et d’informations en facilitant leur parcours de data discovery.

Définition de data discovery

Les problèmes de data discovery sont partout dans l’entreprise, que ce soit dans le département informatique, business intelligence ou innovation. En intégrant des solutions de data discovery, les entreprises fournissent un accès aux données à tous les employés, ce qui permet aux équipes data et aux business analysts de comprendre et donc de collaborer autour des données.

Il est également très utile pour les entreprises qui cherchent à mieux gérer la conformité. Il permet aux organisations de savoir quelles données sont personnelles/sensibles et où elles peuvent être trouvées. Le data discovery peut également stimuler l’innovation, car il débloque des informations essentielles pour satisfaire les clients et obtenir un avantage concurrentiel.

Du data discovery manuel au data discovery intelligent

Depuis 20 ans, avant les techniques de machine learning avancées, les data stewards cartographiaient leurs données en utilisant la seule puissance du cerveau humain ! Ils réflechissaient de manière critique aux données dont ils disposaient, à leur emplacement de stockage et aux besoins pour satisfaire par le client final. Les Data Stewards s’occupaient généralement des règles de documentation des data assets qui guidaient le processus de data discovery. Dans ces approches manuelles, généralement réalisées à l’aide de feuilles Excel, les utilisateurs conceptualisaient et dessinaient des cartes pour comprendre l’organisation de leurs données.

De nos jours, avec l’avancement de la technologie, la définition du data discovery inclut les moyens automatisés de présentation des données. La découverte intelligente de données représente une nouvelle vague de technologies data qui utilisent l’analyse augmentée, le machine learning et l’intelligence artificielle.

Non seulement elle prépare, conceptualise et intègre les données, mais elle les présente également au moyen de tableaux de bord intelligents pour révéler des modèles et valeurs business cachés.

Les avantages du data discovery

Les données d’entreprise se déplacent d’un endroit à l’autre à la vitesse de la lumière, et sont stockées dans diverses sources de données. Les employés et les partenaires accèdent à ces données, de partout et à tout moment. L’identification, la localisation et la classification de vos données devraient donc être la priorité, afin de les protéger et d’en tirer des informations !

Les avantages du data discovery sont les suivants :

Meilleure compréhension des données d’entreprise, de leur emplacement, des personnes qui peuvent y accéder / du lieu où elles se trouvent, et de la manière dont elles seront transmises,
Classification automatique des données en fonction du contexte,
Gestion des risques et respect de la réglementation,
Visibilité complète des données,
Identification, classification et suivi des données sensibles,
Capacité d’appliquer des contrôles de protection aux données en temps réel sur la base de politiques et de facteurs contextuels prédéfinis

Le data discovery permet de correctement évaluer l’ensemble des données d’entreprise.

D’une part, il aide à mettre en œuvre les mesures de sécurité appropriées pour prévenir la perte de données sensibles et éviter des conséquences financières et de réputation dévastatrice pour l’entreprise.

D’autre part, elle permet aux équipes d’approfondir les données afin d’identifier les éléments spécifiques qui révèlent les réponses et de trouver des moyens de montrer les réponses. C’est une situation où tout le monde est gagnant !

Vous voulez en savoir plus sur le data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

Dans ce livre blanc, nous faisons un focus sur le contexte et la mise en œuvre des solutions de data discovery développées par les grandes entreprises du web, dont certaines font partie du célèbre «Big Five» ou «GAFAM» (Google, Apple, Facebook, Amazon, Microsoft).

télécharger le livre blanc

Formez une équipe de citizen data scientists

par Zeenea Software | Juin 8, 2020 | Metadata Management

”There aren’t enough expert data scientists to meet data science and machine learning demands, hence the emergence of citizen data scientists. Data and analytics leaders must empower “citizens” to scale efforts, or risk failure to secure data science as a core competency”. – Gartner 2019

Les efforts et investissements dans la data science ont battu tous les records en 2019 ! La demande de data scientists est donc plus forte que jamais. Cependant, la demande est bien plus élevée que l’offre actuelle sur le marché. Les entreprises se retrouvent à se battre pour leur place, et dans certains cas, pour leur survie.

En réponse à ce challenge, un rôle analytique important a été créé pour faire le lien entre les data scientists et les fonctions métiers : le citizen data scientist.

Qu’est-ce qu’un citizen data scientist ?

Gartner définit le concept du citizen data scientist comme « un ensemble de capacités et de pratiques qui permet aux utilisateurs d’extraire des informations prédictives et normatives sur les données sans avoir besoin d’être aussi qualifiés et techniquement sophistiqués que les data scientist experts« . Attention, un « citizen data scientist » n’est pas un poste. Il s’agit d’un « power user » qui peut effectuer des tâches analytiques simples.

En règle générale, les citizen data scientists n’ont pas de compétences en codage. Néanmoins, ils peuvent construire des modèles en utilisant des outils de “drag and drop” et faire fonctionner des data pipelines ainsi que des modèles pré-construits à l’aide d’outils tels que Dataiku. Les citizen data scientists ne remplacent pas les data scientists experts ! Ils apportent leur propre expertise mais n’ont pas les compétences techniques pour la data science avancée.

Le citizen data scientist est un rôle qui a évolué comme une « extension » d’autres rôles au sein de l’organisation. Cela signifie que les organisations doivent créer la fiche persona du citizen data scientist. Le potentiel des citizen data scientists varie en fonction de leurs compétences et de leur intérêt pour la data science et du machine learning. Les rôles qui entrent dans la catégorie du citizen data scientist sont les :

Business analysts
BI Analysts / Developers
Data Analysts
Data Engineers
Application Developers
Business line manager

Conseils pour la construction de votre équipe de citizen data scientists

Comme les compétences d’experts en data science ont tendance à être assez coûteuses et difficiles à obtenir, le recours à un citizen data scientist peut être un moyen efficace de combler ce manque.

Voici comment vous pouvez renforcer les capacités de vos équipes de data science :

Briser les silos d’entreprises

Comme vous l’avez déjà entendu à maintes reprises, de nombreuses organisations ont tendance à fonctionner de manière indépendante. Comme mentionné ci-dessus, tous les rôles sont importants dans la stratégie de gestion des données d’une organisation, et ils ont tous exprimé leur intérêt pour monter en compétence en data science et machine learning. Cependant, la plupart de ces connaissances sont gardées par des départements ou rôles spécifiques. Par conséquent, les efforts de data science sont souvent invalidés et non-exploités. Le manque de collaboration entre les différents rôles rend difficile le travail des citizen data scientists !

En établissant une communauté de rôles business et informatiques qui fournit des lignes directrices et/ou des ressources détaillées, les entreprises peuvent donner aux citizen data scientists les moyens d’accéder et comprendre leurs données. Il est donc important pour les entreprise d’encourager le partage des efforts de data science dans toute l’organisation et ainsi, de briser les silos data !

Fournir une technologie de data analytics augmentée

La technologie alimente la montée en puissance du citizen data scientist. Les fournisseurs traditionnels de BI, tels que SAP, Microsoft et Tableau Software, ont des fonctionnalités qui permettent l’analyse statistique et prédictive avancée. Parallèlement, les plateformes de data science et de machine learning telles que SAS, H2O.ai et TIBCO Software, fournissent aux utilisateurs qui ne disposent pas de capacités d’analyse avancées, des « analyses augmentées ». L’analyse augmentée s’appuie sur du machine learning automatisé pour transformer la manière dont le contenu analytique est développé, consommé et partagé. Elle comprend :

La préparation de données augmentée : l’automatisation de machine learning pour augmenter le profilage, la qualité, la modélisation, l’enrichissement et le catalogage des données.

La découverte de données augmentée : permet aux utilisateurs business et techniques de trouver, visualiser et analyser de manière automatique les informations pertinentes à leurs usages telles que des corrélations, des groupes, des segments et des prédictions, sans avoir à construire des modèles ou à écrire des algorithmes.

La data science et le machine learning augmentés : l’automatisation des aspects clés de la modélisation analytique avancée, tels que la sélection des caractéristiques, la sélection des algorithmes et les processus d’étapes qui prennent du temps.

En intégrant les outils et les solutions nécessaires et en augmentant les ressources et les efforts, les entreprises peuvent désormais construire leur équipe de citizen data scientists !

Donner aux citizen data scientist les moyens de gérer leurs données grâce à une plateforme de gestion des métadonnées

La gestion des métadonnées est une discipline essentielle pour les entreprises qui souhaitent soutenir l’innovation ou les initiatives de conformité réglementaire sur leurs actifs de données. En mettant en œuvre une stratégie de gestion des métadonnées, dans laquelle les métadonnées sont bien gérées et correctement documentées, les citizen data scientists sont en mesure de trouver et d’extraire facilement des informations pertinentes à partir d’une plateforme intuitive.

Découvrez nos conseils pour démarrer un metadata management en seulement 6 semaines en téléchargeant notre nouveau livre blanc « Le guide du metadata management« .

Business glossary : une solution essentielle pour vos data scientists

par Zeenea Software | Mai 26, 2020 | Metadata Management

Dans le monde de la data, un business glossary est un texte sacré qui représente de longues heures de travail et de collaboration entre les fonctions informatiques et métiers. Dans la gestion des métadonnées, un business glossary est un élément crucial pour contextualiser et définir ses données. Selon Gartner, c’est l’une des solutions les plus importantes à mettre en place dans une entreprise pour soutenir les objectifs commerciaux.

Pour aider vos data scientists avec leurs algorithmes de machine learning et leurs initiatives data, un business glossary fournit des significations et contextes clairs pour toute donnée ou tout terme business de l’entreprise.

Retour aux fondamentaux : qu’est-ce qu’un business glossary ?

Un business glossary apporte une signification et un contexte aux données dans tous les départements de l’entreprise. C’est donc un endroit où les termes métier / data sont définis et liés. Cela peut sembler simple, mais il est rare que tous les employés d’une entreprise partagent une même compréhension sur des termes – mêmes les plus fondamentaux – tels que «contact» et «client» au sein de l’entreprise.

Ses principaux objectifs, entre autres, sont les suivants :

Aligner l’ensemble des collaborateurs sur une même définition en créant un langage commun dans l’organisation.
Favoriser une meilleure compréhension et collaboration entre des équipes business & IT.
Associer des termes business à d’autres actifs d’entreprise et offrir une vue sur leurs différentes relations.
Élaborer et partager un ensemble de règles sur le domaine de la gouvernance des données.

Les organisations peuvent donc devenir data fluent !

Comment un business glossary est-il utile pour vos data scientists ?

En centralisant les informations business, les entreprises sont capables de partager la connaissance – qui était gardée par un groupe de sachants et d’experts – autour de leurs données. En effet, cela permet aux data scientists de prendre de meilleures décisions lors de leurs recherche de jeux de données à utiliser pour leurs usages. Cela permet également :

De devenir “data literate”

De plus en plus d’organismes, comme Forbes ou Gartner, considèrent que les entreprises doivent plus investir dans des moyens favorisant la compréhension des données. Ces programmes sont communément appelés en anglais “data literacy”.

Dans le cadre de la description du poste du Chief Data Officer, il est essentiel que toutes les parties de l’organisation puissent comprendre les données et le jargon associé. Cela permet à toutes les parties de l’organisation de mieux comprendre la signification, le contexte et les usages des données. Ainsi, en mettant en place un business glossary, les data scientists sont en mesure de collaborer avec tous les départements de l’entreprise, qu’ils soient informatiques ou business. Il y a moins d’erreurs de communication et ils participent donc à la construction et à l’amélioration de la connaissance sur les données de l’entreprise.

D’accéder à un environnement data-driven

Liée à la data literacy, la culture des données fait référence à un environnement de travail où les décisions sont prises sur une base de données empiriques et de preuves solides. En d’autres termes, les décisions sont basées sur des preuves data, plutôt que sur l’instinct seulement.

Un business glossary favorise la sensibilisation à la qualité des données et leurs compréhension globale. En conséquence, l’environnement devient plus data-driven et peut aider les data scientists à mieux connaître leurs données.

Plus de confiance aux données

Un business glossary garantit que les bonnes définitions soient liées aux bonnes données. Il aide à résoudre les problèmes généraux lorsque des incompréhensions sur les données sont identifiés. Lorsque tous les jeux de données sont correctement documentés avec une terminologie correcte et comprise par tous, il augmente la confiance générale dans les données d’entreprise, permettant aux data scientists de travailler efficacement sur leurs projets data.

Mettre en place un business glossary avec Zeenea

Zeenea propose un business glossary dans son data catalog. Il se connecte automatiquement et importe vos glossaires et dictionnaires dans notre outil grâce à nos API. Vous pouvez également manuellement créer un glossaire depuis l’interface de Zeenea !

Découvrez les avantages de notre business glossary pour vos data scientists !

Contactez-nous

WhereHows : la solution de data discovery et lineage de LinkedIn

par Zeenea Software | Avr 20, 2020 | Inspiration Data, Metadata Management

Dans un monde où le paysage des données se développe rapidement et où les SI sont de plus en plus complexes, les organisations de tous les secteurs ont compris l’importance de faciliter la découverte, la compréhension et la confiance dans leurs données.

Leurs armes ? Les métadonnées.

Que votre entreprise soit dans le secteur du streaming comme Spotify ou Netflix, dans le secteur du VTC comme Uber ou Lyft, ou même dans celui de la location saisonnière comme Airbnb, il est essentiel que les équipes data soient équipées des bons outils et bonnes solutions leur permettant d’innover et de produire de la valeur avec leurs données.

Dans cet article, nous nous concentrerons sur WhereHows, un projet open source dirigé par l’équipe data de LinkedIn. Ce projet a mené à la création d’un répertoire central pour les personnes, processus et connaissances data de l’entreprise. Avec plus de 50 000 jeux de données, 14 000 commentaires et 35 millions de jobs et d’informations sur le lineage, il est clair que la solution de data discovery de LinkedIn est un succès !

Les chiffres clés de Linkedin

Fondée par Reid Hoffman, Allen Blue, Konstantin Guericke, Eric Ly et Jean-Luc Vaillant en 2003 en Californie, la firme démarre son aventure assez lentement. En 2007, elle est enfin devenue rentable et, en 2011, elle comptait plus de 100 millions de membres dans le monde entier.

En 2020, Linkedin a connu une croissance significative:

Plus de 660 millions de membres LinkedIn dans le monde, dont 206 millions d’utilisateurs actifs en Europe,
Plus de 80 millions d’utilisateurs sur Linkedin Slideshare,
Plus de 9 milliards d’impressions de contenu,
30 millions d’entreprises enregistrées dans le monde entier.

LinkedIn est devenu un réseau social professionnel incontournable pour les recruteurs, les spécialistes du marketing et les commerciaux. Alors, comment le Géant du web gère-t-il toutes ses informations ?

Le début de WhereHows

Comme la plupart des entreprises ayant un écosystème BI mature, Linkedin a commencé avec une équipe data warehouse, chargée d’intégrer les sources de données considérées comme les plus importantes. Cependant, le nombre de jeux de données et d’informations collectées data ne cessaient d’augmenter ! L’équipe de la firme a finit par se sentir très vite dépassée par la quantité colossale de données à gérer chaque jour.

Certaines questions revenaient inlassablement :

Qui est le propriétaire de ce flux de données ?
Comment ces données sont-elles arrivées ici ?
Où se trouvent les données ?
Quelles sont les données utilisées ?

Linkedin a donc décidé de développer une plateforme de métadonnées connectée à tous leurs systèmes d’information. La solution veut simplifier la collecte et l’affichage des métadonnées dans le but de faciliter la découverte de données. Bienvenue WhereHows !

La plateforme WhereHows en bref

WhereHows s’intègre à tous les environnements data et en extrait les métadonnées.

Ensuite, il fait apparaître ces informations via deux interfaces différentes :

Une application web qui permet la navigation, la recherche, la visualisation du lineage, les discussions et la collaboration,
Un API qui permet l’automatisation d’autres processus de données et d’applications.

Cette plateforme permet à Linkedin de résoudre les problèmes liés au data lineage, la connaissance des propriétaires d’un jeu de données, et à la découverte des schémas, entre autres. Elle détecte les schémas en se basant sur du machine learning et l’association entre le business glossary et leurs jeux de données.

Le Géant du Web a également créé une communauté basée sur la participation et la collaboration, ce qui leur permet de maintenir la documentation de leurs données en encourageant les discussions entre propriétaires de jeux de données.

Il y a trois composants principaux de WhereHows:

Un référentiel de données qui stocke toutes les métadonnées,
Un serveur web qui fait apparaître les données via l’API ou l’interface utilisateur,
Un serveur backend qui récupère les métadonnées d’autres sources d’information.

Quelles sont les métadonnées collectées par WhereHows ?

La puissance de WhereHows provient des métadonnées qu’il collecte dans l’écosystème de données de Linkedin.

Il collecte les métadonnées suivantes:

Métadonnées opérationnelles, telles que les jobs, les flux, etc.
Informations sur le lineage, qui permettent de relier les jeux de données entre elles sur les jobs,
Informations cataloguées telles que l’emplacement d’un jeu de données, sa structure, sa propriété, sa date de création, etc.

Comment LinkedIn utilise ses métadonnées

WhereHows utilise un modèle universel qui permet aux équipes data de mieux exploiter la valeur de leurs données ; par exemple, en effectuant une recherche à travers la plateforme WhereHow en fonction des métadonnées indexées.

De plus, le data lineage fournit les informations qui les relient entre elles et permettent aux équipes data de remonter ces informations en amont et en aval. Avec un écosystème data complètement intégré dans WhereHows, Linkedin arrive à suivre le flux d’une donnée du début à la fin !

Comment LinkedIn collecte ses métadonnées

La méthode utilisée pour collecter les métadonnées dépend de la source. Par exemple, les jeux de données Hadoop ont des “scraper jobs” qui permettent de scanner les fichiers HDFS, de lire les métadonnées, puis de les stocker à nouveau dans WhereHow.

Pour les “task planners” tels que Azkaban, ils connectent leur data warehouse backend pour obtenir les métadonnées, les agréger, les transformer au format dont ils ont besoin, et ensuite les charger dans WhereHows.
Pour les informations du data lineage, ils analysent le log du MapReduce et le log d’exécution d’un planificateur, puis combinent ces informations pour finalement obtenir le lineage.

Quelle est la prochaine étape pour WhereHows ?

Aujourd’hui, WhereHows est activement utilisé chez Linkedin, non seulement comme un warehouse de métadonnées, mais aussi pour l’automatisation d’autres projets data telle que l’automatisation de la suppression de données personnelles. En 2016, ils se sont intégrés aux systèmes ci-dessous:

À l’avenir, les équipes data de Linkedin espèrent élargir leur couverture de métadonnées en intégrant davantage de systèmes tels que Kafka ou Samza. Elles prévoient également de s’intégrer à des systèmes de gestion du cycle de vie des données et d’approvisionnement comme Nuage ou Goblin pour enrichir les métadonnées. WhereHows n’a pas dit son dernier mot !

Sources:

50 of the Most Important LinkedIn Stats for 2020: https://influencermarketinghub.com/linkedin-stats/
Open Sourcing WhereHows: A Data Discovery and Lineage Portal:
https://engineering.linkedin.com/blog/2016/03/open-sourcing-wherehows–a-data-discovery-and-lineage-portal

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

Comment Spotify a amélioré la découverte de données pour les Data Scientists

par Zeenea Software | Mar 19, 2020 | Inspiration Data, Metadata Management

En tant que leader mondial du marché du streaming de musique, il ne fait aucun doute que la firme est data-driven.

Spotify a accès aux plus grandes collections de musique du monde, ainsi qu’à des podcasts et autres contenus audio.

Qu’ils envisagent un changement de stratégie produit ou qu’ils décident quels morceaux ajouter dans leur librairie, Spotify affirme que « les données fournissent une base pour une meilleure prise de décision ».

Spotify en chiffre

Fondée en 2006 à Stockholm par Daniel Ek et Martin Lorentzon, Spotify avait pour but d’être une plateforme de streaming légale afin de lutter contre le piratage de musique au début des années 2000.

Quelques statistiques sur Spotify en 2020 :

248 millions d’utilisateurs actifs dans le monde,
20 000 chansons sont ajoutées par jour sur leur plateforme,
Spotify détient 40 % du marché mondial de la musique en streaming,
20 milliards d’heures de musique ont été écoutées en 2015

Ces chiffres représentent non seulement le succès de Spotify, mais également les quantités colossales de données qui sont générées chaque année, voire chaque jour ! Pour permettre à leurs employés, ou comme ils les appellent, les “Spotifiers”, de prendre des décisions plus rapides et plus intelligentes, Spotify a développé Lexikon.

Lexikon est une librairie contenant des données et informations qui aide les employés à trouver et comprendre leurs données et connaissances générées par leur communauté d’experts.

Quelles étaient les problématiques liées à la donnée chez Spotify ?

Dans leur article How We Improved Data Discovery for Data Scientists at Spotify, Spotify explique qu’ils ont démarré leur stratégie data en migrant leurs données vers le Google Cloud Platform, et ont vu une explosion de leurs jeux de données !

Ils étaient également en pleine recherche de nouveaux spécialistes data tels que des data scientists, data analysts, etc. Cependant, ils expliquent qu’il n’était pas clair qui étaient les propriétaires de leurs jeux de données et que ceux-ci n’étaient pas ou peu documentés, ce qui rendait difficile la recherche des données.

L’année suivante, ils ont sorti Lexikon, comme solution à ce problème.

Leur première version a permis aux Spotifiers de rechercher et de parcourir les tables BigQuery disponibles ainsi que de découvrir les recherches et analyses passées. Cependant, des mois après le lancement, les data scientists continuaient à considérer la découverte de données comme un problème majeur, passant la plupart de leur temps à essayer de trouver leurs ensembles de données, ce qui retardait la prise de décision informée.

Spotify a alors décidé de se concentrer sur cette problématique spécifique en itérant sur Lexikon, dans le but unique d’améliorer l’expérience de découverte de données pour les data scientists.

Comment fonctionne la découverte de données de Lexikon ?

Pour que Lexikon puisse marcher, Spotify a commencé par mener des recherches sur ses utilisateurs, leurs besoins ainsi que leurs “pain points”. Ce faisant, l’entreprise a pu mieux comprendre les intentions de ses utilisateurs et utiliser cette compréhension pour mieux développer le produit.

Découverte de données à faible intention

Imaginons, vous êtes de mauvaise humeur et vous aimeriez écouter de la musique pour vous remonter le moral. Alors, vous ouvrez Spotify, vous parcourez différentes playlist pour booster votre humeur et vous démarrez la playlist « Mood Booster ».

Tah-dah ! Il s’agit d’un exemple de découverte de données à faible intensité, ce qui signifie que votre objectif a été atteint sans exigences extrêmement strictes.

Pour mettre cela dans le contexte d’un data scientist de Spotify, en particulier les nouveaux, leur découverte de données de faible intention serait :

trouver des jeux de données populaires / largement utilisés dans l’entreprise,
trouver des jeux de données pertinents pour le travail de son équipe,
trouver des ensembles de données que je n’utilise peut-être pas, mais que je devrais connaître.

Pour répondre à ces besoins, Lexikon dispose donc d’une page d’accueil personnalisable avec des recommandations personnalisées aux utilisateurs. La page d’accueil fait des suggestions pertinentes, générées automatiquement, pour des jeux de données tels que :

les jeux de données les plus utilisés au sein de l’entreprise,
les jeux des données récemment utilisées par l’utilisateur,
des jeux de données les plus utilisés par l’équipe à laquelle appartient l’utilisateur.

Découverte de données de haute intention

Pour expliquer simplement, Spotify utilise l’exemple de quand on entend une chanson qu’on aime bien mais qu’on ne la connaît pas. On ouvre donc l’application et recherche cette chanson jusqu’à ce qu’on la trouve enfin, et l’écoute en boucle. Il s’agit d’une découverte de données de haute intention !

Un spécialiste des données à Spotify avec de hautes intentions a des objectifs spécifiques et est susceptible de savoir exactement ce qu’il recherche. Par exemple, il pourrait vouloir :

trouver un jeu de données par son nom,
trouver un jeu de données qui contient un champ de schéma spécifique,
trouver un jeu de données relatif à un sujet particulier,
trouver un jeu de données utilisé par un collègue dont il ne se souvient pas du nom,
trouver les principaux jeux de données qu’une équipe a utilisés à des fins de collaboration.

Pour répondre aux besoins des data scientists, Spotify s’est d’abord concentré sur leur expérience de recherche. Ils ont construit un algorithme de classement basé sur la popularité d’un jeu de données.

Ce faisant, les data scientists ont indiqué que les résultats de leurs recherches étaient plus pertinents et qu’ils avaient davantage confiance en les jeux de données qu’ils découvraient.

En plus d’améliorer la recherche, ils ont introduit de nouveaux types de propriétés (schémas, champs, contact, équipe, etc.) dans Lexikon.

Dans l’exemple ci-dessous, un utilisateur recherche « track_uri ». Il est capable de naviguer dans la page du champ du schéma « track_uri » et de voir les tableaux contenant cette information. Depuis l’ajout de cette nouvelle fonctionnalité, elle s’est avérée être un chemin critique pour la découverte de données, 44 % des utilisateurs de Lexikon visitant ce type de pages.

’

Les conclusions sur Lexikon

Depuis ces améliorations, l’utilisation de Lexikon par les spécialistes des données est passée de 75 % à 95 %, ce qui le place dans le top 5 des outils les plus utilisés !

La découverte de données n’est donc plus un problème majeur pour les Spotifiers.

Sources:

Spotify Usage and Revenue Statistics (2019): https://www.businessofapps.com/data/spotify-statistics/
How We Improved Data Discovery for Data Scientists at Spotify: https://labs.spotify.com/2020/02/27/how-we-improved-data-discovery-for-data-scientists-at-spotify/
75 amazing Spotify Statistics and Facts (2020): https://expandedramblings.com/index.php/spotify-statistics/

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

Les métadonnées vues par les géants du Web

par Zeenea Software | Mar 17, 2020 | Inspiration Data

L’analyse du cycle de vie des données fait partie des éléments les plus difficiles à mettre en oeuvre par les entreprises ces dernières années.

Les organisations à la pointe de l’innovation par la donnée telles que Uber, LinkedIn, Netflix, Airbnb ou encore Lyft ont également perçu la valeur des métadonnées dans l’ampleur de ce défi.

Elles ont ainsi développé une gestion des métadonnées à l’aide de plateformes dédiées. Fréquemment développées de manière custom, elles facilitent l’ingestion, l’indexation, la recherche, l’annotation et la découverte des données afin de maintenir des jeux de données de haute qualité.

Des exemples ci-dessous ressortent une constante partagée : la difficulté, accrue par la volumétrie et la variété, à transformer les données de l’entreprise en connaissance exploitable.

Voyons ensemble l’analyse et le contexte de ces grands du Web :

Uber

Chaque interaction sur la plate-forme Uber, qu’il s’agisse des VTC ou des livraisons de repas à domicile est basée sur les données. Grâce à leur analyse, les données permettent des expériences utilisateurs plus fiables et plus pertinentes.

Uber en chiffres, cela représente :

des milliers de milliards de messages Kafka par jour,
des centaines de pétaoctets de données dans HDFS dans des data centers,
des millions de requêtes analytiques hebdomadaires.

Cependant, la volumétrie de données générée ne suffit pas à elle seule à tirer parti des informations qu’elles représentent ; pour être utilisées de manière efficace et efficiente, les données nécessitent plus de contexte pour prendre des décisions commerciales optimale.

Pour fournir des informations supplémentaires, Uber a donc développé “Databook”, la plateforme interne d’Uber qui collecte et gère les métadonnées sur les jeux de données internes, afin de transformer les données en connaissances.

La plateforme Databook est conçue pour permettre aux employés d’Uber d’explorer, de découvrir et d’utiliser efficacement les données de chez Uber.

Databook garantit le contexte sur les données – ce qu’elles signifient, leur qualité, etc. – pour les milliers de collaborateurs qui essaient de les analyser. En bref, les métadonnées de Databook permettent aux parties prenantes des données de passer de l’affichage de données brutes à des connaissances exploitables.

Dans l’article « Databook: Turning Big Data into Knowledge with Metadata at Uber », l’article conclut que l’un des plus gros défis du Databook était de passer d’une mise à jour manuelle du répertoire de métadonnées à l’automatisation.

Airbnb

Lors d’une conférence menée en mai 2017, John Bodley, Data Engineer chez AirBnB, exposait les nouvelles problématiques issues de la forte croissance de la société : celles d’un paysage confus et non unifié qui ne permettait pas d’accéder à l’information toujours plus importante.

Que faire de toutes ces données collectées quotidiennement ? Comment les transformer en une force pour tous les employés d’Airbnb ?

Une équipe dédiée s’est mise en ordre de bataille pour développer un outil qui démocratiserait l’accès aux données au sein de l’entreprise. Leur travail s’est à la fois fondé sur la connaissance des analystes et leur capacité à comprendre les points critiques et sur celle des ingénieurs, à même de proposer une vision plus technique de l’ensemble. Au cœur du projet, des interviews des employés et de leurs problématiques ont été menées.

De cette enquête est ressortie : une difficulté à trouver les informations dont les collaborateurs avaient besoin pour travailler, et des démarches encore trop tribales dans le partage et la détention d’informations.

Pour répondre à ces enjeux, AirBnB a créé le Data Portal, plateforme de gestion de métadonnées. Le Data Portal centralise et partage ces informations via cette plateforme en self-service.

Lyft

La société Lyft est un service de VTC. Sur le marché américain, elle est le principal concurrent d’Uber.

Lyft est partie d’un constat d’inefficience dans l’accès aux données pour ses profils analytiques. Ses réflexions se sont axées sur la mise à disposition de la connaissance des données pour optimiser ses processus. En quelques mois seulement, l’initiative de proposer une interface de recherche de données a porté des fruits concrets sur ces 2 grands défis :

La productivité – Que ce soit pour créer un nouveau modèle, instrumenter une nouvelle métrique ou effectuer une analyse ad hoc, comment Lyft peut utiliser ces données de la manière la plus productive et la plus efficace possible ?

La conformité – Lors de la collecte de données sur les utilisateurs d’une entreprise, comment Lyft peut se conformer aux exigences réglementaires croissantes et préserver la confiance de ses utilisateurs ?

Dans leur article Amundsen — Lyft’s data discovery & metadata engine, Lyft affirme que la clé ne réside pas dans les données, mais dans les métadonnées !

Netflix

En tant que leader mondial du streaming vidéo, l’exploitation des données chez Netflix est, bien évidemment, un axe stratégique majeur.

Compte tenu de la diversité des sources de données, la plateforme vidéo souhaitait proposer un moyen de fédérer et d’interagir avec ces assets depuis un même outil. Cette recherche de solution a abouti à Metacat.

Cet outil agit comme une couche d’accès aux données et métadonnées depuis les sources de données de Netflix. L’outil permet ses utilisateurs un accès aux données et ce, quelque soit leurs systèmes de stockage grâce à trois fonctionnalités différentes :

L’ajout de métadonnées métier : à la main ou définies par les utilisateurs, des métadonnées métier peuvent être ajoutées via Metacat.
La data discovery : l’outil publie des métadonnées de schéma et métier définies par ses utilisateurs dans Elasticsearch, facilitant ainsi la recherche en texte intégral d’informations dans les sources de données.
La notification de modification de données et audits : Metacat enregistre et notifie toutes les changements apportés sur les métadonnées depuis les systèmes de stockage.

Dans l’article Metacat: Making Big Data Discoverable and Meaningful at Netflix, la firme confime qu’ils sont loin d’avoir fini ! Il y a quelques fonctionnalités supplémentaires sur lesquelles ils doivent encore travailler pour améliorer l’expérience data warehousing :

Schéma pour fournir l’historique d’un tableau,
Fournir des informations contextuelles sur les tableaux pour un meilleur data lineage,
Ajouter un support pour les datastores comme Elasticsearch et Kafka.

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

Amundsen: comment Lyft simplifie la découverte des données

par Zeenea Software | Fév 27, 2020 | Inspiration Data, Metadata Management

Dans notre précédent article, nous avons parlé de la solution Databook d’Uber , une plateforme interne conçue par leurs ingénieurs dans le but de contextualiser les données d’entreprise. Dans cet article, nous nous concentrerons sur la plateforme de découverte de données à l’aide des métadonnées de Lyft : Amundsen.

Après le succès d’Uber, le monde du VTC a vu arriver une vague importante de concurrents et parmi eux, Lyft.

Les chiffres clés de Lyft

Fondée en 2012 à San Francisco, Lyft opère dans plus de 300 villes aux États-Unis et au Canada. Avec plus de 29% du marché américain du VTC*, Lyft s’est assuré la deuxième position, au coude à coude avec Uber. Voici quelques statistiques clés sur Lyft:

23 millions d’utilisateurs Lyft en janvier 2018,
Plus d’un milliard de trajets Lyft,
1,4 million de conducteurs (décembre 2017).

Et bien sûr, ces chiffres se sont transformés en quantités colossales de données à gérer ! Dans une entreprise moderne et data-driven comme Lyft, il est évident que leur plateforme est alimentée par la donnée. Avec l’augmentation rapide du paysage data, il devient de plus en plus difficile de savoir quelles données existent, comment y accéder et quelles informations sont disponibles.

Ces questions ont conduit à la création d’Amundsen, la solution de découverte de données open source et plateforme de métadonnées de Lyft.

L’histoire d’Amundsen

Nommé d’après l’explorateur norvégien Roald Amundsen, Lyft améliore la productivité des utilisateurs de la donnée en fournissant une interface de recherche des données intuitive, qui ressemble à ceci:

Bien que les data scientists de Lyft souhaitaient consacrer la majorité de leur temps au développement et à la production de modèles, ils ont réalisé que leur quotidien était principalement dédié à la découverte de données. Ils se retrouvaient à poser des questions telles que :

Ces données existent-elles? Si c’est le cas, où puis-je les trouver? Puis-je y accéder?
Qui ou quelle équipe est propriétaire ?Qui sont les utilisateurs communs?
Puis-je faire confiance à ces données?

Pour répondre à ces questions, Lyft s’est inspiré de moteurs de recherche comme Google (quelle surprise 😉 ).

Comme indiqué ci-dessus, leur point d’entrée est une simple zone de recherche où les utilisateurs peuvent taper n’importe quel mot-clé tel que «clients» «employés» ou «prix». Enfin, si l’utilisateur de données ne sait pas ce qu’il recherche, la plateforme lui présente une liste des tableaux les plus populaires, afin qu’il puisse les parcourir librement.

Quelques fonctionnalités clés :

Les résultats de la recherche sont affichés sous forme de liste où la description du tableau et la date de dernière mise à jour du tableau apparaissent. Le classement utilisé est similaire au Page Rank de Google, où les tableaux les plus populaires et les plus pertinents apparaissent dans les premiers résultats.

Lorsqu’un utilisateur data chez Lyft trouve ce qu’il recherche et fait son choix, l’utilisateur est dirigé vers une page de détails qui affiche le nom de la table ainsi que sa description qui a été manuellement rédigée.

Les utilisateurs peuvent également insérer manuellement des balises, les propriétaires et d’autres descriptions. Cependant, une grande partie de leurs métadonnées est automatiquement organisée, comme la popularité de la table ou même ses utilisateurs fréquents.

Dans une table, les utilisateurs peuvent explorer les colonnes associées pour découvrir davantage les métadonnées de la table.

Par exemple, si vous sélectionnez la colonne «distance_travelled» comme indiqué ci-dessous, vous trouverez une petite définition du champ et ses statistiques associées telles que l’enregistrement de décompte, le décompte max, le décompte min, le décompte moyen, etc., pour les données scientifiques pour mieux comprendre la forme de leurs données.

Enfin, les utilisateurs peuvent accéder aux données parmi leur ensemble en appuyant sur le bouton d’aperçu de la page. Bien sûr, cela n’est possible que si l’utilisateur a accès aux données sous-jacentes en premier lieu.

Comment Amundsen démocratise la découverte de données

Affichage de données pertinentes

Amundsen permet désormais à tous les employés de Lyft, des nouveaux employés aux plus expérimentés, de devenir autonomes dans la découverte de leurs données pour leurs tâches quotidiennes.

Parlons technique. La data warehouse de Lyft est sur Hive et toutes les partitions physiques sont stockées dans S3. Leurs utilisateurs comptent sur Presto, un moteur de requête en direct, pour la découverte de leur table.

Pour que son moteur de recherche affiche les tableaux les plus importants ou pertinents, Lyft utilise le framework DataBuilder pour créer un extracteur d’utilisation des requêtes qui analyse les journaux de requêtes et ainsi obtenir les données d’utilisation des tables. Ensuite, ils conservent cette utilisation de table en tant que document de table via Elasticsearch. Et c’est ainsi qu’en très peu de temps ils peuvent récupérer les jeux de données les plus pertinents pour les utilisateurs de données.

Connecter les données aux personnes

Les processus de recherche de données consistent principalement en interactions avec les utilisateurs.

Et la notion de propriété des données est assez confuse ; cela prend beaucoup de temps, sauf si vous savez exactement à qui demander.

Amundsen résout ce problème en créant des relations entre leurs utilisateurs et leurs données. Ainsi, les connaissances tribales sont partagées en exposant ces relations.

Lyft a actuellement trois types de relations entre les utilisateurs et les données : suivies, détenues et utilisées. Ces informations aident les employés expérimentés à devenir des ressources utiles pour d’autres employés ayant un rôle similaire. Amundsen facilite également la recherche des connaissances tribales grâce à un lien vers chaque profil utilisateur dans l’annuaire interne des employés.

Ils ont également travaillé sur la mise en œuvre d’une fonctionnalité de notifications qui permettrait aux utilisateurs de demander plus d’informations aux propriétaires de données, comme par exemple une description manquante dans un tableau.

Pour plus d’informations sur Amundsen, rendez-vous sur leur site juste ici.

Quelle est la prochaine étape pour Lyft

Lyft espère continuer à travailler avec une communauté croissante pour améliorer leur expérience de découverte de données et augmenter la productivité des utilisateurs. Leur roadmap comprend actuellement un système de notifications par e-mail, une lignée de données, une refonte UI / UX, et plus encore !

La société de VTC américaine n’a pas encore eu son dernier mot !

Sources:

Lyft – Statistics & Facts: https://www.statista.com/topics/4919/lyft/
Lyft And Its Drive Through To Success: https://www.startupstories.in/stories/lyft-and-its-drive-through-to-success
Lyft Revenue and Usage Statistics (2019): https://www.businessofapps.com/data/lyft-statistics/
Presto Infrastructure at Lyft: https://eng.lyft.com/presto-infrastructure-at-lyft-b10adb9db01?gi=f100fa852946
Open Sourcing Amundsen: A Data Discovery And Metadata Platform: https://eng.lyft.com/open-sourcing-amundsen-a-data-discovery-and-metadata-platform-2282bb436234
Amundsen — Lyft’s data discovery & metadata engine: https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

Databook : Comment Uber transforme ses données en connaissances exploitables d’entreprise

par Zeenea Software | Fév 17, 2020 | Inspiration Data

Créée en 2009, Uber est devenue une des entreprises les plus fascinantes au monde ! La startup a complètement changé le monde avec son business model basé sur la mise en relation de personnes proposant des services. Le succès de la firme a même mené à la création du terme “uberisation”, c’est dire !

De service VTC à livraison de commandes de restaurants, il est évident que la stratégie de la plateforme d’Uber est guidée par leurs données. Elles sont effectivement au cœur du business d’Uber, créant de meilleures expériences utilisateur à travers leurs services pour leurs clients, tout en permettant à leurs employés d’être plus efficaces dans leur travail.

Cependant, le Big Data à lui seul n’est pas suffisant pour accomplir la mission de ce géant. Le volume de données généré chez Uber demande qu’elles soient contextualisées et fiables afin de prendre les bonnes décisions stratégiques. Donc, comme beaucoup de “unicorns”, telle que Airbnb avec le Data Portal, l’équipe d’ingénieurs de Uber a développé Databook. Cette plateforme interne a pour objectif de scanner, collecter et agréger les métadonnées afin de voir plus clair sur la localisation des données dans le SI de Uber et leurs référents. Bref, une plateforme qui veut transformer des données brutes en données contextualisées

L’évolution d’Uber (et de ses données)

Depuis 2016, Uber a ajouté plusieurs services à sa plateforme comme Uber Eats et Jump Bikes. Quelques statistiques :

15 millions de courses par jour
Plus de 75 millions d’utilisateurs actifs
18 000 employés depuis sa création en 2009

Plus l’entreprise grandit, plus elle génère de la donnée ! Pour s’assurer que leurs data et analytics poursuivent rythme d’une croissance exponentielle basée sur la data, Uber avait besoin d’un système beaucoup plus puissant pour gagner en efficacité dans la recherche et la découverte de données pertinentes.

Ceci a mené à la création de Databook, le curateur de métadonnées d’Uber.

L’arrivée de Databook

La plateforme Databook agrège et gère les métadonnées sur les jeux de données d’Uber. Elle permet aux employés d’explorer, découvrir et utiliser efficacement leurs données. En d’autres termes, Databook veut aider les analysts et tout autre consommateur de données dans l’entreprise à mieux comprendre et contextualiser la ressource qu’il s’apprête à utiliser à l’aide de métadonnées. Les métadonnées de Databook permettent à tous les ingénieurs, data scientists et équipes informatiques de passer de la simple visualisation de leurs données à leur transformation en connaissances exploitables.

Databook permet aux employés d’accéder à des métadonnées actualisées et à jour grâce à des imports automatisés. Elles sont collectées principalement depuis Hive, MySQL, Cassandra et quelques autres systèmes de stockage internes. Pour les rendre accessibles et recherchables, Databook propose à ses consommateurs une interface utilisateur avec un moteur de recherche à la Google ou son API RESTful.

L’architecture de Databook

L’architecture de Databook est divisée en trois parties: comment les métadonnées sont collectées et stockées, et comment leurs données sont remontées.

Sur le plan conceptuel, l’architecture de Databook a été conçue pour permettre quatre fonctionnalités clés:

Extensible : de nouvelles métadonnées, le stockage et les entités sont faciles à ajouter.
Accessibilité : les services peuvent accéder à toutes les métadonnées
Évolutivité : prendre en compte dans le temps les besoins des utilisateurs et des nouveautés technologique..
Puissance et rapidité

Pour aller plus loin sur l’architecture de la plateforme, cliquez ici https://eng.uber.com/databook/

L’avenir du Databook ?

Avec le Databook, Uber a réussi à transformer ses métadonnées en super connaissances !

La plateforme a su montrer sa puissance et sa nécessité dans une organisation data-driven. De nouvelles fonctionnalités ne devraient pas tarder à être apportées : les capacités de générer des informations sur les données avec des modèles d’apprentissage automatique et de créer des mécanismes avancés de détection, de prévention et d’atténuation des problèmes. L’avenir du Databook semble radieux !

Sources

Databook: Turning Big Data into Knowledge with Metadata at Uber: https://eng.uber.com/databook/
How LinkedIn, Uber, Lyft, Airbnb and Netflix are Solving Data Management and Discovery for Machine Learning Solutions: https://towardsdatascience.com/how-linkedin-uber-lyft-airbnb-and-netflix-are-solving-data-management-and-discovery-for-machine-9b79ee9184bb
The Story of Uber https://www.investopedia.com/articles/personal-finance/111015/story-uber.asp
The definition of uberization, Cambridge dictionary: https://dictionary.cambridge.org/dictionary/english/uberization

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

Qu’est-ce que le Data Fingerprinting et la détection de similarité ?

par Zeenea Software | Déc 3, 2019 | Inspiration Data

Avec l’arrivée du Big Data, les entreprises se sont retrouvées avec un nombre colossal de données. Afin de pouvoir les comprendre, analyser, et répondre aux exigences réglementaires, les organisations se voient obligées de renseigner et documenter leur patrimoine de données. Néanmoins, l’humain seul, de par son aspect très chronophage et une connaissance très tribale des données, reste très difficile, voire impossible, de décrire et contextualiser toutes ces données à la main.

Ou sinon… optez pour le Data Fingerprinting !

Qu’est-ce que le Data Fingerprinting

Dans le domaine de la data, un fingerprint, représente une “signature”, autrement dit une empreinte, d’une colonne d’un jeux de données. Sa finalité est de les contextualiser.

Via cette technologie, le Data Fingerprinting peut permettre de détecter automatiquement des jeux de données similaires dans vos bases de données et les documenter plus facilement, rendant la tâche des Data Stewards moins fastidieuse et donc, plus maintenable dans le temps.

Pour exemple, de manière supervisée par le data steward évidemment, le data fingerprinting permet de comprendre que les données d’une colonne reprenant les informations “France”, “États-Unis”, et “Australie” signifient des “Pays”.

Le Data Fingerprinting chez Zeenea

Dans le cas de Zeenea et de sa plateforme de gestion de métadonnées, son objectif est d’apporter et renseigner les jeux de données catalogués dans le Data Catalog de la manière la plus automatique possible. Grâce à ses technologies de Machine Learning, Zeenea identifie les colonnes des schémas des jeux de données, les analyse et leur assigne une “signature”. Ainsi, lors de l’analyse, si ces empreintes sont proches, le Data Catalog proposera au Data Steward d’assigner les mêmes informations relative à d’un jeu de données à un autre.

Cette technologie est également un moyen pour les DPO, entre autres, de souligner et pointer les données sensibles ou personnelles que possèdent l’entreprise dans ses bases de données.

Contactez-nous

Quelle est la différence entre un dictionnaire de données et un business glossary ?

par Zeenea Software | Nov 18, 2019 | Data Catalog, Produit Zeenea

Dans la gestion de métadonnées, on entend souvent parler de “dictionnaires de données” et de “business glossaries”. Bien qu’ils puissent sembler similaires, ils sont en fait assez différents ! Découvrons ensemble leurs différences et relations.

Qu’est-ce qu’un dictionnaire de données ?

Un dictionnaire de données est un ensemble de descriptions ou d’éléments correspondant à des objets ou modèles de données.

Ces descriptions peuvent inclure des attributs, champs, ou même des propriétés pour déclarer les types, les transformations, ou encore les relations des données.

Les dictionnaires de données aident les professionnels de la data à mieux comprendre leurs données et métadonnées. Habituellement sous forme de tableaux ou de feuilles de calcul, les dictionnaires de données sont indispensables pour les profils techniques tels que les développeurs, data analysts, data scientists, etc. dans leur travail de tous les jours.

Qu’est-ce qu’un business glossary ?

Un business glossary apporte une signification et un contexte aux données dans les départements de l’entreprise.

Un business glossary est donc un endroit où les termes métier et liés aux données sont définis.

Cela peut sembler simple, mais il est rare que tous les employés d’une entreprise partagent une même compréhension, définition des termes – mêmes les plus fondamentaux – tels que «contact» et «client» au sein de l’entreprise.

Un exemple d’un business glossary dans Zeenea :

Les principales différences entre un dictionnaire de données et un business glossary

Les dictionnaires de données traitent les informations des bases de données et des systèmes, principalement utilisées par les équipes informatiques. Les business glossaries définissent des termes utilisés au sein d’une même organisation. Il est un dictionnaire métier faisant foi dans l’entreprise.

Les dictionnaires de données se présentent généralement sous forme de schémas, de tableaux, de colonnes, etc., tandis qu’un business glossary fournit une définition unique des termes métier sous forme textuelle.
Un glossaire métier croise les termes et leurs relations, contrairement aux dictionnaires de données.

Quelle est la relation entre un dictionnaire de données et un business glossary ?

La réponse est simple : un business glossary donne du sens au dictionnaire de données.

Par exemple, dans le business glossary, un numéro de sécurité sociale américain (SSN) sera défini comme « un numéro unique attribué par le gouvernement américain dans le but d’identifier des personnes dans le système de sécurité sociale américain ».

Dans le dictionnaire de données, le terme SSN est défini comme « une chaîne de neuf caractères généralement affichée avec des traits d’union ».

Si un data explorer a un doute sur la signification du terme «SSN» dans le contexte de son dictionnaire de données, il peut toujours rechercher le terme associé dans le business glossary.

Intéressé par l’automatisation d’un dictionnaire de données et la création d’un business glossary pour votre entreprise ?

Vous souhaitez créer un référentiel de métadonnées centralisé de toutes vos sources de données d’entreprise ?

Notre outil fournit un moyen intuitif de créer et importer les glossaires de votre entreprise afin de relier ces définitions aux concepts de Zeenea ou jeux de données importés dans notre data catalog.

Découvrez notre Business Glossary

Metacat : Netflix rend ses Big Data accessibles et utiles

par Zeenea Software | Fév 19, 2019 | Inspiration Data, Metadata Management

Comme de nombreuses entreprises, Netflix dispose de nombreuses sources de données avec différents formats et de forts volumes de données. En tant que leader mondial du streaming vidéo, l’exploitation des données chez Netflix est, bien évidemment, un axe stratégique majeur. Compte tenu de cette diversité de sources de données, la plateforme vidéo souhaitait proposer un moyen de fédérer et d’interagir avec ces assets depuis un même outil. Cette recherche de solution a abouti à Metacat.

Cet article expose les motivations de la création de Metacat, un service de métadonnées ainsi destiné à faciliter la découverte, le traitement et la gestion des données de Netflix.

Retrouvez les précédents articles sur Google et AirBnB.

Les chiffres clés de Netflix

Netflix a parcouru un chemin considérable depuis la création de sa société de location de DVD, dans les années 1990. La consommation de vidéos sur la plateforme Netflix, représente 15 % de la bande passante mondiale. Mais Netflix, aujourd’hui, c’est aussi [1] [2] :

130 millions d’abonnés payants à travers le monde (400 % d’augmentation depuis 2011)
10 milliards de chiffres d’affaires, dont 403 millions de bénéfices
100 milliards de capitalisations boursières, soit la somme de l’ensemble des premiers groupes de télévisions en Europe
6 milliards d’investissements dans des créations originales (séries et cinéma).

Netflix, c’est également un entrepôt de données de 60 pétaoctets (60 millions de milliards d’octets), un véritable défi pour exploiter ces données et les fédérer.

Architecture de la plateforme Big Data de Netflix

L’architecture de base de la plateforme Big Data de Netflix comprend trois services clés. Il s’agit du service d’exécution (Genie), du service de métadonnées (Metacat) et du service d’événements (Microbot).

sources de données netflix metacat

Afin d’opérer entre les différents langages et sources de données, difficilement compatibles entre eux, est né Metacat. Cet outil agit comme une couche d’accès aux données et métadonnées depuis les data sources de Netflix.

Un service centralisé accessible par les utilisateurs de la donnée afin de faciliter leur découverte, leur traitement et gestion.

Metacat et ses fonctionnalités

Netflix dispose de requêteurs de données, tels que Hive, Pig ou Spark, non opérables ensemble. C’est en introduisant une couche d’abstraction commune que Netflix fournit à ses utilisateurs un accès aux données et ce, quelque soit leurs systèmes de stockage.

De plus, Metacat va jusqu’à simplifier le transfert de jeux de données d’un datastore à un autre.

Métadonnées métier

À la main et définies par les utilisateurs, des métadonnées d’ordre métier, en format libre – peuvent être ajoutées via Metacat. Les principales sont des informations de connexion, de configuration, des métriques ou encore les durées de vie de chaque jeux de données.

Data discovery

En créant Metacat, Netflix facilite la découverte des jeux de données de l’entreprise par ses consommateurs. L’outil publie des métadonnées de schéma et métier définies par ses utilisateurs dans Elasticsearch, facilitant ainsi la recherche en texte intégral d’informations dans les data sources.

Notification de modification de données et audit

En tant qu’outil transverse de l’ensemble des data stores, Metacat enregistre et notifie toutes les changements apportés sur les métadonnées et les données elles-même depuis les systèmes de stockage.

Metacat et l’avenir vu par Netflix

Selon Netflix, la version actuelle de Metacat n’est qu’une étape vers de nouvelles fonctionnalités sur lesquelles ils travaillent. Ils veulent encore améliorer la visualisation à un instant T des métadonnées. Ce système serait très utile pour la restauration.

Metacat, selon Netflix, devrait également pouvoir avoir une architecture enfichable. Ainsi, l’outil pourrait valider et garder l’intégrité des métadonnées. Ceci est lié au fait que les utilisateurs définissent des métadonnées sous forme libre. Netflix a donc besoin d’une validation en place qui peut être réalisée avant le stockage des métadonnées.

Avec la création de Metacat en outil de centralisation et d’exploration de données multi-sources et multi-formats pour les utilisateurs, Netflix a clairement effectué une avancée. Le développement de ce service en interne et adapté à l’ensemble des outils déjà utilisés par l’entreprise, a permis à Netflix de devenir Data Driven.

Sources

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

Data Portal, l’outil qui a permis à AirBnB de devenir Data Centric

par Zeenea Software | Jan 8, 2019 | Inspiration Data, Metadata Management

AirBnB est une entreprise florissante. Face à son expansion rapide, AirBnB avait besoin d’opérer une véritable réflexion autour de la data et de son exploitation. De cette dynamique est né le Data Portal, un outil totalement Data Centric à la disposition des employés.

Cet article est le premier d’une série consacrée aux entreprises Data Centric. Nous mettrons en lumière des exemples réussis de démocratisation et de maîtrise des données au sein d’organisations inspirantes. Ces entreprises précurseurs démontrent l’ambition du data catalog de Zeenea : aider chaque structure à mieux comprendre et utiliser son patrimoine de données.

Airbnb aujourd’hui

En quelques années, AirBnB s’est imposé comme un leader de l’économie collaborative à travers le monde. Son succès en fait aujourd’hui un des premiers hôteliers de la planète.

En chiffres [1], cela représente :

3 millions de logements recensés,
65 000 villes répertoriées,
190 pays disposant d’une offre AirBnB,
150 millions d’utilisateurs.

La France est le second marché de l’entreprise derrière les Etats-Unis. Elle compte à elle seule plus de 300 000 logements.

Les réflexions qui ont menées au Data Portal

Lors d’une conférence menée en mai 2017, John Bodley, data engineer chez AirBnB, expose les nouvelles problématiques issues de la forte croissance des collaborateurs (+ de 3500 employés) et de l’explosion du nombre de données, à la fois issues des utilisateurs mais aussi des employés (+ de 200k tables dans leur Data Warehouse). Celui d’un paysage confus et non unifié qui ne permettait pas d’accéder à l’information toujours plus importante.

Comment marier un succès à un problème de gestion bien réel ? Celui de la data. Que faire de toutes ces informations collectées quotidiennement et de ce savoir tant au niveau utilisateur que collaborateur ? Comment les transformer en une force pour tous les employés d’airbnb ? Voici les questions qui ont mené à la création du data portal.

Au-delà de ces enjeux, une problématique de vision d’ensemble s’est imposée à l’entreprise.

Depuis sa création en 2008, AirBnB a toujours porté une grande attention à ses données et leur exploitation. C’est pourquoi, une équipe dédiée s’est mise en ordre de bataille pour développer un outil qui démocratiserait l’accès aux données au sein de l’entreprise. Leur travail s’est à la fois fondé sur la connaissance des analystes et leur capacité à comprendre les points critiques et sur celle des ingénieurs, à même de proposer une vision plus graphique de l’ensemble. Au cœur du projet, un sondage en profondeur des employés et de leurs problématiques a été mené.

De cette enquête est ressortie une constante : une difficulté à trouver les informations dont les collaborateurs avaient besoin pour travailler. La présence d’un savoir tribal, détenu par un certain groupe de personnes, est à la fois contre productif et peu fiable. Résultat : nécessité d’interroger des collègues, manque de confiance en l’information (validité de la data, impossibilité de savoir si les données étaient à jour) et en conséquence, création de nouvelles données « doublon » venant accroître la quantité astronomique déjà existante.

Pour répondre à ces enjeux, AirBnB a créé le Data Portal et l’a présenté au public en 2017.

Data Portal, le data catalog de Airbnb

Pour imager, le Data Portal pourrait se définir comme le croisement entre un moteur de recherche et un réseau social.

Il a été pensé pour centraliser absolument toutes les données recueillies par l’entreprise. Qu’elles proviennent des employés ou des utilisateurs. Le but du Data Portal est de pouvoir restituer ces informations, sous forme de graphiques, à n’importe quel employé qui en aurait besoin.

Ce système en self-service permet aux collaborateurs d’accéder par eux-mêmes aux informations nécessaires au développement de leur projet. Au-delà de la donnée en elle-même le Data Portal permet d’obtenir des métadonnées contextualisées. L’information est fournie avec un background qui permet de mieux valoriser la data et de le comprendre dans son ensemble.

Le Data Portal a été pensé dans une logique collaborative. Dans cette optique, il permet de visualiser, au-delà des données, toutes les interactions entre les différents collaborateurs de l’entreprise. Ainsi il est possible de savoir qui est relié à quelle donnée.

Data Portal, en quelques fonctionnalités

Le Data Portal propose différentes fonctionnalités pour couvrir l’accès aux données de manière simple, ludique et en offrant une expérience utilisateur optimale. On trouve des pages dédiées à chaque jeux de données où un nombre important de métadonnées sont reliées à celles-ci.

Recherche : Chris Williams, ingénieur et membre de l’équipe en charge du développement de l’outil, parle d’un fonctionnement « Google-esque ». La page de la recherche permet d’accéder rapidement aux données, à des graphiques ou encore aux personnes à l’origine de la data et aux groupes / équipes concernées.

Lineage : Il est également possible d’explorer la hiérarchisation des données en visualisant les données parents et les données enfants.

Collaboration : Toujours dans une logique de partage et de mise en place d’un outil collaboratif, les données peuvent être ajoutées aux favoris d’un utilisateur, épinglées dans un tableau d’équipe ou partagées via un lien externe. À l’instar d’un réseau social, chaque employé possède également une page de profil. L’outil étant accessible à tous les collaborateurs et se voulant totalement transparent, cela inclus tous les membres de la hiérarchie. Les anciens employés continuent de posséder un profil avec toutes les données créées ou utilisées. Toujours dans une logique de décloisonnement de l’information et d’abolition de la connaissance tribale.

Groupes : les équipes passent beaucoup de temps à échanger autour des mêmes données. Pour permettre à chacune de partager les informations plus rapidement et plus simplement, la possibilité de créer des groupes de travail a été mise en place sur le Data Portal. Grâce à ces pages, les membres d’une équipe peuvent organiser leurs données, y accéder facilement et favoriser le partage.

Au delà du Data Portal

Démocratiser les données a plusieurs vertus. En premier lieu, cela permet de ne pas créer de dépendance à l’information. Un système en « parapluie » fragilise l’équilibre de l’entreprise. Si l’information et la compréhension des données n’est détenue que par un seul groupe de personnes, le rapport de dépendance devient alors trop fort.

Par ailleurs, il est important de simplifier la compréhension des données pour que les collaborateurs puissent les exploiter au mieux.

Plus globalement, l’enjeu pour AirBnB est aussi d’améliorer la confiance dans les données, pour tous ses collaborateurs. Que chacun puisse être assuré de travailler avec les bonnes informations, mises à jour, etc.

AirBnB n’est pas dupe et l’équipe à l’origine du Data Portal sait que la prise en main de cet outil et son utilisation à bon escient prendront du temps. Chris Williams le dit en ces termes : « Même si demander à un collègue une information est facile, c’est totalement contre productif à plus large échelle ».

Changer ses habitudes, prendre le réflexe de consulter le portail plutôt que d’échanger en direct va demander un peu d’efforts aux collaborateurs.

La vision du Data Portal dans les temps

Pour favoriser la confiance dans les données fournies, l’équipe souhaite créer un système de certification des données. Il permettrait de certifier tant la data que la personne à l’origine de la certification. Du contenu certifié serait mis en valeur dans les résultats de recherche.

Avec le temps, AirBnB souhaiterait faire évoluer cet outil à différents niveaux :

Analyse du réseau afin de déterminer les données obsolètes.
Créer des alertes et des recommandations. Toujours dans une logique d’exploration, l’outil pourrait devenir encore plus intuitif en suggérant des contenus nouveaux ou des mises à jours de données consultées par un utilisateur.
Rendre les données ludiques. Créer un environnement attractif pour les employés en présentant par exemple le tableau le plus vu du mois etc.

Avec le Data Portal, AirBnB pousse l’exploitation des données au plus haut niveau. La démocratisation à tous les employés permet à la fois de les rendre plus autonomes et efficaces dans leur travail mais aussi de reconstruire la hiérarchie de l’entreprise. Plus transparente, elle devient également moins dépendante.

Le collaboratif prend le pas sur la notion de services dédiés. Et l’exploitation des données renforce la stratégie de l’entreprise, pour son évolution future. Une logique dans laquelle s’inscrit et promeut chez ses clients.

Sources

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

Google Goods : l’outil de gestion des données de Google

par Zeenea Software | Oct 24, 2018 | Inspiration Data, Metadata Management

Quand on s’appelle Google, la question des données est plus que centrale. Un nombre colossal d’informations est en effet généré chaque jour à travers le monde, par toutes les équipes de cet empire américain. C’est pour recouper, hiérarchiser et unifier les données que Google Goods, un catalogue centralisé de données, a été mis en place.

Cet article fait partie d’une série consacrée aux entreprises Data Driven. Nous mettons en lumière des exemples réussis de démocratisation et de maîtrise des données, au sein d’organisations inspirantes. Retrouvez l’exemple d’Airbnb sur ce lien. Ces entreprises précurseurs démontrent l’ambition que s’est donnée Zeenea et son data catalog : aider les organisations à mieux comprendre et utiliser son patrimoine de données.

Google en quelques chiffres

Le moteur de recherche le plus utilisé de la planète n’est plus vraiment à présenter. Mais que se cache-t-il derrière cette interface si familière ? Que représente Google en terme de part de marché, d’infrastructures, d’employés et de présence dans le monde ?

En 2018 Google c’etait [1] :

90,6 % de part de marché dans le monde
30 millions de sites indexés
500 millions de nouvelles requêtes chaque jour

En terme d’infrastructure et d’emploi, Google représentait en 2017 [2] :

70 053 employés
21 bureaux dans 11 pays
2 millions d’ordinateurs répartis dans 60 datacenter
850 teraoctets pour stocker en cache toutes les pages indexées

Devant une telle envergure, la somme de données générées est forcément gigantesque. Face au constat de la redondance des données et du besoin de précision pour l’emploi de ces dernières, Google a mis en place Google Goods, un catalogue de données travaillant en toile de fond pour organiser et faciliter la compréhension des données.

Les réflexions qui ont menées à Google Goods

Google possède plus de 26 milliards de données internes [3]. Et cela seulement pour la data accessible à tous les membres de l’entreprise.

En prenant en compte les données sensibles recourant à des accès sécurisés, le nombre pourrait doubler. Cette somme de données engendre nécessairement des problèmes et interrogations que Google a répertorié pour concevoir son outil :

Une échelle de données titanesque

Considérant le chiffre annoncé précédemment, Google fait face à un problème non négligeable. La quantité de data et leur taille lui rend impossible un traitement de toutes les données. Il est donc primordial de pouvoir déterminer lesquelles sont utiles et lesquelles ignorer.

Le système exclut déjà un certain nombre d’informations jugées inutiles et parvient à déterminer certaines redondances. Il est ainsi possible de créer des chemins d’accès uniques vers des données, sans qu’elles ne soient stockées à différents endroits au sein du catalogue.

La variété des données

Les jeux de données sont stockés dans de nombreux formats et sur des systèmes de stockage très différents. Cela ajoute à la difficulté de créer une unification de la data.

Pour Goods, c’est un véritable challenge et un objectif crucial : proposer un moyen uniforme d’interroger et d’accéder à l’information sans que la complexité de l’infrastructure ne transparaisse.

La pertinence des données

Google estime supprimer chaque jour 1 million de données et en créer tout autant. Cela met l’accent sur la nécessité de prioriser les données et d’établir leur degré de pertinence.

Certaines sont cruciales dans des chaînes de traitement mais n’ont de valeur que quelques jours, d’autres ont une fin de vie programmée dont l’échéance peut être de plusieurs semaines à quelques heures.

Le caractère incertain des métadonnées

Beaucoup de données cataloguées sont issues de protocoles différents, rendant la certification des métadonnées complexe. Goods procède donc par tâtonnement afin de créer des hypothèses. Cela est dû au fait qu’il fonctionne de façon post hoc.

En effet, les collaborateurs ne sont pas amenés à changer leur façon de travailler. Il ne leur est pas demandé d’associer des jeux de données à des métadonnées lors de leur création. C’est à Goods de travailler en collectant et analysant les données pour les réunir et les clarifier, en vue d’un usage futur.

Une échelle de priorité

Après le travail de découverte et de catalogage, la question de la hiérarchisation se pose. L’enjeu est de pouvoir répondre à cette question : « qu’est-ce qui rend une donnée importante ? ». Et fournir une réponse est bien moins simple pour les données d’une entreprise que pour prioriser la recherche sur le web par exemple.

Pour tenter de mettre en place un classement pertinent, Goods se base sur les interactions entre les données, les métadonnées ainsi que d’autres critères. L’outil estime par exemple qu’une donnée est plus importante si son auteur y a associé une description. Ou si plusieurs équipes la consultent, l’utilisent ou l’annotent.

Analyser la sémantique de la donnée

Procéder à cette analyse permet notamment de mieux classifier et décrire la donnée dans l’outil de recherche. Elle peut ainsi répondre aux bonnes requêtes dans le catalogue. L’exemple donné dans l’article de référence sur Google Goods [3] : supposons le schéma d’un ensemble de données soit connu et que certains champs du schéma prennent des valeurs entières.

Grâce à une inférence sur le contenu de l’ensemble de données, l’utilisateur puisse identifier que ces valeurs entières sont des ID de points de repère géographiques connus pour ensuite, utiliser ce type de sémantique de contenu pour améliorer la recherche de données géographiques dans l’outil.

Fonctionnalités de Google Goods

Google Goods catalogue et analyse la data pour la présenter de manière unifiée. L’outil récolte les métadonnées de base et tente de les enrichir en analysant un certain nombre de paramètres. À force de visiter les données et les métadonnées, Goods s’enrichit et évolue.

Les principales fonctionnalités offertes aux utilisateurs sont :

Un moteur de recherche

À l’instar du Google que nous connaissons, Goods offre un moteur de recherche fonctionnant par mot clé afin d’interroger un jeu de données.

C’est le moment où l’enjeu de hiérarchisation des données se met en place. Le moteur de recherche propose de la data classée selon différents critères comme le nombre de chaînes de traitement impliquées, la présence ou non d’une description, etc.

Page de présentation des données

Chaque donnée dispose d’une page réunissant le maximum d’informations. Considérant que certaines données peuvent être reliées à des milliers d’autres, Google compresse en amont les data les plus pharaoniques pour les restituer de manière plus digeste sur la page de présentation. Si la version compressée reste trop imposante, les informations exposées ne retiennent que les entrées les plus récentes.

Tableaux d’équipes

Goods crée des tableaux permettant de diffuser toutes les données générées par une équipe. Cela permet d’obtenir différentes métriques et de faire le lien avec d’autres tableaux par exemple. Le tableau est actualisé à chaque fois que Goods met à jour les métadonnées. Le tableau peut être facilement intégré à différents documents pour que les équipes puissent le partager.

Par ailleurs, il est également possible de mettre en place des actions de monitorage et des alertes sur certaines données. Goods est en charge des vérifications et peut avertir les équipes en cas d’alerte.

Utilisation de Goods par les collaborateurs de Google

Au fil du temps, les équipes de Google ont réalisé que l’utilisation de son outil ainsi que son champ d’application, n’étaient pas forcément ceux auxquels l’entreprise s’attendait.

Le géant a ainsi pu déterminer que les usages principaux de Goods par les collaborateurs ainsi que leurs fonctionnalités favorites étaient :

Audit protocol buffer

Protocol buffer est un format de sérialisation doté d’un langage de description d’interface développé par Google. Il est largement utilisé chez Google pour le stockage et l’échange de toute sorte de structures d’informations.

Certains processus contiennent des informations personnelles et appartiennent de fait à des politiques de confidentialité particulières. L’audit de ces protocoles permet d’alerter les propriétaires de ces données en cas d’entrave à la confidentialité.

Récupération des données

Les ingénieurs sont amenés à générer de nombreuses données dans le cadre de leurs tests et oublient souvent leur localisation lorsqu’ils ont besoin d’y accéder à nouveau. Grâce au moteur de recherche, ils peuvent facilement les retrouver.

Meilleure compréhension du Code Legacy

Il n’est pas simple de trouver des informations à jour concernant le code ou les jeux de données. Goods fournit des graphiques que les ingénieurs peuvent utiliser pour remonter le fil des précédentes exécutions de codes, ainsi que les jeux de données en entrée et en sortie et trouver la logique qui les lie.

Utilisation du système d’annotation

Le système de bookmark des pages de données est totalement adopté pour retrouver plus vite les informations importantes et les partager facilement.

Utilisation des marques pages

Il est possible d’annoter les données et de leur attribuer différents degrés de confidentialité. Cela permet aux autres membres de Google de mieux appréhender les données qu’ils ont en face d’eux.

Avec Goods, Google parvient à hiérarchiser et unifier l’accès aux données pour toutes ses équipes. Le système se veut non intrusif et fonctionne donc en continu et de manière invisible pour les utilisateurs, afin de leur restituer des données organisées et explicitées.Grâce à cela, la société améliore les performances des équipes en évitant les redondances. Elle économise des ressources et accélère l’accès aux données essentielles à la croissance et au développement de l’entreprise.

[1] Le blog du modérateur : https://www.blogdumoderateur.com/chiffres-google/
[2] Web Rank Info : https://www.webrankinfo.com/dossiers/google/chiffres-cles
[3] https://static.googleusercontent.com/media/research.google.com/fr//pubs/archive/45390.pdf

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

télécharger le livre blanc

TECHNOLOGIE

SOLUTIONS

CAPACITÉS

APPLICATIONS

SECTEURS

DATA LEADERS

KNOWLEDGE HUB

PRODUCT HUB

À PROPOS

PRENDRE CONTACT

SERVICES

CONVICTIONS

[SÉRIE] Data Shopping Partie 2 – L’expérience de Data Shopping dans Zeenea

Le Data Product Shopping dans Zeenea

Améliorez la performance des data products avec Zeenea Studio

Le Guide Pratique du Data Mesh: Mettre en place et superviser un data mesh à l’échelle de l’entreprise

Retour sur les évolutions de la plateforme Zeenea en 2023

Réduire le temps de recherche et de découverte des données

Un nouveau look pour Zeenea Explorer

Une nouvelle page d’accueil

De nouvelles pages de détail des Objets

Un nouveau système de filtrage

Exploration du catalogue par Thème

Des noms alternatifs pour les Objets du Glossaire

Amélioration des performances de recherche

Intégration de Microsoft Teams

Augmenter la productivité et l’efficacité des Data Stewards

Imports automatiques des Jeux de Données

Suppression des Champs orphelins

Construction de de rapports basés sur le contenu du catalogue

Nouveau look pour le Tableau de Bord du Steward

Fournir des informations fiables, sécurisées et conformes dans l’ensemble de l’organisation

Échantillonnage de données sur les Jeux de Données

Puissantes capacités de lignage

Informations sur la qualité des données

Établir une connectivité de bout en bout avec toutes leurs sources de données

Une API de gestion du Catalogue

Gestion des codes de Propriété et de Responsabilité

Plus d’une douzaine de connecteurs supplémentaires

Qu’est-ce que la découverte des données sensibles ?

Comment définir et distinguer data discovery et sensitive data discovery ?

Que peut-on considérer comme données sensibles ?

Quelles sont les différentes méthodologies associées à la découverte de données sensibles ?

Identification et classification

Data Profiling

Data Masking

Conformité aux règlements

Conservation et suppression des données

Des usages spécifiques

Principaux enseignements du Zeenea Exchange 2023 : oú comment exploiter la richesse du catalogue de données d’entreprise ?

Quelles sont les raisons qui ont motivé la mise en œuvre d’une solution de catalogue de données ?

Explosion des volumes d’information

Accès limité aux données

Rôles et responsabilités mal définis

Quels sont les usages et les défis actuels concernant leurs initiatives de catalogue de données ?

L’absence d’un langage commun

Plus d’autonomie pour les utilisateurs métier

L’adoption du catalogue reste un sujet sensible

Les avantages de l’automatisation