Zeenea
  • Produit
        • PLATEFORME

        • Data Discovery Platform
        • Connectivité
        • Knowledge Graph
        • Nouveautés Produit
        • SOLUTIONS

        • Metadata Management
        • Data Catalog
        • Data Discovery
        • Gouvernance des données
        • Business Glossary
        • Data Lineage
        • Mise en conformité
        • Data Stewardship
        • Transformation Cloud
        • APPLICATIONS

        • Zeenea Studio
        • Zeenea Explorer
        • DÉMARRER

        • Demander une démo
        • Essayer Zeenea
        • Tarifs
        • Banner Live Product Tour Fr
  • Cas d'usage
        • SECTEURS

        • Banque & assurance
        • Industrie
        • Retail
        • Industrie pharmaceutique
        • DATA LEADERS

        • Data Managers
        • Data Producers
        • Data Consumers
        • banner-qu-est-qu-un-smart-data-catalog
  • Clients
  • Partenaires
  • Ressources
        • BIEN DÉMARRER

        • Librairie data
        • Podcast
        • Blog
        • SUPPORT

        • Customer success
        • Professional services
        • The Data Democracy Podcast
  • Société
        • À PROPOS

        • Notre histoire
        • Contactez-nous
        • CONVICTIONS

        • Data Democracy
        • Data Fluency
        • Ebook Series Data Democracy Chapter 1 Banner Fr
  • Essayez Zeenea
  • Demandez une démo
  • Français
    • English
    • Deutsch
Sélectionner une page
metacat-netflix-fr
Inspiration Data | Metadata Management

Metacat : Netflix rend ses Big Data accessibles et utiles

février 19, 2019
février 19, 2019
19 février 2019

Comme de nombreuses entreprises, Netflix dispose de nombreuses sources de données avec différents formats et de forts volumes de données. En tant que leader mondial du streaming vidéo, l’exploitation des données chez Netflix est, bien évidemment, un axe stratégique majeur. Compte tenu de cette diversité de sources de données, la plateforme vidéo souhaitait proposer un moyen de fédérer et d’interagir avec ces assets depuis un même outil. Cette recherche de solution a abouti à Metacat.

Cet article expose les motivations de la création de Metacat, un service de métadonnées ainsi destiné à faciliter la découverte, le traitement et la gestion des données de Netflix.

Retrouvez les précédents articles sur Google et AirBnB.

 

Les chiffres clés de Netflix

Netflix a parcouru un chemin considérable depuis la création de sa société de location de DVD, dans les années 1990. La consommation de vidéos sur la plateforme Netflix, représente 15 % de la bande passante mondiale. Mais Netflix, aujourd’hui, c’est aussi [1] [2] :

 

  • 130 millions d’abonnés payants à travers le monde (400 % d’augmentation depuis 2011)

  • 10 milliards de chiffres d’affaires, dont 403 millions de bénéfices

  • 100 milliards de capitalisations boursières, soit la somme de l’ensemble des premiers groupes de télévisions en Europe

  • 6 milliards d’investissements dans des créations originales (séries et cinéma).

Netflix, c’est également un entrepôt de données de 60 pétaoctets (60 millions de milliards d’octets), un véritable défi pour exploiter ces données et les fédérer.

 

Architecture de la plateforme Big Data de Netflixarchitecture metacat netflix

 

L’architecture de base de la plateforme Big Data de Netflix comprend trois services clés. Il s’agit du service d’exécution (Genie), du service de métadonnées (Metacat) et du service d’événements (Microbot).

 sources de données netflix metacat

 

Afin d’opérer entre les différents langages et sources de données, difficilement compatibles entre eux, est né Metacat. Cet outil agit comme une couche d’accès aux données et métadonnées depuis les data sources de Netflix.

Un service centralisé accessible par les utilisateurs de la donnée afin de faciliter leur découverte, leur traitement et gestion.

 

Metacat et ses fonctionnalités

Netflix dispose de requêteurs de données, tels que Hive, Pig ou Spark, non opérables ensemble. C’est en introduisant une couche d’abstraction commune que Netflix fournit à ses utilisateurs un accès aux données et ce, quelque soit leurs systèmes de stockage.

De plus, Metacat va jusqu’à simplifier le transfert de jeux de données d’un datastore à un autre.

 

Métadonnées métier

À la main et définies par les utilisateurs, des métadonnées d’ordre métier, en format libre – peuvent être ajoutées via Metacat. Les principales sont des informations de connexion, de configuration, des métriques ou encore les durées de vie de chaque jeux de données.

 

Data discovery

En créant Metacat, Netflix facilite la découverte des jeux de données de l’entreprise par ses consommateurs. L’outil publie des métadonnées de schéma et métier définies par ses utilisateurs dans Elasticsearch, facilitant ainsi la recherche en texte intégral d’informations dans les data sources.

 

Notification de modification de données et audit

En tant qu’outil transverse de l’ensemble des data stores, Metacat enregistre et notifie toutes les changements apportés sur les métadonnées et les données elles-même depuis les systèmes de stockage.

 

Metacat et l’avenir vu par Netflix

Selon Netflix, la version actuelle de Metacat n’est qu’une étape vers de nouvelles fonctionnalités sur lesquelles ils travaillent. Ils veulent encore améliorer la visualisation à un instant T des métadonnées. Ce système serait très utile pour la restauration.

Metacat, selon Netflix, devrait également pouvoir avoir une architecture enfichable. Ainsi, l’outil pourrait valider et garder l’intégrité des métadonnées. Ceci est lié au fait que les utilisateurs définissent des métadonnées sous forme libre. Netflix a donc besoin d’une validation en place qui peut être réalisée avant le stockage des métadonnées.

Avec la création de Metacat en outil de centralisation et d’exploration de données multi-sources et multi-formats pour les utilisateurs, Netflix a clairement effectué une avancée. Le développement de ce service en interne et adapté à l’ensemble des outils déjà utilisés par l’entreprise, a permis à Netflix de devenir Data Driven.

 

 

Sources

  • [1] https://www.usine-digitale.fr/article/le-succes-insolent-d-airbnb-en-5-chiffres-cles.N512814
  • [2] Slides issues de la conférence « Democratizing Data at AirBnB » du 11 mai 2017 : https://www.slideshare.net/neo4j/graphconnect-europe-2017-democratizing-data-at-airbnb
  • https://medium.com/airbnb-engineering/democratizing-data-at-airbnb-852d76c51770
  • https://www.slideshare.net/neo4j/graphconnect-europe-2017-democratizing-data-at-airbnb
  • https://searchcio.techtarget.com/feature/Airbnb-capitalizes-on-nearly-decade-long-push-to-democratize-data
  • https://bdam.io/meetups/cask-market-airbnb-dataportal-agile-data-science/
  • https://www.youtube.com/watch?v=gayXC2FDSiA

Vous voulez en savoir plus sur les solutions de data discovery ?

Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

Dans ce livre blanc, nous faisons un focus sur le contexte et la mise en œuvre des solutions de data discovery développées par les grandes entreprises du web, dont certaines font partie du célèbre «Big Five» ou «GAFAM» (Google, Apple, Facebook, Amazon, Microsoft).

data-discovery-mockup-FR-no-shadow
télécharger le livre blanc
← Previous Next →
← Vorherige Nächste →
← Précédent Suivant →

zeenea logo

At Zeenea, we work hard to create a data fluent world by providing our customers with the tools and services that allow enterprises to be data driven.

zeenea logo

Chez Zeenea, notre objectif est de créer un monde “data fluent” en proposant à nos clients une plateforme et des services permettant aux entreprises de devenir data-driven.

zeenea logo

Das Ziel von Zeenea ist es, unsere Kunden "data-fluent" zu machen, indem wir ihnen eine Plattform und Dienstleistungen bieten, die ihnen datengetriebenes Arbeiten ermöglichen.

Related posts

Articles similaires

Ähnliche Artikel

Le Guide pour comprendre la différence entre Business Glossary, Data Catalog et Data Dictionary

Metadata management vs. master data management : différences et similarités

5 fonctionnalités essentielles de Zeenea pour un programme de Data Stewardship cinq étoiles

Quelle est la différence entre une Data Fabric et le Data Mesh ?

Les pièges à éviter pour réussir votre projet de data catalog – Le pilotage du projet

Be(come) data fluent

Read the latest trends on big data, data cataloging, data governance and more on Zeenea’s data blog.

Join our community by signing up to our newsletter!

Devenez Data Fluent

Découvrez les dernières tendances en matière de big data, data management, de gouvernance des données et plus encore sur le blog de Zeenea.

Rejoignez notre communauté en vous inscrivant à notre newsletter !

Werden Sie Data Fluent

Entdecken Sie die neuesten Trends rund um die Themen Big Data, Datenmanagement, Data Governance und vieles mehr im Zeenea-Blog.

Melden Sie sich zu unserem Newsletter an und werden Sie Teil unserer Community!

Let's get started
Make data meaningful & discoverable for your teams
Get a free demo
Learn more >

Los geht’s!

Geben Sie Ihren Daten einen Sinn

Demo Anfragen

Mehr erfahren >

logo_zeenea_2020_mini
  • Suivre
  • Suivre
  • Suivre
  • Product
  • Data Discovery Platform
  • Connectivity
  • Knowledge Graph
  • Product Updates
  • Zeenea Studio
  • Zeenea Explorer
  • Get a demo
  • Try Zeenea
  • Pricing
  • Solutions
  • Metadata Management
  • Data Catalog
  • Data Discovery
  • Data Governance
  • Business Glossary
  • Data Lineage
  • Regulatory Compliance
  • Data Stewardship
  • Cloud Transformation
  • Use Cases
  • Financial Services
  • Manufacturing
  • Retail
  • Pharmaceuticals
  • Data Managers
  • Data Producers
  • Data Consumers
  • Resources
  • Resources library
  • Podcast
  • Blog
  • Customers
  • Partners
  • Company
  • Our story
  • Trust Center
  • Contact us
  • Data Democracy
  • Data Fluency
Soc 2 Type 2
Iso 27001
Product
  • Data Discovery Platform
  • Connectivity
  • Knowledge Graph
  • Product Updates
  • Zeenea Studio
  • Zeenea Explorer
  • Get a demo
  • Try Zeenea
  • Pricing
Solutions
  • Metadata Management
  • Data Catalog
  • Data Discovery
  • Data Governance
  • Business Glossary
  • Data Lineage
  • Regulatory Compliance
  • Data Stewardship
  • Cloud Transformation
Use Cases
  • Financial Services
  • Manufacturing
  • Retail
  • Pharmaceuticals
  • Data Managers
  • Data Producers
  • Data Consumers
Resources
  • Resources library
  • Podcast
  • Blog
  • Customers
  • Partners
Company
  • Our story
  • Trust Center
  • Contact us
  • Data Democracy
  • Data Fluency
Soc 2 Type 2
Iso 27001
© 2023 Zeenea - All Rights Reserved

Privacy policy  -  Legal notice

logo_zeenea_2020_mini
  • Suivre
  • Suivre
  • Suivre
  • Produkt
  • Data Discovery Platform
  • Konnektivität
  • Knowledge Graph
  • Product Updates
  • Zeenea Studio
  • Zeenea Explorer
  • Demo Anfragen
  • Zeenea Testen
  • Preise
  • Lösungen
  • Metadata Management
  • Datenkatalog
  • Data Discovery
  • Data Governance
  • Business Glossary
  • Data Lineage
  • Compliance
  • Data Stewardship
  • Cloud-Transformation
  • Use Cases
  • Banken & Versicherungen
  • Industrie
  • Retail
  • Pharmaindustrie
  • Data Manager
  • Data Producer
  • Data Consumer
  • Ressourcen
  • Ressourcen-Bibliothek
  • Podcast
  • Blog
  • Kunden
  • Partner
  • Unternehmen
  • Unsere Geschichte
  • Kontakt
  • Data Fluency
  • Data Democracy
Soc 2 Type 2
Iso 27001
Produkt
  • Data Discovery Platform
  • Konnektivität
  • Knowledge Graph
  • Product Updates
  • Zeenea Studio
  • Zeenea Explorer
  • Demo Anfragen
  • Zeenea Testen
  • Preise
Lösungen
  • Metadata Management
  • Datenkatalog
  • Data Discovery
  • Data Governance
  • Business Glossary
  • Data Lineage
  • Compliance
  • Data Stewardship
  • Cloud-Transformation
Use Cases
  • Banken & Versicherungen
  • Industrie
  • Retail
  • Pharmaindustrie
  • Data Manager
  • Data Producer
  • Data Consumer
Ressourcen
  • Resourcen-Bibliothek
  • Podcast
  • Blog
  • Kunden
  • Partner
Unternehmen
  • Unsere Geschichte
  • Kontakt
  • Data Fluency
  • Data Democracy
Soc 2 Type 2
Iso 27001
© 2023 Zeenea - All Rights Reserved

Privacy policy  -  Legal Notice

Démarrez maintenant
Donnez du sens à votre patrimoine de données
Demandez une démo
En savoir plus
logo_zeenea_2020_mini
  • Suivre
  • Suivre
  • Suivre
  • Produit
  • Data Discovery Platform
  • Connectivité
  • Knowledge Graph
  • Nouveautés Produit
  • Zeenea Studio
  • Zeenea Explorer
  • Demander une démo
  • Essayer Zeenea
  • Tarifs
  • Solutions
  • Metadata Management
  • Data Catalog
  • Data Discovery
  • Gouvernance des données
  • Business Glossary
  • Data Lineage
  • Mise en conformité
  • Data Stewardship
  • Transformation Cloud
  • Cas d'usage
  • Banque & assurance
  • Industrie
  • Retail
  • Industrie pharmaceutique
  • Data Managers
  • Data Producers
  • Data Consumers
  • Ressources
  • Librairie data
  • Podcast
  • Blog
  • Clients
  • Partenaires
  • Société
  • Notre histoire
  • Contactez-nous
  • Data Democracy
  • Data Fluency
Soc 2 Type 2
Iso 27001
Produit
  • Data Discovery Platform
  • Connectivité
  • Knowledge Graph
  • Nouveautés Produit
  • Zeenea Studio
  • Zeenea Explorer
  • Demander une démo
  • Essayer Zeenea
  • Tarifs
Solutions
  • Metadata Management
  • Data Catalog
  • Data Discovery
  • Gouvernance des données
  • Business Glossary
  • Data Lineage
  • Mise en conformité
  • Data Stewardship
  • Transformation Cloud
Cas d'usage
  • Banque & assurance
  • Industrie
  • Retail
  • Industrie pharmaceutique
  • Data Managers
  • Data Producers
  • Data Consumers
Ressources
  • Librairie data
  • Podcast
  • Blog
  • Clients
  • Partenaires
Société
  • Société
  • Notre histoire
  • Contactez-nous
  • Data Democracy
  • Data Fluency
Soc 2 Type 2
Iso 27001
© 2023 Zeenea - Tous droits réservés.

Politique de confidentialité   -  Informations légales