Metacat : Netflix rend ses Big Data accessibles et utiles

Comme de nombreuses entreprises, Netflix dispose de nombreuses sources de données avec différents formats et de forts volumes de données. En tant que leader mondial du streaming vidéo, l’exploitation des données chez Netflix est, bien évidemment, un axe stratégique majeur. Compte tenu de cette diversité de sources de données, la plateforme vidéo souhaitait proposer un moyen de fédérer et d’interagir avec ces assets depuis un même outil. Cette recherche de solution a abouti à Metacat.

Cet article expose les motivations de la création de Metacat, un service de métadonnées ainsi destiné à faciliter la découverte, le traitement et la gestion des données de Netflix.

Retrouvez les précédents articles sur Google et AirBnB.

Netflix a parcouru un chemin considérable depuis la création de sa société de location de DVD, dans les années 1990. La consommation de vidéos sur la plateforme Netflix, représente 15 % de la bande passante mondiale. Mais Netflix, aujourd’hui, c’est aussi [1] [2] :

Netflix, c’est également un entrepôt de données de 60 pétaoctets (60 millions de milliards d’octets), un véritable défi pour exploiter ces données et les fédérer.

L’architecture de base de la plateforme Big Data de Netflix comprend trois services clés. Il s’agit du service d’exécution (Genie), du service de métadonnées (Metacat) et du service d’événements (Microbot).

Afin d’opérer entre les différents langages et sources de données, difficilement compatibles entre eux, est né Metacat. Cet outil agit comme une couche d’accès aux données et métadonnées depuis les data sources de Netflix. Un service centralisé accessible par les utilisateurs de la donnée afin de faciliter leur découverte, leur traitement et gestion.

Netflix dispose de requêteurs de données, tels que Hive, Pig ou Spark, non opérables ensemble. C’est en introduisant une couche d’abstraction commune que Netflix fournit à ses utilisateurs un accès aux données et ce, quelque soit leurs systèmes de stockage.
De plus, Metacat va jusqu’à simplifier le transfert de jeux de données d’un datastore à un autre.

À la main et définies par les utilisateurs, des métadonnées d’ordre métier, en format libre – peuvent être ajoutées via Metacat. Les principales sont des informations de connexion, de configuration, des métriques ou encore les durées de vie de chaque jeux de données.

En créant Metacat, Netflix facilite la découverte des jeux de données de l’entreprise par ses consommateurs. L’outil publie des métadonnées de schéma et métier définies par ses utilisateurs dans Elasticsearch, facilitant ainsi la recherche en texte intégral d’informations dans les data sources.

En tant qu’outil transverse de l’ensemble des data stores, Metacat enregistre et notifie toutes les changements apportés sur les métadonnées et les données elles-même depuis les systèmes de stockage.

Selon Netflix, la version actuelle de Metacat n’est qu’une étape vers de nouvelles fonctionnalités sur lesquelles ils travaillent. Ils veulent encore améliorer la visualisation à un instant T des métadonnées. Ce système serait très utile pour la restauration.

Metacat, selon Netflix, devrait également pouvoir avoir une architecture enfichable. Ainsi, l’outil pourrait valider et garder l’intégrité des métadonnées. Ceci est lié au fait que les utilisateurs définissent des métadonnées sous forme libre. Netflix a donc besoin d’une validation en place qui peut être réalisée avant le stockage des métadonnées.

Avec la création de Metacat en outil de centralisation et d’exploration de données multi-sources et multi-formats pour les utilisateurs, Netflix a clairement effectué une avancée. Le développement de ce service en interne et adapté à l’ensemble des outils déjà utilisés par l’entreprise, a permis à Netflix de devenir Data Driven.