Comment fonctionne Snowflake ? Une explication simple du célèbre entrepôt de données

Passer d'un projet de données à un autre en raison de ressources limitées peut s'avérer frustrant et inefficace.

Pourtant, jusqu'à récemment, la plupart des entreprises géraient leurs opérations de données de cette manière. Les ingénieurs devaient souvent arrêter les requêtes gourmandes en ressources afin de pouvoir exploiter une base de données contenant des informations urgentes sur les clients. Ces mêmes équipes chargées des données devaient également fréquemment exécuter des requêtes pendant de nombreuses nuits, lorsque les ressources de calcul n'étaient pas sollicitées.

Mais aujourd'hui, grâce à un entrepôt de données cloud hautement évolutif, disponible et rentable tel que Flocon de neige, les entreprises peuvent exploiter leurs données sans se soucier des conflits de ressources.

Snowflake est un entrepôt de données cloud élastiquement évolutif

Snowflake est un entrepôt de données cloud qui peut stocker et analyser tous vos enregistrements de données en un seul endroit. Il peut augmenter ou diminuer automatiquement ses ressources de calcul pour charger, intégrer et analyser les données.

Par conséquent, vous pouvez exécuter pratiquement n'importe quel nombre de charges de travail sur de nombreux utilisateurs en même temps sans vous soucier de la contention des ressources. Les charges de travail peuvent inclure des cas d'utilisation tels que le traitement de données par lots, l'analyse interactive ou des pipelines de données complexes.

Imaginons un scénario typique dans lequel les équipes souhaitent exécuter différentes requêtes sur les données des clients pour répondre à diverses questions. Votre équipe produit souhaite peut-être comprendre l'engagement et la fidélisation, tandis que votre équipe marketing souhaite peut-être comprendre les coûts d'acquisition et la valeur à vie des clients. L'exécution de toutes ces requêtes sur un seul cluster de ressources informatiques créerait une concurrence pour les ressources, ce qui ralentirait les performances des requêtes pour les deux équipes. Mais avec Snowflake, vous pouvez créer des entrepôts virtuels distincts pour chaque équipe, ce qui permet à toutes les parties prenantes d'obtenir rapidement les réponses dont elles ont besoin.

Snowflake crée également automatiquement une autre instance de cluster de calcul chaque fois qu'un cluster n'est pas en mesure de gérer toutes les requêtes entrantes et commence à équilibrer les charges entre les deux clusters. Vous n'avez donc jamais à vous soucier des temps d'arrêt ou de la lenteur des performances.

Comme Snowflake peut faire évoluer la capacité et les performances à la demande selon les besoins, les équipes chargées des données n'ont plus besoin d'effectuer des exercices de planification des capacités en amont. Ils n'ont pas non plus besoin de gérer des entrepôts de données surdimensionnés et coûteux qui restent pour la plupart sous-utilisés.

L'architecture de Snowflake alloue automatiquement les bonnes ressources

L'architecture découplée de stockage, de calcul et de services de Snowflake permet à la plateforme de fournir automatiquement l'ensemble optimal de ressources d'E/S, de mémoire et de processeur pour chaque charge de travail et chaque scénario d'utilisation.

Snowflake utilise un nouveau architecture de données partagée multi-clusters qui dissocie le stockage, les ressources de calcul et les services du système. L'architecture de Snowflake comprend les trois éléments suivants :

1. Rangement : Snowflake utilise un service de stockage cloud évolutif pour garantir un haut degré de réplication, d'évolutivité et de disponibilité des données sans trop d'intervention manuelle de l'utilisateur. Il permet aux utilisateurs d'organiser les informations dans des bases de données, selon leurs besoins.
2. Calcul : Snowflake utilise un traitement massivement parallèle (MPP) des clusters for allouer des ressources de calcul à des tâches telles que le chargement, la transformation et l'interrogation de données. Il permet aux utilisateurs d'isoler les charges de travail au sein d'entrepôts virtuels spécifiques. Les utilisateurs peuvent également spécifier les bases de données de la couche de stockage auxquelles un entrepôt virtuel particulier a accès.
3. Cloud de services : Snowflake utilise un ensemble de services tels que les métadonnées, la sécurité, le contrôle d'accès, la sécurité et la gestion de l'infrastructure. Il permet aux utilisateurs de communiquer avec des applications clientes telles que l'interface utilisateur Web Snowflake, JDBC ou ODBC.

Comme Snowflake ne couple pas étroitement les services de stockage, de calcul et de base de données, il peut modifier dynamiquement les configurations et augmenter ou diminuer les ressources indépendamment. Par conséquent, l'architecture unique de Snowflake permet également de gérer toutes vos données dans un seul système. Il n'est pas nécessaire d'utiliser des bases de données spécialisées pour différents formats de données.

Snowflake est également capable d'adapter automatiquement les ressources à un scénario d'utilisation particulier, afin que les utilisateurs n'aient plus besoin de gérer manuellement les ressources.

Snowflake propose un support natif pour les données semi-structurées

Snowflake propose également un support natif pour tous les formats de données semi-structurés sans compromettre l'exhaustivité, les performances ou la flexibilité.

Les bases de données relationnelles supposent que tous les enregistrements de données adhèrent systématiquement à un ensemble de colonnes défini par le schéma de base de données. Ce modèle de données statique offre des avantages tels que les indices et l'élagage, mais il s'arrête lorsque les enregistrements de données entrantes ne suivent pas un schéma de base de données défini.

Aujourd'hui, les modèles d'apprentissage automatique génèrent automatiquement une grande partie de données commerciales dans des formats de données semi-structurés tels que JSON et XML. Les bases de données traditionnelles ne peuvent souvent pas gérer ces enregistrements de données car elles ne suivent pas un schéma de base de données spécifié.

Pour faire face à ces limites, les équipes chargées des données ont intégré de force des données semi-structurées dans un schéma. Mais cette approche entraîne une perte d'informations et de flexibilité. De plus, l'ajout de nouveaux champs au schéma a entraîné un mauvais comportement des pipelines de données existants. Pour améliorer cela, certaines bases de données ont commencé à traiter les données semi-structurées comme un objet complexe spécial. Mais les utilisateurs ne pouvaient pas facilement rechercher, indexer ou charger ces objets spéciaux. Ainsi, même cette approche a conduit à des compromis en matière de performances.

Snowflake's Type de données VARIANT permet aux utilisateurs de stocker des enregistrements de données semi-structurés sous une forme native dans une table relationnelle. Les utilisateurs peuvent facilement charger des données semi-structurées dans une table avec le type de données VARIANT de Snowflake. Les utilisateurs peuvent utiliser cette option de stockage sans schéma pour tous les enregistrements de données JSON, Avro, XML et Parquet. This type de données VARIANT permet aux utilisateurs de charger des données semi-structurées directement dans Snowflake sans définir de schéma, perdre des informations ou créer des retards de performance.

Snowflake découvre également automatiquement les attributs des données semi-structurées. Il identifie des attributs similaires dans tous les enregistrements et organise ces attributs de manière à améliorer la compression et l'accès aux données.

Tirer parti de Snowflake pour soutenir la croissance de l'entreprise

Snowflake est un entrepôt de données cloud à traitement massivement parallèle (MPP), payant à l'utilisation, qui tire pleinement parti du cloud. À ce titre, Snowflake est en train de devenir rapidement le système de données de référence pour de nombreuses organisations. Des entreprises de tous les secteurs déploient Snowflake pour stocker des données telles que les enregistrements d'achats, les informations sur les produits/SKU, etc., et utilisent également des rapports et une modélisation ML en plus de ces données.

Les données stockées dans Snowflake sont souvent précieuses pour les équipes commerciales chargées du marketing, des produits et du support client, qui cherchent à utiliser les données pour personnaliser l'expérience client et comprendre l'engagement client. Mais ces équipes commerciales ne disposent souvent pas de l'expertise technique nécessaire pour naviguer dans l'entrepôt de données et comptent donc sur les équipes chargées des données pour extraire les données dont elles ont besoin de l'entrepôt, un processus qui retarde le délai de valorisation et détourne l'attention des tâches prioritaires.

Des solutions telles que mParticle facilite l'ingestion de données clients telles que les enregistrements d'achats en magasin, les attributs calculés et les prévisions des utilisateurs depuis Snowflake dans une infrastructure de données accessible aux clients, où elles peuvent être activées par des équipes non techniques pour soutenir les initiatives commerciales. Alors que Snowflake fonctionne comme un système de stockage et d'analyse, mParticle fonctionne comme un système de mouvement dans la pile de données d'une entreprise, permettant aux organisations d'augmenter le retour sur investissement de leur déploiement de Snowflake tout en améliorant leur efficacité opérationnelle.