Wie funktioniert Snowflake? Eine einfache Erklärung des beliebten Data Warehouse

Das Wechseln zwischen verschiedenen Datenprojekten aufgrund von Ressourcenbeschränkungen kann frustrierend und ineffizient sein.

Doch bis vor Kurzem führten die meisten Unternehmen Datenoperationen auf diese Weise durch. Techniker mussten häufig ressourcenintensive Abfragen unterbrechen, um eine Datenbank nach dringenden Kundeninformationen durchsuchen zu können. Dieselben Datenteams mussten auch häufig Abfragen über viele Nächte hinweg ausführen, wenn die Rechenressourcen nicht benötigt wurden.

Aber jetzt, dank eines hoch skalierbaren, verfügbaren und kostengünstigen Cloud-Data-Warehouse wie Schneeflocke, können Unternehmen ihre Daten nutzen, ohne sich Gedanken über RessourcenengpäSSE machen zu müssen.

Snowflake ist ein elastisch skalierbares Cloud-Data Warehouse

Snowflake ist ein Cloud-Data Warehouse, das alle Ihre Datensätze an einem Ort speichern und analysieren kann. Es kann seine Rechenressourcen automatisch hoch-/herunterskalieren, um Daten zu laden, zu integrieren und zu analysieren.

Dadurch können Sie praktisch beliebig viele Workloads für viele Benutzer gleichzeitig ausführen, ohne sich Gedanken über Ressourcenkonflikte machen zu müssen. Workloads können Anwendungsfälle wie Batch-Datenverarbeitung über interaktive Analysen bis hin zu komplexen Datenpipelines umfassen.

Stellen Sie sich ein typisches Szenario vor, in dem Teams unterschiedliche Abfragen zu Kundendaten durchführen möchten, um verschiedene Fragen zu beantworten. Ihr Produktteam möchte möglicherweise mehr über Engagement und Kundenbindung erfahren, während Ihr Marketingteam möglicherweise die Akquisitionskosten und den Wert der Kundenbindung verstehen möchte. Die Ausführung all dieser Abfragen auf einem Rechenressourcen-Cluster würde zu einem Wettbewerb um Ressourcen führen und die Abfrageleistung für beide Teams verlangsamen. Mit Snowflake können Sie jedoch separate virtuelle Warehouses für jedes Team erstellen, sodass alle Beteiligten schnell die Antworten erhalten, die sie benötigen.

Snowflake erstellt außerdem automatisch eine weitere Compute-Cluster-Instance, wenn ein Cluster nicht in der Lage ist, alle eingehenden Abfragen zu verarbeiten — und beginnt mit dem Lastenausgleich zwischen den beiden Clustern — sodass Sie sich keine Gedanken über Ausfallzeiten oder eine langsame Leistung machen müssen.

Da Snowflake Kapazität und Leistung bei Bedarf bei Bedarf skalieren kann, müssen Datenteams keine Kapazitätsplanungsübungen mehr im Voraus durchführen. Sie müssen auch keine kostspieligen, überdimensionierten Data Warehouses unterhalten, die nach wie vor größtenteils nicht ausgelastet sind.

Die Architektur von Snowflake weist automatisch die richtigen Ressourcen zu

Die entkoppelte Speicher-, Rechen- und Servicearchitektur von Snowflake ermöglicht es der Plattform, automatisch die optimalen I/O-, Speicher- und CPU-Ressourcen für jede Arbeitslast und jedes Nutzungsszenario bereitzustellen.

Snowflake verwendet eine neue Multi-Cluster, gemeinsam genutzte Datenarchitektur das entkoppelt Speicher, Rechenressourcen und Systemdienste. Die Architektur von Snowflake besteht aus den folgenden drei Komponenten:

1. Aufbewahrung: Snowflake verwendet einen skalierbaren Cloud-Speicherdienst, um ein hohes Maß an Datenreplikation, Skalierbarkeit und Verfügbarkeit ohne großen manuellen Benutzereingriff sicherzustellen. Es ermöglicht Benutzern, Informationen in Datenbanken nach ihren Bedürfnissen zu organisieren.
2. Berechne: Snowflake verwendet massiv parallele Verarbeitung (MPP) Cluster, um Rechenressourcen für Aufgaben wie das Laden, Transformieren und Abfragen von Daten zuzuweisen. Es ermöglicht Benutzern, Workloads innerhalb bestimmter virtueller Warehouses zu isolieren. Benutzer können auch angeben, auf welche Datenbanken in der Speicherebene ein bestimmtes virtuelles Warehouse Zugriff hat.
3. Cloud-Dienste: Snowflake verwendet eine Reihe von Diensten wie Metadaten, Sicherheit, Zugriffskontrolle, Sicherheit und Infrastrukturmanagement. Es ermöglicht Benutzern die Kommunikation mit Client-Anwendungen wie der Snowflake-Webbenutzeroberfläche, JDBC oder ODBC.

Da Snowflake Speicher-, Rechen- und Datenbankdienste nicht eng miteinander verknüpft, kann es Konfigurationen dynamisch ändern und Ressourcen unabhängig voneinander hoch- oder herunterskalieren. Daher ermöglicht es die einzigartige Architektur von Snowflake auch, alle Ihre Daten in einem System zu verarbeiten. Sie müssen keine speziellen Datenbanken für verschiedene Datenformate verwenden.

Snowflake ist auch in der Lage, Ressourcen automatisch an ein bestimmtes Nutzungsszenario anzupassen, sodass Benutzer Ressourcen nicht mehr manuell verwalten müssen.

Snowflake bietet native Unterstützung für halbstrukturierte Daten

Snowflake bietet auch native Unterstützung für alle halbstrukturierten Datenformate, ohne Kompromisse bei Vollständigkeit, Leistung oder Flexibilität einzugehen.

Relationale Datenbanken gehen davon aus, dass alle Datensätze konsistent einer Reihe von Spalten entsprechen, die durch das Datenbankschema definiert sind. Dieses statische Datenmodell bietet Vorteile wie Indizes und Bereinigung, bricht jedoch zusammen, wenn eingehende Datensätze keinem definierten Datenbankschema folgen.

Heute generieren Machine-Learning-Modelle automatisch einen großen Teil von Geschäftsdaten in halbstrukturierten Datenformaten wie JSON und XML. Herkömmliche Datenbanken können diese Datensätze oft nicht verarbeiten, da sie keinem bestimmten Datenbankschema folgen.

Um mit diesen Einschränkungen umzugehen, passten Datenteams halbstrukturierte Daten zwangsweise in ein Schema ein. Dieser Ansatz führt jedoch zum Verlust von Informationen und Flexibilität. Außerdem führte das Hinzufügen neuer Felder zum Schema zu einem Fehlverhalten der vorhandenen Datenpipelines. Um dies zu verbessern, begannen einige Datenbanken, halbstrukturierte Daten als ein spezielles komplexes Objekt zu behandeln. Benutzer konnten diese speziellen Objekte jedoch nicht einfach suchen, indexieren oder laden. Selbst dieser Ansatz führte also zu Leistungseinbußen.

Schneeflocken's VARIANT-Datentyp ermöglicht es Benutzern, halbstrukturierte Datensätze in einer nativen Form in einer relationalen Tabelle zu speichern. Benutzer können problemlos halbstrukturierte Daten in eine Tabelle mit dem VARIANT-Datentyp von Snowflake laden. Benutzer können diese schemalose Speicheroption für alle JSON-, Avro-, XML- und Parquet-Datensätze verwenden. Mit diesem VARIANT-Datentyp können Benutzer halbstrukturierte Daten direkt in Snowflake laden, ohne ein Schema zu definieren, Informationen zu verlieren oder Leistungsverzögerungen zu verursachen.

Snowflake erkennt auch automatisch die Attribute halbstrukturierter Daten. Es identifiziert ähnliche Attribute in allen Datensätzen und organisiert diese Attribute so, dass eine bessere Komprimierung und ein besserer Datenzugriff möglich sind.

Nutzung von Snowflake zur Unterstützung des Geschäftswachstums

Snowflake ist ein Cloud-Data Warehouse mit massiver Parallelverarbeitung (MPP) und nutzungsabhängiger Bezahlung, das alle Vorteile der Cloud nutzt. Daher wird Snowflake für viele Unternehmen schnell zum Datensystem of Record. Unternehmen aus allen Branchen setzen Snowflake ein, um Daten wie Kaufdatensätze, Produkt-/SKU-Informationen und mehr zu speichern, und führen zusätzlich zu diesen Daten Berichte und ML-Modelle durch.

In Snowflake gespeicherte Daten sind oft für Geschäftsteams aus den Bereichen Marketing, Produkt und Kundensupport wertvoll, die Daten verwenden möchten, um das Kundenerlebnis zu personalisieren und die Kundenbindung zu verstehen. Diese Geschäftsteams verfügen jedoch häufig nicht über das technische Fachwissen, um sich im Data Warehouse zurechtzufinden, und verlassen sich daher darauf, dass Datenteams die benötigten Daten aus dem Warehouse extrahieren — ein Prozess, der die Amortisierungszeit verzögert und von Arbeiten mit hoher Priorität ablenkt.

Lösungen wie mParticle machen es einfach, Kundendaten wie Einkaufsdaten im Geschäft, berechnete Attribute und Benutzerprognosen von Snowflake in eine zugängliche Kundendateninfrastruktur zu integrieren, wo sie von Teams ohne technische Kenntnisse zur Unterstützung von Geschäftsinitiativen aktiviert werden können. Während Snowflake als Speicher- und Analysesystem fungiert, fungiert mParticle als Bewegungssystem im Datenstapel eines Unternehmens, sodass Unternehmen den ROI ihrer Snowflake-Bereitstellung erhöhen und gleichzeitig die betriebliche Effizienz verbessern können.