Data Lake

Ein Data Lake (wörtlich übersetzt "Datensee") ist in der Wirtschaftsinformatik ein System oder ein Repository von Daten, die im Rohdatenformat gespeichert sind, normalerweise Blobs oder Dateien. Ein Data Lake ist in der Regel ein einziger Speicher für alle Unternehmensdaten, einschließlich Rohkopien von Quellsystemdaten und transformierten Daten, die für Aufgaben wie Berichterstellung, Visualisierung, erweiterte Analysen und maschinelles Lernen verwendet werden. Ein Data Lake kann strukturierte Daten aus relationalen Datenbanken (Zeilen und Spalten), aus CSV-, XML- oder JSON-Formaten oder unstrukturierte Daten zum Beispiel E-Mails, Dokumente, PDF-Dateien und binäre Daten (Bild, Ton, Speicherabbilder) enthalten.

Datensammlung

Data Lakes werden in Branchen wie Einzelhandel, Bankwesen oder Hotel- und Gastgewerbe und sogar in der Reisebranche verwendet, für die Verfolgung und die Vorhersage von Kundenvorlieben und die Verbesserung der gesamten Kundenerfahrung.[1]

Neben den Daten werden auch generische Analysemethoden abgelegt, sodass diese ebenfalls für die zentral gespeicherten Daten zur Verfügung stehen und nicht im Vorfeld jedes Analyseprozesses zusammengetragen werden müssen.[2] Daher benötigen Data Lakes normalerweise viel mehr Speicherkapazität als Data Warehouses. Darüber hinaus sind unverarbeitete Rohdaten formbar, lassen sich schnell für die unterschiedlichsten Zwecke analysieren und sind ideal für maschinelles Lernen.

Ein Datensumpf (data swamp) ist ein nicht verwalteter Data Lake, der entweder für die vorgesehenen Benutzer nicht zugänglich ist oder wenig Wert bietet. Datensümpfe entstehen, wenn keine angemessenen Datenqualitäts- und Data-Governance-Maßnahmen durchgeführt werden.

Unterschiede zum Data Warehouse

Im Data-Warehouse-Konzept werden bestimmte Daten nach dem ETL-Schema aus den Quellsystemen extrahiert, transformiert und in das zentrale Data Warehouse geladen.

Dagegen werden im Data-Lake-Konzept alle Daten aus den Quellsystemen geladen. Es werden keine Daten abgewiesen. Die Daten werden in einem nicht oder fast nicht transformierten Zustand gespeichert. Erst zur Datenvisualisierung oder Datenanalyse werden die Daten aufbereitet.[3] Der Vorteil der strukturiert auswertbaren Daten des Data Warehouses wird zu Gunsten einer höheren Flexibilität aufgegeben. Die Anforderung an die Kenntnis der Datenstruktur steigen entsprechend.[4]

Einzelnachweise
  1. Aufbau eines besseren Data Lake. Abgerufen am 15. Januar 2021.
  2. Freiknecht, Jonas: Big Data in der Praxis : Lösungen mit Hadoop, HBase und Hive ; Daten speichern, aufbereiten, visualisieren. Hanser, München 2014, ISBN 978-3-446-43959-7, S. 21.
  3. Chris Campbell: Top Five Differences between Data Lakes and Data Warehouses. Archiviert vom Original (nicht mehr online verfügbar) am 15. September 2017; abgerufen am 20. Februar 2020 (amerikanisches Englisch).  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.blue-granite.com
  4. Data Lake vs. Data Warehouse: Wichtige Unterschiede – Talend. Abgerufen am 20. Februar 2020.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.