Skip to main content

Data Warehouse

Data Warehouse in Zeiten von Big Data

Data Warehouse (abgekürzt DW oder DWH) ist eine Softwarearchitektur, die Unternehmen seit vielen Jahren hilft, wertvolles Wissen aus ihren unterschiedlichen IT-Systemen zu bergen. Die Realität, in der diese Technologie eingesetzt wird, hat sich aber in jüngster Vergangenheit stark geändert: Heute erzeugen viele Unternehmen überproportional mehr Daten und die Reaktionsgeschwindigkeit für die Auswertung dieser Informationen hat sich drastisch verkürzt. Gleichzeitig nimmt der Wissensdurst von Organisationen und Unternehmen zu. Der klassische Data Warehouse-Ansatz stößt in diesem Umfeld schnell an seine Grenzen. Big Data-Technologien versprechen, den neuen Anforderungen gerecht zu werden und bieten vielversprechende Ansätze, um das althergebrachte Data Warehouse Konzept zu erweitern und zu modernisieren. 

Das klassische Data Warehouse Konzept

Aufbau eines klassischen Data Warehouse

Während die operativen Systeme eines Unternehmens sich auf die Unterstützung der Tätigkeiten im Tagesgeschäft konzentrieren, liegt der konzeptionelle Fokus des DWH auf Analysen und Berichten zur Steuerung des Unternehmens. Technologisch basieren Data Warehouse-Systeme auf relationalen Datenbanksystemen (RDBMS). Der Einsatz von relationalen Datenbanken und Data Marts sind für die meisten heute gebräuchlichen Data Warehouse Anwendungsfälle eine gute Wahl.

Die Grenzen klassischer Data Warehouses

Grenzen klassischer Data Warehouses

Konfrontiert mit extrem hohen Datenvolumina kann die Skalierung eines DWH sehr schwierig sein. Verwenden Unternehmen eine kommerzielle Datenbanksoftware, kann die Speicherung zudem hohe Lizenzkosten nach sich ziehen. Das schreckt viele Unternehmen ab, weshalb sie ihre Daten nicht analysieren und das Wissen darin nicht nutzen.

Weil immer mehr Daten in nicht standardisierten Formaten in den Mittelpunkt des Analyseinteresses rücken, stoßen relationale Datenbanken schnell an ihre Grenzen.

Um den gestiegenen Anforderungen gerecht zu werden, kommen neue Technologien ins Spiel.

Jetzt Expertenwissen abrufen

Inhalt

  • Das klassische Data Warehouse Konzept
  • Die Grenzen klassischer Data Warehouses
  • Erweiterung des Data Warehouse um Hadoop, NoSQL & Co
  • Big Data-Technologie im Zusammenspiel
    mit dem Data Warehouse
  • Fazit: Koexistenz des Data Warehouse
    mit den Big Data Stores
  • Data Warehouse: Ihr Nutzen
  • Unsere Leistung: Konzeption und Modellierung
    eines Data Warehouse
Data Warehouse

Erweiterung des Data Warehouse um Hadoop, NoSQL & Co

Um die Beschränkungen von RDBMS zu überwinden wurden verschiedene technologische Ansätze entwickelt: NoSQL-Datenbanken, Apache Hadoop und analytische Datenbanken.

NoSQL steht für „Not only SQL“. Datenbanken dieser Kategorie sind Open Source, horizontal skalierbar, schemafrei, verteilt und verfügen über ein nicht-relationales Modell. Typische Anbieter in dieser Kategorie sind z.B. MongoDB, Cassandra, Neo4J oder CouchDB.

Hadoop als Data Warehouse Plattform

Hadoop als Data Warehouse Plattform

Apache Hadoop setzt dort an, wo traditionelle DWH-Systeme an ihre Grenzen stoßen. Das Grundproblem beim Einsatz herkömmlicher Data Warehouse-Technologien ist der rapide Anstieg der Betriebskosten, wenn große Datenmengen verarbeitet werden. Zudem werden immer mehr unstrukturierte Daten erzeugt, die nicht in die Logik eines Data Warehouse passen. Hadoop ist keine Datenbank, sondern besteht aus dem verteilten Dateisystem HDFS und dem MapReduce-Framework zur Verarbeitung der Daten.

Analytische Datenbanken

Analytische Datenbanken sind eine vergleichsweise einfache und schnell umsetzbare Erweiterung des Data Warehouse. Typische Vertreter sind beispielsweise die Datenbanken InfiniDB, Infobright, Vertica, oder Vectorwise. Es sind Datenbanksysteme, die zwar auch auf relationalen Datenbanksystemen (RDBMS) aufbauen, aber für schnelle Abfragen optimiert sind.

Analytische Datenbanken nutzen verschiedene Technologien, um die Datenverarbeitung zu beschleunigen.

Dazu gehören:

  • Spaltenorientierung
  • Massive parallele Verarbeitung (MPP)
  • Datenkompression
  • In-Memory Speicherung.

Data Warehouse: Ihr Nutzen

ganzheitlicher Blick auf die Unternehmensdaten 

Auswertungen auf einer integrierten Datenbasis

Zeitersparnis durch einheitlichen Datenzugriff

automatisierte und standardisierte Berechnung von Kennzahlen

Wissensgewinn durch Verknüpfung von Informationen (Data Mining)

Historisierung von Unternehmensdaten für Zeitreihenvergleiche

Unsere Leistung: Konzeption und Modellierung eines Data Warehouse

Als erfahrener Dienstleister im BI-Umfeld nutzen wir leistungsstarke Open Source-Tools wie Pentaho Data Integration (PDI), Jedox ETL oder Talend für die Entwicklung der notwendigen Extraktions-, Transformations- und Ladeprozesse (ETL-Prozesse). Auf Datenbankebene setzen wir im Open Source-Umfeld auf interessante Technologien wie MySQL, PostgreSQL oder Infobright.

Damit können wir auch komplexe Anforderungen an eine analytische Datenbank umsetzen.


Stefan Müller
Director Big Data Analytics

Planen Sie ein Projekt oder wünschen Sie mehr Informationen zum Thema Data Warehouse?

Kontaktieren Sie Ihren persönlichen Ansprechpartner.

Anfrage Senden