Data Engineering
DATEN NUTZBAR MACHEN
Die Anforderungen an Unternehmen und Dienstleister steigen in einem dynamischen Wettbewerb ständig. Die Informationsgewinnung aus Geschäftsdaten ist dabei zu einem entscheidenden Wettbewerbsfaktor geworden.
Geschäftsdaten sind meist auf verschiedene Subsysteme verteilt und liegen redundant, inkonsistent und in heterogener Struktur vor. Bevor statistische Betrachtungen durchgeführt werden können, sind deshalb häufig komplexe Arbeitsschritte zur Nutzbarmachung der Daten durchzuführen.
Data Engineering extrahiert Daten aus externen Quellen, integriert und konsolidiert sie und stellt sie anschließend in einer einheitlichen Struktur, z.B. als Data Warehouse bereit.
DATA
INTEGRATION
ETL (Extract-Transform-Load) beschreibt einen aus mehreren Einzelschritten bestehenden Prozess, mit dem sich Daten aus unterschiedlichen Quellsystemen in eine Ziel-Datenbank bzw. ein Data Warehouse integrieren lassen, um sie so für die weitere Verarbeitung bereitzustellen.
Entscheidend ist die Auswahl geeigneter Software und Services, die über eine Vielzahl von Schnittstellen verfügen und große Datenmengen mit hoher Geschwindigkeit und geringer Latenz verarbeiten können.
Die Datenbereinigung und -Anreicherung ist meist Teil des ETL-Prozesses. Ziel ist die Etablierung automatisierter Prozesse zur Verbesserung der Datenqualität mittels Dublettenzusammenführung, Korrekturen (Anrede, Titel, Adressen), Entfernen von Inkonsistenzen und Anreicherung aus externen Quellen (z.B. Geodaten)
DATA
WAREHOUSING
Nach einer detaillierten Anforderungsanalyse gehört die Definition eines geeigneten Datenmodells für die Analyse der Geschäftsdaten zu einer wichtigen Aufgabe von Business Intelligence. Spezielle DWH-Datenmodelle separieren die Daten vom operativen Geschäft, integrieren Strukturen und ermöglichen so eine globale und performante Sicht auf heterogene Datenbestände.
DWHs bilden die Basis für die Analyse strukturierter Daten (siehe Data Analytics).
DATA
PROVISIONING
Zur Weiterverarbeitung in externen Systemen können die Rohdaten und Analyseergebnisse als Flat File oder per Web-API (CSV, JSON, XML) bereitgestellt werden. Die Struktur und der Detaillierungsgrad definiert dabei die Aufgabenstellung.
Ansprechpartner
Data Engineering
Stephan Querengässer
Leitung Informationssysteme
Wolfgang Kuhmann
Geschäftsführung