Data Engineering integriert, konsolidiert & strukturiert Ihre Daten

Data Engineering

Wir begleiten Sie auf dem Weg von unstrukturierten Daten hin zu einer wertvollen Datenbasis für jede Art von Analyse.

DATEN NUTZBAR MACHEN

Die Anforderungen an Unternehmen und Dienstleister steigen in einem dynamischen Wettbewerb ständig. Die Informationsgewinnung aus Geschäftsdaten ist dabei zu einem entscheidenden Wettbewerbsfaktor geworden.

Geschäftsdaten sind meist auf verschiedene Subsysteme verteilt und liegen redundant, inkonsistent und in heterogener Struktur vor. Bevor statistische Betrachtungen durchgeführt werden können, sind deshalb häufig komplexe Arbeitsschritte zur Nutzbarmachung der Daten durchzuführen.

Data Engineering extrahiert Daten aus externen Quellen, integriert und konsolidiert sie und stellt sie anschließend in einer einheitlichen Struktur, z.B. als Data Warehouse bereit.

m-result unterstützt Sie bei der Erhebung, Strukturierung und Analyse Ihrer Bestandsdaten und übernimmt alle Aufgaben zur Speicherung, Migration, Aufbereitung, Anreicherung und Bereitstellung der Ergebnisse.

DATA
INTEGRATION

ETL (Extract-Transform-Load) beschreibt einen aus mehreren Einzelschritten bestehenden Prozess, mit dem sich Daten aus unterschiedlichen Quellsystemen in eine Ziel-Datenbank bzw. ein Data Warehouse integrieren lassen, um sie so für die weitere Verarbeitung bereitzustellen.

Entscheidend ist die Auswahl geeigneter Software und Services, die über eine Vielzahl von Schnittstellen verfügen und große Datenmengen mit hoher Geschwindigkeit und geringer Latenz verarbeiten können.

Die Datenbereinigung und -Anreicherung ist meist Teil des ETL-Prozesses. Ziel ist die Etablierung automatisierter Prozesse zur Verbesserung der Datenqualität mittels Dublettenzusammenführung, Korrekturen (Anrede, Titel, Adressen), Entfernen von Inkonsistenzen und Anreicherung aus externen Quellen (z.B. Geodaten)

DATA
WAREHOUSING

Nach einer detaillierten Anforderungsanalyse gehört die Definition eines geeigneten Datenmodells für die Analyse der Geschäftsdaten zu einer wichtigen Aufgabe von Business Intelligence. Spezielle DWH-Datenmodelle separieren die Daten vom operativen Geschäft, integrieren Strukturen und ermöglichen so eine globale und performante Sicht auf heterogene Datenbestände.
DWHs bilden die Basis für die Analyse strukturierter Daten (siehe Data Analytics).

DATA
PROVISIONING

Zur Weiterverarbeitung in externen Systemen können die Rohdaten und Analyseergebnisse als Flat File oder per Web-API (CSV, JSON, XML) bereitgestellt werden. Die Struktur und der Detaillierungsgrad definiert dabei die Aufgabenstellung.