Abstrakte Visualisierung einer Cloud Datenarchitektur mit vernetzten Datenebenen zur Integration und Verarbeitung von Risikodaten

Cloud-basierter zentraler Data Layer

Energie

Konsistente Bereitstellung von Risikokennzahlen für den Energiehandel

Ein internationaler Energieversorger benötigte eine zentrale Plattform zur konsistenten Verarbeitung von Handels‑ und Risikodaten. Hierfür wurde ein cloudbasierter Data Layer aufgebaut, der heterogene Datenquellen integriert und automatisiert verarbeitet. Ergänzend wurden Performance und Datenqualität kontinuierlich überwacht.

Leistungen

Kundenbenefits

Konsistente Risikokennzahlen für fundierte Handelsentscheidungen
Deutlich reduzierter Abstimmungsaufwand zwischen den Systemen
Höhere Datenqualität und Transparenz im gesamten Prozess
Direkt nutzbare Daten für schnelle Analysen und Reportings

Ausgangssituation

Ein international tätiger Energieversorger verarbeitet Handels‑ und Risikodaten aus verschiedenen operativen Systemen. Diese lagen verteilt vor und sollten in einem zentralen Data Layer konsolidiert werden. Ziel war eine cloud-basierte Plattform, die eine einheitliche
Bereitstellung von Key Risk Indicators ermöglichen sollte.

Die Lösung sollte unterschiedliche Datenquellen integrieren, eine standardisierte und historisierte Datenstruktur sicherstellen sowie kontinuierliche Verarbeitungszyklen unterstützen. Zusätzlich bestand die Anforderung, Datenqualität, Auditierbarkeit und flexible Nutzung durch Fachbereiche sicherzustellen.

Vorgehen

Unsere Consultants übernahmen die Integration neuer Datenquellen, insbesondere für Optionsdaten, in das bestehende Datenmodell. Hierfür wurden Transformationslogiken entwickelt, die unvollständige Datensätze bereinigen sowie Währungs‑ und Einheitenkonvertierungen in das Zielmodell überführen. Parallel wurden bestehende Daten-Pipelines erweitert und neue End‑to‑End‑Pipelines entwickelt. Die Orchestrierung erfolgte über Azure Data Factory, während Databricks und Snowpark für die Verarbeitung genutzt wurden.

Zur Optimierung der Performance wurden bestehende SQL‑Abfragen sowie Teile der Python‑Codebasis analysiert und überarbeitet. Ergänzend wurde ein Self‑Service‑Prozess für kontrollierte Datenanpassungen und Uploads erstellt.

Im weiteren Projektverlauf implementierten unsere Consultants Plausibilitätschecks für zentrale Risikoindikatoren und etablierten eine kontinuierliche Überwachung der Pipelines. Zusätzlich wurde eine Streamlit‑basierte Weboberfläche weiterentwickelt, die Umstellung eines Vorsystems für Quelldaten begleitet und Auditierbarkeit über entsprechende Governance‑Mechanismen sichergestellt.

Ergebnis

Mit der produktiven Nutzung des zentralen Data Layers steht eine konsolidierte und qualitätsgesicherte Datenbasis für Handels‑ und Risikoprozesse zur Verfügung. Diese bildet die Grundlage für die Berechnung und Nutzung von Key Risk Indicators und unterstützt operative Trade‑Entscheidungen. Die einheitliche Datenstruktur ermöglicht eine konsistente Nutzung über verschiedene Regionen und Systeme hinweg. Durch implementierte Plausibilitätsprüfungen und Governance‑Mechanismen ist die Nachvollziehbarkeit der Daten sichergestellt.

Fachbereiche nutzen die bereitgestellten Daten sowie die Weboberfläche aktiv für Analysen und Reporting. Gleichzeitig ermöglichen automatisierte Pipelines und Self‑Service‑Funktionen eine stabile Verarbeitung sowie eine flexiblere und effizientere Nutzung im Arbeitsalltag.

Referenz herunterladen