Herausforderung
- Daten aus drei Anwendungen integriert (wenige 100.000 Zeilen).
- Übergreifende Stammdaten waren nicht standardisiert.
- Hoher Zeitdruck um Arbeitsfähigkeit eines Teams sicherzustellen.
- Die Software zur Datenintegration muss sehr schnell bereitgestellt werden, bleibt aber das Rückgrat zur Datenversorgung der Anwendung.
Lösung
- Entwicklung eines einfachen und robusten Frameworks zur Datenintegration (ETL) mit SQL und PL/pgSQL für eine PostgreSQL Datenbank.
- Berücksichtigen des DQ-Management für Mappings wegen heterogener Stammdaten.
- Funktionalität für Selbsttests eingebaut.
- Entwickler können Testdaten auf Knopfdruck auf ihrem eigenen Rechner ausrollen.
Nutzen
- Wenige Tage bis zur Nutzbarkeit der Software im weiteren Entwicklungsprozess. Das bedeutet nicht nur eine schnelle Aufnahme der Arbeit mit den Daten, sondern auch geringe Kosten für die Entwicklung.
- Einfache Erweiterbarkeit mit SQL Statements.
- Qualität der Quelldaten kann bereits während der Entwicklung verfolgt werden, das ermöglicht zeitnahe Adressierung von Qualitätsproblemen.
- Möglichkeit der Nutzung auf Server und lokalen Rechnern der Entwickler durch Integration in Build Toolchain.
- Hohe Akzeptanz bei Entwicklern.
- Bereitstellung künstlicher Testdaten schützt die Echtdaten vor Verlust.
- Nutzung für Testdatenrollout auf Entwicklungsumgebung ermöglicht unmittelbaren Beginn mit Tests sobald neue Änderungen an der Software verfügbar sind.
Dieses Projekt hat gezeigt: Datenintegration kann auch pragmatisch gemacht werden. Mit einem einfachen Framework und wenigen simplen Regeln kann eine kontinuierliche und einfache Integration von Daten aus verschiedenen Quellen realisiert werden.
Nehmen Sie Kontakt zu mir auf, um mehr über die Vorteile dieses Vorgehens zu erfahren: