Swisscom

Metadaten-Management bei Swisscom.

Mithilfe einer innovativen Metadaten-Lösung visualisiert Swisscom systemübergreifend seine Datenflüsse – und verbessert so die eigenen Kunden- und Lieferantenbeziehungen. 

* Von Martin Reber und Jörg Frank

Innerhalb der Swisscom stellt eine Abteilung «Data, Analytics & AI» primär internen Kunden die Services für Analytik und Big Data zur Verfügung: Sie bietet den Geschäftseinheiten Analysen und Erkenntnisse an. Dieser Input ist bei Swisscom in einer Welt zunehmender Digitalisierung, rasant wachsender Datenmengen sowie komplexer werdender Zusammenhänge sehr begehrt. Zudem werden für den internen Gebrauch neue Daten- und AI-basierte Produkte und Dienstleistungen entwickelt.  

Die große Herausforderung für Swisscom ist die Komplexität der Vorgänge: Die Entwickler im Bereich BI-Delivery müssen die zahlreichen «Incidents» pro Jahr effizient abarbeiten und dabei zeitgleich vielfältige, parallel laufende «Changes» (zum Beispiel durch Änderungen in den Quellsystemen) bedienen. Dies führt de facto zu täglichen Releases, wobei das diesbezügliche Service Level Agreement vorsieht, dass das Data Warehouse (DWH) an jedem Arbeitstag pünktlich um acht Uhr morgens zur Verfügung steht. 

Hinzu kommt, dass die BI-Lösung der Swisscom mit ihren unzähligen Einzelobjekten allein schon im produktiven Kern eine erhebliche Komplexität aufweist. Bei den täglich auftretenden Änderungsbedarfen wird deshalb viel Zeit darauf verwendet, die technischen Abhängigkeiten zwischen den beteiligten Datenobjekten aufzudecken, um gezielte Anpassungen vornehmen zu können. Als besonders harte Knacknuss erweist sich hierbei die heterogene Systemlandschaft, die aus Software-Werkzeugen sehr unterschiedlicher Systemanbieter besteht. 

Als Konsequenz daraus ergeben sich zahlreiche Schwächen in der Pflege und Weiterentwicklung des DWH-Systems. Bereits in der Vergangenheit wurde es in vielen und teils umfangreichen Textverarbeitungsdateien beschrieben. Doch für die erforderliche permanente Pflege und Weiterentwicklung des Kern-DWH erwies es sich als unumgänglich, vor jeder Änderung im Produktivsystem alle betroffenen Datenobjekte entlang der gesamten Landschaft – vom Quellsystem bis zum Endbenutzerbericht – zusammenzusuchen. Aufgrund der hohen Komplexität und Heterogenität des Gesamtsystems bestand bei der Prüfung des Datenflusses die Gefahr, dass einzelne Objekte übersehen und Änderungen unvollständig ausgeführt wurden.

Um bei diesen Mängeln Abhilfe zu schaffen, wurde eine umfassende Lösung ins Auge gefasst, die alle relevanten technischen Metadaten des BI-Systems in einem zentralen Repository zusammenführt und verwaltet. Für die Verwendung der Metadaten sollten sowohl Kollaborationswerkzeuge (wie etwa ein Wiki) als auch Tools zur Verfügung stehen, welche den  vollständigen Datenfluss über die Gesamtarchitektur grafisch visualisieren. 

Dabei sollte das Wiki für alle Betroffenen verfügbar sein, um zusätzliche Inhalte nachpflegen zu können, beispielsweise in Form fachlicher Beschreibungen oder textueller Erläuterungen. Auch bestand Bedarf an einer grafischen Veranschaulichung des Datenflusses auf unterschiedlichen Aggregationsstufen, um komplexe Verknüpfungen nachvollziehbar darstellen zu können – sowohl vorwärtsgerichtet (Impact-Analysen) als auch rückwärtsgerichtet (Data-Lineage).

 

Die technische Ausgangssituation.
Das waren hochgesteckte Ziele angesichts einer sehr umfangreichen BI-Infrastruktur: Rund 150 Quellen liefern bei Swisscom viele Inhalte mit voneinander abweichenden Rhythmen und divergierenden Volumina für die verschiedensten analytischen Applikationen. Und die Daten werden je nach Herkunft oder Verwendungszweck entweder in einem Hadoop Cluster oder in einem relationalen Datenbanksystem (RDBMS) verarbeitet. In letzterem befinden sich mehrere Dutzend Data Marts mit komplexen Anwendungen. 

Für die Datenbewirtschaftung beziehungsweise den Datentransport bei Swisscom werden neben SQL-Views sowie Makros und Skripten ETL- Softwarewerkzeuge eingesetzt. Die Auswertung der Daten erfolgt dann mit den marktüblichen BI-Front-End-Werkzeugen.

Das bei Swisscom über viele Jahre gewachsene Data Warehouse beherbergt  im Produktivsystem mehrere tausend aktive Objekte (Tabellen und Views) mit unzähligen Feldern. Zusätzlich werden Test- und Entwicklungsdatenbanken genutzt. Eine entsprechende Komplexität findet sich ebenfalls bei den ETL-Komponenten sowie im Reporting- und Analysebereich.

 

Die Lösung.
Zusammen mit der Cimacon GmbH konzipierte und entwickelte Swisscom unter der Bezeichnung Lighthouse eine Metadaten-Lösung, die systemübergreifend und sowohl vorwärts- als auch rückwärtsgerichtet Datenflüsse und Objektverknüpfungen visualisiert. 

Das Besondere an diesem Ansatz ist, dass sich die einzelnen Abhängigkeiten über das gesamte System hinweg bis auf die Feldebene nachverfolgen lassen. Dazu mussten die teilweise sehr komplexen Datenbank-Skripte und -Views, die im Sinne eines ETL-Prozesses auch innerhalb der Datenbank Transformationsschritte realisieren, komplett aufgelöst werden. Für die Darstellung der technischen Zusammenhänge kann der Nutzer zwischen unterschiedlichen Detaillierungsgraden wählen (siehe Abbildung oben: «Datenflüsse und Abhängigkeiten»)

Den ganzen Artikel lesen Sie in der Druckausgabe Nr. 1/2019. Hier bestellen.

Grafik Datenflüsse

 

 

 

Quelle: BUSINESS INTELLIGENCE MAGAZINE, www.bi-magazine.net
© ProfilePublishing Germany GmbH 2019. Alle Rechte vorbehalten.
Vervielfältigung nur mit Genehmigung der ProfilePublishing Germany GmbH

Business Intelligence Magazine: Springe zum Start der Seite