Artikel

Teamworker im Energiehandel

Europas größter Energiehändler RWE Supply & Trading integriert Daten und Prozesse in einem... mehr »

Analytics-Rahmen für Zalando

Europas größter Online-Händler für Fashion und Schuhe ist nicht nur fit in puncto Modetren... mehr »

Bayer Health Care: Puls-Checks gegen Budgets.

Mit einem klaren Zielmodell und der Fokussierung auf wesentliche Effekte vereinfacht der P... mehr »

Celesio: Guidance-Wertschöpfung.

Wie funktioniert ein Top-down-Ansatz? Die Celesio AG , Anbieter von Handels-, Logistik- un... mehr »
20.09.2011, Luzie Wischka, Senior Architekt Data Warehouse

Metro Group

Dynamisches Workload Management steigert Durchsatz und verbessert Antwortzeiten über sieben Zeitzonen

Als einer der führenden Handelskonzerne weltweit ist die Metro Group an über 2.200 Standorten in 32 Ländern mit mehreren Vertriebslinien tätig. Die geografische Präsenz erstreckt sich über ganz Eurasien und Nordafrika von der Atlantikküste (Portugal, Marokko) bis zum Pazifik (Japan, China, Russland) und umfasst damit sieben Zeitzonen.

„Für alle Data Warehouse Aufgaben sind zwei identische Produktionssysteme in Düsseldorf und Frankfurt eingerichtet worden, die jedes aus einer aktiven Master-Umgebung und einer passiven Slave-Umgebung bestehen“, beschrieb Luzie Wischka die aktuelle Plattform. Sie betreut als Teradata Senior Architect Metro schon seit längerem. „Beide Systemewerden im Dual Load Prinzip mit Daten aus allen Ländern geladen. Die Last der 38.000 User wird aber auf beide Systeme aufgeteilt und nur beim Ausfall eines Systems auf dem anderen konzentriert.“


„Mit TDWM hat sich die Anwenderzufriedenheit deutlich gesteigert,
was wiederum zu mehr Systemzugriff ermutigt und neue Nutzen-
potentiale eröffnet.“



Die Anforderungen an das Workload-Management können in drei Bereiche untergliedert werden: Online User (Microstrategy, CRM und andere Applikationen), Batch Prozesse (Ladevorgänge mit diversen Dienstprogrammen, unterteilt nach Fortschreibung der Master- und Slave-Datenbestände – mit unterschiedlicher Priorität) sowie sogenannten taktischen Usern (sehr kurze Abfragen, zum Beispiel für den Bildaufbau bei MSI, CRM und Web-Anwendungen). Auf diesem Prinzip aufbauend sind im Laufe der Expansion 43 verschiedene Workgroups für einzelne Länder und Vertriebslinien entstanden, um die unterschiedlichen Anforderungen nach Benutzerverhalten und Zeitzonen mit entsprechenden Service Level Agreements (SLA) abbilden zu können.

„Mit der Metro-Eigenentwicklung Workgroup Manager (WGM) wurden in der Vergangenheit zunächst jeder Workgroup CPU-Zeiten nach definierten Prozentanteilen zugeordnet und dann die Prioritäten nach den tatsächlichen Aktivitäten modifiziert“, erläuterte Wischka. „Mit zunehmender Zahl der Workgroups wurde das System aberimmer häufiger überlastet. Taktische Queries (z.B. für Screen Refresh) hatten keine Priorität, Serviceabsprachen (SLA), u.a. mit Nutzern von MetroLink wurden nicht eingehalten und Microstrategy stoppte zu lange laufende Abfragen. Deshalb hat Metro 2006 nach einem erfolgreichen Proof of Concept den Dynamic Workload Manager (TDWM) implementiert.“

Wischka beschrieb die verschiedenen Möglichkeiten , die mit TDWM genutzt werden, vor allem Throttles, mit denen die Anzahl gleichzeitig aktiver, länger laufender Queries (länger als 10, 30 bzw. 60 Minuten) ganz differenziert begrenzt wird. Die Anwender kurzer Abfragen werden so bevorzugt und schneller bedient. Der Durchsatz an Berichten hat sich nahezu verdoppelt.

„Um den administrativen Aufwand überschaubar zu halten, wurden Benutzer-Profile eingerichtet und darüber den Usern Workload Definitionen zugeordnet, kleinere Gruppen wurden zu größeren mit gleicher Charakteristik kumuliert“, ergänzte sie. „Diese Gruppen geben jetzt die Möglichkeit, Regeln auf den unterschiedlichen Systemebenen einzuführen und damit die Balance der individuellen Ansprüche zu sichern und Systemüberlastungen zu vermeiden. Und natürlich wurden für den Online- und den Batchbetrieb (Ladefunktionen) unterschiedliche Regeln entwickelt.“ Diese Regeln variieren darüber hinaus je nach Zeitfenster (Batch oder Online) der beiden Systeme, da sie ja primär verschiedene Länder/Zeitzonen bedienen sollen. Sie stellte Konfigurierungsdetails vor und erläuterte die Kriterien für die verschiedenen Workload Definitionen.

„Die bevorzugte Behandlung der schnellen taktischen Queries hat den Durchsatz für alle Applikationen gesteigert und zu schnelleren Antwortzeiten bei MSI-Berichten, CRM- und Webapplikationen ohne Ressourcenüberlastung geführt. Mit TDWM hat sich die Zufriedenheit deutlich gesteigert, was wiederum zu stärkerem Systemzugriff ermutigt und so neue Nutzenpotentiale eröffnet“, schloss Wischka den detaillierten Bericht. „In einem derartigen dynamischen Umfeld muss man aber natürlich immer wieder nachregeln“

Kommentare