Arbeitspaket AP-VI: Überwachung und interaktive Steuerung von Grid-Jobs

Die in der Astrophysik verwendeten Simulationscodes (Cactus, Gadget, NBody6, NIRVANA, MLAP) enthalten oftmals bereits applikationsspezifische Methoden zur &Umml;berwachung und Steuerung paralleler Jobs zur Laufzeit (application monitoring/steering) sowie für die Echtzeit-Visualisierung von Zwischenergebnissen (live data streaming). Obwohl diese Methoden auf Standardprotokollen (HTTP, streamed HDF5 über Socket-Kommunikation) basieren, sind sie bislang meist nur in lokale Umgebungen eingebettet, damit jedoch nicht per se auch Grid-kompatibel.

Das Arbeitspaket AP-VI befasst sich mit der Grid-Aktivierung dieser Applikations-Methoden, so dass sie universell sowohl auf lokale als auch beliebig im Grid verteilte Simulationsjobs anwendbar sind. Notwendig hierfür ist zunächst die Registrierung des Ausführungsorts eines Grid-Jobs in der Metadaten-Verwaltung (AP-II), gemeinsam mit einer Beschreibung und Anmeldung der von ihm offerierten Monitoring/Steering/Streaming Services. Desweiteren sind Mechanismen für eine dynamische Verbindung zu laufenden Grid-Jobs unter Berücksichtigung netzwerkadministrativer Besonderheiten erforderlich (z.B. in firewalls eingebundene Nutzerclienten, über virtual private networks verwaltete Cluster-Ressourcen ohne direkten Internetzugang). Verbindungen können sowohl interaktiv von einzelnen Nutzern als auch automatisch aus entfernten Steuerprogrammen heraus aufgebaut werden -- in beiden Fällen sollte die Anbindung der Endpunkte möglichst generisch entworfen und transparent implementiert werden durch Adaption der in AP-III entwickelten datei-basierten Zugriffsmethoden und durch Verwendung der vom AP-VII bereitgestellten Nutzer- und Programmierschnittstellen.

Organisationsstruktur

Partner: AEI, AIP, ARI, MPIA

Arbeitspaket-Verantwortlicher: Thomas Radke (AEI)

Technische Ansprechpartner:

• Thomas Radke (AEI): Cactus
• Volker Springel (MPA), Gadget
• Udo Ziegler (AIP), Nirvana
• Alexander Knebe (AIP), MLAP
• Rainer Spurzem (ARI), Nbody6
• Wolfgang Hovest (MPA), ProC

Arbeitsplan

1. Analyse der vorhandenen Überwachungs- und Steuerungsmethoden

   Die verschiedenen bereits existierenden, in den jeweiligen Simulationspaketen integrierten Monitoring/Steering-Mechanismen werden vergleichend analysiert und deren Einschränkungen bezüglich einer universellen Verwendbarkeit für Grid-Simulationen ermittelt.

2. Architektur gridfähiger Überwachungs- und Steuerungsmethoden

   Anhand der für Grid-Simulationen ermittelten erweiterten Anforderungen werden verallgemeinerte, grid-fähige Zugriffsmethoden zur Realisierung von Monitoring/Steering-Mechanismen entworfen.

3. Implementierung gridfähiger Zugriffsmethoden für Monitoring

   Die entworfenen Zugriffsmethoden für die Überwachung von einfachen Grid-Jobs werden mit zunächst limitierter Funktionalität (Beschränkung des Zugriffs auf Jobs in bestimmten Szenarien) und mittels proprietärer applikationsspezifischer Schnittstellen prototypisch für ausgewählte Simulations-Codes implementiert.

4. Generalisierte Version der Zugriffsmethoden

   Aus der Erprobung der prototypischen Implementierung fließen notwendige Änderungen und Erweiterungen der entworfenen Architektur in eine zweite Version ein, welche generische Schnittstellen verwendet und daher auch in andere Simulations-Codes integriert werden kann. Notwendige Erweiterungen zur Unterstützung verteilter Grid-Simulationen werden eingearbeitet.

5. Erweiterung der Zugriffsmethoden um Steuerungsfunktionalität

   Die Funktionalität der Monitoring-Zugriffsmethoden wird um Rückkopplungsfähigkeiten zur interaktiven Steuerung von Grid-Simulationen vervollständigt und in die Simulations-Codes integriert.

6. Anpassung der Anwendungen und Testen der entwickelten Middleware