D-Grid

Die D-Grid-Initiative war eine Grid-Computing-Initiative in der Bundesrepublik Deutschland.

D-Grid hatte das Ziel, eine nachhaltige Grid-Infrastruktur sowohl für Forschung und Entwicklung sowohl im akademischen als auch im industriellen Bereich in Deutschland aufzubauen. Die Aufbauphase wurde seit dem 1. September 2005 durch das Bundesministerium für Bildung und Forschung (BMBF) mittels mehrerer Ausschreibungsrunden mit mehr als 70 Millionen Euro gefördert. Im Rahmen dieser Förderung wurden mehr als 20 Projekte initiiert, an denen sich mehr als 100 deutsche Forschungseinrichtungen beteiligen. Weiterhin wurde über Sondermaßnahmen Rechen- und Speicherinfrastruktur zur Verfügung gestellt, um einen reibungslosen Übergang zu einem Gridbetrieb ohne Beeinträchtigung des aktuellen Infrastrukturangebotes zu gewährleisten.

Die D-Grid Projekte ließen sich in Gruppen Basisdienste, Höhere Grid-Dienste, Akademische Disziplinen und Kommerzielle Nutzer unterteilen.

Basisdienste

Unter Basisdiensten versteht man ein Angebot von Diensten, die für die Funktionsfähigkeit eines Grids unverzichtbar sind. Dazu gehörten die Bereitstellung von Grid-Middleware und die Einrichtung eines Betriebskonzeptes, das Sicherheitsaspekte und die Bildung von virtuellen Organisationen (VO) abdeckt. Diese Basisdienste werden von dem D-Grid Integrationsprojekt (DGI 1: Sept. 2005 – Aug. 2007; DGI 2: Jan. 2008 – Dez. 2010) zur Verfügung gestellt. Um auf neue Anforderungen von Nutzern zu reagieren, wurden weiterhin sogenannte Gap-Projekte eingerichtet, die spezielle Basisdienste zur Verfügung entwickeln und eng mit dem Integrationsprojekt zusammenarbeiten.

Höhere Dienste

Höhere Grid-Dienste betreffen Anforderungen, die zwar nicht generell für den Betrieb eines Grids notwendig sind, aber auch nicht nur von einer Disziplin genutzt werden können. Beispiele für diese Dienste sind Dienste für das Ressource Management, für die Einrichtung und die Überwachung von Service-Level-Agreements (SLA) oder für die Datenhaltung. Projekte, die diese Dienste entwickeln, stellen sicher, dass die Dienste auf den Basisdiensten aufbauen und leicht von verschiedenen Disziplinen integriert werden können.

Akademische Disziplinen

In vielen wissenschaftlichen Disziplinen werden große Datenmengen verwendet, die allen Wissenschaftlern einer Disziplin zur Verfügung gestellt werden. Aufgrund der räumlichen Verteilung der Wissenschaftler ist die Verwendung einer Grid-Struktur unvermeidlich. Zur Förderung der Grid-Verwendung wurden Projekte in den Gebieten Astronomie, Hochenergiephysik, Klimaforschung, Medizin, Ingenieurwissenschaften und Geisteswissenschaften eingerichtet. Innerhalb dieser Projekte werden disziplinspezifische Grid-Dienste entwickelt. Die jeweiligen Projekte sollen den Grundstock für disziplinorientierte Grid-Strukturen legen, die möglichst alle Wissenschaftler der jeweiligen Disziplin bei der Verwendung des Grids unterstützen.

Kommerzielle Nutzer

Während Großunternehmen mit mehreren oft global verstreuten Standorten vielfach ihr eigenes Enterprise-Grid aufbauen, ist dies für kleinere Unternehmen vielfach nicht möglich. Diese Unternehmen benötigen zwar in steigendem Maße Zugriff auf IT-Ressourcen, aber die Anschaffung und der Betrieb dieser Ressourcen sind für sie mit zu hohen Kosten verbunden, zumal der Bedarf schubweise und nicht kontinuierlich auftritt. Das Grid mit unabhängigen Dienst- und Ressourcenanbietern ist für solche kleineren Unternehmen eine vielversprechende Alternative, wenn die Dienste auf die Bedürfnisse der Unternehmen abgestimmt sind. In den entsprechenden Projekten sollen solche Dienste in Zusammenarbeit mit Unternehmen aufgebaut werden.

Projektbeispiele

Nachstehend sind einige Projekte der D-Grid-Initiative näher beschrieben:

AstroGrid-D

Im AstroGrid-D (auch German Astronomy Community Grid, GACG) arbeiten insgesamt 13 Wissenschaftseinrichtungen aus den Fachgebieten Astronomie und Informatik sowie Hochleistungsrechenzentren zusammen. Hauptziel ist die Einbindung der astronomischen Forschungsinstitute in Deutschland in eine einheitliche Grid-basierte Infrastruktur, um verteiltes, kollaboratives Arbeiten zu fördern. Existierende Hard- und Softwareressourcen, u. a. astronomische Datenarchive und robotische Teleskope in den beteiligten Forschungsinstituten, sollten integriert werden.

AstroGrid-D unterstützt die Standards der International Virtual Observatory Alliance (IVOA) und arbeitet mit internationalen Grid-Projekten zusammen. Die Leitung des AstroGrid-D lag beim Astrophysikalischen Institut Potsdam (AIP).

C3-Grid

Im Collaborative Climate Community Data and Processing Grid, kurz C3-Grid, gab es einen Verbund von Klimaforschern. Dieses Projekt beschäftigte sich nicht nur mit der Klimaforschung, sondern auch mit den Wechselwirkungen des Klimasystems mit sozio-ökonomischen Systemen. Bei der Klimaforschung wird mit komplexen Modellen das Verhalten des Erdsystems simuliert. Die dabei anfallenden Modelldaten werden neben den kontinuierlich anfallenden Beobachtungsdaten der Wetterdienste in Archiven an verschiedenen Standorten gesammelt. Für eine umfangreiche (globale und regionale) Analyse dieser Daten ist es notwendig, diese Archive miteinander zu vernetzen und im C3-Grid zu bearbeiten. Auch durch die Auswertung und Speicherung von Satellitendaten existiert in der Klimaforschung ein stetig größer werdender Bedarf nach Speicherplatz und Rechenkapazität. Die Möglichkeit, die anfallenden Daten in einem Grid abzulegen und zu analysieren, soll die Arbeit der Klimaforscher und deren Zusammenarbeit unterstützen. Die Leitung des C3-Grid liegt beim Alfred-Wegener-Institut für Polar- und Meeresforschung (AWI) in Bremerhaven.

D-Grid IaaS

Zu Beginn des Grid Computing wurden für die verschiedenen Grid Middlewares proprietäre Implementierungen u. a. in den Bereichen Autorisation, Monitoring und Scheduling entwickelt. Erst seit wenigen Jahren besteht der Trend zur Standardisierung und Angleichung der Grid Middlewares. Eine ähnliche, allerdings beschleunigte Entwicklung widerfährt dem Cloud Computing. Bei Cloud Computing Angeboten kann es sich sowohl um IaaS handeln, aber auch um SaaS oder PaaS. Allerdings wird der Begriff Cloud Computing oft nur mit Amazons Angebot der EC2 in Verbindung gebracht.

Der Zugriff auf D-Grid Ressourcen erfolgte über die drei im D-Grid etablierten Grid Middlewares gLite, Globus Toolkit und UNICORE. Diese Middlewares wurden ursprünglich für einen akademischen Kundenkreis entwickelt und bringen eine weitgehend nicht-intuitive Nutzbarkeit mit sich. Gerade bei der Gewinnung von kleinen und mittelständischen Unternehmen als Neukunden schreckt die damit verbundene Komplexität ab und wird durch das EC2 Angebot reduziert. Die Ausfüllung der vierten Middlewaresäule des D-Grid soll durch eine Compute Cloud Middleware, den eCloud Manager, erfolgen. Dieser unterstützt bereits in seiner aktuellen Version die Ansteuerung von VMware, Xen und Hyper-V, wodurch D-Grid Ressourcenanbieter frei in der Wahl ihrer Virtualisierungsumgebung bleiben.

An dem D-Grid IaaS Projekt waren das Institut für Roboterforschung der Technischen Universität Dortmund und die fluid Operations AG beteiligt.

GDI-Grid

Das Geodaten-Infrastrukturen-Grid bildete in einem Konsortium aus Hochschulen und Unternehmen ein Projekt zur Hinführung bereits bestehender Geodateninfrastrukturen an Grid-Technologien. Die teilweise sehr rechenaufwändigen Prozesse und Algorithmen, die von Geowissenschaftlern zur Modellierung und Simulation eingesetzt werden, sollen von der nationalen Grid-Infrastruktur profitieren, indem Rechen- und Speicherkapazitäten dezentral genutzt werden. Zunächst sollen sich häufig wiederholende Prozessierungsaufgaben (wie etwa Tesselation) in Grid-Prozesse ausgelagert werden. Weiterhin soll das sehr hohe Datenaufkommen in Geodateninfrastrukturen (z. B. DGM, Karten- und Metadatenkataloge) möglichst dezentral und im Rahmen der jeweils geltenden Lizenzbestimmungen für alle Berechtigten zugänglich gemacht werden.

Die Verkettung verschiedener Prozessierungsschritte zu anschaulichen Anwendungsmodellen wird durch drei Beispielszenarien demonstriert:

• In einem Szenario zur Überflutungssimulation werden Katastrophen wie die Elbeflut durch die Kombination von Grid- und GDI-Technologien simuliert.
• Die Ausbreitung von Verkehrslärm im Straßennetz einer Stadt und dessen Auswirkung auf die umliegenden Wohn- und Gewerbegebiete stellt den Gegenstand einer zweiten Simulation dar.
• Ein drittes Szenario soll Rettungskräfte mit einer Möglichkeit versorgen, im Katastrophenfall eine dynamische Wegeplanung zu erstellen, wobei Mittel der traditionellen Fahrzeugnavigation um eine grid-gestützte Berechnung und die Berücksichtigung von Hindernissen (etwa durch umgestürzte Bäume oder Trümmer) erweitert werden.

Das GDI-Grid-Projekt wird vom Regionalen Rechenzentrum für Niedersachsen (RRZN) der Universität Hannover geleitet.

HEP-Grid

Das HEP-Community-Grid, oder kurz HEP-Grid, war das deutsche Hochenergiephysik-Grid. Die Leitung dieses Projekts lag beim Deutschen Elektronen-Synchrotron (DESY) in Hamburg, es arbeiten neun deutsche Institute und Universitäten sowie eine Reihe von assoziierten Partnern mit.

Hauptziel des HEP-Grids war es, die Datenauswertung in der Hochenergiephysik durch die effiziente Nutzung verteilter und vernetzter Speicher- und Rechnerressourcen zu verbessern. Die geplanten Entwicklungen waren wichtige Ergänzungen zu der benutzten Gridsoftware aus den Projekten Enabling Grids for E-sciencE (EGEE) und LHC Computing Grid (LCG). Sie sind ein bedeutender Beitrag zur Datenanalyse laufender und zukünftiger Großexperimente, etwa am Large Hadron Collider (LHC) bei CERN oder an dem geplanten Internationalen Linearcollider (ILC).

InGrid

Das Community-Projekt InGrid war ein Zusammenschluss im Bereich der Ingenieurwissenschaften. InGrid ermöglichte Grid-basierte Anwendungen und effiziente Nutzung gemeinsamer Rechner- und Software-Ressourcen für ingenieurwissenschaftliche Projekte. Im Rahmen dieses Projektes sollte eine Grid-Umgebung für ingenieurwissenschaftliche Anwendungen erstellt werden. Durch den flexiblen Einsatz von Grid-Technologien sollten Modellierungs-, Simulations- und Optimierungskompetenz zusammengeführt, sowie die gemeinsame Nutzung von Ressourcen effizient ermöglicht werden.

Fünf typische Anwendungsgebiete (Gießereitechnik, Umformung, Grundwasserströmung und -transport, Turbinensimulation und Interaktion von Strömungs- und Strukturmechanik) sollen exemplarisch bearbeitet werden, um die drei zentralen Bereiche rechenintensiver ingenieurwissenschaftlicher Anwendungen (gekoppelte Multiskalenprobleme, gekoppelte multidisziplinäre Probleme sowie verteilte simulationsbasierte Optimierung) abzudecken. Insbesondere wurden adaptive und skalierbare Prozessmodelle und Grid-basierte Ablaufumgebungen für diese Aufgabenstellungen entwickelt.

Ingenieurwissenschaftliche Forschung ist von Natur aus anwendungs- und industrienah. Die Unterstützung von virtuellem Prototyping und die Optimierung ingenieurwissenschaftlicher Abläufe ist daher ein Schwerpunkt des Projekts. Die Leitung von InGrid lag beim Höchstleistungsrechenzentrum (HLRS) der Universität Stuttgart.

MediGRID

Im Verbundprojekt MediGRID hatten sich renommierte Forschungseinrichtungen in den Bereichen Medizin, Bioinformatik und Gesundheitswissenschaften als Konsortialpartner zusammengeschlossen, um eine Grid-Middleware-Integrationsplattform und darauf aufsetzende eScience-Dienste für die biomedizinische Wissenschaft zu entwickeln. Die weitere Einbeziehung zahlreicher assoziierter Partner aus Industrie, Versorgungs- und Forschungseinrichtungen stellte das Projekt auf eine breite Interessensbasis.

Für das Projekt wurde eine modulare Aufgabenverteilung gewählt: In den vier methodischen Projekt-Modulen (Middleware, Ontologie-Werkzeuge, Ressourcenfusion und eScience) entwickeln die entsprechenden Konsortialpartner schrittweise eine Grid-Infrastruktur. Sie berücksichtigen dabei insbesondere die Anforderungen der Grid-Nutzer aus dem biomedizinischen Umfeld, welche exemplarisch in den drei anwendungsorientierten Projektmodulen (Biomedizinische Informatik, Bildverarbeitung, Klinische Forschung) erarbeitet wurden.

SuGI

SuGI – Sustainable Grid Infrastructure – war ein Gap-Projekt der D-Grid-Initiative mit dem Ziel, Grid-Computing in die Fläche zu tragen und dort nutzbar zu machen. Das Projekt ist auf die Vielzahl kleinerer und mittlerer Rechenzentren an Hochschulen und Unternehmen ausgerichtet, die Grid-Technologien bisher nicht oder nur in geringem Maße nutzen. Sie wurden in der Bereitstellung von Grid-Ressourcen und Services unterstützt.

Über den Aufbau einer skalierenden Trainingsinfrastruktur (SuGI-Schulungsportal), technische Hilfestellungen bei der Installation und dem Betrieb der Middleware sowie über die Entwicklung und Evaluierung rechtlicher und organisatorischer Strukturen leistete SuGI einen wichtigen Beitrag zur Entstehung einer Grid-Plattform für e-Science in Deutschland.

TextGrid

Obwohl e-Science-Konzepte und Grid-Technologien ursprünglich aus den Naturwissenschaften und der Medizin stammen, gibt es auch breite Einsatzgebiete in den Geisteswissenschaften und der Kunst. TextGrid war das erste geisteswissenschaftliche Grid-Projekt in Deutschland, und somit gemeinsam mit anderen e-Humanities-Initiativen der ersten Stunde an der „Gridifizierung“ der Geisteswissenschaften beteiligt.

TextGrid lieferte auf diese Weise einen Beitrag zur textbasierten Forschung. Eine Grid-fähige Workbench ermöglichte die gemeinschaftliche philologische Bearbeitung, Analyse, Annotation, Edition und Publikation von wissenschaftlichen Texten. Grid-Technologien verbinden die vorhandenen Textarchive, und – inspiriert von Ansätzen und Entwicklungsmöglichkeiten zum Semantic Grid – deren Ressourcen wie Textkorpora, Wörterbücher und Nachweisinstrumente untereinander verknüpfen. Die für weitere Projekte offenen Schnittstellen ermöglichen Synergien mit anderen Initiativen in der wissenschaftlichen Textdatenverarbeitung sowie eine Rationalisierung des wissenschaftlichen Arbeitens unter anderem durch optimierten Zugriff auf Primärquellen und Werkzeuge.

In TextGrid kooperierten folgende fachwissenschaftliche und technische Partner: die SUB Göttingen (Projektleitung), das Institut für Deutsche Sprache, die Max Planck Digital Library, die Universität Trier, die Hochschule Worms, die Universität Paderborn, die Technische Universität Kaiserslautern, die Ludwig-Maximilians-Universität München, die Universität Würzburg sowie die Firma DAASI International GmbH.

WISENT

WISENT war das Wissensnetz Energiemeteorologie – ein vom BMBF gefördertes e-Science-Projekt zur informationstechnisch optimierten Zusammenarbeit von Organisationen, die Forschung und Entwicklung im Bereich Energiemeteorologie betreiben. Der Schwerpunkt liegt dabei auf erneuerbaren Energien, die in besonderem Maße vom Wetter abhängen.

Die Partner in WISENT waren das Deutsche Zentrum für Luft- und Raumfahrt (DLR), die Universität Oldenburg, das Oldenburger Forschungs- und Entwicklungsinstitut für Informatik-Werkzeuge und -Systeme (OFFIS) und die meteocontrol GmbH.

Mit der Konstruktion des durch die Helmholtz-Gemeinschaft geförderten virtuellen Instituts für Energiemeteorologie (vIEM) wurden eine institutionelle Basis geschaffen, die im IT-Bereich nun eine Ergänzung durch innovative Grid-basierte Techniken für den Zugriff auf verteilte und vielfach sehr heterogene Ressourcen und deren verteilte Bearbeitung notwendig machte. Merkmal der Arbeiten im vIEM war die gemeinsame Nutzung und Bearbeitung großer Datenbestände (in der Größenordnung vieler Terabyte), für die gegenwärtig noch keine ausreichend leistungsfähigen Instrumente und Dienste verfügbar waren. Die parallele Verarbeitung der Daten stellte einen vielversprechenden Lösungsweg für diese Probleme dar.

ValueGrids

ValueGrids konzipierte und entwickelte einen integrierten Ansatz für das Service Level Management in Wertschöpfungsnetzen. Dadurch werden Anbieter von Software-as-a-Service in die Lage versetzte, die D-Grid Infrastruktur nachhaltig zu nutzen.

Die Kooperationspartner von ValueGrids waren: die SAP AG (Koordination), die Conemis AG, die IBM Deutschland Research & Development GmbH, die Albert-Ludwigs-Universität Freiburg und das Karlsruher Institut für Technologie.