MareNostrum

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen
MareNostrum

MareNostrum (lateinisch Mare nostrum ‚unser Meer‘, eine römische Bezeichnung des Mittelmeeres) ist der Name für mehrere Generationen von Supercomputern an der Universitat Politècnica de Catalunya in Barcelona. Betrieben wird die Einrichtung vom Barcelona Supercomputer Centre BSC. Der Supercomputer ist für Forschung in den Bereichen Biowissenschaften, Meteorologie, und Umweltwissenschaften vorgesehen und für kommerzielle Anwendungen in den Bereichen Pharmazeutik, Automobil und Aeronautik. Die komplette Technikinstallation wurde in die ehemalige Kapelle Torre Girona eingebaut und wird von 5 m hohen Glaswänden umgeben. Der Supercomputer wurde seit der ersten Inbetriebnahme 2004 mehrfach durch aktuellere Technik ersetzt.

Aufgaben[Bearbeiten | Quelltext bearbeiten]

MareNostrum erfüllt vielfältige Aufgaben in Wissenschaft, Forschung und Lehre. Die Arbeitsbereiche umfassen Big Data, Bioinformatik, Biomechanik, Klimatologie, Cloud Computing, Kognitionswissenschaft, Rechnerarchitektur und Codedesign, verteilte Systeme, Schulung, Technische Simulationen, Fusionsenergie, Genomforschung, Geophysik, Softwareentwicklung für Supercomputer, Materialwissenschaft, Molekulare Modellierung Operations Infrastruktur, Leistungsanalyse, Programmierungsmodelle, Soziale Simulationen, rechnergestützte Erdwissenschaften, extreme mathematische Probleme und Algorithmen, Quanteninformation.

MareNostrum 1[Bearbeiten | Quelltext bearbeiten]

Bei Inbetriebnahme im November 2004 erreichte MareNostrum eine Dauerrechenleistung von 20 Teraflops bei Nutzung von 3.564 PPC 970, 2,2 GHz Prozessoren und kam damit im November 2004 auf Platz 4 der TOP500.[1]

Am 13. April 2005 wurde der Rechner zum ersten Mal mit 4.800 PPC 970, 2,2 GHz Prozessoren und Myrinet mit seiner vollen Leistung von 27,9 Teraflops hochgefahren. In dieser neuen Konfiguration erreichte er mit insgesamt 4.812 Prozessoren Platz fünf der Ausgabe Juni 2005 der Vergleichsliste.[2]

MareNostrum 2[Bearbeiten | Quelltext bearbeiten]

Nach einer Umrüstung im Jahr 2006 auf PPC 970, 2,3 GHz Prozessoren und Myrinet verfügte MareNostrum 2 über 10.240 Kerne und 20 TB RAM und erreichte damit mit 62,6 Teraflops. Das System hatte ungefähr 300 TB Plattenpeicher. Das reichte im November 2006 für den fünften Platz in der Liste. 2008 kam es mit einer Leistung von 63,8 TFLOPS als Spaniens schnellstes System weltweit auf den 41. Platz. Im Juni 2012 belegte es noch Platz 465.[3] Als das System abgebaut wurde, wurden die verbleibenden Teile zu kleineren Clustern mit 256 und 512 Rechenknoten aufgeteilt, die in verschiedenen spanischen Universitäten und Instituten weiterbetrieben wurden.

MareNostrum 3[Bearbeiten | Quelltext bearbeiten]

MareNostrum 3

Für den Betrieb von MareNostrum 3 wurden umfangreiche Bauarbeiten zur Verstärkung der Stromversorgung und des Kühlsystems erforderlich.

In der Zeit zwischen 2011 und 2013 waren zwei Systeme in Betrieb. Eines war Bullx B505, ein System aus 5.544 Xeon E5649 6C 2,53 GHz Prozessoren, InfiniBand QDR, NVIDIA 2090 Prozessoren und 3024 GB Speicher. Dieses System schaffte 103,2 Teraflops und wurde bis 2013 betrieben.[4]

MareNostrum 3 ging zwischen 2012 und 2013 in Betrieb und verwendete anfänglich 33.664 DX360M4, Xeon E5-2670 8-Core, 2.600GHz Prozessoren und InfiniBand FDR zur Verbindung. Die Leistung war damit 636,9 Teraflops. Der Computer verfügte ab 2013 über 48.896 Intel Sandy Bridge Prozessoren in 3.056 Knoten, dazu 84 Xeon Phi 5110P in 42 Knoten, mit mehr als 115 TB Hauptspeicher und 2 PB an GPFS Diskspeicher. Insgesamt erreichte er damit 925,1 Teraflop und 1,1 Petaflop peak.[5][6][7] Im Top500 Ranking erreichte das System im Juni 2013 den Platz 29.[8]

MareNostrum 4[Bearbeiten | Quelltext bearbeiten]

MareNostrum 4

MareNostrum 3 wurde ab Mitte 2017 durch MareNostrum 4 ersetzt. Das neue System übertrifft MareNostrum 3 ungefähr um den Faktor 10 bis 12. Er verfügte anfänglich über 11,1 Petaflops Peak Rechenkapazität und erreichte mit dem zusätzlichen Cluster aus IBM Power9 und Nvidia Volta Prozessoren 13,7 Petaflops. Gemäß dem Top 500 Ranking vom 19. Juni 2017 war es der drittstärkste Cluster in Europa und der dreizehnte weltweit.[9] MareNostrum 4 ist verbunden mit den Big Data Einrichtungen des Barcelona Supercomputer Centre BSC, die eine Speicherkapazität von 24,6 Petabytes haben und ist über die RedIris- und GÉANT-Netzwerke mit den europäischen Universitäten verbunden.[10]

Bemerkenswert ist die heterogene Architektur. Es gibt den allgemeinen Block, der die Hauptrechenarbeit übernimmt und einen zusätzlichen Block zur Erforschung neu entwickelter Technologien. Fünf Speichereinheiten (Elastic Storage) verwalten 14 Petabytes an Daten, ein Intel-Omni-Path-Hochgeschwindigkeitsnetzwerk und ein Ethernet verbindet die Komponenten.[10]

General-purpose Cluster[Bearbeiten | Quelltext bearbeiten]

  • Der allgemeine Block bestand anfänglich aus 48 Racks mit 3.456 Knoten. Jeder Knoten hat zwei Intel Xeon Platinum Chips, jeder mit 24 Prozessoren, somit insgesamt 165.888 Prozessoren und ein Hauptspeicher von 290 Terabytes. Obwohl die Leistung um den Faktor 10 gewachsen ist, stieg der Energiebedarf nur um 30 % auf 1,3 MW.[10] Mitte 2018 bestand das System aus 2x Intel Xeon Platinum 8160 24C mit 2,1 GHz, 216 Knoten mit 12x32 GB DDR4-2667 DIMMS (8 GB/Core) und 3.240 Knoten mit 12x8 GB DDR4-2667 DIMMS (2 GB/Core). Als Betriebssystem dient SUSE Linux Enterprise Server 12 SP2.[11]

Emerging Technologies Blocks[Bearbeiten | Quelltext bearbeiten]

Der Block mit den neuentwickelten Technologien enthält Cluster von drei verschiedenen Technologien, die eingebunden und aktualisiert werden, sowie sie auf dem Markt verfügbar sind. Neue Prozessoren und Software können damit betrieben, getestet und optimiert werden, noch bevor die nächste Rechnergeneration im vollen Umfang aufgebaut wird. Spezialisierte Chips z. B. Grafikprozessoren können entsprechende Aufgaben in besonderem Maß optimieren und beschleunigen. Der Übergang zu künftigen neuen Technologien kann so fließend geschehen.

  • Ein Cluster aus IBM POWER9 und Nvidia-Volta-GPUs mit einer Rechenleistung von über 1,5 Petaflops.[10] Der Cluster mit dem Namen CTE - Power besteht aus 52 Knoten. Jeder Knoten besteht aus 2 x IBM Power9 8335-GTG @ 3,00 GHz (2 x 20 Kerne und 4 Threads/Kern, insgesamt 160 Threads pro Knoten), 512 GB Hauptspeicher verteilt auf 16 DIMMs x 32 GB @ 2666 MHz, 2 x SSD 1,9 TB als lokaler Speicher, 2 x 3,2 TB NVME, 4 x GPU NVIDIA V100 (Volta) mit 16 GB High Bandwidth Memory 2, Single Port Mellanox EDR, GPFS über Glasfaser 10 GBit, Betriebssystem Red Hat Enterprise Linux Server 7.4.[12] Der Cluster ging im Mai 2018 in Betrieb und übertraf alleine bereits die Leistungen von MareNostrum 3 um 50 %.[13] Dieser Cluster arbeitet besonders energieeffizient und verschaffte dem System den Platz 9 des Green500.[14] Dieser Cluster enthält 19.440 Prozessoren und insgesamt 27.648 GB RAM und kam im Juni 2018 auf Platz 255. MareNostrum war damit mit zwei Systemen gleichzeitig in den Top 500 vertreten.[15]
  • Ein Cluster aus Intel Knights Hill (KNH) Prozessoren mit einer Rechenkapazität von 0,5 Petaflops war ursprünglich vorgesehen.[10] Nachdem Intel die Knight Hill Prozessoren eingestellt hat, gingen die Planungen in Richtung eines anderen Intel-basierten Systems, womöglich Aurora A21 für das Jahr 2021.[16] Dann entschied man sich für einen Cluster aus AMD Rome Prozessoren und AMD Radeon Instinct MI50 Grafikprozessoren. Das System soll 0.52 Petaflops erreichen.[5]
  • Ein Cluster aus 64Bit ARMv8 Prozessoren mit einer Rechenkapazität von 0,5 Petaflops.[10]

MinoTauro[Bearbeiten | Quelltext bearbeiten]

BSC betreibt noch weitere größere Rechenknoten. Der zweitgrößte Cluster unter dem Namen MinoTauro vereinigt im Jahr 2019 39 Server mit jeweils

  • 2 Intel Xeon E5-2630 v3 8-core Prozessoren, 2,4 GHz
  • 2 K80 NVIDIA-GPU-Karten
  • 128 GB Hauptspeicher
  • 120 GB Solid State Disk als lokaler Speicher
  • 1 PCIe 3.0 x8 8GT/s, Mellanox ConnectX-3FDR 56 Gbit
  • 4 Gigabit-Ethernet-Ports

Insgesamt erreicht das System 250.94 Tflops Peak, davon 226,98 TFlops von den Grafikprozessoren und 23,96 TFlops von den Hauptprozessoren. Als Betriebssystem kommt Red Hat Enterprise Server zum Einsatz[17]

MareNostrum 5 als Teil von EHPC[Bearbeiten | Quelltext bearbeiten]

Barcelona ist als Standort für einen der Vorläufer-Computer der europäischen Supercomputer vorgesehen, die im Rahmen des European High-Performance Computing Joint Undertaking – EuroHPC gefördert werden. Dieser Computer sollte über 200 Petaflops Peak Rechenkapazität erreichen und am 31. Dezember 2020 in Betrieb gehen. MareNostrum 5 soll ein Budget von 223 Millionen Euros haben, dieses schließt den Kauf, die Installation und den Betrieb für fünf Jahre ein. Das EuroHPC Programm dient zur Förderung des Hochleistungsrechnens in den kleineren und finanzschwächeren Staaten, die die erforderlichen Mittel sonst nicht aufbringen könnten. Die Hälfte des Budgets für MareNostrum 5 wird von der EU bereitgestellt, die andere Hälfte kommt von den Staaten Spanien, Portugal, Türkei, Kroatien und Irland, die zu diesem Zweck ein Konsortium bilden.[18] Für EuroHPV sind Cluster an acht verschiedenen Standorten in acht verschiedenen europäischen Mitgliedsstaaten vorgesehen. Die ausgewählten Standorte sind Sofia (Bulgaria), Ostrava (Tschechien), Kajaani (Finland), Bologna (Italien), Bissen (Luxemburg), Minho (Portugal), Maribor (Slowenien) und Barcelona (Spanien). Am gesamten Projekt sind 19 der 28 EU-Mitglieder beteiligt, außerdem einige Länder, die nicht Teil der EU sind. Das Projekt hat insgesamt ein Budget von ungefähr 840 Millionen €. Es soll drei Vorläufer-Maschinen mit mehr als 150 Petaflops geben, die später durch 5 Einheiten im Exa-Maßstab und fünf Maschinen mit 4 Petaflops ergänzt werden. Die Vorläufer-Maschinen sollen ungefähr die vierfach größere Rechenleistung erbringen, als die gegenwärtigen Systeme der Partnership for Advanced Computing in Europe (PRACE). Ein Ziel ist auch die Entwicklung und Integration einer europäischen Prozessortechnologie, die die Abhängigkeit von außereuropäischer Technologie beseitigen soll. Die Inbetriebnahme von MareNostrum5 war für Ende 2020 geplant.[19] MareNostrum 5 wird mehr Platz beanspruchen, als MareNostrum 4, der Platz in der Kapelle Torre Girona wird dafür nicht mehr ausreichen, so dass ein Teil im benachbarten Gebäude von BSC aufgestellt werden muss. Aus verschiedenen Gründen hat sich das Projekt verzögert und die ersten Arbeiten dafür werden für Mitte 2021 erwartet.

Weblinks[Bearbeiten | Quelltext bearbeiten]

Commons: MareNostrum – Sammlung von Bildern, Videos und Audiodateien

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. MareNostrum - eServer BladeCenter JS20 (PowerPC970 2,2 GHz), Myrinet | TOP500 Supercomputer Sites. Abgerufen am 18. März 2018 (englisch).
  2. MareNostrum - JS20 Cluster, PPC 970, 2,2 GHz, Myrinet | TOP500 Supercomputer Sites. Abgerufen am 18. März 2018 (englisch).
  3. MareNostrum - BladeCenter JS21 Cluster, PPC 970, 2,3 GHz, Myrinet | TOP500 Supercomputer Sites. Abgerufen am 18. März 2018 (englisch).
  4. Bullx B505, Xeon E5649 6C 2.53GHz, Infiniband QDR, NVIDIA 2090 | TOP500 Supercomputer Sites. Abgerufen am 18. März 2018 (englisch).
  5. a b MareNostrum | BSC-CNS. Abgerufen am 17. März 2018 (englisch).
  6. Barcelona Supercomputing Center (Hrsg.): MareNostrum III User’s Guide. (bsc.es [PDF]).
  7. MareNostrum 3 | BSC-CNS. Abgerufen am 17. März 2018 (englisch).
  8. Top500 List - June 2013 | TOP500 Supercomputer Sites. Abgerufen am 18. März 2018 (englisch).
  9. Top500 List - June 2017 | TOP500 Supercomputer Sites. Abgerufen am 2. April 2018 (englisch).
  10. a b c d e f MareNostrum 4 begins operation. Abgerufen am 17. März 2018 (englisch).
  11. Technical Information | BSC-CNS. Abgerufen am 28. Juli 2018 (englisch).
  12. Support Knowledge Center @ BSC-CNS. Abgerufen am 28. Juli 2018 (englisch).
  13. MareNostrum 4 POWER9 racks begin operation with high expectation for AI - based research | BSC-CNS. Abgerufen am 28. Juli 2018 (englisch).
  14. The new BSC machine is Europe’s “greenest” supercomputer | BSC-CNS. Abgerufen am 28. Juli 2018 (englisch).
  15. MareNostrum P9 CTE - IBM Power System AC922, IBM POWER9 22C 3.1GHz, Dual-rail Mellanox EDR Infiniband, NVIDIA Tesla V100 | TOP500 Supercomputer Sites. Abgerufen am 9. November 2018 (englisch).
  16. BSC Fires Up Power9-V100 Hybrid Compute On MareNostrum 4. 13. Juni 2018 (nextplatform.com [abgerufen am 31. Juli 2018]).
  17. MinoTauro. Abgerufen am 8. Februar 2019 (englisch).
  18. MareNostrum 5 will host an experimental platform to create supercomputing technologies “made in Europe”. Abgerufen am 11. August 2019 (englisch).
  19. European Commission - PRESS RELEASES - Press release - Digitaler Binnenmarkt: Europa gibt acht Standorte für neue Supercomputer von Weltrang bekannt. Abgerufen am 13. August 2019.