MareNostrum

• Der allgemeine Block bestand anfänglich aus 48 Racks mit 3.456 Knoten. Jeder Knoten hatte zwei Intel Xeon Platinum Chips, jeder mit 24 Kernen, somit insgesamt 165.888 Kerne und ein Hauptspeicher von 290 Terabytes. Obwohl die Leistung um den Faktor 10 wuchs, stieg der Energiebedarf nur um 30 % auf 1,3 MW.[10] Mitte 2018 bestand das System aus 2x Intel Xeon Platinum 8160 24C mit 2,1 GHz, 216 Knoten mit 12x32 GB DDR4-2667 DIMMS (8 GB/Core) und 3.240 Knoten mit 12x8 GB DDR4-2667 DIMMS (2 GB/Core). Als Betriebssystem diente SUSE Linux Enterprise Server 12 SP2.[11]

Der Block mit den neuentwickelten Technologien enthielt Cluster von drei verschiedenen Technologien so wie sie verfügbar waren. Neue Prozessoren und Software konnten damit betrieben, getestet und optimiert werden, noch bevor die nächste Rechnergeneration im vollen Umfang aufgebaut wird. Spezialisierte Chips z. B. Grafikprozessoren konnten entsprechende Aufgaben in besonderem Maß optimieren und beschleunigen. Der Übergang zu künftigen neuen Technologien konnte so fließend geschehen.

• Ein Cluster aus IBM POWER9 und Nvidia-Volta-GPUs mit einer Rechenleistung von über 1,5 Petaflops.[10] Der Cluster mit dem Namen CTE - Power bestand aus 52 Knoten. Jeder Knoten bestand aus 2 x IBM Power9 8335-GTG @ 3,00 GHz (2 x 20 Kerne und 4 Threads/Kern, insgesamt 160 Threads pro Knoten), 512 GB Hauptspeicher verteilt auf 16 DIMMs x 32 GB @ 2666 MHz, 2 x SSD 1,9 TB als lokaler Speicher, 2 x 3,2 TB NVME, 4 x GPU NVIDIA V100 (Volta) mit 16 GB High Bandwidth Memory 2, Single Port Mellanox EDR, GPFS über Glasfaser 10 GBit, Betriebssystem Red Hat Enterprise Linux Server 7.4.[12] Der Cluster ging im Mai 2018 in Betrieb und übertraf alleine bereits die Leistungen von MareNostrum 3 um 50 %.[13] Dieser Cluster arbeitete besonders energieeffizient und verschaffte dem System den Platz 9 des Green500.[14] Dieser Cluster enthielt 19.440 Prozessoren und insgesamt 27.648 GB RAM und kam im Juni 2018 auf Platz 255. MareNostrum war damit mit zwei Systemen gleichzeitig in den Top 500 vertreten.[15]

• Ein Cluster aus Intel Knights Hill (KNH) Prozessoren mit einer Rechenkapazität von 0,5 Petaflops war ursprünglich vorgesehen.[10] Nachdem Intel die Knight Hill Prozessoren eingestellt hatte, gingen die Planungen in Richtung eines anderen Intel-basierten Systems, womöglich Aurora A21 für das Jahr 2021.[16] Dann entschied man sich für einen Cluster aus AMD Rome Prozessoren und AMD Radeon Instinct MI50 Grafikprozessoren. Das System erreichte 0.52 Petaflops.[5]
• Ein Cluster aus 64Bit ARMv8 Prozessoren mit einer Rechenkapazität von 0,5 Petaflops.[10]

Für das European High-Performance Computing Joint Undertaking (EuroHPC JU) sind Cluster an acht verschiedenen Standorten in acht verschiedenen europäischen Mitgliedsstaaten vorgesehen. Das EuroHPC-Programm dient zur Förderung des Hochleistungsrechnens in den kleineren und finanzschwächeren Staaten, die die erforderlichen Mittel sonst nicht aufbringen könnten. Die ausgewählten Standorte sind Sofia (Bulgarien), Ostrava (Tschechien), Kajaani (Finland), Bologna (Italien), Bissen (Luxemburg), Minho (Portugal), Maribor (Slowenien) und Barcelona (Spanien). Am gesamten Projekt sind 19 der 27 EU-Mitglieder beteiligt, außerdem einige Länder, die nicht Teil der EU sind. Das Projekt hat insgesamt ein Budget von ungefähr 840 Millionen €. Es soll drei Vorläufer-Maschinen (Pre-Exa Scale) mit mehr als 150 Petaflops geben, die später durch 5 Einheiten im Exa-Maßstab und fünf Maschinen mit 4 Petaflops ergänzt werden. Die Vorläufer-Maschinen sollen ungefähr die vierfach größere Rechenleistung erbringen, als die gegenwärtigen Systeme der Partnership for Advanced Computing in Europe (PRACE). Ein Ziel ist auch die Entwicklung und Integration einer europäischen Prozessortechnologie, die die Abhängigkeit von außereuropäischer Technologie beseitigen soll.[18]

Barcelona ist somit als Standort für einen der Vorläufer-Computer der europäischen Supercomputer vorgesehen, die im Rahmen von EuroHPC gefördert werden. Dieser Computer sollte über 200 Petaflops Peak Rechenkapazität erreichen und am 31. Dezember 2020 in Betrieb gehen. MareNostrum 5 soll ein Budget von 223 Millionen Euro haben, dieses schließt den Kauf, die Installation und den Betrieb für fünf Jahre ein. Die Hälfte des Budgets für MareNostrum 5 wird von der EU bereitgestellt, die andere Hälfte kommt von den Staaten Spanien, Portugal, Türkei, Kroatien und Irland, die zu diesem Zweck ein Konsortium bilden.[19]

• Bereitstellung und Unterhalt für fünf Jahre
• Dauerhafte Rechenleistung (sustained Linpack) mehr als 205 PFlop/s
• Minimum 2,5 PB Hauptspeicher (RAM)
• Minimum 204 PB Plattenspeicher mit einer Lesegeschwindigkeit von 1.6 Tbytes/s und Schreibgeschwindigkeit von 1.2 Tbytes/s
• Minimum 400 PB Langzeitspeicher z. B. Bandlaufwerke
• Maximale Leistungsaufnahme 13 MW bei gemischter Auslastung, inklusive Linpack
• Angestrebter Start der Installation 3. Quartal 2022, betriebsfähig bis Ende 2022
• Die Teile mit Technologie der nächsten Generation haben mehr Spielraum und sollen Ende 2023 in Betrieb gehen.
• Die Anlage muss ein energiesparendes Design und ein PUE unter 1.08 aufweisen
• Die Anlage muss für Publikumsverkehr geeignet sein.
• Die Anlage muss unterschiedliche Bedürfnisse von unterschiedlichen Benutzergruppen erfüllen können, daher müssen heterogene Recheneinheiten in einer Architektur vereinigt werden:
  • Ein Block mit gewöhnlichen Prozessoren und Koprozessoren, z. B. Grafikprozessoren zur Erreichen der notwendigen PFlop/s
  • Ein Block mit unbeschleunigten Prozessoren für einfache Benutzbarkeit für möglichst viele unterschiedliche Anwendungen und Benutzergruppen.
• Zwei Blocks (jeweils einer mit und einer ohne Koprozessoren) mit Technologie der nächsten Generation mit drei Aufgaben:
  • Vorbereiten der Software und Codes für Aufgaben im Exaflop-Maßstab
  • Zusammenarbeit bei der Entwicklung europäischer Technologie
  • Testumgebung für die Einschätzung von Technologie im Exaflop-Maßstab
• Ein Block mit Vor- und Nachprozessoren mit Knoten, die besonders datenintensive Aufgaben übernehmen.[20][21]

Die Inbetriebnahme von MareNostrum5 war ursprünglich für Ende 2020 geplant. MareNostrum 5 beansprucht deutlich mehr Platz als MareNostrum 4. Der Platz in der Kapelle Torre Girona reichte dafür nicht mehr aus, so dass ein Teil einem benachbarten Gebäude aufgestellt werden muss. Das neue Gebäude wurde zu diesem Zweck im Oktober 2021 eingeweiht.[22] Zu den vorbereitenden Maßnahmen gehörte der Aufbau von fünf Transformatoren mit insgesamt 20 MVA für den Energiebedarf und neue Kühltürme für die Abfuhr von 17 MW Wärmeleistung, die außer MareNostrum 5 auch noch künftige Erweiterungen unterstützen sollen. Aus verschiedenen Gründen verzögerte sich das Projekt. Im Juli 2021 wurde die Ausschreibung gestoppt, da sich in der Zwischenzeit die Spezifikationen geändert haben und über die bestehenden Angebote keine Einigkeit erzielt werden konnte. Ein Faktor war dabei die höhere Nachfrage nach Projekten im Sektor Medizin und Erforschung neuer Wirkstoffe.[23] Im Januar 2022 wurde eine neue Ausschreibung gestartet, die Installation im 3. Quartal 2022 beginnen und dann noch 2023 in Betrieb gehen.[24] Die offizielle Einweihung war dann am 21. Dezember 2023 in Anwesenheit des Ministerpräsidenten Pedro Sánchez.[25]

Der neue Supercomputer soll einen zusätzlichen Quantencomputer umfassen, der von einem Temporary Joint Venture (UTE) bestehend aus dem Startup-Unternehmen Qilimanjaro Quantum Tech und dem spanischen Technologie- und Telekommunikationsunternehmen GMV bereitgestellt werden soll. Es soll der erste Quantencomputer mit öffentlichem Zugang in Südeuropa sein. Die ersten dieser Systeme sollen im 2. Quartal 2023 geliefert werden und im 3. Quartal in den Probebetrieb gehen.[26]

MareNostrum 5 wurde von Bull SAS geliefert und kombiniert Bull Sequana XH3000 und Lenovo ThinkSystem Architekturen mit Red Hat Enterprise Server als Betriebssystem. Es hat eine kombinierte Rechenleistung von 314 PFlops Peak. Das System besteht aus vier Partitionen mit unterschiedlicher Technologie, die jeweils für bestimmte Anwendungen vorgesehen sind. Während die ersten beiden Partitionen die Masse der Berechnungen durchführen, werden die beiden Partitionen für die nächste Generation für Tests, Schulungen und Softwareentwicklung genutzt. Diese beiden Partitionen werden zu einem späteren Zeitpunkt nach und nach in Betrieb gehen und die kommende Generation von Exascale-Computern vorbereiten. Im Ranking in den Top 500 werden die Blocks einzeln bewertet: General Purpose Partition erreichte im November 2023 mit Rmax von 40,10 und Rpeak 46.37 Petaflops den Platz 19, die Accelerated Partition mit Rmax 138,20 und Rpeak 265.57 Petaflops den 8. Platz weltweit.[27] In der Green500 Liste erreichten die beiden Blocks Platz 6 und Platz 80.[28]

• Partition für allgemeine Aufgaben (General Purpose Partition): Basiert auf Intel Sapphire Rapids besteht aus 6408 Knoten, dazu 72 HBM Knoten.
• Partition beschleunigt mit Grafikprozessoren (Accelerated Partition): Basiert auf Intel Sapphire Rapids und Nvidia Hopper GPUs. Jeder Knoten ist mit vier Hopper GPUs ausgestattet.
• Partition für allgemeine Aufgaben, nächste Generation: Basiert auf der Nvidia GRACE CPU
• Partition beschleunigt mit Grafikprozessoren, nächste Generation: noch nicht vollständig spezifiziert

MareNostrum 5 GPP (General Purpose Partition)

Diese Partition hat 6408 Rechenknoten, basierend auf Intel Sapphire Rapid Prozessoren. Jeder Knoten hat

• 2x Intel Shappire Rapids 8480+ mit 2 GHz und 56 Kernen, somit 112 Kerne pro Knoten
• 256 GB DDR5 Hauptspeicher, 216 Knoten verfügen über 1024 GB Hauptspeicher
• 960 GB nichtflüchtiger Speicher
• 1x NDR200 Infiniband, der von zwei Knoten genutzt wird (Shared IO), Bandbreite pro Knoten 100 Gb/s, zusammen 200 Gb/s

Zusätzlich zu den 6408 Standardknoten gibt es 72 Knoten für Aufgaben, die hohe Speicher-Bandbreite erfordern:

• Intel Sapphire Rapids 03H-LC mit 112 Kernen pro Knoten mit 1,7 GHz und 128 GB Speicher mit hoher Bandbreite. Dieses Untersystem hat eine Bandbreite von 2TB/s pro Knoten.

MareNostrum 5 ACC (Accelerated Partition)

Diese Partition hat 1120 Knoten und arbeitet mit Intel Sapphire Rapid Hauptprozessoren und zusätzlichen Nvidia Hopper Grafikprozessoren zur Beschleunigung von besonderen Aufgaben. Jeder Knoten hat

• 2x Intel Shappire Rapid 8460Y+ mit 2.3Ghz und jeder mit 32 Kernen, 64 Prozessoren pro Knoten
• 512 GB DDR5 Hauptspeicher
• 4x Nvidia Hopper Grafikprozessoren mit 64 HBM2 Speicher
• 460 GB nichtflüchtiger Speicher
• 4x NDR200, BW pro Knoten 800Gb/s

Der Datenspeicher wurde seit MareNostrum 4 erweitert und hat jetzt eine Nettokapazität von 248 PB und basiert auf SSD/Flash Laufwerken und Festplatten, die insgesamt 1,2 TB/s schreiben and 1,6 TB/s lesen können. Für Langzeitspeicher und Archivierung, gibt es einen zusätzlichen Bandspeicher mit 402 PB Kapazität.