Das Förderung für das Projekts SKALB (Lattice-Boltzmann-Methoden für skalierbare Multi-Physik-Anwendungen) aus dem ersten Call für Forschungsvorhaben auf dem Gebiet “HPC-Software für skalierbare Parallelrechner” im Rahmen des Förderprogramms IKT 2020 – Forschung für Innovationen des BMBF von 1997 ist am 31.12.2011 ausgelaufen. Inzwischen ist der offizielle Abschlussbericht fertig und kann hier als PDF-Datei heruntergeladen werden. Demnächst sollte der Abschlussbericht auch über Technische Informationsbibliothek (TIB) in Hannover verfügbar sein.

Besonders eindrucksvoll ist, dass durch die SKALB-Förderung bis jetzt über 60 Publikationen und annähernd 100 Vorträge auf Fachveranstaltungen entstanden sind.

Beim BMBF-HPC-Verbundprojekt “SKALB” (Lattice-Boltzmann-Methoden für skalierbare Multi-Physik-Anwendungen) ist inzwischen die Hälfte der Projektlaufzeit verstrichen. Wer sich über die bisherigen Projektergebnisse informieren will, findet auf der Projekt-Webseite www.skalb.de in der Rubrik Ergebnisse & Showcases neben einer Auflistung von Vorträgen und Publikationen auch die Managementzusammenfassungen der Projektzwischenberichte für die ersten drei Halbjahre.

Das BMBF-Projekts SKALB gliedert sich in fünf große Arbeitspakete, die jeweils von mindestens drei Projektpartnern gemeinschaftlich bearbeitet werden. Alleine hierdurch wird die interdisziplinäre Vernetzung deutlich. Die ersten Aufgaben für die einzelnen Arbeitspakete sind im folgenden ohne Anspruch auf Vollständigkeit kurz beschrieben.

Arbeitspaket I: Portierung und Optimierung von LB-Applikationen auf massiv parallele HPC-Systeme

Zentraler Punkt dieses Arbeitspakets ist die Portierung und Optimierung der eingesetzten Simulationscodes auf eine breite Palette modernster hochparalleler HPC-Systeme. Der erste Schritt dabei ist eine Bestandsaufnahme hinsichtlich der seriellen und parallelen Performance. Begleitet werden die Arbeiten zur effizienten Implementierung von LB-Applikationen für bereits bestehende sehr große HPC-Systemen durch umfangreiche Aktivitäten zu den Themen alternative parallele Programmiermodelle sowie neue Programmier- und Optimierungsansätze für zukünftige Multi- und Many-Core Standardprozessoren.

Arbeitspaket II: Weiterentwicklung von LB-Methoden für praktische Anwendungen auf hochskalierenden Systemen

Zentrale Punkte dieses Arbeitspakets sind Gebietszerlegung/Gebietspartitionierung, (dynamische) Lastbalanzierung, aber auch Fragen des Pre- und Postprocessings.

Arbeitspaket III: Verbesserte numerische Ansätze für LB-Methoden

In gängigen LB-Ansätzen kann jeder einzelne Zeit- und Teilschritt mit sehr hoher computational Effizienz durchgeführt werden, aber die numerische Effizienz ist aufgrund der Explizitheit vieler Zugänge und Beschränkung auf regelmäßige Gitterstrukturen noch nicht optimal. Moderne und sehr leistungsfähige Diskretisierungs- und Lösungstechniken für Partielle Differentialgleichungen, die von der Mathematik in den letzten Jahren entwickelt und inzwischen für andere CFD-Verfahren erfolgreich angewendet werden konnten, haben ihren Weg allerdings noch kaum in den Bereich der LB-Verfahren gefunden und sollen in diesem Arbeitspunkt untersucht werden.

Arbeitspaket IV: Hardwarenahe Implementierung für Nicht-Standardprozessoren

Aktuelle Hardwaretrends sollen in diesem Projekt nicht nur für Standardprozessoren im Umbruch (“Multi-Core”), sondern auch für Nicht-Standardarchitekturen berücksichtigt werden. Aufgrund der Erfahrungen der beteiligten Gruppen wurde sich für die Verwendung von Grafikprozessoren (GPUs) als Repräsentant zukünftiger Many-Core-Architekturen und den Cell-Prozessor als Prototyp heterogener Multi-Core-Prozessoren entschieden.

Arbeitspaket V: Benchmarking und Showcases

Das Spektrum der Showcases wird große Teile typischer Industrieanwendungen abdecken, die jedoch auch unterschiedliche Strömungsregimes repräsentieren und damit auch unterschiedliche methodische Ansätze erfordern. Als Testcases, die dokumentiert werden sollen, wurden vorläufig ausgewählt:

• Grundlagenuntersuchungen im Bereich turbulenter Strömungen
• Strömungen in porösen Medien und hierarchischen Katalysatoren
• Mehrphasenströmungen und nicht-newtonsche Fluide
• Strömungen mit freien Oberflächen (LB-Flachwassermodelle sowie volle 3D-Modelle).
• Wassertransport in Brennstoffzellen
• Blutfluss in Aneurysmen

Am 16.2.2009 fand im eStudio des RRZE das KickOff-Meeting des vom BMBF geförderten Projekts SKALB statt. Neben Vertretern aller geförderten Gruppen (RRZE, LSS, HLRS, iRMB, TU-Do, IANUS) war auch Dr. Aßelmeyer-Maluga vom Projektträger anwesend. Neben formalen Dingen wie dem Austausch der unterschriebenen Seiten der Kooperationsvereinbarung und Hinweisen des Projektträgers zu unseren Pflichten, wurde auch inhaltlich intensiv gearbeitet und u.a. die Arbeiten der nächsten Monate abgestimmt.

Regelmäßige Videokonferenzen und persönliche Treffen in Kleingruppen werden in den nächsten Monaten folgen.

Für Dienstag den 30. Juni 2009 ist derzeit das nächste größere und dann auch öffentliche Treffen geplant zu dem dann insbesondere auch Vertreter des assoziierten Partner eingeladen werden.

Auf den Webseiten der TU-Dortmund ist eine weitere Pressemeldung zu SKALB zu finden: http://www.tu-dortmund.de/uni/Infobrief_Rektorat/infobrief_2009_01/SKALB/index.html

Auch im ITM-Update 02/09 Nr. 6 ist ein Artikel über SKALB zu finden: http://www.itmc.uni-dortmund.de/en/docman/itm_update/dokumente_itmupdate_nr6/Dokumente_ITMUpdate_nr6.pdf

weitere Pressemeldung aus Dortmund: … und noch eine Meldung bei "der-Innovationsstandort.de" über SKALB.

persönlicher Kommentar zu den Meldungen aus Dortmund:
Die vielfältigen PR-Aktivitäten in Dortmund sind ja sehr lobenswert. Nur schade, dass ich jedes mal bei "Im Projekt arbeiten Wissenschaftlerteams unter der Leitung von Prof. Dr. Stefan Turek (Fakultät für Mathematik der TU Dortmund) und Dr. Ramin Yahyapour (IT und Medien Centrum der TU Dortmund) gemeinsam mit Kollegen der Universitäten und Rechenzentren Erlangen-Nürnberg, Stuttgart und Braunschweig." ins Stutzen komme. Bezieht sich das "unter Leitung von" jetzt nur auf die Arbeitsgruppen an der TU-Dortmund oder generell auf das gesamte Projekt? Koordinator des Gesamtprojekts ist auf jeden Fall Dr. Gerhard Wellein vom RRZE der Uni-Erlangen. Naja, was soll’s. Unsere Pressemeldungen sind vielleicht auch manchmal etwas missverständlich.

Ort und Termin für das Kick-Off-Meeting zum BMBF-Projekt “SKALB” stehen nun fest: 16.2.2009 am RRZE in Erlangen.

Das Kick-Off-Meeting dient im Wesentlichen der internen Koordination. Daher ist diese Auftaktveranstaltung nicht-öffentlich. Außer Mitarbeitern aus den geförderte Gruppen wird daher nur ein Vertreter des Projektträgers als “Externer” teilnehmen.

Künftige Treffen sollen dann dagegen weitgehend auch für die diversen assoziierten Projektpartner und ggf. andere Interessierte offen sein.

Bei Fragen bezügl. SKALB wenden Sie sich bitte an skalb(at)rrze.uni-erlangen.de.

Die IANUS Simulation GmbH hat auf ihrer Homepage ebenfalls eine kurze Meldung zu SKALB. Leider werden dort die Nicht-Dortmunder Projektpartner (iRMB@TU-Braunschweig, RRZE@Uni-Erlangen, LSS@Uni-Erlangen und HLRS@Uni-Stuttgart) unterschlagen; ebenso bezieht sich das dort angegebene Fördervolumen von 600k EUR über drei Jahre nur auf TU-Dortmund und IANUS Simulation GmbH.

Passend zur Vorweihnachtszeit erhielt die Friedrich-Alexander-Universität Erlangen-Nürnberg Anfang Dezember frohe Kunde aus Berlin: Ein im Rahmen der BMBF Ausschreibung "HPC Software für skalierbare Parallelrechner" gemeinsam mit den Universitäten Braunschweig, Dortmund und Stuttgart eingereichter Antrag wird in den nächsten drei Jahren gefördert.

Ziel des Projektes SKALB (Lattice-Boltzmann-Methoden für skalierbare Multi-Physik-Anwendungen) ist die effiziente Implementierung und Weiterentwicklung von Lattice-Boltzmann basierten Strömungslösern zur Simulation komplexer Multi-Physik-Anwendungen auf Rechnern der Petascale-Klasse. "Die Genehmigung des Projektes ist auch Ausdruck der international akzeptierten Expertise der beteiligten Forschergruppen in den Bereichen Hochleistungsrechner und Lattice-Boltzmann Methoden" freut sich der Projektkoordinator Dr. G. Wellein vom Regionalen Rechenzentrum Erlangen. Weitere an dem Antrag beteiligte Wissenschaftler sind Prof. Rüde (FAU), Prof. Krafczyk (TU Braunschweig), Prof. Resch (Höchstleistungsrechenzentrum Stuttgart und Universität Stuttgart) sowie Prof. Turek (Technische Universität Dortmund). Mit Blick auf eine potentielle Kommerzialisierung der Ergebnisse des Projektes ist mit der IANUS Simulation GmbH aus Dortmund auch ein geförderter Industriepartner aktiv eingebunden.

Neben der hervorragenden wissenschaftlichen Basis war insbesondere die Verzahnung mit zahlreichen in- und ausländischen Industriepartnern ein großer Pluspunkt für das Projekt, das im Rahmen eines zweistufigen Verfahrens gründlich begutachtet wurde. Das gesamte Fördervolumen für drei Jahre beläuft sich auf 1,8 Millionen EUR, wovon mehr als ein Drittel an die beiden beteiligten Gruppen der Friedrich-Alexander-Universität Erlangen-Nürnberg fließt.

Über SKALB – Lattice-Boltzmann-Methoden für skalierbare Multi-Physik-Anwendungen

Ende Oktober 2007 hat das Bundesministerium für Bildung und Forschung (BMBF) einen Call für Forschungsvorhaben auf dem Gebiet "HPC-Software für skalierbare Parallelrechner" im Rahmen des Förderprogramms IKT 2020 – Forschung für Innovationen veröffentlicht. Das RRZE als Konsortialführer hat zusammen mit vier weiteren universitären Gruppen unterschiedlicher Fachrichtungen, einem kleinen Spin-Off Unternehmen aus Dortmund und diversen assoziierten Partnern das Projekt SKALB – Lattice-Boltzmann-Methoden für skalierbare Multi-Physik-Anwendungen eingereicht. Nach erfolgreich überstandener Begutachtung in zwei Runden sind Anfang Dezember 2008 nun endlich die Bewilligungsbescheide eingetroffen, so dass SKALB zum 1. Januar 2009 offiziell beginnen kann.

Lattice-Boltzmann-Methoden haben sich in den letzten Jahren als Standardverfahren für numerische Strömungssimulation etabliert. Besonders bemerkenswert ist, dass dieser Ansatz schnell breite Verwendung auch jenseits der klassischen CFD Anwendungen gefunden hat und so zum Beispiel in der Verfahrenstechnik oder der Biomedizin eingesetzt wird. Deutschland konnte sich neben den USA als weltweit führend bei der numerischen Umsetzung der Methode insbesondere im Bereich der Hochleistungsrechner etablieren. Um diese führende Stellung auch bei den nun absehbaren technologischen Veränderungen erhalten zu können, haben fünf Gruppen aus ganz Deutschland mit ausgewiesener Expertise in den Bereichen Lattice-Boltzmann-Methode und Höchstleistungsrechnen die vorliegende Projektskizze gemeinsam formuliert. Bestehende Lattice-Boltzmann-Verfahren sollen so zur Lösung praxisrelevanter Multi-Physik-Anwendungsfälle auf hochskalierenden Parallelrechnern erweitert und optimiert werden. Dabei werden alle Schritte vom Preprocessing über die Simulation bis hin zur Visualisierung adressiert. Mit Blick auf neue und sich abzeichnende (heterogene) Multi-/Many-Core Architekturen sollen schließlich Potenziale und Programmieransätze exemplarisch evaluiert werden. Die umfangreiche Beteiligung assoziierter Unternehmen sichert dem Projekt den Zugriff auf neueste Hardwaretechnologien sowie den Transfer der methodischen Erkenntnisse und Simulationstechniken in die Wirtschaft.

Übergeordnetes Projektziel

Ziel von SKALB ist die effiziente Implementierung und Weiterentwicklung von Lattice-Boltzmann basierten Strömungslösern zur Simulation komplexer Multi-Physik-Anwendungen auf Rechnern der Petascale-Klasse.

Arbeitsziele gemäß den Zusammenfassungen auf den AZA-Formularen

Uni-Erlangen: Regionales Rechenzentrum Erlangen (RRZE) und Lehrstuhl für Systemsimulation (LSS, Prof. Rüde)

• Sequentielle/parallele Performanceanalyse und Codeoptimierung für hochskalierende Rechner
• Erstellung von Performancemodellen und Benchmarkkernels
• Entwicklung eines skalierbaren Partitionierers für statische Gitter
• Untersuchung geeigneter Datenstrukturen
• Entwicklung dynamischer/adaptiver Lastbalanzierungskonzepten

Uni-Stuttgart: Hochleistungsrechenzentrum Stuttgart (HLRS)

• Untersuchung verschiedener paralleler Programmiermodelle insbesondere unter Verwendung der standardisierten Modelle MPI und OpenMP. Es sollen Erfahrungen mit PGAS (Partitioned Global Address Space) basierten Sprachen, die in Zukunft größere Aufmerksamkeit finden werden, gesammelt werden.
• Die Entwicklung der Open-Source-MPI-Implementierung OpenMPI wird am HLRS innerhalb des Projekts fortgeführt, insbesondere im Hinblick auf die Optimierung für Multi-Core-Architekturen.
• Bei der Anpassung des sequentiellen Lösers auf neue Architekturen werden wir uns auf Vektorprozessoren konzentrieren.
• Effiziente Anbindung einer Visualisierung auch für massiv parallele Simulationen.

TU-Braunschweig: Institut für rechnergestützte Methoden im Bauingenieurwesen (iRMB, Prof. Krafczyk)

• Entwicklung, Implementierung und Validierung adaptiver Lattice-Boltzmann-Methoden für hochskalierende Parallelrechner.
• Adaption paralleler Lattice-Boltzmann-Methoden für Grafikprozessoren.
• Entwicklung, Implementierung und Validierung von angepassten Datenkompressionsansätzen speziell für Restart und Postprocessing von Lattice-Boltzmann-Simulationen.

Uni-Dortmund: Fakultät für Mathematik, Lehrstuhl III (Angewandte Mathematik und Numerik, Prof. Turek)

• Entwicklung, Implementierung und Evaluierung numerischer Alternativen für Lattice-Boltzmann-Methoden.
• Codeoptimierung unter Berücksichtigung von Low-Level Hardware-Charakteristiken und Nicht-Standard-Hardwarearchitekturen.
• Entwicklung und Implementierung eines hybriden MPI/OpenMP-Scheduling und Loadbalancing-Konzeptes.
• Weiterentwicklung der FEAST-Basisbibliothek.
• Wissenschaftliches Benchmarking.

IANUS Simulation GmbH, Dortmund

IANUS ist innerhalb des gemeinsamen Vorhabens wichtiges Bindeglied zwischen den wissenschaftlichen Partnern und den assoziierten Partnern aus der Industrie. Zu den Aufgaben gehört die Koordination des Benchmarkings und der Showcases und Aufbau einer Kommunikationsplattform. IANUS soll sicherstellen, dass die Entwicklungen die Wünsche zukünftiger Anwender aus der Industrie berücksichtigt.

Assoziierte Partner

Als assoziierte Projektpartner konnte fünf führende HPC-Firmen gewonnen werden, die Know-How, Entwicklungstools aber auch Rechenzeit auf geeigneten Systemen bereitstellen.Auf der Anwendungsseite sind drei Firmen als assoziierte Partner integriert. Sie liefern praxisrelevante Anwendungsfälle und stellen somit sicher, dass die Entwicklungen von SKALB auch nachhaltig genutzt werden können.

Weitere wissenschaftliche Verknüpfungen

Zwei Projektpartner (RRZE und LSS) sind seit Jahren in die Aktivitäten des bayerischen Kompetenznetzwerks für Technisch-Wissenschaftliches Hoch- und Höchstleistungsrechnen in Bayern (KONWIHR) eingebunden. Das HLRB ist Teil des Gauss Centre for Supercomputing, das RRZE ist assoziiertes Gründungsmitglied der Gauss-Allianz. Prof. Krafczyk war Sprecher des 2007 ausgelaufenen DFG-Paketantrages Lattice Boltzmann Methoden: Analysis, Numerik und Anwendungen, an dem auch die Gruppe von Prof. Turek beteiligt war.

Das Advanced Center for Computation and Communication, RIKEN, Japan, das für die Entwicklung und Installation des japanischen “Next-Generation Supercomputer” verantwortlich ist, hat dem RRZE gegenüber erklärt, dass sie eng mit SKALB zusammenarbeiten möchten.

Nächste Schritte

Für Januar 2009 ist ein offizielles Kick-Off Meeting geplant. Mehr dazu und weiteren SKALB-relevanten Themen hier in diesem Blog und auf einem noch zu schaffenden SKALB-Webauftritt.