TUHH > Servicebereiche > Rechenzentrum > Pools/Server > SGI Altix 4700

SGI Altix 4700

Rechnerkonfiguration

  • Computeserver altix4.rz.tu-harburg.de
    • 176 Prozessoren / 304 Cores
      • 48 Itanium2 Madison 9M (1.6 GHz, 6MB L3 Cache, Single Core)
      • 128 Itanium2 Montecito (1.4 GHz, 12MB L3 Cache, Dual Core)
    • 480 GB Hauptspeicher
    • 3,6 TB Storagesystem (SGI IS220 und TP900, insg. 7,2 TB gespiegelt) als schneller usertemp-Bereich
    • ausführliche Informationen zur Hardware-Konfiguration

  • Vorrechner altix3.rz.tu-harburg.de
    • 2 Itanium2 Madison 9M Prozessoren (1.5 GHz)
    • 4 GB Hauptspeicher
    • für Entwicklungsarbeiten, kurze Testrechnungen

  • Betriebssystem Suse SLES 10, SGI Propack5
  • Batchsystem PBSPro 9.0
  • Intel Compiler, SGI MPI

Rechnerzugang

  • Benutzerkennung
    Die gemeinsame Zugangsberechtigung für alle Parallelrechner am RZ (SGI Altix, Linuxcluster Hali und Apis) wird mit dem Benutzerantrag (PDF, Webformular) beantragt: Compute-Server (parallel) ankreuzen.

  • Zugang nur per SSH
    Mehr Infos zu ssh finden Sie auf den RZ-Seiten zu ssh.

  • Passwortloser Zugang
    Man kann seinen Arbeitsplatz-PC im TU-Netz für passwortlosen Zugang zur Altix konfigurieren, siehe "GSSAPI am RZ der TU".

  • Interaktives Arbeiten
    Für kleinere Testberechnungen stehen der Vorrechner altix3 sowie auf altix4 8 interaktiv nutzbare Cores mit 24GB Hauptspeicher zur Verfügung. Bitte behalten Sie Ihre Rechnungen z.B. mit top im Auge!

    Auch im Batch kann mit qsub -I interaktiv gearbeitet werden. Beispielsweise bekommt man mit 

    qsub -I -V -l ncpus=8 -l walltime=2:00:00
    8 Cores für 2 Stunden zugeteilt. Die Option -V übergibt die Umgebung der aktuellen Shell an den Batchjob, u.a. die geladenen Modules und die Umleitung der Grafikausgabe auf den Arbeitsplatzrechner. Der einzige Haken ist, dass man im vollen System nicht weiß, wann man an der Reihe sein wird und eventuell wertvolle Rechenzeit verschenkt. Wenn Sie auf interaktives Arbeiten zu einem festen Zeitpunkt angewiesen sind, melden Sie sich bitte bei Annette Helmold oder Klaus Martens.

  • Batchbetrieb
    Das Batchsystem PBSPro der Firma Altair Engineering verwaltet den Zugang zu 292 Cores und 444 GB Hauptspeicher.

    Die Abgabe einer Batch-Berechnung kann nur von altix4 erfolgen.

    Mehr Informationen zum Arbeiten mit PBSPro auf der SGI Altix gibt die PBSPro-Seite mit Beispielskripten. Wir helfen auch gerne, ein Skript zu erstellen. Am Anfang machen einem oft kleine, aber tückische Fehler das Leben schwer.

Dateisysteme

  • Homeverzeichnis
    • wird vom Fileserver angemountet, ist von allen RZ-Rechnern aus nutzbar, tägliches Backup,
    • Standardquota 2 GB MB Soft- und 3 GB Hardlimit (kann bei Bedarf erhöht werden),
    • langsamer Speicher vor allem für wichtige Daten.

  • Lokaler temporärer Plattenplatz
    • ein persönlicher usertemp-Bereich liegt im Pfad /usertemp und kann mit der Umgebungsvariablen $TMP angesprochen werden,
    • temporäre Daten werden nicht im Backup gesichert und nach 14 Tagen Inaktivität gelöscht,
    • schneller Speicher für Arbeitsverzeichnisse.
    • Für besonders IO-intensive Anwendungen steht auf Anfrage ein weiterer Plattenbereich zur Verfügung.

  • Globale Festplatte /data für Cluster und Compute-Server
    • Der Pfad /data das auf allen Cluster-Knoten und dem Compute-Server (altix4) per NFS sichtbar.
    • Langsamer als lokales /usertemp, schneller als das Homeverzeichnis.
    • Daten im /data-Bereich werden nicht im Backup gesichert.
    • Lösch-Aktivitäten werden erst bei 80% Füllgrad gestartet und bei ca. 70% wieder gestoppt. Es sollen die ältesten Daten gelöscht werden.
    • Kompromiss zwischen Home (überall sichtbar, sicher, langsam, quotiert) und lokaler Festplatte (nur lokal sichtbar, schnell).

Module-Konzept

Für viele Softwareprodukten und Programmiertools müssen Umgebungsvariablen gesetzt werden, damit z.B. Suchpfade stimmen oder Lizenzserver gefunden werden. Mit dem Module-Konzept geht das besonders flexibel und einfach.

Die drei wichtigsten Kommandos:

  • module avail zeigt alle auf dem System verfügbaren Module an und gibt einen schnellen Überblick über die installierte Software und die verfügbaren Versionen.
  • module load name lädt das Module name , d.h. alle Einstellungen, die für dieses Programmes notwendig sind, werden gesetzt,
  • module unload name entfernt das Module name , d.h. alle Einstellungen werden wieder rückgängig gemacht. Das ist besonders praktisch, wenn man mehrere Versionen eines Programmes vergleichen möchte.

Mehr Informationen zum Arbeiten mit Modules haben wir wir auf einer Modules-Seite zusammen gestellt. Welche Module für die unterschiedlichen Softwareprogramme geladen werden müssen, finden Sie auch auf den jeweiligen Softwareseiten.

Anwendersoftware

Auf der SGI Altix sind kommerzielle Anwendungspakete aus unterschiedlichen Fachgebieten installiert

Eine Auflistung aller Softwarprodukte, die auf den Computeservern des Rechenzentrums installiert sind, finden Sie auf einer tabellarischen Softwareliste.

Programmentwicklung

Compiler

Die Intel-Compiler (ifort, icc, icpc) sind die Standardcompiler auf der SGI Altix, denn sie erzeugen auf Itanium2-CPUs viel effizienteren Code als die gnu-Compiler. Natürlich sind gcc und Co. auch installiert, aber sie sollten nur in Ausnahmefällen verwendet werden.

Das RZ stellt TU-weite Floatinglizenzen für die Intel-Compiler zur Verfügung, so dass Sie die Intel-Compiler auch lokal nutzen können.

Parallelisierung

Auf der SGI Altix können Programme sowohl mit OpenMP als auch mit MPI parallelisiert werden.

  • Parallelisierung mit OpenMP
    Für OpenMP-Berechnungen wird das Programm mit der Option -openmp kompiliert. Die Umgebungsvariable OMP_NUM_THREADS bestimmt, wie viele Prozessoren für die Berechnung verwendet werden sollen. Das Kommando dplace ist eine Spezialität der SGI Altix und bindet die Threads fest an jeweils einen Prozessor. 

    
ifort -openmp -o omp.exe omp.f 
icc -openmp -o omp.exe omp.c

setenv OMP_NUM_THREADS 4
dplace -x2 -c0-3 ./omp.exe

setenv OMP_NUM_THREADS 8
dplace -x2 -c0-7 ./omp.exe

  • Parallelisierung mit MPI
    Für MPI-Programme wird die MPI-Implementierung der Firma SGI (MPT, SGI Message Passing Toolkit) eingesetzt.

    MPI-Programme werden mit der MPI-Bibliothek -lmpi gelinkt und mit dem mpirun Kommando gestartet. 

    
ifort -o mpi.exe mpi.f  -lmpi
icc -o mpi.exe mpi.c  -lmpi
icpc -o mpi.exe mpi.cc  -lmpi++ -lmpi

mpirun -np  CPU-Anzahl  ./mpi.exe

Los geht's: Batchsystem

Programmentwicklung und kleine Testläufe dürfen gerne auf den 12 interaktiv Cores bearbeitet werden, aber für Rechnungen nutzen Sie bitte das Batchsystem PBSpro auf altix4.

Ansprechpartner am Rechenzentrum

Das PBSPro-Skript klemmt? Sie benötigen besonders viel Hauptspeicher oder Plattenplatz? Haben Fragen oder Anregungen? Dann melden sie sich bitte bei den Ansprechpartnern für die Compute-Server!