Hardware-Konfiguration der SGI Altix 4700

Die Bestückung der SGI Altix 4700, altix4, zeigt die folgende Skizze. Jede Tabellenzeile entspricht einer sog. Rackunit mit fünf Steckplätzen für Boards. Einige Steckplätze sind frei, die anderen enthalten die Boards mit der Nummerierung altix4[0] bis altix4[87]. Die Skizze entspricht nicht der physikalischen Anordnung der Rackunits im Recher (u.a. besteht altix4 aus drei Schränken, die Festplatten und IO-Boards fehlen).

Jedes Board enthält zwei Intel Itanium2 mit Single oder Dual Core. Jeder Core wird wie ein eigenständiger Prozessor betrachtet.

Es sind je 4GB oder 8GB Hauptspeicher pro Board installiert, die ersten 6 Boards sind mit je 12GB bestückt. Der komplette Hauptspeicher ist von jedem Board aus sichtbar, nur ist die Zugriffszeit auf entfernt liegenden Speicher höher als auf Speicher des eigenen Boards.

Konfigurationsskizze

Es gibt die Konfigurationsskizze (PDF) mit Prozessornummern zum ausdrucken.

altix4[0] 4 Dual 12GB altix4[1] 4 Dual 12GB altix4[2] 4 Dual 12GB altix4[3] 4 Dual 12GB altix4[4] 2 Single 12GB altix4[5] 2 Single 12GB altix4[6] 2 Single 4GB altix4[7] 2 Single 4GB altix4[8] 2 Single 4GB altix4[9] 2 Single 4GB altix4[10] 2 Single 4GB altix4[11] 2 Single 4GB altix4[12] 2 Single 4GB altix4[13] 2 Single 4GB altix4[14] 2 Single 4GB altix4[15] 2 Single 4GB altix4[16] 2 Single 4GB altix4[17] 2 Single 4GB altix4[18] 2 Single 4GB altix4[19] 2 Single 4GB altix4[20] 2 Single 4GB altix4[21] 2 Single 4GB altix4[22] 2 Single 4GB altix4[23] 2 Single 4GB   altix4[24] 2 Single 4GB altix4[25] 2 Single 4GB altix4[26] 2 Single 4GB altix4[27] 2 Single 4GB   altix4[28] 4 Dual 8GB altix4[29] 4 Dual 8GB altix4[30] 4 Dual 8GB altix4[31] 4 Dual 8GB altix4[32] 4 Dual 8GB altix4[33] 4 Dual 8GB altix4[34] 4 Dual 8GB altix4[35] 4 Dual 8GB altix4[36] 4 Dual 8GB altix4[37] 4 Dual 8GB altix4[38] 4 Dual 4GB altix4[39] 4 Dual 4GB altix4[40] 4 Dual 4GB altix4[41] 4 Dual 4GB   altix4[42] 4 Dual 4GB altix4[43] 4 Dual 4GB altix4[44] 4 Dual 4GB altix4[45] 4 Dual 4GB

altix4[46] 4 Dual 4GB altix4[47] 4 Dual 4GB altix4[48] 4 Dual 4GB altix4[49] 4 Dual 4GB     altix4[50] 4 Dual 4GB altix4[51] 4 Dual 4GB altix4[52] 4 Dual 4GB altix4[53] 4 Dual 4GB   altix4[54] 4 Dual 4GB altix4[55] 4 Dual 4GB altix4[56] 4 Dual 4GB altix4[57] 4 Dual 4GB   altix4[58] 4 Dual 4GB altix4[59] 4 Dual 4GB altix4[60] 4 Dual 4GB altix4[61] 4 Dual 4GB   altix4[62] 4 Dual 4GB altix4[63] 4 Dual 4GB altix4[64] 4 Dual 4GB altix4[65] 4 Dual 4GB   altix4[66] 4 Dual 4GB altix4[67] 4 Dual 4GB altix4[68] 4 Dual 4GB altix4[69] 4 Dual 4GB   altix4[70] 4 Dual 8GB altix4[71] 4 Dual 8GB altix4[72] 4 Dual 8GB altix4[73] 4 Dual 4GB altix4[74] 4 Dual 4GB altix4[75] 4 Dual 8GB altix4[76] 4 Dual 8GB altix4[77] 4 Dual 8GB altix4[78] 4 Dual 4GB altix4[79] 4 Dual 4GB altix4[80] 4 Dual 8GB altix4[81] 4 Dual 8GB altix4[82] 4 Dual 4GB altix4[83] 4 Dual 4GB   altix4[84] 4 Dual 8GB altix4[85] 4 Dual 8GB altix4[86] 4 Dual 4GB altix4[87] 4 Dual 4GB

Ressourcenverteilung mit dem Batchsystem PBSpro

PBSpro kennt in der aktuellen Version 9.0 die Bestückung jedes einzelnen Boards. Wir haben wie folgt konfiguriert.

• Das erste Board altix4[0] ist für das Betriebssystem reserviert.
• Die Boards altix4[1] und altix4[2] sind mit insg. 8 Cores und 24 GByte Hauptspeicher für interaktives Arbeiten reserviert.
• Alle anderen Boards werden vom Batchsystem PBSpro verwaltet (und sind interaktiv nur mit qsub -I zu erreichen).

Prozessortypen Single Core und Dual Core

• Bei parallelen Jobs achtet PBSpro darauf, die Prozessortypen Single und Dual Core möglichst nicht zu mischen, denn das kann zu Lastinbalance und schlechter paralleler Performance führen.

• Mit qstat -f $PBS_JOBID kann man sich u.a. anzeigen lassen, auf welchen Boards ein Job rechnet und in der Konfigurationsskizze oben nachschauen, welche Prozessoren man bekommen hat.

• Wer möchte, kann den Prozessortyp mit qsub -l core=dual bzw. qsub -l core=single festlegen. Damit nimmt man eventuell eine längere Wartezeit in Kauf, wenn die Prozessoren des geforderten Typs alle belegt sind und der andere Typ schon frei ist.

Exklusive vs. gemeinsame Nutzung der Ressourcen

Auf der SGI Altix können Jobs die Boards exklusiv oder mit anderen Programmen gemeinsam nutzen.

Hauptspeicher

Hauptspeicher braucht im Batch nur dann explizit angefordert werden, wenn besonders viel benötigt wird. Auf altix4 gilt

• Jobs mit bis zu 3 Prozessoren bekommt per Default 1GB.

• Jobs ab 4 Prozessoren bekommen exklusive Boards und damit auch den kompletten Hauptspeicher der Boards, siehe Skizze oben. Allerdings zwackt das Betriebssystem knapp 10% ab.

• Nur wer mehr Speicher als knapp 1GB/Core benötigt, muss das anfordern. Allerdings führt z.B. qsub -l mem=10gb -l ncpus=2 nicht automatisch dazu, eins der beiden 12GB-Boards altix4[4] oder altix4[5] zu bekommen, denn auch 3 Boards mit je 4 Cores und 4GB erfüllen in den Augen von PBSPro den Zweck... darum melde sich bitte, wer besonders viel Speicher braucht, bei Markus Stammberger.

• Wieviel Speicher braucht mein Job? Antwort gibt interaktives Beobachten mit top oder im Batch qstat -f $PBS_JOBID.