Native POSIX Thread Library

Seit der Kernel-Version 2.0 existierte für Linux die Threading-Bibliothek LinuxThreads, deren grundlegende Design-Prinzipien unter Einfluss der 1996 vorhandenen Beschränkungen des Linux-Kernels und der libc5 zustande gekommen waren. Linux hatte keine echte Unterstützung für Threads im Kernel, kannte aber den clone()-Systemaufruf, der eine Kopie des aufrufenden Prozesses mit identischem Adressraum erzeugte. LinuxThreads benutzte diesen Systemaufruf, um Thread-Unterstützung im Userspace zu simulieren. Die Bibliothek wurde zwar kontinuierlich verbessert, war aber konzeptionell veraltet und eingeschränkt.

Folgende Probleme mit der existierenden LinuxThreads-Implementation wurden identifiziert:

• Sie benötigt einen Manager-Thread im Prozess, der weitere Threads erzeugt, wieder aufräumt und die Signalbehandlung kanalisiert.
• Sie ist nicht POSIX-konform, da es zum Beispiel nicht möglich ist, ein Signal an den ganzen Prozess zu senden, bzw. der Kernel dafür sorgen muss, dass Signale wie SIGSTOP und SIGCONT an alle Threads im Prozess durchgereicht werden.
• Unter Last wird die Performance schlecht, da das Signalsystem zur Synchronisierung verwendet wird. Dies beeinträchtigt auch die Stabilität.
• Jeder Thread führt fälschlicherweise eine eigene Prozess ID.
• Auf der wichtigen IA-32-Architektur waren nur maximal 8192 Threads möglich.

Um die bestehenden Probleme zu lösen, wurden zusätzliche Infrastruktur im Kernel und eine neu geschriebene Threading-Bibliothek benötigt. Es wurden zwei konkurrierende Projekte gestartet: Next Generation POSIX Threads (NGPT) unter Leitung von IBM und NPTL unter Federführung der bei Red Hat angestellten Kernel- und glibc-Programmierer Ingo Molnár und Ulrich Drepper. Weil sich abzeichnete, dass sich in der Praxis die NPTL durchsetzen würde, wurde das NGPT-Projekt Mitte 2003 eingestellt.

Das NPTL-Team setzte sich folgende Ziele für seine neue Bibliothek:

• POSIX-Konformität, um Userspace-Quelltext besser portierbar zu machen
• effektive Verwendung von SMP und gute Skalierbarkeit, um die Leistungsfähigkeit auf Mehrprozessorsystemen zu steigern
  • darauf aufbauend: NUMA-Unterstützung
• wenig Erzeugungsaufwand pro Thread
• Kompatibilität mit LinuxThreads, das heißt, alte Programme sollten ohne Neukompilierung mit der NPTL laufen.

Unter diesen Voraussetzungen begann Mitte 2002 die Arbeit an der neuen Native POSIX Thread Library. Im August/September 2002 wurde der Linux-Kernel 2.5 für die NPTL vorbereitet. Dazu war es notwendig, einige neue Systemaufrufe einzuführen und vorhandene zu optimieren. In ersten Benchmarks konnten nun auf einem IA-32-System innerhalb von 2 Sekunden 100.000 parallele Threads erzeugt werden; ohne NPTL dauerte allein die Erzeugung der Threads fast 15 Minuten. Trotz dieser Last blieb das Testsystem mit annähernd gleicher Geschwindigkeit benutzbar.

Red Hat Linux 9 war die erste Linux-Distribution, in der die NPTL in einem gepatchten 2.4er-Kernel verwendet wurde (und deren Benutzer dadurch bisweilen zu unfreiwilligen Betatestern wurden). Inzwischen benutzen alle modernen Distributionen die NPTL, wenn sie einen Kernel der Version 2.6 oder höher verwenden.

NPTL funktioniert ähnlich wie LinuxThreads. Der Kernel verwaltet immer noch Prozesse und keine Threads, und neue Threads werden mit einem von der NPTL aufgerufenen clone() erzeugt. Die NPTL benötigt allerdings spezielle Kernelunterstützung und implementiert damit Synchronisationsmechanismen, bei denen Threads schlafen gelegt und wieder aufgeweckt werden. Dazu werden Futexes verwendet.

Die NPTL ist eine sogenannte 1:1-Threading-Bibliothek. Die vom Benutzer mit der pthread_create()-Funktion erzeugten Threads stehen dabei in einer 1-zu-1-Beziehung mit Prozessen in den Scheduler-Queues des Kernels. Dies ist die einfachste denkbare Threading-Implementierung. Die Alternative wäre m:n. Dabei existieren typischerweise mehr Threads im Userspace, als es Prozesse im Kernel gibt. Die Threading-Bibliothek wäre dann dafür verantwortlich, die Prozessorzeit auf die einzelnen Threads im Prozess zu verteilen. Mit diesem Konzept wären sehr schnelle Kontextwechsel möglich, da die Anzahl der notwendigen Systemaufrufe minimiert wird, andererseits würde aber die Komplexität erhöht, und es könnte leichter zu Prioritätsinversion kommen.

• The Native POSIX Thread Library for Linux (PDF; 535 kB)