Normalisierung (Unicode)

Wenn zwei Zeichenketten kanonisch äquivalent (im Unicode-Standard englisch canonically equivalent[1]) sind, dann stellen sie exakt den gleichen Inhalt dar, nur sind eventuell andere Folgen von Unicode-Zeichen gewählt. Dass es mehrere Darstellungen gibt, hat mehrere Gründe:

• Für viele Buchstaben mit diakritischen Zeichen definiert der Unicode-Standard ein eigenes Zeichen. Solche Zeichen lassen sich aber auch darstellen als der Grundbuchstabe, gefolgt von einem kombinierenden diakritischen Zeichen.
  Beispiel: Der Buchstabe Ä existiert als eigenes Zeichen U+00C4, kann aber auch als Folge U+0041 U+0308 kodiert werden.
  • Folgen auf ein Zeichen verschiedene kombinierende Zeichen, die an unterschiedlichen Stellen des Grundbuchstabens stehen, so spielt ihre Reihenfolge für die Darstellung keine Rolle: Sowohl U+0061 U+0308 U+0320 als auch U+0061 U+0320 U+0308 ergeben ä̠.
  • Anderenfalls ist die Reihenfolge signifikant: U+0061 U+0308 U+0304 ergibt ǟ, U+0061 U+0304 U+0308 dagegen ā̈.
• Manche Zeichen sind doppelt im Standard enthalten, etwa Å, das sowohl an der Position U+00C5 als „Lateinischer Großbuchstabe A mit Ring“ kodiert ist als auch (zwecks Kompatibilität mit älteren Zeichenkodierungen) an der Stelle U+212B als „Ångströmzeichen“.[2]

Sind zwei Zeichenketten nur kompatibel äquivalent (im Unicode-Standard englisch compatibly equivalent[1]), so stellen sie zwar den gleichen Inhalt dar, allerdings kann die Darstellung leicht unterschiedlich sein. Folgende Abweichungen können vorkommen:

• Hoch-/Tiefgestellte Zeichen: Die hochgestellte Ziffer 2 (², U+00B2) ist eine Kompatibilitätsvariante der Ziffer 2, ebenso die tiefgestellte (₂, U+2082).
• Andere Schriftart: Der Großbuchstabe Z mit Doppelstrich (ℤ, U+2124) entspricht dem gewöhnlichen Z, nur liegt er in einer anderen Schriftart vor.
• Initiale/mediale/finale/isolierte Form eines Zeichens: Obwohl für Arabisch in Unicode nur ein Zeichen für jeden Buchstaben vorgesehen ist, auch wenn er je nach Stellung eine andere Form hat, sind dennoch auch diese einzelnen Formen als eigene Zeichen kodiert. Diese Zeichen sind als entsprechende Kompatibilitätsvarianten des im Unicode-Standard bevorzugten Zeichens gekennzeichnet.
• Ohne Umbruch: Einige Zeichen unterscheiden sich nur bei Anwendung des Unicode-Zeilenumbruch-Algorithmus voneinander. So ist das geschützte Leerzeichen nur ein Leerzeichen, das keinen Umbruch zulässt.
• Eingekreist: Der Unicodeblock Umschlossene alphanumerische Zeichen und weitere Blöcke enthalten viele eingekreiste Zeichen, etwa die eingekreiste Ziffer 1 (①, U+2460), die eine Variante der gewöhnlichen 1 ist.
• Bruch: Brüche wie etwa ½ (U+00BD) können auch mit Hilfe des Bruchstrichs (U+2044) geschrieben werden.
• andere Breite oder Ausrichtung, quadratisch: Die ostasiatische Typographie kennt Zeichen in unterschiedlichen Breiten und solche, die im vertikalen Layout um 90° gedreht gegenüber der üblichen Darstellung erscheinen.
• Sonstiges: Einige Normalisierungen fallen in keine dieser Kategorien, darunter die Auflösung von Ligaturen.

Zur Überführung in eine der Normalformen führt man folgende Schritte durch:

Im ersten Schritt wird die Zeichenkette vollständig zerlegt: Zu jedem Zeichen wird ermittelt, ob eine Zerlegung existiert, und es wird gegebenenfalls durch diese ersetzt. Dieser Schritt ist wiederholt auszuführen, da die Zeichen, in die ein Zeichen zerlegt werden, selbst wieder zerlegbar sein können.

Für die kanonischen Normalformen werden nur kanonische Zerlegungen verwendet, bei kompatiblen Normalisierungen sowohl die kanonischen als auch die kompatiblen. Die Zerlegung koreanischer Silbenblöcke in einzelne Jamo wird dabei von einem gesonderten Algorithmus durchgeführt.

Anschließend werden die kombinierenden Zeichen, die zu dem gleichen Grundzeichen gehören, wie folgt sortiert: Folgen zwei Zeichen A und B aufeinander, für die gilt ccc(A) > ccc(B) und ccc(B) > 0, so werden diese beiden Zeichen vertauscht. Dieser Schritt wird so lange wiederholt, bis es keine benachbarten Zeichenpaare mehr gibt, die vertauscht werden können.

Für die zusammengesetzten Normalformen folgt ein dritter Schritt, die kanonische Komposition: Dazu wird (beginnend mit dem zweiten Zeichen) für jedes Zeichen C geprüft, ob ein vorhergehendes Zeichen L folgende Eigenschaften besitzt:

• ccc(L) = 0
• Für alle Zeichen A zwischen L und C gilt 0 < ccc(A) < ccc(C)
• Es gibt ein Unicode-Zeichen P, das nicht als Full_Composition_Exclusion gekennzeichnet ist und die kanonische Zerlegung <L, C> besitzt.

In diesem Fall wird L durch P ersetzt und C entfernt.

Um aus Folgen von Jamo wieder Silbenblöcke mit eigenen Unicode-Codepunkten zu erhalten, wird der Algorithmus zur Zerlegung der Silbenblöcke umgekehrt angewendet.

Zum Zwecke der Abwärtskompatibilität wird garantiert, dass eine Zeichenkette, die in einer Normalform vorliegt, auch in künftigen Versionen des Unicode-Standards in Normalform vorliegen wird, sofern sie keine bisher nicht zugewiesenen Zeichen enthält.[3]

Ab der Version 4.1 wird zusätzlich garantiert, dass sich auch die Normalisierung selbst nicht ändert. Davor hatte es einige Korrekturen gegeben, die dazu führten, dass manche Zeichenketten in unterschiedlichen Versionen unterschiedliche Normalformen besaßen.

Für Anwendungen, die auch über diese Versionsgrenze hinweg absolute Stabilität benötigen, gibt es einfache Algorithmen, um zwischen den Normalisierungen zu wechseln.