Unicode
Unicode ist ein universeller Zeichenstandard, der Textzeichen und Symbolen weltweiter Schriftsysteme Codepunkte zuweist.
Definition
Unicode ist ein Standard für Texte vieler Schriftsysteme sowie Symbole, Emoji und Steuerzeichen. Jedem kodierten Element wird ein Codepunkt zugewiesen, geschrieben als U+ mit Hexziffern, etwa U+0041 für A und U+20AC für €.
Ein Codepunkt ist eine abstrakte Zahl, keine Bytefolge. UTF-8, UTF-16 und UTF-32 legen fest, wie Codepunkte als Bytes gespeichert oder übertragen werden.
Codepunkte und Kodierungen
Unicode reicht von U+0000 bis U+10FFFF; einige Bereiche sind reserviert oder unbelegt. UTF-8 verwendet für ASCII ein Byte und für andere belegte Codepunkte zwei bis vier Bytes; UTF-16 nutzt eine oder zwei 16-Bit-Codeeinheiten.
ASCII ist in Unicode enthalten: Die Werte 0 bis 127 besitzen dieselben Codepunkte und dieselbe Ein-Byte-Darstellung in UTF-8.
Praktisches Beispiel
Das Zeichen € hat den Codepunkt U+20AC. In UTF-8 wird es als E2 82 AC gespeichert; in Quelltext kann es auch als Escape-Notation erscheinen. Dies sind verschiedene Darstellungen desselben Codepunkts.
Ein sichtbares Zeichen entspricht nicht immer einem Codepunkt. é kann U+00E9 oder die Folge U+0065 plus kombinierendes U+0301 sein.
Normalisierung und Stolperfallen
Unicode-Normalisierung bringt gleichwertige Folgen in eine gewählte Standardform und hilft bei Vergleichen und Suchen. Sie muss bewusst eingesetzt werden, denn ähnlich aussehende Zeichen können tatsächlich verschieden sein.
Die Schriftart bestimmt die Darstellung; manche Emoji und Schriften verbinden mehrere Codepunkte zu einem Graphem. Byte-, Codepunkt- und Zeichenzahl können sich daher unterscheiden. Unicode ist Kodierung, keine Verschlüsselung.
Nein. Unicode definiert Zeichen und Codepunkte; UTF-8 ist eine Methode, diese Codepunkte als Bytes zu kodieren.
Das ist nicht einheitlich. Ein Codepunkt belegt in UTF-8 ein bis vier Bytes, während ein sichtbares Graphem aus mehreren Codepunkten bestehen kann.
Sie können verschiedene, aber kanonisch gleichwertige Folgen nutzen, etwa einen fertigen Buchstaben oder Buchstabe plus Kombinationszeichen. Geeignete Normalisierung gleicht sie an.