UTF

Allgemein

UTF steht für UCS Transforamtion Format. Dabei steht UCS für Universial Coded Character Set. UTF ist die Kodierung der Zeichen, die ihrerseits mit einer Unicode-Nummer, durch die das Zeichen dann dargestellt wird. Damit ist UTF also die Kodierung der Unicode-Nummer.

ASCII

ASCII steht für American Standard Code for Information Interchange. Es handelt sich dabei um eine digitale Kodierung von Zeichen, die sieben Bits pro Zeichen verwendet. Damit können also 2⁷ = 128 verschiedene Codes realisiert, womit 128 verschiedene Zeichen dargestellt werden können. Wegen dem begrenzten Platz und da ASCII von den westlichen Ländern definiert wurde, sind darin keine arabischen Schriftzeichen oder derartige Symbole definiert, sondern nur die lateinischen Buchstaben und noch einige oft verwendete Sonderzeichen. Viele Codes wurden auch dafür gebraucht, um Befehle zu definieren, wie zum Beispiel 'start of text' oder 'bell', womit eine Glocke geläutet werden kann, wenn ein digitaler Code hereinkommt. ASCII ordnet nun also jedem Zeichen eine Nummer zu, die einem 7 Bit langem Code entspricht. In der untenstehenden Grafik ist die ASCII-Tabelle mit einer Legende, in der die Steuerzeichen kurz beschrieben werden. Die Zeichennummer wird dabei mit einer Hexadezimalzahl angegeben, wobei die Zahl in der Tabelle über dem jeweiligen Zeichen steht.

ASCII Tabelle

_0 _1 _2 _3 _4 _5 _6 _7 _8 _9 _A _B _C _D _E _F 0_ 00
[NUL] 01
[SOH] 02
[STX] 03
[ETX] 04
[EOT] 05
[ENQ] 06
[ACK] 07
[BEL] 08
[BS] 09
[HT] 0A
[LF] 0B
[VT] 0C
[FF] 0D
[CR] 0E
[SO] 0F
[SI] 1_ 10
[DLE] 11
[DC1] 12
[DC2] 13
[DC3] 14
[DC4] 15
[NAK] 16
[SYN] 17
[ETB] 18
[CAN] 19
[EM] 1A
[SUB] 1B
[ESC] 1C
[FS] 1D
[GS] 1E
[RS] 1F
[US] 2_ 20
[SP] 21
! 22
" 23
# 24
$ 25
% 26
& 27
' 28
( 29
) 2A
* 2B
+ 2C
, 2D
- 2E
. 2F
/ 3_ 30
0 31
1 32
2 33
3 34
4 35
5 36
6 37
7 38
8 39
9 3A
: 3B
; 3C
> 3D
= 3E
< 3F
? 4_ 40
@ 41
A 42
B 43
C 44
D 45
E 46
F 47
G 48
H 49
I 4A
J 4B
K 4C
L 4D
M 4E
N 4F
O 5_ 50
P 51
Q 52
R 53
S 54
T 55
U 56
V 57
W 58
X 59
Y 5A
Z 5B
[ 5C
\ 5D
] 5E
^ 5F
_ 6_ 60
` 61
a 62
b 63
c 64
d 65
e 66
f 67
g 68
h 69
i 6A
j 6B
k 6C
l 6D
m 6E
n 6F
o 7_ 70
p 71
q 72
r 73
s 74
t 75
u 76
v 77
w 78
x 79
y 7A
z 7B
{ 7C
| 7D
} 7E
~ 7F
[DEL]

Legende der Zeichen:

Steuerzeichen

NUL ≔ No operation = Füllzeichen, nichts
SOH ≔ Star of heading = Start der Überschrift
STX ≔ Start of text = Start des Textes
EOF ≔ End of file = Ende der Datei
ENQ ≔ Enquiry = Anfrage auf Antwort
ACK ≔ Acknowledgement = Bestätigung des Eingangs der Nachricht
BEL ≔ Bell = Glocke die geläutet wird
BS ≔ Backspace = Eine Position zurück
HT ≔ Horizontal tabulator = Abstand in horizintaler Richtung (meistens äquivalent zu 4 Leertasten)
LF ≔ Linefeed = Neue Zeile, bei neuen Computern mit der Enter-Taste
VT ≔ Vertical tabulator: Gleich wie HT in, einfach in vertikale Richtung
FF ≔ Form feed = Eine neue Seite wird angefangen
CR ≔ Carriage return = Zurück zum Anfang der Linie
SO ≔ Shift out = Bei Schreibmaschienen Schriftband nach verschieben (Farbwechsel auf rot)
SI ≔ Shift in = Bei Schreibmaschienen Schriftband nach verschieben (Farbwechsel auf schwarz)
DLE ≔ Data link escape = Folgende Objekte als Rohdaten interpretieren (nicht als Steuerzeichen oder ähnliches)
DC1, DC2, DC3, DC4 ≔ Device control = Gerätesteuerung 1, 2, 3, 4, zum Beispiel Übertragung unterbrechen
NAK ≔ Negative acknowledgement = Negative Bestätigung, im vorhergehenden Code wurde ein Fehler festgestellt
SYN ≔ Synchronous idle = Synchroner Leerlauf für synchrone Übertragungssysteme
ETB ≔ End of transmission block = Ende eines Überblocks
CAN ≔ Cancel = Stornieren, die vorhergehenden Daten sollen ignoriert werden
EM ≔ End of media = Ende des nutzbaren Teil des Bandes
SUB ≔ Substitute = Ersatz fehlerhafter Zeichen, wie strg-z
ESC ≔ Escape = Zeichen wird auf den meisten Systemen gesendet, also auch Flucht aus DLE
FS, GS, RS, US = Begrenzer von Felder von Datenstrukturen, hirarchische Ebene steigt ab in Reihenfolge
SP ≔ Space = Leerraum, Abstand
DEL ≔ Delete = Löschen des vorhergehenden Zeichens

Buchstaben vom lateinischen Alphabet

Ziffern vom Dezimalsystem

Satzzeichen, Klammern, Syntax

Beispiel Aufgaben

Zeichen	ASCII (hexadezimal)	ASCII (binär)	ASCII (dezimal)

ISO/IEC 8859

Zwar reichen die 95 druckbaren aus, damit man sich im modernen Englisch austauschen kann. Das Problem liegt aber darin, dass viele Sprachen, die ebenfalls auf dem lateinischen Alphabet basieren weitere Symbole für eine vernünftige Kommunikation benötigen. Mit dem Versuch dieses Problem zu beheben wurde ISO/IEC 8859 mit 96 weiteren Druckbaren Zeichen eingeführt. Dabei sind die ersten 128 Hexadezimalzahlen den gleichen Zeichen zugeordnet wie in der ASCII-Tabelle, damit diese kompatibel ist. Die Steuerungsbefehle wurden bei ISO/IEC 8859 weggelassen, da dieses System für Computer und nicht mehr für Schreibmaschinen konzipiert wurde, womit alle diese Befehle unnötig werden. Die insgesamt 95 + 96 = 191 Zeichen in ISO/IEC 8859-1 reichen aber nicht aus, um alle Sonderzeichen der häufig verwendeten Sprachen in den westlichen Ländern. Deswegen wurden 15 verschiedene ISO/IEC-Tabellen eingeführt, wobei bei allen die erste Hälfte genau gleich ist, damit sie alle mit der alten ASCII-Tabelle kompatibel sind. Die unten aufgeführte Tabelle ISO/IEC 8859-1 wird unter anderem von Geräten verwendet, die ihre Spracheinstellung auf Deutsch gestellt haben.

ISO/IEC 8859-1

8-Bit Kodierung, Variante Latin-1, für westeuropäische Länder

_0 _1 _2 _3 _4 _5 _6 _7 _8 _9 _A _B _C _D _E _F 0_ N i c h t b e l e g t 1_ N i c h t b e l e g t 2_ 20
[SP] 21
! 22
" 23
# 24
$ 25
% 26
& 27
' 28
( 29
) 2A
* 2B
+ 2C
, 2D
- 2E
. 2F
/ 3_ 30
0 31
1 32
2 33
3 34
4 35
5 36
6 37
7 38
8 39
9 3A
: 3B
; 3C
> 3D
= 3E
< 3F
? 4_ 40
@ 41
A 42
B 43
C 44
D 45
E 46
F 47
G 48
H 49
I 4A
J 4B
K 4C
L 4D
M 4E
N 4F
O 5_ 50
P 51
Q 52
R 53
S 54
T 55
U 56
V 57
W 58
X 59
Y 5A
Z 5B
[ 5C
\ 5D
] 5E
^ 5F
_ 6_ 60
` 61
a 62
b 63
c 64
d 65
e 66
f 67
g 68
h 69
i 6A
j 6B
k 6C
l 6D
m 6E
n 6F
o 7_ 70
p 71
q 72
r 73
s 74
t 75
u 76
v 77
w 78
x 79
y 7A
z 7B
{ 7C
| 7D
} 7E
~ 8_ N i c h t b e l e g t 9_ N i c h t b e l e g t A_ A0
NBSP A1
¡ A2
¢ A3
£ A4
¤ A5
¥ A6
¦ A7
§ A8
¨ A9
© AA
ª AB
« AC
¬ AD
SHY AE
® AF
¯ B_ B0
° B1
± B2
² B3
³ B4
´ B5
µ B6
¶ B7
· B8
¸ B9
¹ BA
º BB
» BC
¼ BD
½ BE
¾ BF
¿ C_ C0
À C1
Á C2
 C3
à C4
Ä C5
Å C6
Æ C7
Ç C8
È C9
É CA
Ê CB
Ë CC
Ì CD
Í CE
Î CF
Ï D_ D0
Ð D1
Ñ D2
Ò D3
Ó D4
Ô D5
Õ D6
Ö D7
× D8
Ø D9
Ù DA
Ú DB
Û DC
Ü DD
Ý DE
Þ DF
ß E_ E0
à E1
á E2
â E3
ã E4
ä E5
å E6
æ E7
ç E8
è E9
é EA
ê EB
ë EC
ì ED
í EE
î EF
ï F_ F0
ð F1
ñ F2
ò F3
ó F4
ô F5
õ F6
ö F7
÷ F8
ø F9
ù FA
ú FB
û FC
ü FD
ý FE
þ FF
ÿ

Beispiel Aufgaben

Zeichen	ISO/IEC 8859-1 (hexadezimal)	ISO/IEC 8859-1 (binär)	ISO/IEC 8859-1 (dezimal)

Unicode

Unicode ist ein internationaler Standard, durch den für jedes sinnvolle Zeichen aller bekannten Schrift- und Zeichensysteme ein digitaler Code festgelegt wird. Es werden also auch Symbole festgelegt, wie beispielsweise die Emoji. Unicode ist also die Entzifferungstabelle, mit der aufgrund eines Codes ein Zeichen dargestellt werden kann. Der digitale Code besteht dabei aus einer Nummer. Unicode wird regelmässig aktualisiert und es werden neue Zeichen hinzugefügt. Seit Mai 2019 enthält Unicode 137'929 verschiedene Zeichen aus insgesamt 150 Schriftsystemen.
Bei früher verwendeten Systemen, die einen digitalen Code für Zeichen festgelegt haben, kam immer das Problem auf, dass der Platz nicht ausreichte, da neue Zeichen aufgenommen werden mussten. Damit Unicode nicht auch durch ein grösseres System ersetzt muss, werden die Zeichen in Unicode mit 32 Bits kodiert. Damit gibt es also 2³² = 4'294'967'296 Möglichkeiten, wie ein solcher Code aussehen kann und somit können über vier Milliarden verschiedene Zeichen kodiert werden. Unicode hat also noch sehr grosse Reserven für neue Zeichen
Da eine 32 Bit grosse Binärzahl zu viel Platz braucht wir die Unicodenummer fast überall im Hexadezimalformat angegeben. Eine Unicodenummer sieht folgendermassen aus: U+270D. Man kann also am U+ am Anfang erkennen, dass es sich um eine Unicodenummer handelt, wenn man ein Zeichen mit dieser Nummer darunter sieht. Wie du vielleicht bereits bemerkt hast, beinhaltet die Nummer, die als Beispiel genommen wurde lediglich 16 Bit. Dies scheint aber nur so, weil in der Darstellung die ersten 16 Bit weggelassen wurden, da diese alle die Ziffer 0 haben. Abgespeichert wird die Nummer aber trotzdem im 32 Bit-Format, sofern sie nicht noch kodiert wird.

UTF-8

UTF-8 ist eine Kodierung der Unicodenummer. UTF-8 ist eine Art der Entropiekodierung, da häufig verwendete Zeichen mit weniger Bit kodiert werden als Zeichen, die nur selten verwendet werden. UTF-8 wird von sehr vielen Websites verwendet (die Zeichen auf dieser Webseite werden auch über UTF-8 abgebildet), über 90% weltweit. Bei UTF-8 wird die Unicodenummer in 8 Bit, also 1 Byte grosse Blöcke unterteilt. Dabei entsprechen die ersten sieben Bits der ASCII-Tabelle, wodurch UTF-8 mit ASCII kompatibel gemacht wurde. Die genaue Vorgehensweise der Kodierung wird in der folgenden Grafik erklärt.

Unicode-Bereich	UTF-8 Kodierung	Erklärung
00000000 bis 0000007F	0xxxxxxx	Dieser Bereich der UTF-8-Kodierung entspricht genau dem Code aus der ASCII-Tabelle. Die 0 am Anfang ist festgelegt, die restlichen Bits, die hier mit x angezeigt werden, können frei gewählt werden. Ein Zeichen, das in der ASCII-Tabelle vorkommt braucht also 1 Byte an Speicherplatz.
00000080 bis 000007FF	110xxxxx 10xxxxxx	Wenn Zeichen ausserhalb der ASCII-Tabelle kodiert werden beginnt das erste Byte mit einer 1 und nicht mit einer 0. Nach dieser 1 folgen so viele weitere 1 wie viele der nachfolgenden Bytes miteinander interpretiert werden sollen. Das Ende dieser Folge von 1 wir mit einer 0 markiert. Die nachfolgenden Bytes beginnen alle mit dem Indikator 10. Die Bits, bei denen ein x abgebildet ist stehen für die Bits des Unicode-Zeichenwertes. Dabei bilden sie von rechts nach links gelesen die Unicode-Zahl von rechts nach links geschrieben ab. Überflüssige Bits können also nur im ersten oder im zweiten Byte stehen.
00000800 bis 0000FFFF	1110xxxx 10xxxxxx 10xxxxxx
00010000 bis 001FFFFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

Beispiel Aufgaben

Schreibe für den binären Unicode immer die niederwertigen (hinteren) 16 Bits, ausser wenn die hochwertigen Bits werden gebraucht, um die Zahl darzustellen, schreibe so viele Bits wie benötigt werden. Schreibe bei UTF-8 zwischen jedem Byte ein Leerzeichen als Hilfe zur Übersichtlichkeit. Schreibe für das Dezimalformat einfach so viele Stellen, wie benötigt werden und für das Hexadezimalformat alle 8 Bytes.

Unicode (dezimal)	Unicode (binär)	Unicode (hexadezimal)	UTF-8

Der Nachteil von UTF-8 wird erst bei der Kodierung ersichtlich. Während UTF-8 zwar viel weniger Daten, bei beispielsweise einer Übertragung benötigt, wie wenn die Unicode-Nummer mit ihren 32 Bit roh übertragen werden würde, sind bei der Unicode-Nummer alle Zeichen mit einer gleich langen Bitfolge kodiert, während bei UTF-8 unterschiedlich lange Bitfolgen auftauchen können, was einen höheren Rechenaufwand erfordert. Deswegen verwendet zum Beispiel Microsoft Windows UTF-16 als Kompromiss zwischen UTF-8 und UTF-32.

UTF-16

UTF-16 ist auch eine Kodierung der Unicode-Nummer, mit der ein Zeichen dargestellt werden kann. Eine UTF-16 Kodierung besteht dabei analog zu UTF-8 aus 16 Bit grossen Blöcken. Dabei benötigt jedes Zeichen einen oder zwei solche Blöcke. Ein Zeichen benötigt also eine Datenmenge von 16 oder 32 Bit. Der Unicode-Zeichenbereich wird in UTF-16 in verschiedene Ebenen (Planes) unterteilt. Diese Ebenen bieten jeweils Platz für 2¹⁶ = 65536 Zeichen, da jedes Zeichen in so einer Ebene mit einem 16 Bit langen Code kodiert wird. UTF-16 ist aufgrund des längeren Codes für die Zeichen nicht mehr kompatibel mit der ASCII-Tabelle. Unicode hat aber noch riesige Reserven, da in Unicode nur 137'929 Zeichen und Symbole vorkommen. Diese Reserven sind auch in UTF-16 vorhanden, weswegen nur 6 der 17 Ebenen gebraucht werden. Hier werden die 6 Ebenen, die in Gebrauch sind und die Kodierung der Zeichen, die in den Ebenen liegen erklärt. UTF-16 wird beispielsweise von Microsoft Windows als Kompromiss zwischen UTF-8 und UTF-32 verwendet. Auch SMS verwendet UTF-16, sobald ein Zeichen ausserhalb der ASCII-Tabelle dargestellt werden muss. Wird ein Zeichen ausserhalb ASCII verwendet wird jedes Zeichen im SMS mit UTF-16 kodiert. Deswegen kann ein SMS, bei dem die Grösse auf 140 Bytes beschränkt ist, 160 Zeichen enthalten, wenn nur Zeichen aus der ASCII-Tabelle verwendet werden, aber lediglich noch 70 Zeichen, wenn ein Symbol ausserhalb der ASCII-Tabelle verwendet wird.

Beispiel Aufgaben

Schreibe für den binären Unicode immer die niederwertigen (hinteren) 16 Bits, ausser wenn die hochwertigen Bits werden gebraucht, um die Zahl darzustellen, schreibe so viele Bits wie benötigt werden. Schreibe für das Dezimalformat einfach so viele Stellen, wie benötigt werden und für das Hexadezimalformat alle 8 Ziffern.

Unicode (dezimal)	Unicode (binär)	Unicode (hexadezimal)	UTF-16 (hexadezimal)

UTF-32

UTF-32 ist die simpelste Kodierung der Unicode-Nummer. Dabei wird einfach die Unicode-Nummer mit einer 32 Bit grossen Zahl dargestellt. Damit verbraucht ein Zeichen in UTF-32 immer 32 Bit = 4 Byte Daten, obwohl Zeichen aus der ASCII-Tabelle mit UTF-8 mit lediglich 8 Bit = 1 Byte dargestellt werden können. Der Vorteil von UTF-32 ist, dass der Rechenaufwand bei der Darstellung nur so viel ist, wie für das Dekodieren der Unicode-Nummer gebraucht wird. Bei UTF-8 und UTF-16 hingegen muss zuerst die Unicode-Nummer identifiziert werden.