Unicode

Unicode je tabulka znaků všech existujících abeced, která v současnosti obsahuje více než 100 000 znaků.

Vývoj Unicode začal v roce 1987 a byl dovršen v roce 1991 založením Unicode Consortium.

[editovat] Vývoj

Ke konci osmdesátých let 20. století vznikla naléhavá potřeba sjednotit různé kódové tabulky znaků pro národní abecedy. Například český jazyk používal v informatice nejméně 5 různě kódovaných tabulek (kódování bratří Kamenických, PC Latin 2, Windows 1250, ISO Latin 2, … ^[1]). Vznikaly značné problémy při spolupráci aplikací a při přenosech dat mezi programy a různými platformami. Podobná situace byla ve všech jazycích, které nevystačily se základní 7bitovou tabulkou ASCII znaků.

V té době vznikly současně dva projekty pro vytvoření jednotné univerzální kódovací tabulky znaků. Byl to projekt ISO 10646 organizace ISO a projekt Unicode. Norma ISO definuje tzv. UCS - Universal Character Set.

Kolem roku 1991 došlo k dohodě a projekty spojily své úsilí na vytvoření jednotné tabulky. Oba projekty stále existují a publikují své standardy samostatně, ale tabulky znaků jsou kompatibilní a jejích rozšiřování je koordinováno.

[editovat] Dnes

Unicode verze 1.1 odpovídá normě ISO 10646-1:1993, Unicode 3.0 odpovídá ISO 10646-1:2000, Unicode 4.0 odpovídá třetí verzi ISO 10646:2003. Všechny verze Unicode od 2.0 výše jsou zpětně kompatibilní, jsou přidávány pouze nové znaky, existující znaky nejsou vyřazovány nebo přejmenovávány.

Standard Unicode se oproti ISO 10646 navíc zabývá implementací algoritmů pro písma psaná zprava doleva (např. arabština), podporou oboustranných textů (jako např. směs hebrejštiny a latinky), algoritmy pro řazení a porovnávání textů.

V současné chvíli existuje Unicode ve verzi 5.2, která vyšla v roce 2009.^[2] Celkem obsahuje na 107 296 znaků a symbolů z 90 různých jazyků a abeced.^[3] Unicode Consortium již v této chvíli zaručuje, že všechny nové verze budou zpětně kompatibilní s předchozími, tj. že nové standardy budou přidávat další znaky, ale žádné již nebudou odstraňovat ani měnit.

[editovat] Znaky Unicode

Každý znak má jednoznačný číselný kód a svůj název. Navíc Unicode definuje u každého znaku některé základní vlastnosti jako např. zda se jedná o písmeno, symbol atd., zda je písmeno velké či malé atp. Tabulka Unicode poskytuje prostor pro 1 114 112 znaků s kódy 0₁₆ až 10FFFF₁₆. Tento prostor se dělí na 17 částí, každý o velikosti 2¹⁶. První část se nazývá Basic Multilingual Plane (BMP) a obsahuje znaky běžně používaných abeced. Původní 16bitový návrh Unicode počítal jen s BMP, následně se ale ukázalo, že pro pokrytí všech používaných abeced to nestačí.

[editovat] Kódování

Existuje několik různých způsobů, jak znaky Unicode kódovat. Základní kodování, definovaná přímo ve standardu Unicode, jsou:

• UTF-32,
• UTF-16,
• UTF-8.

Kódování UTF-32 a UTF-16 mají každá své varianty podle používaného pořadí bajtů. Buď je napevno stanoveno pořadí little-endian, resp., big-endian, nebo se toto pořadí určuje podle tzv. byte order mark (BOM), speciální značky umístěné na začátku textu.

[editovat] UTF-32

V kódování UTF-32 (též označováno jako UCS-4) je každý znak reprezentován přímo 32bitovým číslem. Jedná se tedy o principiálně velmi jednoduché kódování (jeho hlavní výhodou je stejná délka všech znaků), které však má poměrně vysoké nároky na paměť. Při serializaci do posloupnosti bajtů se podle endianity rozlišují varianty UTF-32BE (big-endian), UTF-32LE (little-endian) a UTF-32 (nestanoveno, může být určeno pomocí BOM).

[editovat] UTF-16

V kódování UTF-16 se znaky BMP reprezentují jedním 16bitovým číslem, znaky mimo BMP jsou reprezentovány párem 16bitových čísel (tzv. surrogate pair). Pro surrogate pairs se používají čísla v rozsahu D800₁₆–DFFF₁₆, přičemž odpovídající znaky v BMP (U+D800 – U+DFFF) jsou rezervovány pro tento účel, nemohou se proto v původním textu vyskytnout.

Existuje starší obdoba tohoto kódování, kódování UCS-2, které znaky BMP kóduje shodně jako UTF-16, ale nepodporuje surrogate pairs a znaky mimo BMP v něm vůbec nelze reprezentovat.

I zde se podle endianity rozlišují varianty UTF-16BE (big-endian), UTF-16LE (little-endian) a UTF-16 (nestanoveno, může být určeno pomocí BOM).

UTF-16 je výrazně úspornější než UTF-32, ale ztrácí jeho výhodu pevné šířky znaku – některé znaky jsou široké 2 bajty, některé 4. Přesto se jedná o kódování používané jako základní ve velkém množství operačních systémů a dalšího software (např. Microsoft Windows, .NET Framework atd.).

[editovat] UTF-8

V UTF-8 se znaky kódují různě dlouhou (1–4 bajty) posloupností bajtů podle jejich pozice v Unicode. Znaky ASCII (U+0000 – U+007F) jsou kódovány jedním bajtem, identicky jako v ASCII, znaky v rozsahu U+0080 – U+07FF (kde jsou také všechny znaky s diakritikou používané v české abecedě) jsou kódovány dvěma bajty, znaky U+0800 – U+FFFF jsou kódovány třemi bajty, znaky mimo BMP jsou kódovány čtyřmi bajty.

UTF-8 se často se používá pro přenos dat, neboť je prostorově úsporné (znaky běžných písem jsou kódovány krátkými posloupnostmi; nevýhodu mají uživatelé písem Dálného východu), odolné proti chybám a zpětně kompatibilní s ASCII. Jeho nevýhodou jsou však odlišné délky jednotlivých znaků.^[4]

UTF-8 je popsané v ISO 10646-1:2000 Annex D a také v RFC 3629.

[editovat] Další kódování

Z různých důvodů existují také další méně často používaná kódování, jako jsou např. UTF-7 či CESU-8.

[editovat] Operační systémy

Znakovou sadu Unicode používá většina moderních operačních systémů.

Operační systémy Microsoft Windows používají Unicode pro vnitřní zápis znaků od verze NT přes 2000 až po Windows Vista.

Také většina distribucí Linuxu buď má nastaveno UTF-8 jako výchozí kódování nebo alespoň umožňuje jeho používání.

[editovat] Aplikace

Některé starší aplikace Unicode (dosud) nepodporují. Na druhé straně pro některé systémy je Unicode již jedinou používanou znakovou sadou.

Programovací jazyky Java a jazyky podporující Common Language Infrastructure (např. C#) vnitřně používají šestnáctibitovou verzi Unicode a navenek podporují mnoho různých kódování.

Též systémy řízení báze dat dnes již často používají Unicode pro uložení znakových údajů.

Na Unicode je založen kancelářský balík Microsoft Office od verze 97.

[editovat] Web

Unicode je znakovou sadou pro HTML dokumenty od verze 4.0 a pro všechny XML dokumenty. Výchozím kódováním je UTF-8, které všechny prohlížeče podporují už delší dobu.

[editovat] Čeština

Na rozdíl od dřívějších osmibitových tabulek znaků jako je bratří Kamenických, Latin 2, Windows-1250 či ISO-8859-2 lze všechny znaky zobrazit zároveň; v jednom textu lze tedy kombinovat např. češtinu, ruštinu a řečtinu.

[editovat] Tabulka českých znaků Unicode

[editovat] Literatura

• The Unicode Consortium: The Unicode Standard, Version 5.2.0. Mountain View, CA: The Unicode Consortium, 2009. ISBN 978-1-936213-00-9.

[editovat] Reference

1. ↑ Přehled kódování češtiny
2. ↑ About the Unicode Standard
3. ↑ Unicode Scripts
4. ↑ The Unicode Standard, Version 5.2, kapitola 2.5 Encoding Forms, s. 28

[editovat] Externí odkazy

• unicode.org – oficiální stránky (anglicky)

• DecodeUnicode – Unicode wiki (anglicky, německy)
• UTF-8 and Unicode FAQ for Unix/Linux
• mlha.cz/unicode - České znakové tabulky, převodník znaků z Unicode na UTF-8 a HTML entity