Unicode
Unicode, dünyadaki yazı sistemlerinin karakter ve simgelerine kod noktaları atayan evrensel bir karakter standardıdır.
Tanım
Unicode, birçok yazı sistemindeki metinlerin yanı sıra simgeleri, emojileri ve denetimleri temsil eden standarttır. Her öğeye U+ ve on altılık rakamlarla yazılan kod noktası atanır; örneğin A için U+0041, € için U+20AC.
Kod noktası soyut bir sayıdır, bayt dizisi değildir. UTF-8, UTF-16 ve UTF-32 bu noktaların baytlarla nasıl saklanacağını veya iletileceğini tanımlar.
Kod noktaları ve kodlamalar
Unicode U+0000 ile U+10FFFF arasındadır; bazı aralıklar ayrılmış veya atanmamıştır. UTF-8 ASCII için bir, diğer atanmış noktalar için iki ila dört bayt; UTF-16 bir veya iki 16 bitlik kod birimi kullanır.
ASCII Unicode’a dahildir: 0–127 değerleri aynı kod noktalarını ve UTF-8’de aynı tek baytlık gösterimi korur.
Pratik örnek
€ karakteri U+20AC kod noktasıdır. UTF-8’de E2 82 AC baytlarıyla saklanır; kaynak kodda kaçış gösterimiyle de yazılabilir. Bunlar aynı noktanın farklı gösterimleridir.
Görünen bir karakter her zaman tek nokta değildir: é, U+00E9 veya U+0065 ile birleşen U+0301 dizisi olabilir.
Normalleştirme ve yaygın hatalar
Unicode normalleştirme eşdeğer dizileri seçilen standart biçime getirerek karşılaştırma ve aramayı kolaylaştırır. Görsel olarak benzer karakterler gerçekten farklı olabileceği için bilinçli uygulanmalıdır.
Yazı tipi görünümü belirler; bazı emoji ve yazılar birkaç noktayı tek grafemde birleştirir. Bayt, kod noktası ve görünen karakter sayıları bu yüzden farklı olabilir. Unicode kodlamadır, şifreleme değildir.
Hayır. Unicode karakterleri ve kod noktalarını tanımlar; UTF-8 bu noktaları baytlarla kodlama yöntemidir.
Tek bir sayı yoktur. UTF-8’de kod noktası bir ila dört bayt kullanır; görünen bir grafem birkaç noktadan oluşabilir.
Önceden oluşturulmuş harf ile harf ve birleşen işaret gibi farklı ama kanonik olarak eşdeğer diziler kullanabilirler. Uygun normalleştirme bunları eşler.