Юникод
Юникод — универсальный стандарт символов, который назначает кодовые позиции буквам, знакам и элементам письменностей мира.
Определение
Юникод — стандарт представления текста множества письменностей, а также символов, эмодзи и управляющих знаков. Каждому закодированному элементу назначается кодовая позиция: U+ и шестнадцатеричное число, например U+0041 для A и U+20AC для €.
Кодовая позиция — абстрактное число, а не последовательность байтов. Кодировки UTF-8, UTF-16 и UTF-32 задают способы хранения и передачи позиций в виде байтов.
Кодовые позиции и кодировки
Диапазон Юникода идёт от U+0000 до U+10FFFF, но часть позиций зарезервирована или ещё не назначена. В UTF-8 символы ASCII занимают один байт, а другие назначенные позиции — от двух до четырёх байтов; UTF-16 использует одну или две 16-битные кодовые единицы.
ASCII входит в Юникод: значения от 0 до 127 имеют те же кодовые позиции и однобайтовую запись в UTF-8.
Практический пример
Символу € соответствует позиция U+20AC. В UTF-8 она хранится тремя байтами E2 82 AC, а в исходном коде может быть записана escape-последовательностью. Это разные представления одной позиции.
Видимый символ не всегда равен одной позиции. Буква é может быть U+00E9 либо последовательностью U+0065 и комбинирующего U+0301.
Нормализация и частые ошибки
Нормализация Unicode приводит эквивалентные последовательности к выбранной стандартной форме и помогает при сравнении и поиске. Применять её нужно осознанно: визуально похожие символы могут быть действительно разными.
Шрифт определяет отображение, а одна графема в эмодзи или некоторых письменностях может состоять из нескольких позиций. Поэтому количество байтов, кодовых позиций и видимых символов различается. Юникод — кодирование, а не шифрование.
Нет. Юникод определяет символы и кодовые позиции, а UTF-8 — один из способов записать эти позиции байтами.
Единого числа нет. В UTF-8 одна кодовая позиция занимает от одного до четырёх байтов, а видимая графема может состоять из нескольких позиций.
Они могут состоять из разных, но канонически эквивалентных последовательностей — например, готовой буквы и буквы с комбинируемым знаком. Подходящая нормализация приводит их к одной форме.