- ru
- Language: en
- Documentation version: latest
Ошибки при конвертации
При конвертации между строками и байтами очень важно точно знать, какая кодировка используется, а также знать о возможностях разных кодировок.
Например, кодировка ASCII не может преобразовать в байты кириллицу:
In [32]: hi_unicode = 'привет'
In [33]: hi_unicode.encode('ascii')
---------------------------------------------------------------------------
UnicodeEncodeError Traceback (most recent call last)
<ipython-input-33-ec69c9fd2dae> in <module>()
----> 1 hi_unicode.encode('ascii')
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)
Аналогично, если строка “привет” преобразована в байты, и попробовать преобразовать ее в строку с помощью ascii, тоже получим ошибку:
In [34]: hi_unicode = 'привет'
In [35]: hi_bytes = hi_unicode.encode('utf-8')
In [36]: hi_bytes.decode('ascii')
---------------------------------------------------------------------------
UnicodeDecodeError Traceback (most recent call last)
<ipython-input-36-aa0ada5e44e9> in <module>()
----> 1 hi_bytes.decode('ascii')
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 0: ordinal not in range(128)
Еще один вариант ошибки, когда используются разные кодировки для преобразований:
In [37]: de_hi_unicode = 'grüezi'
In [38]: utf_16 = de_hi_unicode.encode('utf-16')
In [39]: utf_16.decode('utf-8')
---------------------------------------------------------------------------
UnicodeDecodeError Traceback (most recent call last)
<ipython-input-39-4b4c731e69e4> in <module>()
----> 1 utf_16.decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte
Наличие ошибок - это хорошо. Они явно говорят, в чем проблема. Хуже, когда получается так:
In [40]: hi_unicode = 'привет'
In [41]: hi_bytes = hi_unicode.encode('utf-8')
In [42]: hi_bytes
Out[42]: b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
In [43]: hi_bytes.decode('utf-16')
Out[43]: '뿐胑룐닐뗐苑'
Обработка ошибок
У методов encode и decode есть режимы обработки ошибок, которые указывают, как реагировать на ошибку преобразования.
Параметр errors в encode
По умолчанию encode использует режим strict - при возникновении ошибок
кодировки генерируется исключение UnicodeError. Примеры такого поведения
были выше.
Вместо этого режима можно использовать replace, чтобы заменить символ знаком вопроса:
In [44]: de_hi_unicode = 'grüezi'
In [45]: de_hi_unicode.encode('ascii', 'replace')
Out[45]: b'gr?ezi'
Или namereplace, чтобы заменить символ именем:
In [46]: de_hi_unicode = 'grüezi'
In [47]: de_hi_unicode.encode('ascii', 'namereplace')
Out[47]: b'gr\\N{LATIN SMALL LETTER U WITH DIAERESIS}ezi'
Кроме того, можно полностью игнорировать символы, которые нельзя закодировать:
In [48]: de_hi_unicode = 'grüezi'
In [49]: de_hi_unicode.encode('ascii', 'ignore')
Out[49]: b'grezi'
Параметр errors в decode
В методе decode по умолчанию тоже используется режим strict и генерируется исключение UnicodeDecodeError.
Если изменить режим на ignore, как и в encode, символы будут просто игнорироваться:
In [50]: de_hi_unicode = 'grüezi'
In [51]: de_hi_utf8 = de_hi_unicode.encode('utf-8')
In [52]: de_hi_utf8
Out[52]: b'gr\xc3\xbcezi'
In [53]: de_hi_utf8.decode('ascii', 'ignore')
Out[53]: 'grezi'
Режим replace заменит символы:
In [54]: de_hi_unicode = 'grüezi'
In [55]: de_hi_utf8 = de_hi_unicode.encode('utf-8')
In [56]: de_hi_utf8.decode('ascii', 'replace')
Out[56]: 'gr��ezi'