您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

帮助我了解为什么Unicode有时只能与Python一起使用

帮助我了解为什么Unicode有时只能与Python一起使用

Python(和大多数其他语言)中的I / O基于 bytes 。当您将字节字符串(str在2.x中,bytes在3.x中)写入文件时,字节只是按原样写入。当您将Unicode字符串(unicode在2.x,str3.x中)写入文件时,需要将数据编码 为字节序列。

有关此区别的进一步说明,请参见“ 深入Python 3” 一章中的字符串

print('abcd kΩ ? °C √Hz µF ü ? ?')

在此,字符串是字节字符串。由于源文件的编码为UTF-8,因此字节为

'abcd k\xce\xa9 \xe2\x98\xa0 \xc2\xb0C \xe2\x88\x9aHz \xc2\xb5F \xc3\xbc \xe2\x98\x83 \xe2\x99\xa5'

print语句将这些字节原样写入控制台。但是Windows控制台将字节字符串解释为在“ OEM”代码页(在美国为437)中编码。因此,您实际在屏幕上看到的字符串是

abcd k╬? Γÿá ┬?C ΓêÜHz ┬╡F ├╝ Γÿâ ΓÖÑ

在您的Ubuntu系统上,这不会造成问题,因为认的控制台编码是UTF-8,因此您在源文件编码和控制台编码之间没有差异。

print(u'abcd kΩ ? °C √Hz µF ü ? ?')

打印Unicode字符串时,必须将字符串 编码 为字节。但是,只有在您的编码支持这些字符的情况下,它才有效。而你没有。

因此,在两种情况下,您都会收到一个UnicodeEncodeError尝试打印字符串。

是什么赋予了?

Windows和Linux采用了截然不同的方法支持Unicode。

最初,它们的工作方式几乎相同:每个语言环境都有自己的char基于特定语言的编码(Windows中为“ ANSI代码页”)。西方语言使用ISO-8859-1或Windows-1252,俄语使用KOI8-R或Windows-1251等。

当Windows NT添加了对Unicode的支持时(即早先假定Unicode将使用16位字符),它通过创建其API的并行版本(wchar_t而不是)来实现char。例如,MessageBox函数被拆分为两个函数

int Message@R_701_2419@A(HWND hWnd, const char* lpText, const char* lpCaption, unsigned int uType);
int Message@R_701_2419@W(HWND hWnd, const wchar_t* lpText, const wchar_t* lpCaption, unsigned int uType);

“ W”功能是“真实”功能。存在“ A”函数是为了与基于DOS的Windows向后兼容,并且大多数情况下只是将其字符串参数转换为UTF-16,然后调用相应的“ W”函数

在Unix世界(特别是Plan 9)中,编写一个全新版本的POSIX API被认为是不切实际的,因此以不同的方式获得了Unicode支持。使用CJK语言环境中对多字节编码的现有支持来实现现在称为UTF-8的新编码。

在编写支持Unicode的跨平台代码时,在类Unix系统上对UTF-8的偏爱以及在Windows上对UTF-16的偏爱是一个巨大的痛苦。Python试图向程序员隐藏此内容,但打印到控制台是Joel的“泄漏抽象”之一。

python 2022/1/1 18:34:34 有431人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶