您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

在Python中将没有BOM的UTF-8转换为带有BOM的UTF-8

在Python中将没有BOM的UTF-8转换为带有BOM的UTF-8

只需使用“ utf-8-sig”编解码器

fp = open("file.txt")
s = fp.read()
u = s.decode("utf-8-sig")

这样就可以得到一个unicode没有BOM的字符串。然后,您可以使用

s = u.encode("utf-8")

以在中获取普通UTF-8编码的字符串s。如果文件很大,则应避免将它们全部读入内存。BOM只是文件开头的三个字节,因此您可以使用以下代码将其从文件删除

import os, sys, codecs

BUFSIZE = 4096
BOMLEN = len(codecs.BOM_UTF8)

path = sys.argv[1]
with open(path, "r+b") as fp:
    chunk = fp.read(BUFSIZE)
    if chunk.startswith(codecs.BOM_UTF8):
        i = 0
        chunk = chunk[BOMLEN:]
        while chunk:
            fp.seek(i)
            fp.write(chunk)
            i += len(chunk)
            fp.seek(BOMLEN, os.SEEK_CUR)
            chunk = fp.read(BUFSIZE)
        fp.seek(-BOMLEN, os.SEEK_CUR)
        fp.truncate()

它打开文件,读取一个块,并将其比读取它的位置早3个字节写入文件。该文件被原位重写。较简单的解决方案是将较短的文件写入新文件,例如newtover的answer。那会更简单,但是在短时间内使用两倍的磁盘空间。

至于猜测编码,则可以从最具体到最不具体遍历整个编码:

def decode(s):
    for encoding in "utf-8-sig", "utf-16":
        try:
            return s.decode(encoding)
        except UnicodeDecodeError:
            continue
    return s.decode("latin-1") # will always work

UTF-16编码的文件不会解码为UTF-8,因此我们首先尝试使用UTF-8。如果失败,那么我们尝试使用UTF-16。最后,我们使用Latin-1-这将始终有效,因为所有256个字节在Latin-1中都是合法值。None在这种情况下,您可能想要返回,因为这实际上是一个后备,并且您的代码可能想要更仔细地处理(如果可以)。

python 2022/1/1 18:29:02 有360人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶