您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

从嵌套列表创建DataFrame时可以访问read_csv()的dtype推理引擎吗?

从嵌套列表创建DataFrame时可以访问read_csv()的dtype推理引擎吗?

一种解决方案是使用StringIO对象。唯一的区别是,它将所有数据保留在内存中,而不是写入磁盘并回读。

代码如下(注意:Python 3!):

import numpy as np
import pandas as pd
import csv
from io import StringIO

data = [['string_boolean', 'numeric', 'numeric_missing'],
        ['FALSE', 23, 50],
        ['TRUE', 19, 12],
        ['FALSE', 4.8, '']]

with StringIO() as fobj:
    writer = csv.writer(fobj)
    writer.writerows(data)
    fobj.seek(0)
    df = pd.read_csv(fobj)

print(df.head(3))
print(df.string_boolean.dtype) # Automatically converted to bool
print(df.numeric.dtype) # Float, as expected
print(df.numeric_missing.dtype) # Float, doesn't care about empty string

with StringIO() as fobj是不是真的有必要:fobj = String()将工作一样很好。并且由于上下文管理器将在StringIO()对象范围之外关闭对象,因此df = pd.read_csv(fobj)必须在对象内部。 还要注意fobj.seek(0),这是另一个必要条件,因为您的解决方案只是关闭并重新打开文件,这将自动文件指针设置为文件的开头。

我实际上试图使以上代码与Python 2/3兼容。由于以下原因,这变得一团糟:Python 2具有一个io模块,就像Python 3一样,该模块的StringIO类使所有代码都是unicode的(在Python 2中也是如此;在Python 3中,它当然是认的)。 很好,除了csvPython 2中的writer模块 兼容Unicode。 因此,替代方法是使用(较旧的)Python 2(c)StringIO模块,例如,如下所示:

try:
    from cStringIO import StringIO
except ModuleNotFoundError:  # Python 3
    from io import StringIO

并且在Python 2中将是纯文本,在Python 3中将是unicode。 除非现在cStringIO.StringIO没有上下文管理器,with否则该语句将失败。正如我提到的那样,这并不是真正必要的,但是我使事情尽可能地接近您的原始代码。 换句话说,如果没有可笑的技巧,我找不到一种很好的方法来保持接近原始代码

我还考虑了完全避免CSV编写器,从而导致:

text = '\n'.join(','.join(str(item).strip("'") for item in items) 
                 for items in data)

with StringIO(text) as fobj:
    df = pd.read_csv(fobj)

也许更整洁(虽然不太清楚), 并且与 Python 2/3兼容。(我不希望它能在csv模块可以处理的所有事情上正常工作,但是在这里它可以正常工作。)

在这里,我只能推测。

我认为原因是,当输入是Python对象(字典,列表)时,输入是已知的,并由程序员掌握。因此,该输入不太可能包含诸如'FALSE'或的字符串,甚至是不合逻辑的''。相反,它通常包含对象Falsenp.nan(或math.nan),因为程序员已经处理了(字符串)转换。 而对于文件(CSV或其他文件),输入内容可以是任何内容:您的同事可能发送了Excel CSV文件,或者其他人向您发送了数字CSV文件。我不知道CSV文件的标准化程度,但是您可能需要一些代码来允许例外情况,并且总体上需要将字符串转换为Python(NumPy)格式。

因此,从这种意义上讲,期望pd.DAtaFrame(...)只接受任何内容实际上是不合逻辑的:相反,它 应该 接受格式正确的内容

您可能会争辩一种采用类似您的列表的便捷方法,但是列表不是CSV文件(它只是一堆字符,包括换行符)。另外,我希望pd.read_csv可以读取大块文件(也许是逐行读取)的选项,如果您用换行符代替它,则会变得更加困难(您不能真正逐行读取该文件,因为您将不得不在换行符上将其拆分,并将所有行都保留在内存中。并且您已经在内存中某个位置(而不是磁盘上)存储了完整的字符串。但是我离题了。

此外,StringIO技巧只是几行以精确地执行此技巧。

其他 2022/1/1 18:35:00 有498人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶