您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

非唯一索引对pandas的性能有何影响?

非唯一索引对pandas的性能有何影响?

当索引是唯一的时,熊猫使用哈希表将键映射到值O(1)。当索引不是唯一且排序时,大熊猫使用二进制搜索O(logN),当索引为随机排序时,大熊猫需要检查索引O(N)中的所有键。

您可以调用sort_index方法

import numpy as np
import pandas as pd
x = np.random.randint(0, 200, 10**6)
df1 = pd.DataFrame({'x':x})
df2 = df1.set_index('x', drop=False)
df3 = df2.sort_index()
%timeit df1.loc[100]
%timeit df2.loc[100]
%timeit df3.loc[100]

结果:

10000 loops, best of 3: 71.2 µs per loop
10 loops, best of 3: 38.9 ms per loop
10000 loops, best of 3: 134 µs per loop
其他 2022/1/1 18:30:10 有400人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶