该multiprocessing
模块有效地基于fork
系统调用,该系统调用创建当前进程的副本。由于您要在之前fork
(或创建multiprocessing.Process
)加载大量数据,因此子进程将继承数据的副本。
但是,如果您所运行的操作系统实现了COW(写时复制),那么除非您在父进程或子进程(父进程和子进程)中都修改了数据,否则物理内存中实际上只有一个副本。将共享 相同的物理内存页面,尽管它们位于不同的虚拟地址空间中);即使这样,也只会为更改分配额外的内存(以pagesize
增量为单位)。
您可以通过multiprocessing.Process
在加载大量数据之前进行调用来避免这种情况。这样,当您在父级中加载数据时,其他内存分配将不会反映在子级进程中。