您可以按照建议手动设置PYTHONPATH,这在本地安装上测试独立的非交互式脚本时可能对您很有用。
但是,(py)spark只是关于将您的作业分配到群集上的节点。每个集群都有一个定义管理器和许多参数的配置。有关设置的详细信息,请参见此处,并包括一个简单的本地群集(这可能对测试功能很有用)。
在生产中,您将通过spark- submit提交任务以引发spark,这会将您的代码分发到群集节点,并为它们在这些节点上运行创建上下文。但是,您确实需要确保节点上的python安装具有所有必需的依赖关系(建议的方式),或者确保依赖关系随代码一起传递(我不知道它是如何工作的)。