您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

如何安装pyspark以在独立脚本中使用?

如何安装pyspark以在独立脚本中使用?

您可以按照建议手动设置PYTHONPATH,这在本地安装上测试独立的非交互式脚本时可能对您很有用。

但是,(py)spark只是关于将您的作业分配到群集上的节点。每个集群都有一个定义管理器和许多参数的配置。有关设置的详细信息,请参见此处,并包括一个简单的本地群集(这可能对测试功能很有用)。

在生产中,您将通过spark- submit提交任务以引发spark,这会将您的代码分发到群集节点,并为它们在这些节点上运行创建上下文。但是,您确实需要确保节点上的python安装具有所有必需的依赖关系(建议的方式),或者确保依赖关系随代码一起传递(我不知道它是如何工作的)。

其他 2022/1/1 18:33:27 有413人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶