您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

在具有Docker容器的独立集群上执行Spark SPARK_PUBLIC_DNS和SPARK_LOCAL_IP

在具有Docker容器的独立集群上执行Spark SPARK_PUBLIC_DNS和SPARK_LOCAL_IP

我想我找到了针对我的用例(一个Spark容器/主机OS)的解决方案:

Spark可以绑定到主机的ip,其他机器也可以与之通信,端口转发负责其余的工作。不需要DNS或任何复杂的配置,我还没有对此进行全面的测试,但是到目前为止还不错。

编辑:请注意,这些说明适用于Spark 1.x,仅在Spark 2.x才SPARK_PUBLIC_DNS需要,我认为SPARK_LOCAL_IP已弃用。

其他 2022/1/1 18:13:39 有770人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶