我想我找到了针对我的用例(一个Spark容器/主机OS)的解决方案:
Spark可以绑定到主机的ip,其他机器也可以与之通信,端口转发负责其余的工作。不需要DNS或任何复杂的配置,我还没有对此进行全面的测试,但是到目前为止还不错。
编辑:请注意,这些说明适用于Spark 1.x,仅在Spark 2.x才SPARK_PUBLIC_DNS
需要,我认为SPARK_LOCAL_IP
已弃用。
在具有Docker容器的独立集群上执行Spark SPARK_PUBLIC_DNS和SPARK_LOCAL_IP
我想我找到了针对我的用例(一个Spark容器/主机OS)的解决方案:
Spark可以绑定到主机的ip,其他机器也可以与之通信,端口转发负责其余的工作。不需要DNS或任何复杂的配置,我还没有对此进行全面的测试,但是到目前为止还不错。
编辑:请注意,这些说明适用于Spark 1.x,仅在Spark 2.x才SPARK_PUBLIC_DNS
需要,我认为SPARK_LOCAL_IP
已弃用。