您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

Hadoop上的HDFS位置是什么?

Hadoop上的HDFS位置是什么?

这是在dfs.datanode.data.dir属性中设置的,该属性认为file://${hadoop.tmp.dir}/dfs/data在此处查看详细信息)。

但是,对于您而言,问题是您没有 HDFS中使用完整路径。相反,请执行以下操作:

hadoop fs -ls /usr/local/myhadoop-tmp/

请注意,您似乎还将HDFS中的路径与本地文件系统中的路径混淆了。在HDFS中,您的文件位于/usr/local/myhadoop- tmp/。在您的本地系统中(并根据您的配置设置),它位于/usr/local/myhadoop-tmp/dfs/data/; 下。在那里,有一个由HDFS定义的目录结构和命名约定,与您决定使用的HDFS中的任何路径无关。而且,它不会具有相同的名称,因为它分为多个块,并且每个块都分配有唯一的ID;一个街区的名字就像blk_1073741826

得出的结论是:datanode使用的本地路径与您在HDFS中使用的路径不同。您可以进入本地目录以查找文件,但是不应该这样做,因为这样可能会使HDFS元数据管理混乱。只需使用hadoop命令行工具,即可使用您希望使用的任何逻辑路径(在HDFS中)复制/移动/读取HDFS中的文件。HDFS中的这些路径不必与您用于本地数据节点存储的路径绑定在一起(没有理由或这样做的好处)。

其他 2022/1/1 18:27:38 有468人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶