您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

Hadoop单机学习环境配置

5b51 2022/1/14 8:25:23 python 字数 3776 阅读 812 来源 www.jb51.cc/python

详细配置戳这里:hadoop学习通过虚拟机安装hadoop完全分布式集群 以下是简单命令摘要:

概述

以下是简单命令摘要:

安装虚拟机VM ——> 安装centos ——>

1. 生成组用户

ztf ALL=(ALL) ALL

2. 生成SSH

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件,这个步骤是必须的,过程如下:

cat id_dsa.pub >> authorized_keys

单机回环免密码登陆测试:

ssh localhost

exit

3. ssh连接master与slave节点

scp ztf@master:~/.ssh/id_dsa.pub ./master_dsa.pub

cat master_dsa.pub >> authorized_keys

如果连接失败,则需要关闭master主机防火墙:systemctl stop firewalld.service

进入master主机.ssh目录测试连接:

ssh slave1 

exit

ssh slave1

exit

第一遍连接需要输入密码,第二次不需要输入密码。

4. 下载并解压hadoop安装包

我是下载到windows,设置了虚拟机与linux的共享文件,把安装包放在共享文件夹下,同步到三个虚拟机中。

设置方式:

前提条件:vmware workstation 软件+centos

1) 将虚拟机关机。

①将虚拟机关机。选中需要操作的虚拟机,右击鼠标,弹出对话框,选择settings。

②弹出的对话框中选择option标签页中的share folder,点add增加共享路径,别忘了勾选always enable。

2) 安装vmware-tools。
①运行虚拟机,启动后鼠标右键需要设置的虚拟机,在弹出的对话框中选择Install Vmware Tools,这时,vmware会自己去网上下载工具。(虚拟机非开机状态,安装vmware-tools选项为灰色)

 ②vmware工具下载完成后,显示提示框,告诉你怎么安装,见下图。它说vmware tools工具放在ISO镜像中,把镜像挂载上去,然后把里面的包解压,运行vmware-install.pl,就可以的。

3) 安装完成后就大功告成了,可以去cd /mnt/hgfs/,然后ls,就可以看到共享的文件夹了。


nofollow">CentOS 6 安装VMWare tools,以及解决安装后/mnt中有hgfs但没共享文件方法


----------------------------------------------------

配置过程中常用命令解析:

su - :su命令和su -命令最大的本质区别就是,前者只是切换了root身份,但Shell环境仍然是普通用户的Shell;而后者连用户和Shell环境一起切换成root身份了。只有切换了Shell环境才不会出现PATH环境变量错误

sudo su -:通过sudo,我们能把某些超级权限有针对性的下放,并且不需要普通用户知道root密码,所以sudo 相对于权限无限制性的su来说是比较安全的。sudo 也能被称为受限制的su,或授权许可的su。sudo 执行命令的流程是当前用户切换到root(或其它指定切换到的用户),然后以root(或其它指定的切换到的用户)身份执行命令,执行完成后,直接退回到当前用户;而这些的前提是要通过sudo的配置文件/etc/sudoers来进行授权;


总结

以上是编程之家为你收集整理的Hadoop单机学习环境配置全部内容,希望文章能够帮你解决Hadoop单机学习环境配置所遇到的程序开发问题。


如果您也喜欢它,动动您的小指点个赞吧

除非注明,文章均由 laddyq.com 整理发布,欢迎转载。

转载请注明:
链接:http://laddyq.com
来源:laddyq.com
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


联系我
置顶