免费视频网站怎么赚钱,制作照片,wordpress标题写法,网站开发所需费用支出有哪些一、Hadoop安装与配置
1、解压Hadoop安装包
找到hadoop-2.6.0.tar.gz,将其复到master0节点的”/home/csu”目录内#xff0c;解压hadoop
[csumaster0 ~]$ tar -zxvf ~/hadoop-2.6.0.tar.gz 解压成成功后自动在csu目录下创建hadoop-2.6.0子目录#xff0c;可以用cd hadoo… 一、Hadoop安装与配置
1、解压Hadoop安装包
找到hadoop-2.6.0.tar.gz,将其复到master0节点的”/home/csu”目录内解压hadoop
[csumaster0 ~]$ tar -zxvf ~/hadoop-2.6.0.tar.gz 解压成成功后自动在csu目录下创建hadoop-2.6.0子目录可以用cd hadoop-2.6.0命令进入这个目录并用ls -l 命令查看里面的文件。 2、配置hadoop环境变量 如果通过代码无法打开文件就点击HOME目录找到computer目录然后按照这个路径去找到各个文件夹“/home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh” [csumaster0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
在文件的前面找到“export JAVA_HOME{JAVA_HOME}”将其修改为实际的JDK安装路径即输入”export JAVA_HOME/usr/java/jdk1.7.0_71/” 编辑完毕保存退出即可 3、配置Yarn环境变量文件
配置Yarn环境变量文件是yarn-env.sh,也位于“~/hadoop-2.6.0/etc/hadoop”目录下
[csumaster0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-env.sh
在文件的前面部份找到“# export JAVA_HOME/home/y/libexec/jdk1.6.0/ ”
将其改为“export JAVA_HOME/usr/java/jdk1.7.0_71/”编辑完毕保存退出即可 4、配置核心组件文件 hadoop的核心组件文件是core-site.xml,也位于“~/hadoop-2.6.0/etc/hadoop”目录下
[csumaster0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/core-site.xml
需要将下面的配置代码放在文件的configuration和/configuration之间 configuration property namefs.defaultFS/name valuehdfs://master0:9000/value /property property namehadoop.tmp.dir/name value/home/csu/hadoopdata/value /property
/configuration
编辑完毕保存退出即可 事先要在/home/csu下建一个hadoopdata目录 5、配置文件系统 Hadoop的文件系统配置文件是hdfs-site.xml,也位于“~/hadoop-2.6.0/etc/hadoop”子目录下。 [csumaster0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
需要将下面的代码填充到文件的configuration和/configuration之间 property namedfs.replication/name value1/value /property
编辑完毕保存退出即可 dfs.replicationd是HDFS数据块的副本数value1/value
中的值是1就表示是一个副本默认值为3.
6、配置yarn-site.xml文件 yarn-site.xml文件也位于“~/hadoop-2.6.0/etc/hadoop”子目录下 [csumaster0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-site.xml
将下面的代码填充到文件的configuration和/configuration之间 property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.resourcemanager.address/name valuemaster0:18040/value /property property nameyarn.resourcemanager.scheduler.address/name valuemaster0:18030/value /property property nameyarn.resourcemanager.resource-tracker.address/name valuemaster0:18025/value /property property nameyarn.resourcemanager.admin.address/name valuemaster0:18141/value /property property nameyarn.resourcemanager.webapp.address/name valuemaster0:18088/value /property
编辑完毕保存退出即可 7、配置MapReduce计算框架文件 在~/hadoop-2.6.0/etc/hadoop目录下系统已经有一个mapred-site.xml.template文件将其复制并改名位置不变。 [csumaster0 ~]$ cp /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template
/home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml 然后编辑这个文件
[csumaster0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml
将下面代码填充到文件的configuration和/configuration之间 property namemapreduce.framework.name/name valueyarn/value /property
编辑完毕保存退出即可 8、配置master的slaves文件
[csumaster0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/slaves 根据自己搭建的实际情况进行编辑现在只安装一个从节点slave0,就在里面输入内容 slave0 编辑完毕保存退出即可 9、复制master上的Hadoop到Slave节点 有几个从节点就要复制几次现在只有一个slave0从节点就复制一次 [csumaster0 ~]$ scp -r /home/csu/hadoop-2.6.0 csuslave0:~/ 由于我们前面已经配置了免密钥登陆因此这里不会有密码输入认证
至此就完成了Hadoop集群的安装与配置. 二、Hadoop的启动 1、配置操作系统环境变量 配置Linux系统的环境变量 [csumaster0 ~]$ gedit ~/.bash_profile
Or [csumaster0 ~]nano ~/.bash_profile 在这个文件的尾部追加下面的代码 #HADOOP
export HADOOP_HOME/home/csu/hadoop-2.6.0
export PATH$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 保存退出后执行“source ~/.bash_profile”命令使修改后的配置生效。
同时也要在其他节点进行上述配置 2、创建Hadoop数据目录
Mkdir /home/csu/hadoopdata
注意这里的数据目录名“hadoopdata”与前面核心组件文件core-site.xml的配置
namehadoop.tmp.dir/name
value/home/csu/hadoopdata/value要一致 3、格式化文件系统 [csumaster0 ~]$ hdfs namenode -format主节点 启动和关闭hadoop [csumaster0 ~]$ cd ~/hadoop-2.6.0 [csumaster0 hadoop-2.6.0]$ sbin/start-all.sh (启动) [csumaster0 hadoop-2.6.0]$ sbin/stop-all.sh (关闭)
5、验证Hadoop是否启动成功
[csumaster0 hadoop-2.6.0]$ jps
执行jps查看进程如果有四个进程
SecondaryNameNode、ResourceManager、NameNode和Jps
则表明主节点启动成功 从节点上执行jps,看到有NodeManager、Jps和DataNode
三个进程表示从节点也安装成功
在firefox浏览器中( 在命令状下直接输入firefox就可以启动firefox浏览器) 在地址栏输入http://master0:50070/可以查看Hadoop运行状态 在地址栏输入http://master0:18088/可以查看Yarn运行状态 ————学习笔记
