海南定安建设局网站,石城网站建设,网站设计用什么字体,手机网站有免费做的吗?安装Hadoop
1#xff0c;准备环节
因为Hadoop是由java编写的#xff0c;所以需要Java的环境支持#xff0c;作为开发者我们需要安装jdk。
安装jdk的教程http://t.csdn.cn/6qJKg
下载Hadoop的安装包
Hadoop官网#xff1a;http://hadoop.apache.org/
Hadoop版本下载地…安装Hadoop
1准备环节
因为Hadoop是由java编写的所以需要Java的环境支持作为开发者我们需要安装jdk。
安装jdk的教程http://t.csdn.cn/6qJKg
下载Hadoop的安装包
Hadoop官网http://hadoop.apache.org/
Hadoop版本下载地址http://archive.apache.org/dist/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz
修改etc/hosts文件
[roothadoop ~]vi /etc/hosts
192.168.184.130 hadoop2安装环节
创建文件夹
[rootMy-Server ~]# cd /usr/local
[rootMy-Server local]# mkdir hadoop存放安装包
安装包hadoop-3.3.1.tar.gz放置在/usr/local/hadoop文件夹中
[rootMy-Server local]# cd /hadoop
[rootMy-Server hadoop]# ll
总用量 591004
-rw-r--r--. 1 root root 605187279 5月 16 11:11 hadoop-3.3.1.tar.gz解压
[rootMy-Server hadoop]# tar -zxvf hadoop-3.3.1.tar.gz更改环境变量
[rootMy-Server ~]# vi /etc/profile
# 最后添加一下代码
export HADOOP_HOME/usr/local/hadoop-3.3.1
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USERroot
export HDFS_DATANODE_USERroot
export HDFS_SECONDARYNAMENODE_USERroot
export YARN_RESOURCEMANAGER_USERroot
export YARN_NODEMANAGER_USERroot 更新环境变量
[rootMy-Server ~]# source /etc/profile验证安装
[rootMy-Server ~]# hadoop version
# 有以下信息说明安装成功
Hadoop 3.3.1
Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2
Compiled by ubuntu on 2021-06-15T05:13Z
Compiled with protoc 3.7.1
From source with checksum 88a4ddb2299aca054416d6b7f81ca55
This command was run using /usr/local/hadoop/hadoop-3.3.1/share/hadoop/common/hadoop-common-3.3.1.jar修改配置文件
[rootMy-Server ~]# cd /usr/local/hadoop/hadoop-3.3.1/etc/hadoop/
[rootMy-Server hadoop]# ll
总用量 176
-rw-r--r--. 1 1000 mysql 9213 6月 15 2021 capacity-scheduler.xml
-rw-r--r--. 1 1000 mysql 1335 6月 15 2021 configuration.xsl
-rw-r--r--. 1 1000 mysql 2567 6月 15 2021 container-executor.cfg
-rw-r--r--. 1 1000 mysql 774 6月 15 2021 core-site.xml
-rw-r--r--. 1 1000 mysql 3999 6月 15 2021 hadoop-env.cmd
-rw-r--r--. 1 1000 mysql 16654 6月 15 2021 hadoop-env.sh
-rw-r--r--. 1 1000 mysql 3321 6月 15 2021 hadoop-metrics2.properties
-rw-r--r--. 1 1000 mysql 11765 6月 15 2021 hadoop-policy.xml
-rw-r--r--. 1 1000 mysql 3414 6月 15 2021 hadoop-user-functions.sh.example
-rw-r--r--. 1 1000 mysql 683 6月 15 2021 hdfs-rbf-site.xml
-rw-r--r--. 1 1000 mysql 775 6月 15 2021 hdfs-site.xml
-rw-r--r--. 1 1000 mysql 1484 6月 15 2021 httpfs-env.sh
-rw-r--r--. 1 1000 mysql 1657 6月 15 2021 httpfs-log4j.properties
-rw-r--r--. 1 1000 mysql 620 6月 15 2021 httpfs-site.xml
-rw-r--r--. 1 1000 mysql 3518 6月 15 2021 kms-acls.xml
-rw-r--r--. 1 1000 mysql 1351 6月 15 2021 kms-env.sh
-rw-r--r--. 1 1000 mysql 1860 6月 15 2021 kms-log4j.properties
-rw-r--r--. 1 1000 mysql 682 6月 15 2021 kms-site.xml
-rw-r--r--. 1 1000 mysql 13700 6月 15 2021 log4j.properties
-rw-r--r--. 1 1000 mysql 951 6月 15 2021 mapred-env.cmd
-rw-r--r--. 1 1000 mysql 1764 6月 15 2021 mapred-env.sh
-rw-r--r--. 1 1000 mysql 4113 6月 15 2021 mapred-queues.xml.template
-rw-r--r--. 1 1000 mysql 758 6月 15 2021 mapred-site.xml
drwxr-xr-x. 2 1000 mysql 24 6月 15 2021 shellprofile.d
-rw-r--r--. 1 1000 mysql 2316 6月 15 2021 ssl-client.xml.example
-rw-r--r--. 1 1000 mysql 2697 6月 15 2021 ssl-server.xml.example
-rw-r--r--. 1 1000 mysql 2681 6月 15 2021 user_ec_policies.xml.template
-rw-r--r--. 1 1000 mysql 10 6月 15 2021 workers
-rw-r--r--. 1 1000 mysql 2250 6月 15 2021 yarn-env.cmd
-rw-r--r--. 1 1000 mysql 6329 6月 15 2021 yarn-env.sh
-rw-r--r--. 1 1000 mysql 2591 6月 15 2021 yarnservice-log4j.properties
-rw-r--r--. 1 1000 mysql 690 6月 15 2021 yarn-site.xml修改hadoop-env.sh文件
[rootMy-Server hadoop]# vi hadoop-env.sh添加jdk的地址 修改core-site.xml文件
# 查看本机名称
[rootMy-Server hadoop]# hostname
My-Server
[rootMy-Server hadoop]# vi core-site.xml添加如下代码
configurationpropertynamefs.defaultFS/namevaluehdfs://hadoop:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/usr/local/hadoop-3.3.1/tmp/value/property
/configuration修改hdfs-site.xml文件
[rootMy-Server hadoop]# vi hdfs-site.xml添加如下代码
configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.http.address/namevalue192.168.184.130:50070/value/property/configuration初始化文件系统
初始化节点名称
[rootMy-Server hadoop]# hdfs namenode -format出现下以下情况说明成功 # 开启HDFS相关服务
[roothadoop hadoop]# start-dfs.sh
Starting namenodes on [hadoop]
上一次登录三 5月 17 09:36:53 CST 2023pts/0 上
Starting datanodes
上一次登录三 5月 17 09:45:39 CST 2023pts/0 上
Starting secondary namenodes [hadoop]
上一次登录三 5月 17 09:45:42 CST 2023pts/0 上
[roothadoop hadoop]# jps
2514 SecondaryNameNode
2186 NameNode
2314 DataNode
2651 Jps安装时我所有到的问题
解决hadoop: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
# 1生成公钥和私钥
[roothadoop hadoop]# ssh-keygen -t rsa
# 2将公钥添加到authorized_keys文件中
[roothadoop hadoop]# cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
# 3修改authorized_keys文件的权限
[roothadoop hadoop]# chmod 600 ~/.ssh/authorized_keys
# 4将私钥添加到ssh-agent中
[roothadoop hadoop]# eval $(ssh-agent -s)
[roothadoop hadoop]# ssh-add ~/.ssh/id_rsa
# 5. 验证是否成功
[roothadoop hadoop]# ssh -T gitgithub.com
解决Permission denied (publickey)
[roothadoop hadoop]# vim /etc/ssh/sshd_config[roothadoop hadoop]# PasswordAuthentication yes
# 5. 验证是否成功
[roothadoop hadoop]# ssh -T gitgithub.com放行端口
# 放行端口号
[roothadoop hadoop]# firewall-cmd --zonepublic --add-port50070/tcp --permanent
success
# 刷新
[roothadoop hadoop]# firewall-cmd --reload
success
# 查看端口
[roothadoop hadoop]# firewall-cmd --list-ports
3306/tcp 50070/tcpwindows访问hadoophttp://IP地址:50070
