三明市住房和城乡建设局网站,奖券世界推广网站,代理项目推荐,盐城网站建设要多少钱一. Linux虚拟机的安装与配置
略
二、Linux系统的配置 为了后续正常使用#xff0c;需要先对Linux进行配置#xff0c;主要有以下几件事情要做#xff1a;让hadoop用户获取root权限、配置ssh免密登录、关闭防火墙等。 步骤#xff1a;
1、让hadoop用户获取root权限…一. Linux虚拟机的安装与配置
略
二、Linux系统的配置 为了后续正常使用需要先对Linux进行配置主要有以下几件事情要做让hadoop用户获取root权限、配置ssh免密登录、关闭防火墙等。 步骤
1、让hadoop用户获取root权限 点击Not listed自行输入用户名root和密码123456登录到root用户然后打开控制台使用命令
visudo
该命令等同于使用vi打开/etc/sudoers文件我们要先找到这一行 然后在该行下方加入以下一行代码
hadoop ALL(ALL) ALL 继续在这下方加入以下一行代码
hadoop ALL(ALL) NOPASSWD: ALL
这里的hadoop是你的用户名如果不是hadoop请对应修改成自己的用户名改好后输入:wq保存。 2、注销登录切换到hadoop用户此时hadoop用户已经可以使用sudo命令且不需要输入密码请自行确认是否可以。 3、配置SSH免密登录
由于hadoop后续会使用SSH执行命令配置SSH免密登录可以让后续hadoop启动集群的时候不需要一直输入密码。
控制台执行以下命令先生成密钥 ssh-keygen -t rsa
它会提示让你输入路径、passphrase等通通默认空白即一直Enter、Enter直到出现以下密钥图形 继续执行以下命令
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/*后续可以使用ssh master命令检查是否可以不输入密码接入。 4、关闭防火墙命令如下
systemctl stop firewalld
systemctl disable firewalld5、测试使用XShell、XFTP等软件从Windows主机连接到虚拟机
并使用XFTP发送jdk-8u311-linux-x64.tar.gzJava安装包、hadoop-2.9.2.tar.gzHadoop安装包、hbase-1.2.0-bin.tar.gzHBase安装包、apache-hive-2.3.7-bin.tar.gzHive安装包、sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzSqoop安装包以及mysql-connector-java-5.1.38.jar连接MySQL依赖jar包共6个包到虚拟机的主目录/home/hadoop/下。 以上6个上传在 xxt 的school/hadoop/考试软件环境 各类软件的安装与配置 由于Hadoop是基于Java开发的因此要运行Hadoop得先安装Java在Linux系统中配置Java开发环境的步骤与Windows系统类似都需要先解压Java安装包然后再配置系统环境变量。 1、解压安装包逐条执行以下命令;
cd ~
tar -zxvf jdk-8u311-linux-x64.tar.gz
tar -zxvf hadoop-2.9.2.tar.gz
tar -zxvf hbase-1.2.0-bin.tar.gz
tar -zxvf apache-hive-2.3.7-bin.tar.gz
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2、配置环境变量在.bashrc文件中添加内容。先执行以下命令打开.bashrc文件
vim ~/.bashrc 在文件末尾加上以下语句
export JAVA_HOME/home/hadoop/jdk1.8.0_311
export JRE_HOME$JAVA_HOME/jre
export CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH$JAVA_HOME/bin:$JRE_HOME:$PATHexport HADOOP_HOME/home/hadoop/hadoop-2.9.2
export PATH$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HIVE_HOME/home/hadoop/apache-hive-2.3.7-bin
export PATH$HIVE_HOME/bin:$PATHexport HBASE_HOME/home/hadoop/hbase-1.2.0
export PATH$HBASE_HOME/bin:$PATHexport SQOOP_HOME/home/hadoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH$SQOOP_HOME/bin:$PATH添加完成后保存之后控制台执行以下命令刷新
source ~/.bashrc 二、Hadoop的简单配置与启动测试
1、配置core-site.xml
1、配置core-site.xml
全部内容如下
configuration
property
namefs.defaultFS/name
valuehdfs://localhost:9000/value
!--配置hdfs NameNode的地址9000是RPC通信的端口--
/property
/configuration1、初始化HDFS执行以下语句只需第一次启动前执行
hdfs namenode -format
2、启动集群试试
start-all.sh
过程中可能会要求输入yes、或是用户登录密码如果SSH免密登录配置正确的话不会要求输入密码按照指引输入即可。
3、启动后可通过jps命令可以查看Hadoop集群的进程是否正确开启
jps可以见到HDFS和YARN的关键进程都正确启动的话代表Hadoop基本没有问题你可以自行使用-put命令上传一些文件检查HDFS是否能够正确使用。 三、Hive的简单配置与启动测试
步骤
1、第一次启动Hive前需要先进行初始化后续再次启动则不用。具体操作命令如下
cd ~
schematool -dbType derby -initSchema2、启动Hive进行测试
启动时必须保证Hadoop已经正确启动。Hadoop启动后使用以下命令打开Hive的CLI
hive
hiveshow databases;如果上述操作没问题则基本说明hive客户端已经安装成功。 四、HBase的启动测试
1、启动HBase服务执行以下命令启动HBase服务
start-hbase.sh
然后使用以下命令打开HBase的CLI
hbase shell
自行创建表格、插入数据并查询测试是否能使用即可。 五、MySQL的安装与配置在线安装请确保能虚拟机联网
1、更换yum源
sudo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
sudo yum clean all
sudo yum makecache
sudo yum update
2、RPM安装MySQL
sudo wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum install mysql-server中途可能会多次询问是否继续请输入Y并按回车。 3、启动MySQL服务
service mysqld start
4、设置MySQL的root用户密码
MySQL安装完成后默认root用户是没有密码的需要先登录并设置其密码
mysql -u root -p
不用输密码直接回车登录进去以后执行以下命令设置root用户密码标红的才是命令蓝色的123456则是要设置的密码你可以按需更改
set password for rootlocalhostpassword(123456);
尝试quit退出并重新使用root用户登录MySQL如果成功输入密码登录就说明密码设置成功。 5、授予本地MySQL数据库root账户远程访问权限
先登录到MySQL中
mysql -u root -p
然后执行以下语句:
mysql
grant all on *.* to rootmaster identified by 123456 with grant option;
grant all on *.* to root% identified by 123456 with grant option;
flush privileges; 六、Sqoop的简单配置
1、修改sqoop-env.sh该文件一开始不存在
vim ~/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/sqoop-env.sh
全部内容如下
export HADOOP_COMMON_HOME/home/hadoop/hadoop-2.9.2
export HADOOP_MAPRED_HOME/home/hadoop/hadoop-2.9.2
export HBASE_HOME/home/hadoop/hbase-1.2.0
export HIVE_HOME/home/hadoop/apache-hive-2.3.7-bin2、添加MySQL驱动包将mysql-connector-java-5.1.38.jar驱动包放到Sqoop安装目录下的lib文件夹内即可
cp ~/mysql-connector-java-5.1.38.jar ~/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/
3、测试MySQL数据库能否成功连接
sqoop list-databases --connect jdbc:mysql://localhost --username root -password 123456
如果能打印出本地MySQL数据库里面的数据库名称列表即为连接本地数据库成功。
