做阿里国际网站要收费吗,广州关于进一步,哪些网站可以做帮助文档,网站开发公司怎么找客户一、安装Hadoop
安装hadoop参考此文#xff0c;关键点是安装JDK和Hadoop的配置#xff0c;为避免引用文章变收费#xff0c;我把关键信息摘录如下#xff1a;
jdk安装和配置就不说了(我本机安装了1.8/15/17/21#xff0c;以17为主#xff09;#xff0c;hadoop安装过程…一、安装Hadoop
安装hadoop参考此文关键点是安装JDK和Hadoop的配置为避免引用文章变收费我把关键信息摘录如下
jdk安装和配置就不说了(我本机安装了1.8/15/17/21以17为主hadoop安装过程
1.设置SSH免密
1. 打开系统偏好设置在输入框输入sharing共享勾选”远程连接“ 2.打开终端依次输入如下命令
ssh-keygen -t rsa -P -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/id_rsa.pub
3.输入【ssh localhost】验证无需输入密码则成功
2.下载并解压hadoop安装包
到官网下载需要的版本我下载的是3.3.6然后解压到用户下自己用户名的目录下
3.修改配置文件
(1)vim /.zprofile路径修改为自己安装包的路径
# Hadoop
export HADOOP_HOME/Users/wangxiaoxuan/hadoop-3.3.6/
export HADOOP_INSTALL$HADOOP_HOME
export HADOOP_MAPRED_HOME$HADOOP_HOME
export HADOOP_COMMON_HOME$HADOOP_HOME
export HADOOP_HDFS_HOME$HADOOP_HOME export YARN_HOME$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native
export PATH$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS-Djava.library.path$HADOOP_HOME/lib/nativ
输入【source ~/.zprofile】使内容生效
2cd /Users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME/Library/Java/JavaVirtualMachines/jdk-1.8.jdk/Contents/Home
3vim core-site.xml将标签configuration/configuration中内容替换如下路径需换成自己的路径
configurationpropertynamehadoop.tmp.dir/namevalue/Users/wangxiaoxuan/hdfs/tmp//value/propertypropertynamefs.default.name/namevaluehdfs://127.0.0.1:9000/value/property
/configuration
4vim hdfs-site.xml将标签configuration/configuration中内容替换如下路径需换成自己的路径 propertynamedfs.data.dir/namevalue/Users/wangxiaoxuan/hdfs/namenode/value/propertypropertynamedfs.data.dir/namevalue/Users/wangxiaoxuan/hdfs/datanode/value/propertypropertynamedfs.replication/namevalue1/value/property
/configuration
5vim mapred-site.xml将标签configuration/configuration中内容替换如下无需更改路径
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration
6vim yarn-site.xml将标签configuration/configuration中内容替换如下无需更改路径
configurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/propertypropertynameyarn.resourcemanager.hostname/namevalue127.0.0.1/value/propertypropertynameyarn.acl.enable/namevalue0/value/propertypropertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property
/configuration
4.运行
执行【hdfs namenode -format】 如果报错需要先执行【stop-all.sh】
执行【start-all.sh】,查看resourcemanager 和nodemanagers是否启动成功 执行【jps】可查看进程 5.验证
在浏览器中输入http://localhost:9870/
显示如下 二、安装HBase
参考了此文
1.下载安装包我下载的是2.6.0解压
2.配置
1vim conf/hbase-site.xml 去配置hbase.rootdir来选择HBase将数据写到哪个目录
configurationpropertynamehbase.rootdir/namevaluehdfs://localhost:9000/hbase/value/propertypropertynamehbase.cluster.distributed/namevaluetrue/value/propertypropertynamehbase.unsafe.stream.capability.enforce/namevaluefalse/value/property
/configuration
hbase.rootdir该参数制定了HReion服务器的位置即数据存放的位置。主要端口号要和Hadoop相应配置一致。 hbase.cluster.distributedHBase的运行模式。false是单机模式true是分布式模式。若为false, HBase和Zookeeper会运行在同一个JVM里面默认为false。
3.启动HBase
cd /users/shuaizai/hbase/hbase-2.3.0/bin执行start-hbase.sh
启动完成后通过jps命令检查HBase进程 启动成功后可以看到几个正在运行的Java进程包括Hadoop(DataNode、NameNode)、Zookeeper(HQuorumPeer)和HBase(HMaster、HRegionServer)。
可以打开http://localhost:16010/master-status 查看
4.操作
进入HBase交互式界面hbase shellstatus命令查看HBase集群运行状态list命令列出HBase库中的表 create student,Sname,Ssex,Sage,Sdept,course5.退出
关闭HBase 先退出exit,然后输入stop-abase.sh
三、Flume
参考此文我用的brew之前没有安装homebrew安装后再用brew install flume安装的Flume。
不知道是网络问题还是什么原因我安装下载了差不多一天占用空间快2G才安装完成中间失败好几次重复执行就好了。
1.配置环境变量
vim ~/.bash_profile 路径修改为自己的flume安装路径
export FLUME_HOME/usr/local/Cellar/flume/1.11.0/libexec
export FLUME_CONF_DIR$FLUME_HOME/conf
export PATH$FLUME_HOME/bin:$PATH
source ~/.bash_profile 使配置生效
2.配置flume-env.sh
cd /opt/homebrew/Cellar/flume/1.9.0_1/libexec/confcp flume-env.sh.template flume-env.shvim flume-env.sh
export JAVA_HOME/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home
export JAVA_OPTS-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote根据自己jdk情况修改配置即可
执行 flume-ng version查看版本号。 安装完成
