东莞市建设质量监督网站,哈尔滨市人社app,做销售怎么找优质资源网站,四川网站建设 lkcms一#xff1a;简介
Hadoop是一个用Java开发的开源框架#xff0c;它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器#xff0c;每个都提供本地计算和存储。特别适合写一次#xff0c;读多次的场景。
Hado…一简介
Hadoop是一个用Java开发的开源框架它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器每个都提供本地计算和存储。特别适合写一次读多次的场景。
Hadoop一般用于对大量数据执行完整统计分析的应用程序。
二安装步骤 1. 修改主机名
sudo scutil --set HostName localhost 2. ssh免密登录 具体配置方法
1ssh-keygen -t rsa 一路回车直到完成
2cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3chmod og-wx ~/.ssh/authorized_keys 然后重启终端在命令行下输入
ssh localhost
如果不需要输密码即可进入证明设置成功。如果仍需要输入密码那可能是文件权限的问题尝试执行
chmod 755 ~/.ssh
出现
ssh: connect to host localhost port 22: Connection refused
则到系统偏好设置共享下打开远程登录功能
hadoop官网下载地址 Apache Hadoop
点击下载版本下载二进制文件非源文件例如https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz
并解压至安装目录 /usr/local/Cellar
tar zxvf hadoop-2.10.0.tar.gz
修改配置文件命令及内容如下
vim etc/hadoop/core-site.xml
?xml version1.0 encodingUTF-8?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
!-- Put site-specific property overrides in this file. --configurationpropertynamehadoop.tmp.dir/namevaluefile:/usr/local/Cellar/hadoop-3.1.3/libexec/tmp/value/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:8020/value/property
/configuration
vim etc/hadoop/hdfs-site.xml
添加hadoop环境变量
localhost:libexec jia$ vim ~/.bash_profileJAVA_HOME/Library/Java/JavaVirtualMachines/jdk-12.0.2.jdk/Contents/Home
PATH$JAVA_HOME/bin:$PATH:.
CLASSPATH$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH
export MAVEN_HOME/Users/jia/apache-maven-3.6.1
export PATH$PATH:$MAVEN_HOME/bin
export PATH$PATH:/Users/jia/apache-tomcat-8.5.51/bin
export PATH$PATH:/usr/local/mysql/bin
export PATH$PATH:/usr/local/mysql/support-files
export BASH_SILENCE_DEPRECATION_WARNING1export HADOOP_HOME/usr/local/Cellar/hadoop-3.1.3/libexec
export HADOOP_ROOT_LOGGERDEBUG,console
export PATH$PATH:${HADOOP_HOME}/bin
例行刷新环境变量
source ~/.bash_profile
在mac环境中通过brew install hadoop安装时在/usr/local/Cellar/hadoop/3.1.1/libexec目录下是没有/lib/native目录的
需要解决可百度一下建议通过官网下载方式安装
查询本机java环境变量
/usr/libexec/java_home
结果如下
/Library/Java/JavaVirtualMachines/jdk-12.0.2.jdk/Contents/Home
jdk版本过高会导致失败建议使用1.8
