网站特效,360浏览器屏蔽某网站怎么做,wordpress评论通知作者,做市场调查分析的网站目录
一、Hadoop YARN介绍
二、单节点配置YARN
2.1 配置yarn-site.xml 文件
2.2 配置 mapred-site.xml 文件
2.3 启动 Hadoop 和 YARN
2.4 浏览器访问
三、YARN的常用命令
3.1 启动和停止 YARN
3.2 查看和管理应用程序
3.3 查看和管理节点
3.4 查看和管理队列
3.5 …目录
一、Hadoop YARN介绍
二、单节点配置YARN
2.1 配置yarn-site.xml 文件
2.2 配置 mapred-site.xml 文件
2.3 启动 Hadoop 和 YARN
2.4 浏览器访问
三、YARN的常用命令
3.1 启动和停止 YARN
3.2 查看和管理应用程序
3.3 查看和管理节点
3.4 查看和管理队列
3.5 查看和管理资源
3.6 查看和管理应用 一、Hadoop YARN介绍 Hadoop YARNYet Another Resource Negotiator是Hadoop的资源管理层负责管理和分配集群中应用程序的资源。在单节点上设置Hadoop YARN时通常是为了开发或测试目的因为单节点设置无法提供多节点集群所具有的容错性和可扩展性优势。
二、单节点配置YARN 参考Hadoop单机伪分布式部署 部署单机版hadoop后再按以下步骤配置单机版YARN。
2.1 配置yarn-site.xml 文件
configuration!-- Site specific YARN configuration properties --propertynameyarn.resourcemanager.hostname/namevaluelocalhost/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME/value/property!-- 需要指定webapp IP否则单机版yarn其他主机无法访问 --propertynameyarn.resourcemanager.webapp.address/namevalue192.168.179.141:8088/value/property
/configuration
2.2 配置 mapred-site.xml 文件
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapreduce.application.classpath/namevalue$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*/value/property
/configuration
2.3 启动 Hadoop 和 YARN
start-dfs.sh
start-yarn.sh 2.4 浏览器访问 三、YARN的常用命令
3.1 启动和停止 YARN
#### 启动 YARN
start-yarn.sh#### 停止 YARN
stop-yarn.sh
3.2 查看和管理应用程序
#### 列出所有正在运行的应用程序
yarn application -list#### 查看特定应用程序的详细信息
yarn application -status application-id#### 杀死一个应用程序
yarn application -kill application-id#### 查看应用程序的日志
yarn logs -applicationId application-id
3.3 查看和管理节点
#### 列出所有节点的信息
yarn node -list#### 查看特定节点的详细信息
yarn node -status node-id
3.4 查看和管理队列
#### 列出所有队列的信息
yarn queue -list all#### 查看特定队列的详细信息
yarn queue -info queue-name
3.5 查看和管理资源
#### 查看集群资源的使用情况
yarn top#### 查看特定应用程序的资源使用情况
yarn application -status application-id
3.6 查看和管理应用
#### 提交一个 MapReduce 作业
hadoop jar path-to-jar main-class input-path output-path#### 提交一个通用 YARN 应用程序
yarn jar path-to-jar main-class arguments#### 列出所有正在运行的应用程序
yarn application -list#### 查看特定应用程序的详细信息
yarn application -status application-id#### 杀死一个应用程序
yarn application -kill application-id#### 查看应用程序的日志
yarn logs -applicationId application-id
