企业网站seo推广,企业品牌宣传片制作,网络营销是什么意思,wordpress安装插件无法创建目录spark yarn日志全解 一.前言二.开启日志聚合是什么样的2.1 开启日志聚合MapReduce history server2.2 如何开启Spark history server 三.不开启日志聚合是什么样的四.正确使用log4j.properties 一.前言
本文只讲解再yarn 模式下的日志配置。
二.开启日志聚合是什么样的
在ya… spark yarn日志全解 一.前言二.开启日志聚合是什么样的2.1 开启日志聚合MapReduce history server2.2 如何开启Spark history server 三.不开启日志聚合是什么样的四.正确使用log4j.properties 一.前言
本文只讲解再yarn 模式下的日志配置。
二.开启日志聚合是什么样的
在yarn模式下executor 进程和ApplicationMaster进程都会运行在containers中。YARN 有两种方式处理 container logs也就是我们的spark日志开启日志聚合和不开启日志聚合
MapReduce history server 是hadoop yarn的日志聚合服务会把运行结束后的任务日志放在hdfs 上复制完成后则每台机器上的本地日志就会被删除。 另外hdfs上 的所有日志可以设置保留一定时间避免占用太多磁盘空间。此服务一般用19888端口Spark history server 是spark的 ui页面 默认spark只运行中才可以打开ui 要想查看所有的历史任务的ui则必须开启此服务 在Spark history server 中查看运行日志会重定向到MapReduce history server 中。 此服务一般用18080端口
2.1 开启日志聚合MapReduce history server
yarn-site.xmlproperty!--开启日志聚合--nameyarn.log-aggregation-enable/namevaluetrue/value/propertyproperty!--聚合的日志保留时间nameyarn.log-aggregation.retain-seconds/namevalue106800/value/propertyproperty!--聚合的日志存储位置nameyarn.nodemanager.remote-app-log-dir/namevalue/yarn/${yarn.resourcemanager.cluster-id}/logs/value/propertyproperty!-- 此配置是为了spark ui可以看到日志nameyarn.log.server.url/namevaluehttp://master-1-1.c-ea09e2040b9f6c41.cn-shanghai.emr.aliyuncs.com:19888/jobhistory/logs/value/propertymapred-site.xmlproperty--mapreduce job日志历史日志服务地址--namemapreduce.jobhistory.webapp.address/namevaluemaster-1-1.c-ea09e2040b9f6c41.cn-shanghai.emr.aliyuncs.com:19888/value/propertypropertynamemapreduce.jobhistory.address/namevaluemaster-1-1.c-ea09e2040b9f6c41.cn-shanghai.emr.aliyuncs.com:10020/value/property启动 MapReduce history server服务 sbin/mr-jobhistory-daemon.sh start historyserver 则在程序结束之后container logs 会被copy到hdfs上此时要查看日志可以通过yarn logs -applicationId , 要注意的是当任务是accept的时候这个命令是没有日志的因为还未分配containers, 另一个值得注意的是这个命令会打印出当前运行的日志但是不是实时跟踪的。也可以使用 HDFS shell or API 来查看日志这里不做过多解释。
The logs are also available on the Spark Web UI under the Executors Tab but you have both the Spark history server and the MapReduce history server running and configure yarn.log.server.url in yarn-site.xml properly 这句话的意思是说在spark ui也是可以看到日志前提条件是开始Spark history server and the MapReduce history server 并在yarn-site.xml 中配置yarn.log.server.url。 值得注意的是spark本身不存储日志 当在sparkui 查看日志的时候也是重定向到yarn.log.server.url。
2.2 如何开启Spark history server
spark ui默认只展示正在运行的任务如果想展示所有的任务则需要开启Spark history server
打开hdfs-site.xml 找到如下配置查看端口我的配置中是9000 dfs.namenode.rpc-address.hdfs-cluster.nn1 mast-ip:9000 spark-default.conf 添加如下配置
spark.eventLog.enabled truespark.eventLog.dir hdfs://mast-ip:9000/spark-history #注意端口为上面找到的端口spark.yarn.historyServer.address mast-ip:18080 #spark history 的webui
./sbin/start-history-server.sh 进入master 的spark安装目录的sbin中执行此命令打开 mast-ip:18080 spark的history server 仔细看途中的绿色箭头点击之后会重定向到mast-ip:19888, 这正是hadoop yarn 的history server 地址。这也证明了spark本身不存储日志。
三.不开启日志聚合是什么样的
当日志聚合不打开的时候再yarn运行的任务日志被保留在每个container所在的机器上这个日志目录由以下参数决定 propertynameyarn.nodemanager.log-dirs/namevalue/mnt/disk1/yarn/userlogs,/mnt/disk2/yarn/userlogs/value/property这些日志路径中包含applicationID 和containerID,很容易找到这些日志再 Spark Web UI也能看到 并且不需要启动hadoop的 MapReduce history server。 在本地不止有日志为了方便追溯历史任务的执行信息还缓存了任务执行的需要的各种信息比如filecache, 甚至还可以找到曾经任务的启动脚本如下缓存时间通过yarn.nodemanager.delete.debug-delay-sec设置 在任务结束多长时间后删除本地化的日志缓存【缓存包含启动命令脚本文件 jar缓存文件日志等】 此设置需要重启集群。
四.正确使用log4j.properties
配置全局log4j.properties 意思是所有的任务用同一个log4j.properties独立配置log4j.properties 考虑一个使用场景比如我们想每个任务使用独立的log4j.proprtties, 且再log4j.properties中用自定义变量定义一个路径 这样可以达到每个任务 输出到独立的文件中方便我们做日志采集。 上面的场景就不适合用默认的log4j.properties了 如果想要使用自定义的log4j日志配置需要下面几个步骤 第一种写法带 –file
使用spark-submit的–files参数上传自定义 log4j-driver.properties(名字随便)和log4j-executor.properties名字随便使用 --conf spark.driver.extraJavaOptions-Dlog4j.configurationlog4j-driver.propertie使用 --conf spark.executor.extraJavaOptions-Dlog4j.configurationlog4j-executor.properties
第二种写法不带 –file, 要求配置文件在每台机器上都存在且必须以file: 开头意思是本地路径协议
使用 --conf spark.driver.extraJavaOptions-Dlog4j.configurationfile:/…/…/…/log4j-driver.propertie使用 --conf spark.executor.extraJavaOptions-Dlog4j.configurationfile:/…/…/…/log4j-executor.properties
下面附上我自己用的一个例子
spark-submit \
--master yarn \
--deploy-mode cluster \
--class alg.test.SparSocketDemo \
--conf spark.driver.extraJavaOptions-Dlog4j2.formatMsgNoLookupstrue -Ddriver.path/driver/mm/ -Dlog4j.configurationdr.log4j.properties -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jarlibsspark-3.2 \
--conf spark.executor.extraJavaOptions-Dlog4j2.formatMsgNoLookupstrue -Dexecutor.path/executor/mm/ -Dlog4j.configurationex.log4j.properties -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jarlibsspark-3.2 \
--files /root/dr.log4j.properties,/root/ex.log4j.properties \
/root/JavaAndScala-1.0-SNAPSHOT.jar
下面是dr.log4j.properties 仅供参考
# Set everything to be logged to the console
log4j.rootCategoryINFO, console, LOGFILElog4j.appender.consoleorg.apache.log4j.ConsoleAppender
log4j.appender.console.targetSystem.err
log4j.appender.console.layoutorg.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern%d{yy/MM/dd HH:mm:ss} %p [%t] %c{1}: %m%n# Set the default spark-shell log level to WARN. When running the spark-shell, the
# log level for this class is used to overwrite the root loggers log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.MainWARN# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jettyWARN
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycleERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyperINFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreterINFO
log4j.logger.org.apache.parquetERROR
log4j.logger.parquetERROR# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandlerFATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistryERRORlog4j.logger.org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriverWARN# For deploying Spark ThriftServer
# SPARK-34128: Suppress undesirable TTransportException warnings involved in THRIFT-4805
log4j.appender.console.filter.1org.apache.log4j.varia.StringMatchFilter
log4j.appender.console.filter.1.StringToMatchThrift error occurred during processing of message
log4j.appender.console.filter.1.AcceptOnMatchfalselog4j.appender.LOGFILE org.apache.log4j.FileAppender
log4j.appender.LOGFILE.File /tmp/${driver.path}/driver.log
log4j.appender.LOGFILE.Append true
log4j.appender.LOGFILE.layout org.apache.log4j.PatternLayout
log4j.appender.LOGFILE.layout.ConversionPattern %d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n
注意我的LOGFILE 中有个 ${driver.path} 这会接收启动命令中的 -Ddriver.path/driver/mm/ 这意味着 我的每次启动都通过-Ddriver.pathXXX 传递不同的路径这样我的每个任务都会在不同的目录下生成日志文件。 我可以自定义appName 并将appName 凭借在上面的路径上这在实际开发中很有意义。
大家可能会注意到上面的启动命令driver和executor分别用的不i同的log4j 配置文件 这是为了防止driver的日志和executor混杂在一起。spark官网推荐我们这么做这种自定义的方式还可以吧。并且我们只是在原来的基础加了一个 LOGFILE appender, 并未修log4j.properties本省的配置 不会影响原本的日志聚合 以及原本的日志采集。
