平台网站开发简报,网站建设的行业资讯、,网络工程师简历,建设好的网站Spark系列文章#xff1a;
大数据 - Spark系列《一》- 从Hadoop到Spark#xff1a;大数据计算引擎的演进-CSDN博客
大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置-CSDN博客
大数据 - Spark系列《三》- 加载各种数据源创建RDD-CSDN博客
大数据 - Spark系列《… Spark系列文章
大数据 - Spark系列《一》- 从Hadoop到Spark大数据计算引擎的演进-CSDN博客
大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置-CSDN博客
大数据 - Spark系列《三》- 加载各种数据源创建RDD-CSDN博客
大数据 - Spark系列《四》- Spark分布式运行原理-CSDN博客
大数据 - Spark系列《五》- Spark常用算子-CSDN博客
大数据 - Spark系列《六》- RDD详解-CSDN博客
大数据 - Spark系列《七》- 分区器详解-CSDN博客
大数据 - Spark系列《八》- 闭包引用-CSDN博客
大数据 - Spark系列《九》- 广播变量-CSDN博客
大数据 - Spark系列《十》- rdd缓存详解-CSDN博客
大数据 - Spark系列《十一》- Spark累加器详解-CSDN博客
大数据 - Spark系列《十二》- 名词术语理解-CSDN博客
大数据 - Spark系列《十三》- spark调度流程(运行过程)-CSDN博客 目录
Spark 程序分布式运行模式 14.1.1 本地测试模式
14.1.2 StandAlone模式 集群安装步骤
spark-submit脚本方式提交
14.1.3 Yarn 模式client vs cluster模式 1. 简介 2. client模式 Cluster和client模式的区别 14.1.4 Mesos/k8s Mesos模式 Kubernetes模式 Spark 程序分布式运行模式
当运行 Spark 程序时可以选择不同的部署模式具体取决于集群管理系统和资源调度器。以下是常见的 Spark 程序分布式运行模式 本地测试模式 Standalone模式Client/cluster spark内置的运行集群 Yarn 模式Client/cluster在yarn上运行 Mesos/k8s : 在mesos集群或者k8s集群上运行 14.1.1 本地测试模式 Idea中
val conf new SparkConf().setAppName(doe).setMaster(local[*]) 虚拟机环境中 (安装包解压即可)
[rootdoe01 bin]# ./spark-shell
Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ / __/ _//___/ .__/\_,_/_/ /_/\_\ version 3.3.2/_/
scala val rdd sc.makeRDD(List(1,2,3,4,5,6) , 2)
rdd: org.apache.spark.rdd.RDD[Int] ParallelCollectionRDD[0] at makeRDD at console:23
14.1.2 StandAlone模式 Spark standalone是一个类似于yarn的资源调度集群属于spark自己的集群管理 , 规模小, 不通用 ;它构建一个基于 MasterSlaves 的资源调度集群Spark 任务提交给 Master运行。生产中一般不使用. 集群安装步骤
1. 上传安装包解压 2. 修改conf下的spark-env.sh
export JAVA_HOME/opt/apps/jdk1.8
export HADOOP_CONF_DIR/opt/apps/hadoop-3.1.1/
export YARN_CONF_DIR/opt/apps/hadoop-3.1.1/ 3. 修改conf下的workers文件添加worker节点
hadoop01
hadoop02
hadoop03 4. 将安装包分发到其他节点
Scp -r 5. 修改系统环境变量
vi /etc/profileexport SPARK_HOME/opt/apps/spark-3.3.2-bin-hadoop3
export PATH$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$FLUME_HOME/bi
n:$SQOOP_HOME/bin:$HBASE_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
source /etc/profile 6. 修改sbin下的指令名
sbin目录下的start-all.sh和stop-all.sh和Hadoop的指令冲突
修改成start-spark.sh stop-spark.sh 7. 启动standalone集群
sbin/start-spark.sh
Jps 可观察到Master worker 进程 在浏览器上访问 : http://hadoop02:8080 此界面是standalone集群的监控界面
而每一个application都有一个自己的监控页面
spark-submit脚本方式提交
将自己的程序打包 注意代码中不用指定运行模式和appName // conf.setAppName().setMaster() 上传到虚拟机 , 然后将程序提交到 spark自己的集群上
./spark-submit --master spark://hadoop02:7077 \--name test_cf \--executor-cores 2 \--executor-memory 2G \--class com.doit.day0201.CommonFriend_HDFS \/opt/testDemo/Spark_module-1.0-SNAPSHOT.jar 14.1.3 Yarn 模式client vs cluster模式 1. 简介
YARNYet Another Resource Negotiator是Apache Hadoop的资源管理器Spark可以作为YARN应用程序在Hadoop集群上运行。在YARN模式下Spark应用程序可以以两种方式运行 Client模式Driver程序运行在提交作业的客户端机器上。 Cluster模式Driver程序运行在YARN集群中的一个容器内由YARN资源管理器负责资源调度和任务执行。 2. client模式 如果部署模式为 client,程序jar包可以放在本地磁盘, 程序初始化是在本地的SparkSubmit中的Driver中进行的 # cluster模式完整示例
# Usage: spark-submit [options] app jar | python file | R file [app arguments]
# 注意cluster模式时spark-submit先请求standalone获取资源启动driver然后driver要请求standalone获取资源启动executor需要jar包
# 要提前将jar包放到hdfs
bin/spark-submit --master spark://doit01:7077 \
--deploy-mode cluster \
--class cn.doitedu.spark.WordCount \
--name 帅无边男人的帅无边程序 \
--driver-memory 1G \
--executor-memory 2G \
--executor-cores 2 \
--total-executor-cores 6 \
hdfs://doit01:8020/sparkjars/sparktest.jar hdfs://doit01:8020/sparktest/wordcount/input hdfs://doit01:8020/sparktest/wordcount/output3
运行起来后集群中会出现如下独立的进程 如果部署模式是cluster,DriverWrapper是在某个Worker节点上运行的所以不使用提交作业机器的内存来做程序的初始化 Cluster和client模式的区别 区别在于Driver端创建的位置不同。工作过程中用cluster模式 14.1.4 Mesos/k8s Mesos模式 在Mesos模式下Mesos作为资源管理器分配资源给Spark应用程序。Mesos负责在集群中启动和管理Executor容器并分配资源给这些Executor容器以执行Spark任务。 Kubernetes模式 在Kubernetes模式下Kubernetes作为容器编排平台管理Spark应用程序的资源。Kubernetes启动和管理Executor容器并根据Spark应用程序的需求动态调整资源。与Mesos模式类似Kubernetes模式也提供了一种灵活且可扩展的方式来运行Spark作业。
