网站开发专员的面试题,中亿丰建设集团股份有限公司网站,多平台网站开发,网站做简介什么是sparksession对象
spark2.0之后#xff0c;sparksession对象是spark编码的统一入口对象#xff0c;通常我们在rdd编程时#xff0c;需要SparkContext对象作为RDD编程入口#xff0c;但sparksession对象既可以作为RDD编程对象入口#xff0c;在sparkcore编程中可以通…什么是sparksession对象
spark2.0之后sparksession对象是spark编码的统一入口对象通常我们在rdd编程时需要SparkContext对象作为RDD编程入口但sparksession对象既可以作为RDD编程对象入口在sparkcore编程中可以通过它来获取sparkcontext对象进行rdd编程也可以直接作为sparksql编程入口对象
sparksession对象构建案例
# coding:utf8
# sparksql中入口对象是SparkSession对象
from pyspark.sql import SparkSessionif __name__ __main__:# 构建sparksession对象构建器模式spark SparkSession.builder.\appName(mysparkTest).\master(local[*]).\config(spark.sql.shuffle.partitions, 4).\getOrCreate()# appName设置程序名称# local: 表示 Spark 将在本地模式下运行即不会连接到任何集群管理器如 YARN、Mesos 或 Kubernetes。这通常用于开发和测试目的。# [*]: 这是一个特殊的语法它告诉 Spark 使用所有可用的处理器核心来执行。星号 (*) 是一个占位符它会被替换为当前机器上的处理器核心数。# config设置一些常用属性不想设置可以不用写# getOrCreate创建sparksession对象# 通过SparkSession来获取SparkContext对象sc spark.SparkContext# 读取csv格式文件返回DataFrame格式的数据df spark.read.csv(my_csv_file.csv, sep,, header False)# 给df加上表头并赋值给新的df2df2 df.toDF(id, name, age)# 打印df2表结构df2.printSchema()# 展示df2df2.show()# 创建临时视图用于sql操作df2.createTempView(score)# SQL风格操作spark.sql(SELECT * FROM score where age11 limit 5).show()# DSL风格df2.where(age11).limit(5).show()
