机关门户网站建设企业网站优化方案
spark算子
- 一、Map、Flatmap和MapPartition
- 二、repartition和coalesce
- 三、reduceByKey和groupByKey
- 四、collect、take和first
一、Map、Flatmap和MapPartition
| 算子 | 作用 |
|---|---|
| map | 接收一个高阶函数f,对每个算子进行f操作 |
| flatmap | 接收一个高阶函数f,对每个元素进行f操作,形成一个大的集合,然后在迭代器返回每个元素 |
| mapPartitions | map()是每次处理一条数据,mappartitions是每次处理一个分区中的数据,由于是遍历分区,减少了发送到执行器的交互次数,效率优于map(),但执行器内存不足可能会造成OOM(),因此内存空间较大的时候建议用mappartitions |
二、repartition和coalesce
| 算子 | 作用 |
|---|---|
| repartition | 调增rdd的并行度,会引入shuffle |