第222讲：Spark Shuffle Pluggable框架ShuffleWriter解析

段智华 2017-05-01 07:17:11

334

分类专栏： Spark shuffle SparkInBeiJing

热烈祝贺王家林大咖2020年清华大学两本新书《SPARK大数据商业实战三部曲第二版》、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/71038475

版权

第222讲：Spark Shuffle Pluggable框架ShuffleWriter解析

ShuffleWriter是ShuffleMapTask将shuffle数据写入本地的接口。不同的shuffle有不同的实现。

在ShuffleMapTask内部中获取shuffleWtriter实例，将数据记录写入shuffle系统

private[spark] abstract class ShuffleWriter[K, V] {
  /** Write a sequence of records to this task's output */
  @throws[IOException]
  def write(records: Iterator[Product2[K, V]]): Unit

  /** Close this writer, passing along whether the map completed */
  def stop(success: Boolean): Option[MapStatus]
}

1，write方法：将一系列记录写入task任务的输出。这里的records记录是一个Iterator，每一个元素是Key-Value。Product2是一个trait。

write如果需要做聚合，我们需将数据做聚合。

2，stop：写入完成。提交返回一个 MapStatus

段智华

CSDN认证博客专家 Spark AI 企业级AI技术

本人从事大数据人工智能开发和运维工作十余年，码龄5年，深入研究Spark源码，参与王家林大咖主编出版Spark+AI系列图书5本，清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》，《企业级AI技术内幕》新书分为盘古人工智能框架开发专题篇、机器学习案例实战篇、分布式内存管理系统Alluxio解密篇。Spark新书第二版以数据智能为灵魂，包括内核解密篇，商业案例篇，性能调优篇和Spark+AI解密篇。从2015年开始撰写博文，累计原创1059篇，博客阅读量达155万次