第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密 java.lang.ClassNotFoundException 踩坑解决问题详细内幕版本

段智华 2016-04-30 21:59:32

44343

分类专栏：大数据IMF传奇行动－Spark Hadoop 文章标签： SparkStreaming spark Kafka

热烈祝贺王家林大咖2020年清华大学两本新书《SPARK大数据商业实战三部曲第二版》、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/51288057

版权

第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密

/* * *王家林老师授课http://weibo.com/ilovepains */ 每天晚上20：00YY频道现场授课频道68917580

1、作业内容：SparkStreaming基于Kafka Direct方式实现，把Kafka Direct理解成为像hdfs的数据源，SparkStreaming直接读取数据进行流处理。

2、之前的spark集群环境：
   spark 1.6.0
   kafka_2.10-0.9.0.1

3、java开发SparkStreamingDirected，读取topic SparkStreamingDirected中的数据。

4、kafka中创建topic SparkStreamingDirected161，生产者输入数据。

5、将SparkStreamingDirected 在ecliplse中export打成jar包，提交spark运行，准备从kafka中读取数据。

6、结果spark submit运行中报java.lang.ClassNotFoundException,踩坑记录：

-com.dt.spark.SparkApps.SparkStreaming.SparkStreamingOnKafkaDirected，要更新加上类名SparkStreamingOnKafkaDirected
-kafka/serializer/StringDecoder：submit时指定--jars /usr/local/kafka_2.10-0.

了解本专栏

段智华

CSDN认证博客专家 Spark AI 企业级AI技术

本人从事大数据人工智能开发和运维工作十余年，码龄5年，深入研究Spark源码，参与王家林大咖主编出版Spark+AI系列图书5本，清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》，《企业级AI技术内幕》新书分为盘古人工智能框架开发专题篇、机器学习案例实战篇、分布式内存管理系统Alluxio解密篇。Spark新书第二版以数据智能为灵魂，包括内核解密篇，商业案例篇，性能调优篇和Spark+AI解密篇。从2015年开始撰写博文，累计原创1059篇，博客阅读量达155万次