第20课 : SPARK分组TOPN 算法(Scala) 必须掌握!

1、输入文件

Spark,100
Hadoop,62
Flink,77
Kafka,91
Hadoop,93
Spark,78
Hadoop,69
Spark,98
Hadoop,62
Spark,99
Hadoop,61
Spark,70
Hadoop,75
Spark,88
Hadoop,68
Spark,90
Hadoop,61

2、运行结果

Flink:
77
Hadoop:
61
61
62
62
68
Kafka:
91
Spark:
70
78
88
90
98

 

3、源代码

package com.dt.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object TopNGroup {
    def main(args:Array[String]){
      val conf = new SparkConf() //创建SparkConf对象
      conf.setAppName("Wow,TopNGroup App!") //设置应用程序的名称,在程序运行的监控界面可以看到名称
      conf.setMaster("local") //此时,程序在本地运行,不需要安装Spark集群
      
      val sc = new SparkContext(conf) //创建SparkContext对象,通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
      sc.setLogLevel("WARN")
      val lines = sc.textFile("G://IMFBigDataSpark2016//tesdata//topNGroup1.txt", 1) //读取本地文件并设置为一个Partion
     
       val pairs=lines.map { line => (line.split(",")(0),line.split(",")(1).toInt) }
       val grouped=pairs.groupByKey
        val groupedTop5=grouped.map(grouped=>
      {
        (grouped._1,grouped._2.toList.sortWith(_<_).take(5))
      })
        val groupedKeySorted=groupedTop5.sortByKey()
       
      groupedKeySorted.collect().foreach(pair=>{
      println(pair._1+":")
      pair._2.foreach { println }
       })
    sc.stop()
       
  }
}

 

4、结果截图

 

 

 

 

段智华 CSDN认证博客专家 Spark AI 企业级AI技术
本人从事大数据人工智能开发和运维工作十余年,码龄5年,深入研究Spark源码,参与王家林大咖主编出版Spark+AI系列图书5本,清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲:内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》,《企业级AI技术内幕》新书分为盘古人工智能框架开发专题篇、机器学习案例实战篇、分布式内存管理系统Alluxio解密篇。Spark新书第二版以数据智能为灵魂,包括内核解密篇,商业案例篇,性能调优篇和Spark+AI解密篇。从2015年开始撰写博文,累计原创1059篇,博客阅读量达155万次
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值