- 博客(31)
- 资源 (3)
- 论坛 (2)
- 收藏
- 关注
原创 从jvm来看,scala中的@究竟是个什么鬼?@模式匹配符号(scala 词法分析 语法分析 常用)
从jvm来看,scala中的@究竟是个什么鬼? 我也是初步尝试来看jvm的类文件,又是初次来分析@,如不对的地方,请各位指正!先看一下@ 是个什么? /** * Created by admin on 2016/12/29. */object test7 { def main(args: Array[String]) { val b=Some(2)
2016-12-29 12:06:53
2677
原创 scala 连接符解析 基础 @
scala 连接符解析 基础 import scala.util.parsing.combinator._object ArithExpr extends JavaTokenParsers { def expr: Parser[Any] = { log(term)("加减法表达式 term") ~ rep("+" ~ log(term)("加法 t
2016-12-28 21:46:29
2485
原创 大数据Spark “蘑菇云”行动第107课:Hive源码大师之路第五步:Hive中一切Operator皆是函数的内幕及Hive中Optimizer优化
大数据Spark “蘑菇云”行动第107课:Hive源码大师之路第五步:Hive中一切Operator皆是函数的内幕及Hive中Optimizer优化 ProcessBuilder pb = new ProcessBuilder(wrappedCmdArgs);
2016-12-28 21:05:47
358
原创 scala 连接符解析 ~ ^^ <~ ~> 基础
scala 连接符解析 ~ ^^ import scala.annotation.migrationimport scala.util.parsing.combinator.JavaTokenParsersabstract class Exprcase class Variable(name: String) extends Exprcase class Number
2016-12-27 22:10:10
1715
原创 jvm 第5章 jvm 指令集和解释器
jvm 第5章 jvm 指令集和解释器1,https://github.com/zxh0/jvmgo-book提供的源代码package mainimport "fmt"import "jvmgo/ch05/classfile"import "jvmgo/ch05/instructions"import "jvmgo/ch05/instructions/ba
2016-12-27 10:40:20
1076
原创 大数据Spark “蘑菇云”行动第106课:Hive源码大师之路第四步:Hive中GroupBy和各种类型Join源码剖析
大数据Spark “蘑菇云”行动第106课:Hive源码大师之路第四步:Hive中GroupBy和各种类型Join源码剖析 create.....skewed by(key) on。。。 set hive.optimize.skewjoin.compiletime hive.skewjoin.key/** * Process the row. *
2016-12-26 21:04:41
709
原创 JVM 解析class文件及 运行时数据区
JVM 解析class文件及 运行时数据区 网上转载的jvm学习思考:JVM学什么?怎么学?学到什么程度为止?学完之后有什么用呢? 个人觉得先看懂class文件吧。jvm的知识慢慢消化。书中4.3.6 局部变量表和操作数栈实例分析 此章节图文并茂,加深理解。第3章:第四章
2016-12-26 14:07:58
586
原创 大数据Spark “蘑菇云”行动第105课:Hive源码大师之路第三步:Hive序列化与反序列原理内幕和源码解析
大数据Spark “蘑菇云”行动第105课:Hive源码大师之路第三步:Hive序列化与反序列原理内幕和源码解析 Hive的IO操作是操作HDFS的IO 今晚作业,阅读https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide-HowtoWriteYourOwnSerDe
2016-12-25 21:03:23
755
原创 大数据Spark “蘑菇云”行动第104课:Hive源码大师之路第二步:Hive真正的入口、词法分析和语法分析
大数据Spark “蘑菇云”行动第104课:Hive源码大师之路第二步:Hive真正的入口、词法分析和语法分析HiveLexer.g hiveParser.g自动代码生成了HiveParser.class 文件,这个反人类的代码自动生成了5万多行,改元代码的话新人不要去改HiveParser.class 文件,要去修改 hiveParser.g文件,类似android的机制。
2016-12-24 22:12:01
826
原创 JVM 第3课 jvm class结构查看工具下载 JAVA class 查看 字段和方法描述符含义 method_info属性
JAVA class文件是什么呢?1,JavaClassViewer 工具下载地址http://www.oschina.net/code/snippet_12_21542,文本编辑器写个 SimpleClass.javapackage com.jvm;public class SimpleClass {public void sayHello (
2016-12-24 20:44:54
2375
原创 大数据Spark “蘑菇云”行动第103课:Hive源码大师之路第一步:Hive源码思考和解析初体验
大数据Spark “蘑菇云”行动第103课:Hive源码大师之路第一步:Hive源码思考和解析初体验 老师上课使用的Hive源码下载地址:http://www-eu.apache.org/dist/hive/stable-2/ 选在Maven的方式导入 在线看源代码 https://www.codatlas.com/github.com/a
2016-12-22 21:00:30
643
原创 大数据Spark “蘑菇云”行动第102课:Hive性能调优之底层Hadoop引擎调优剖析和最佳实践
大数据Spark “蘑菇云”行动第102课:Hive性能调优之底层Hadoop引擎调优剖析和最佳实践 对MapReduce进行调优,主要分为Mapper端和Reducer端的调优
2016-12-20 21:14:53
646
原创 JVM 学习 第 2 课 虚拟机class文件从哪里寻找?哪里来?
JVM 学习 第 2 课go 代码从压缩文件中查找参数中输入的文件,如从C:\Program Files\Java\jdk1.8.0_65\jre\lib\rt.jar 中找到java/lang/Object.class,并读取java/lang/Object.class的数据。 func (self *ZipEntry) readClass(className stri
2016-12-19 20:56:31
771
原创 大数据Spark “蘑菇云”行动第101课:Hive性能调优之企业级数据倾斜解决方案及对Job数目的优化
大数据Spark “蘑菇云”行动第101课:Hive性能调优之企业级数据倾斜解决方案及对Job数目的优化 set hive.map.aggr=true; set hive.groupBy.skewindata=true; select * from logs a join users b on a.userid = b.userid
2016-12-19 20:46:26
391
原创 大数据Spark “蘑菇云”行动第100课:Hive性能调优之企业级Join、MapJoin、GroupBy、Count、数据倾斜彻底解密和最佳实践
大数据Spark “蘑菇云”行动第100课:Hive性能调优之企业级Join、MapJoin、GroupBy、Count、数据倾斜彻底解密和最佳实践 hive.mapjoin.smalltable.filesize=25000000 hive.mapjoin.followby.gby.localtask.max.memory.usage; 默认值:0.55
2016-12-18 21:13:32
603
原创 大数据Spark “蘑菇云”行动第99课:Hive性能调优之企业级Mapper和Reducer调优深度细节解密 参数配置
大数据Spark “蘑菇云”行动第99课:Hive性能调优之企业级Mapper和Reducer调优深度细节解密
2016-12-17 21:20:52
594
原创 大数据Spark “蘑菇云”行动第98课:Hive性能调优压缩和分布式缓存
大数据Spark “蘑菇云”行动第98课:Hive性能调优压缩和分布式缓存 Hive压缩一般采用Snappy、LZO和GZIP org.apache.hadoop.io.compression.SnappyCodec core-site.xml io.compression.codecs org.apache.
2016-12-16 21:12:10
541
原创 大数据Spark “蘑菇云”行动第97课:Hive性能调优的本质和源泉彻底解密
大数据Spark “蘑菇云”行动第97课:Hive性能调优的本质和源泉彻底解密
2016-12-14 21:01:43
371
原创 大数据Spark “蘑菇云”行动第96课:基于Hive对电商数据案例分析
大数据Spark “蘑菇云”行动第96课:基于Hive对电商数据案例分析tbStock.txt订单号, 交易位置 ,交易日期BYSL00000893,ZHAO,2007-8-23BYSL00000897,ZHAO,2007-8-24BYSL00000898,ZHAO,2007-8-25tbStockDetail.txt订单号,行号,订单产品,有效性,数量
2016-12-12 21:19:50
885
原创 第92课作业,通过SerDes的方式对一下数据进行Hive的存储和查询操作
第92课作业,通过SerDes的方式对一下数据进行Hive的存储和查询操作: 0^^Hadoop^^America^^5000|8000|12000|level8^^male1^^Spark^^America^^8000|10000|15000|level9^^famale2^^Flink^^America^^7000|8000|13000|level10^^male3^^Ha
2016-12-11 21:27:13
1073
原创 大数据Spark “蘑菇云”行动第95课:Hive安全解析和实战等
大数据Spark “蘑菇云”行动第95课:Hive安全解析和实战等企业实战中,使用的2个第三方安全软件推荐如下:1,Knox Gatewayhttps://knox.apache.org2,实现Hive/Hadoop精细权限访问控制:https://accumulo.apache.org/hive 系统自带的基本安全配置:1,配置
2016-12-10 20:52:27
536
原创 大数据Spark “蘑菇云”行动第94课:Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优
大数据Spark “蘑菇云”行动第94课:Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优hive> show databases;use default;show tables;select * from employeesforhaving;hive> EXPLAIN select * from em
2016-12-09 21:01:48
1323
原创 92课程作业,hive自定义IMFRecordReader,切分^^尖尖头及| 分割符
92课程作业,hive自定义IMFRecordReader,切分^^尖尖头及| 分割符代码写好了,还没有运行, 到时候在hive中测试一把IMFInputFormatpackage com.dt.spark.hive; import java.io.IOException;import org.apache.hadoop.io.L
2016-12-08 21:47:42
671
原创 大数据Spark “蘑菇云”行动第93课:Hive中的内置函数、UDF、UDAF实战
大数据Spark “蘑菇云”行动第93课:Hive中的内置函数、UDF、UDAF实战
2016-12-07 20:59:15
504
原创 大数据Spark “蘑菇云”行动第92课:HIVE中的array、map、struct及自定义数据类型案例实战
大数据Spark “蘑菇云”行动第92课:HIVE中的array、map、struct及自定义数据类型案例实战 //数组方式hive>use default;CREATE TABLE employee_array(userid ,INT,name String,address String, salarys array,gendre string) ROW FORMAT DE
2016-12-05 21:08:12
1268
原创 大数据Spark “蘑菇云”行动第91课:Hive中Index和Bucket案例实战及存储类型rcfile实战详解
大数据Spark “蘑菇云”行动第91课:Hive中Index和Bucket案例实战及存储类型实战详解索引:例如每行扫描,假如1000列,要扫1000列;但做了索引以后,key为关键字做索引,只扫描1列. 建立索引的时候,一般都有分区表!建立一个partition 视图上不能建立索引; 索引表存储格式可以与原有表存储格式不一样。hiv
2016-12-04 21:34:18
580
原创 第46课:Spark中的新解析引擎Catalyst源码初探 SQLContext、Catalog、SqlParser 、analyzer、optimizer、QueryExecution、RDD
第46课:Spark中的新解析引擎Catalyst源码初探1、入口val sc =new SparkContext(conf)val sqlcontext =new SQLContext(sc) //sql子框架基于spark context。处理结构化数据的入口。sqlcontext.scala2、Catalog初步的处理,例如查询一个表,表中的列
2016-12-04 11:45:17
711
原创 作业电影评分系统 HIVE实战 正则表达式(限于string)解决了HIVE 源文件多个分隔符的问题
root@master:/usr/local/hadoop-2.6.0/sbin# start-dfs.shStarting namenodes on [master]master: starting namenode, logging to /usr/local/hadoop-2.6.0/logs/hadoop-root-namenode-master.outworker1: sta
2016-12-02 21:46:20
1147
原创 大数据Spark “蘑菇云”行动第90课:Hive中Join电影店铺系统案例和性能优化、Index和Bucket案例实战
大数据Spark “蘑菇云”行动第90课:Hive中Join电影店铺系统案例和性能优化、Index和Bucket案例实战电影数据集下载http://grouplens.org/datasets/movielens/http://grouplens.org/datasets/movielens/1m/http://files.grouplens.org/datasets/mo
2016-12-01 21:42:04
867
tensorflow-1.15.0-cp36-cp36m-win_amd64.whl
2020-09-01
段智华的留言板
发表于 2020-01-02 最后回复 2020-04-30
CSDN博客请版主帮忙将文档恢复(第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMon)
发表于 2016-06-11 最后回复 2017-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝