段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行，欢迎关注访问！

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创从jvm来看，scala中的@究竟是个什么鬼？@模式匹配符号(scala 词法分析语法分析常用)

从jvm来看，scala中的@究竟是个什么鬼？我也是初步尝试来看jvm的类文件，又是初次来分析@，如不对的地方，请各位指正！先看一下@ 是个什么？ /** * Created by admin on 2016/12/29. */object test7 { def main(args: Array[String]) { val b=Some(2)

2016-12-29 12:06:53 2677

原创 scala 连接符解析基础 @

scala 连接符解析基础 import scala.util.parsing.combinator._object ArithExpr extends JavaTokenParsers { def expr: Parser[Any] = { log(term)("加减法表达式 term") ~ rep("+" ~ log(term)("加法 t

2016-12-28 21:46:29 2485

原创大数据Spark “蘑菇云”行动第107课：Hive源码大师之路第五步：Hive中一切Operator皆是函数的内幕及Hive中Optimizer优化

大数据Spark “蘑菇云”行动第107课：Hive源码大师之路第五步：Hive中一切Operator皆是函数的内幕及Hive中Optimizer优化 ProcessBuilder pb = new ProcessBuilder(wrappedCmdArgs);

2016-12-28 21:05:47 358

原创 scala 连接符解析 ~ ^^ <~ ~> 基础

scala 连接符解析 ~ ^^ import scala.annotation.migrationimport scala.util.parsing.combinator.JavaTokenParsersabstract class Exprcase class Variable(name: String) extends Exprcase class Number

2016-12-27 22:10:10 1715

原创 jvm 第6章类和对象

jvm 第6章类和对象

2016-12-27 19:53:34 414

原创 jvm 第5章 jvm 指令集和解释器

jvm 第5章 jvm 指令集和解释器1，https://github.com/zxh0/jvmgo-book提供的源代码package mainimport "fmt"import "jvmgo/ch05/classfile"import "jvmgo/ch05/instructions"import "jvmgo/ch05/instructions/ba

2016-12-27 10:40:20 1076

原创大数据Spark “蘑菇云”行动第106课：Hive源码大师之路第四步：Hive中GroupBy和各种类型Join源码剖析

大数据Spark “蘑菇云”行动第106课：Hive源码大师之路第四步：Hive中GroupBy和各种类型Join源码剖析 create.....skewed by(key) on。。。 set hive.optimize.skewjoin.compiletime hive.skewjoin.key/** * Process the row. *

2016-12-26 21:04:41 709

原创 JVM 解析class文件及运行时数据区

JVM 解析class文件及运行时数据区网上转载的jvm学习思考：JVM学什么？怎么学？学到什么程度为止？学完之后有什么用呢？个人觉得先看懂class文件吧。jvm的知识慢慢消化。书中4.3.6 局部变量表和操作数栈实例分析此章节图文并茂，加深理解。第3章：第四章

2016-12-26 14:07:58 586

原创大数据Spark “蘑菇云”行动第105课：Hive源码大师之路第三步：Hive序列化与反序列原理内幕和源码解析

大数据Spark “蘑菇云”行动第105课：Hive源码大师之路第三步：Hive序列化与反序列原理内幕和源码解析 Hive的IO操作是操作HDFS的IO 今晚作业，阅读https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide-HowtoWriteYourOwnSerDe

2016-12-25 21:03:23 755

原创大数据Spark “蘑菇云”行动第104课：Hive源码大师之路第二步：Hive真正的入口、词法分析和语法分析

大数据Spark “蘑菇云”行动第104课：Hive源码大师之路第二步：Hive真正的入口、词法分析和语法分析HiveLexer.g hiveParser.g自动代码生成了HiveParser.class 文件，这个反人类的代码自动生成了5万多行，改元代码的话新人不要去改HiveParser.class 文件，要去修改 hiveParser.g文件，类似android的机制。

2016-12-24 22:12:01 826

原创 JVM 第3课 jvm class结构查看工具下载 JAVA class 查看字段和方法描述符含义 method_info属性

JAVA class文件是什么呢？1，JavaClassViewer 工具下载地址http://www.oschina.net/code/snippet_12_21542，文本编辑器写个 SimpleClass.javapackage com.jvm;public class SimpleClass {public void sayHello (

2016-12-24 20:44:54 2375

原创大数据Spark “蘑菇云”行动第103课：Hive源码大师之路第一步：Hive源码思考和解析初体验

大数据Spark “蘑菇云”行动第103课：Hive源码大师之路第一步：Hive源码思考和解析初体验老师上课使用的Hive源码下载地址：http://www-eu.apache.org/dist/hive/stable-2/ 选在Maven的方式导入在线看源代码 https://www.codatlas.com/github.com/a

2016-12-22 21:00:30 643

原创大数据Spark “蘑菇云”行动第102课：Hive性能调优之底层Hadoop引擎调优剖析和最佳实践

大数据Spark “蘑菇云”行动第102课：Hive性能调优之底层Hadoop引擎调优剖析和最佳实践对MapReduce进行调优，主要分为Mapper端和Reducer端的调优

2016-12-20 21:14:53 646

原创 JVM 学习第 2 课虚拟机class文件从哪里寻找？哪里来？

JVM 学习第 2 课go 代码从压缩文件中查找参数中输入的文件，如从C:\Program Files\Java\jdk1.8.0_65\jre\lib\rt.jar 中找到java/lang/Object.class，并读取java/lang/Object.class的数据。 func (self *ZipEntry) readClass(className stri

2016-12-19 20:56:31 771

原创大数据Spark “蘑菇云”行动第101课：Hive性能调优之企业级数据倾斜解决方案及对Job数目的优化

大数据Spark “蘑菇云”行动第101课：Hive性能调优之企业级数据倾斜解决方案及对Job数目的优化 set hive.map.aggr=true; set hive.groupBy.skewindata=true; select * from logs a join users b on a.userid = b.userid

2016-12-19 20:46:26 391

原创 JVM学习第1课解析命令行打开jvm之门

https://github.com/zxh0/jvmgo-book

2016-12-18 21:22:47 804

原创大数据Spark “蘑菇云”行动第100课：Hive性能调优之企业级Join、MapJoin、GroupBy、Count、数据倾斜彻底解密和最佳实践

大数据Spark “蘑菇云”行动第100课：Hive性能调优之企业级Join、MapJoin、GroupBy、Count、数据倾斜彻底解密和最佳实践 hive.mapjoin.smalltable.filesize=25000000 hive.mapjoin.followby.gby.localtask.max.memory.usage; 默认值:0.55

2016-12-18 21:13:32 603

原创大数据Spark “蘑菇云”行动第99课：Hive性能调优之企业级Mapper和Reducer调优深度细节解密参数配置

大数据Spark “蘑菇云”行动第99课：Hive性能调优之企业级Mapper和Reducer调优深度细节解密

2016-12-17 21:20:52 594

原创大数据Spark “蘑菇云”行动第98课：Hive性能调优压缩和分布式缓存

大数据Spark “蘑菇云”行动第98课：Hive性能调优压缩和分布式缓存 Hive压缩一般采用Snappy、LZO和GZIP org.apache.hadoop.io.compression.SnappyCodec core-site.xml io.compression.codecs org.apache.

2016-12-16 21:12:10 541

原创大数据Spark “蘑菇云”行动第97课：Hive性能调优的本质和源泉彻底解密

大数据Spark “蘑菇云”行动第97课：Hive性能调优的本质和源泉彻底解密

2016-12-14 21:01:43 371

原创大数据Spark “蘑菇云”行动第96课：基于Hive对电商数据案例分析

大数据Spark “蘑菇云”行动第96课：基于Hive对电商数据案例分析tbStock.txt订单号，交易位置，交易日期BYSL00000893,ZHAO,2007-8-23BYSL00000897,ZHAO,2007-8-24BYSL00000898,ZHAO,2007-8-25tbStockDetail.txt订单号，行号，订单产品，有效性，数量

2016-12-12 21:19:50 885

原创第92课作业，通过SerDes的方式对一下数据进行Hive的存储和查询操作

第92课作业，通过SerDes的方式对一下数据进行Hive的存储和查询操作： 0^^Hadoop^^America^^5000|8000|12000|level8^^male1^^Spark^^America^^8000|10000|15000|level9^^famale2^^Flink^^America^^7000|8000|13000|level10^^male3^^Ha

2016-12-11 21:27:13 1073

原创大数据Spark “蘑菇云”行动第95课：Hive安全解析和实战等

大数据Spark “蘑菇云”行动第95课：Hive安全解析和实战等企业实战中，使用的2个第三方安全软件推荐如下：1，Knox Gatewayhttps://knox.apache.org2，实现Hive/Hadoop精细权限访问控制：https://accumulo.apache.org/hive 系统自带的基本安全配置：1,配置

2016-12-10 20:52:27 536

原创大数据Spark “蘑菇云”行动第94课：Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优

大数据Spark “蘑菇云”行动第94课：Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优hive> show databases;use default;show tables;select * from employeesforhaving;hive> EXPLAIN select * from em

2016-12-09 21:01:48 1323

原创 92课程作业，hive自定义IMFRecordReader，切分^^尖尖头及| 分割符

92课程作业，hive自定义IMFRecordReader，切分^^尖尖头及| 分割符代码写好了，还没有运行，到时候在hive中测试一把IMFInputFormatpackage com.dt.spark.hive; import java.io.IOException;import org.apache.hadoop.io.L

2016-12-08 21:47:42 671

原创大数据Spark “蘑菇云”行动第93课：Hive中的内置函数、UDF、UDAF实战

大数据Spark “蘑菇云”行动第93课：Hive中的内置函数、UDF、UDAF实战

2016-12-07 20:59:15 504

原创大数据Spark “蘑菇云”行动第92课：HIVE中的array、map、struct及自定义数据类型案例实战

大数据Spark “蘑菇云”行动第92课：HIVE中的array、map、struct及自定义数据类型案例实战 //数组方式hive>use default;CREATE TABLE employee_array(userid ,INT,name String,address String, salarys array,gendre string) ROW FORMAT DE

2016-12-05 21:08:12 1268

原创大数据Spark “蘑菇云”行动第91课：Hive中Index和Bucket案例实战及存储类型rcfile实战详解

大数据Spark “蘑菇云”行动第91课：Hive中Index和Bucket案例实战及存储类型实战详解索引:例如每行扫描,假如1000列,要扫1000列;但做了索引以后,key为关键字做索引,只扫描1列. 建立索引的时候，一般都有分区表！建立一个partition 视图上不能建立索引；索引表存储格式可以与原有表存储格式不一样。hiv

2016-12-04 21:34:18 580

原创第46课：Spark中的新解析引擎Catalyst源码初探 SQLContext、Catalog、SqlParser 、analyzer、optimizer、QueryExecution、RDD

第46课：Spark中的新解析引擎Catalyst源码初探1、入口val sc =new SparkContext(conf)val sqlcontext =new SQLContext(sc) //sql子框架基于spark context。处理结构化数据的入口。sqlcontext.scala2、Catalog初步的处理，例如查询一个表，表中的列

2016-12-04 11:45:17 711

原创作业电影评分系统 HIVE实战正则表达式(限于string)解决了HIVE 源文件多个分隔符的问题

root@master:/usr/local/hadoop-2.6.0/sbin# start-dfs.shStarting namenodes on [master]master: starting namenode, logging to /usr/local/hadoop-2.6.0/logs/hadoop-root-namenode-master.outworker1: sta

2016-12-02 21:46:20 1147

原创大数据Spark “蘑菇云”行动第90课：Hive中Join电影店铺系统案例和性能优化、Index和Bucket案例实战

大数据Spark “蘑菇云”行动第90课：Hive中Join电影店铺系统案例和性能优化、Index和Bucket案例实战电影数据集下载http://grouplens.org/datasets/movielens/http://grouplens.org/datasets/movielens/1m/http://files.grouplens.org/datasets/mo

2016-12-01 21:42:04 867

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl的安装包下载条件随机场，是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫（Markov）随机场。

2020-09-01

yolo_weights.rar

yolo_v3 yolo_weights yolo_weightsyolo_v3 yolo_weights yolo_weights

2020-12-14

五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

王家林老师五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

2018-04-28

段智华的留言板

发表于 2020-01-02 最后回复 2020-04-30

CSDN博客请版主帮忙将文档恢复（第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMon）

发表于 2016-06-11 最后回复 2017-12-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝