自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行,欢迎关注访问!

  • 博客(1091)
  • 资源 (3)
  • 论坛 (2)
  • 收藏
  • 关注

原创 2020年重磅喜讯!热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!

2020年重磅喜讯!热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!目录全息代码解密编辑推荐内容简介作者简介本书目录前言新书链接全息代码解密Apache Spark+AI全息代码解密(京东套装共2册)你需要的Apache Spark和AI技能都在这里!全程案例驱动无痛学习,动手创造自己AI框架,解密Alluxio, 抽丝剥茧学习Spark内核所有关键源码及实践优化的一切秘密https://item.jd.com/1302908

2020-12-12 09:52:10 124

原创 2020年重磅喜讯!热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》 清华大学出版社发行上市!

2020年重磅喜讯!热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》 清华大学出版社发行上市!目录大咖心声新书图片内容简介作者简介目录前言/序言新书案例案例一:自研盘古人工智能框架案例二:基于Pytorch的自然语言处理模型(BERT)的应用案例案例三:人力资源主管正确评估新招聘员工薪水的案例案例四: 基于Alluxio+Pytorch的深度学习案例案例五:Spark+AI实战案例新书网购链接新书资讯大咖心声数据象征空间AI代理时间

2020-10-31 08:54:56 1447 1

原创 2020年重磅喜讯!热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》 畅销书籍第二版 清华大学出版社发行上市! 前浪致 Spark + AI 后浪

王家林大咖清华大学新书Spark第二版已上市:致 Spark + AI 初学者前言新书介绍编辑推荐内容简介作者简介精彩章节新书目录第二版前言第一版前言Spark+AI学习路径献给Spark+AI的“后浪”新书案例讲解第二版网购链接新书资讯前言欢迎来到清华大学出版社《Spark 大数据商业实战三部曲:内核解密|商业案例|性能调优(第2 版)》新书博客!关注到Spark新书发布的每一位同学,应该是学习了很多大数据的基础知识,学习了很多人工智能的技术资料,正在寻求进一步的自我成长。在学习过程中,一定是遇到了很

2020-05-25 11:08:23 878

原创 2020年重磅喜讯!热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》 畅销书籍第二版 清华大学出版社发行上市!

《Spark大数据商业实战三部曲》第二版购书链接:https://item.jd.com/12864870.html

2020-05-22 16:27:07 804 3

原创 2018年新春报喜!热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》 畅销书籍 清华大学出版社发行上市!

2018年新春报喜!热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍 清华大学出版社发行上市!本书基于Spark 2.2.0新版本,以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心,以Spark内核解密为基石,分为上篇、中篇、下篇,对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码,从一个动手...

2018-02-13 19:47:15 6631 9

原创 计算机视觉系列-图像基本操作(5)

OpenCV (Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习软件库。构建OpenCV的目的是为计算机视觉应用程序提...

2021-01-20 21:52:21 26

原创 智华已成功参与CSDN 年度「博客之星」 Top 200评选活动, 投票地址:https://t.csdnimg.cn/6qvZ 智华排第52位,请各位朋友投票支持!

智华已成功参与CSDN 年度「博客之星」 Top 200评选活动, 投票地址:https://t.csdnimg.cn/6qvZ 智华排第52位,请各位朋友投票支持!

2021-01-11 19:43:57 58

原创 计算机视觉系列-使用模板匹配识别信用卡数字案例实战(5)

计算机视觉系列-使用模板匹配识别信用卡数字案例实战(5)基于模板匹配方法,将要识别的银行卡图像与数字模板图片进行匹配,使用OpenCV工具识别银行卡图片的卡号,将识别的卡号在图片上进行标识。目录 银行卡数字识别模板图片操作读入模板图片将模板图片转换为灰度图将模板图片转换为二值图外轮廓检测轮廓排序遍历模板轮廓银行卡图片操作读入图片转换图片大小及转为灰度图礼帽操作,突出更明亮的区域Sobel算子进行图像梯度计算,进行边缘检测图像闭操作自适应阈值再次进行闭操作计算轮廓及画出轮廓遍历轮廓遍历计算轮廓中的每个数字

2021-01-10 20:44:48 60

原创 计算机视觉系列-基于Windows系统的GPU安装配置(4)

计算机视觉系列-基于Windows系统的GPU安装配置(4)目录Visual Studio 2019安装NVIDIA 驱动程序下载CUDA安装NVIDIA cuDNNopencv安装Ananconda安装Visual Studio 2019安装[https://visualstudio.microsoft.com/zh-hans/downloads/] (https://visualstudio.microsoft.com/zh-hans/downloads/)社区版本安装https://docs

2020-12-31 21:37:36 137

原创 计算机视觉系列-目标检测基础(3)

计算机视觉系列-目标检测基础(3)计算机视觉系列-目标检测数据集标注labelimg(1)计算机视觉系列-目标检测基础(2)目录边界框(bounding box)实际框(ground truth box)预测框(prediction box)锚框(Anchor)交并比交并比可视化参考链接边界框(bounding box)单阶段检测算法需要同时预测物体的类别和位置,使用边界框(bounding box,bbox)来表示物体的位置,边界框是包含物体的矩形框。(图片来源于互联网,仅做学习使用)。图片

2020-12-23 21:41:13 48

原创 计算机视觉系列-目标检测基础(2)

计算机视觉系列-目标检测基础(2)目标检测是一种与计算机视觉和图像处理相关的计算机技术,用于检测数字图像和视频中某类语义对象(如人、建筑物或汽车)的实例。目标检测的研究领域包括人脸检测和行人检测。目标检测在计算机视觉的许多领域都有应用,包括图像检索和视频监控。目录 目标检测(Object Detection)基于图片的检测算法Genera idea两阶段的目标检测 two-step一阶段的目标检测one-step参考资料目标检测(Object Detection)目标检测包括传统目标检测、基于深度学

2020-12-22 20:43:56 50

原创 计算机视觉系列-目标检测数据集标注labelimg(1)

计算机视觉-目标检测数据集标注labelimg目录labelimg安装部署运行labelimg三级目录labelimg安装部署C:\Users\lenovo>cd D:\2020_vir_tensorflow1\ScriptsC:\Users\lenovo>d:D:\2020_vir_tensorflow1\Scripts>activate(2020_vir_tensorflow1) D:\2020_vir_tensorflow1\Scripts>pip instal

2020-12-15 21:18:57 136

原创 NLP自然语言处理系列- week6-文本生成案例(5)(PGN+Beam Search)

NLP自然语言处理系列- week6-文本生成案例(5)(PGN+Beam Search)PGN 模型Beam Search在计算机科学中,Beam Search是一种启发式搜索算法,通过在有限集合中扩展最有希望的节点来探索图。Beam Search是一种优化的最佳优先搜索,它减少了内存需求。最佳优先搜索是一种图搜索,它根据某种启发式对所有部分解(状态)排序。而在Beam Search中,只保留一定数量的最优部分解作为候选解。https://opennmt.net/OpenNMT/translat

2020-12-01 21:54:43 119

原创 新课程盘古人工智能框架开发专题发布,智华欢迎读者学习!

新课程盘古人工智能框架开发专题发布,智华欢迎读者学习!盘古人工智能框架开发专题系列新课程https://edu.csdn.net/course/detail/31166 通过图文并茂、深入浅出的讲解,将带领读者一行一行地编写代码,自己动手实现人工智能深度学习框架中的多个算法,包括多层次神经网络、前向传播算法、反向传播算法、损失度的计算及可视化,自适应学习和特征归一化优化等,盘古新课已发布,欢迎读者共同学习!Spark 3.0.0 Application 提交集群原理和源码详解http

2020-11-28 20:19:56 111

原创 NLP自然语言处理系列- week6-文本生成案例(4)(PGN模型代码)

NLP自然语言处理系列- week6-文本生成案例(4)(PGN模型代码)PGN架构图PGN代码#!/usr/bin/env python# -*- coding: utf-8 -*- import osimport sysimport pathlibimport torchimport torch.nn as nnimport torch.nn.functional as Fabs_path = pathlib.Path(__file__).parent.absolut

2020-11-26 11:32:41 129

原创 关于我们

SPARK大数据商业实战三部曲第一版:以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心,以Spark内核解密为基石,分为上篇、中篇、下篇,对企业生产环境下的S...

2020-11-23 12:36:50 80

原创 NLP自然语言处理系列- week6-文本生成案例(3)(PGN全网)

NLP自然语言处理系列- week6-文本生成案例(3)(PGN全网)目录PGN网络架构PGN 示意图PGN代码PGN网络架构PGN 示意图PGN代码class PGN(nn.Module): def __init__( self, v ): super(PGN, self).__init__() self.v = v self.DEVICE = config.DEVICE

2020-11-20 22:13:57 79

原创 NLP自然语言处理系列- week6-文本生成案例(2)(Attention)

NLP自然语言处理系列- week6-文本生成案例(2)(Attention)目录Seq2seq+Attention 架构图Attention 示意图Aattention 代码Seq2seq+Attention 架构图Attention 示意图Aattention 代码class Attention(nn.Module): def __init__(self, hidden_units): super(Attention, self).__init__()

2020-11-18 21:44:23 110

原创 NLP自然语言处理系列- week6-文本生成案例(2)(Encoder)

NLP自然语言处理系列- week6-文本生成案例(2)(Encoder)目录编码器嵌入层EmbeddingLSTM 层RNNBase类编码器class Encoder(nn.Module): def __init__(self, vocab_size, embed_size, hidden_size, rnn_drop: float = 0):

2020-11-16 21:07:57 81

原创 NLP自然语言处理系列- week6-文本生成案例(1)(Text Generation)

NLP自然语言处理系列- week6-文本生成案例(Text Generation)目录文本生成目录文本生成文本生成是自然语言处理中一个重要的研究领域,根据不同的任务分为:文本摘要、 古诗生成、机器翻译、文本复述等。文本摘要可以分为抽取式摘要和生成式摘要。抽取式摘要从原文(source)中选取关键的句子摘抄下来,生成式摘要通过学习原文的语义,自动生成反应其核心思想的文本作为摘要。生成式摘要:构建Seq2seq+Attention模型集成生成式和抽取式两种方法:Pointer-Generator

2020-11-12 21:04:58 100

原创 NLP自然语言处理系列- week7-指针网络(Pointer Networks Refinements to Beam search)

NLP自然语言处理系列- week7-指针网络(Pointer Networks Refinements to Beam search)目录指针网络(Pointer Networks)论文RNN的局限性指针网络(Pointer Networks)指针网络(Pointer Networks)论文https://arxiv.org/abs/1506.03134我们引入了一种新的神经结构来学习输出序列的条件概率,这些元素是离散的符号,与输入序列中的位置相对应。这些问题不能用现有的方法(如序列到序列法和神经

2020-11-10 21:00:32 528

原创 智华系列新课程发布!盘古人工智能框架开发专题系列新课程正在讲解中,欢迎读者学习!

智华系列新课程发布!Spark 3.0.0 Application 提交集群原理和源码详解,欢迎读者学习!盘古人工智能框架开发专题系列新课程,智华正在备课讲解中,通过图文并茂、深入浅出的讲解,将带领读者一行一行地编写代码,自己动手实现人工智能深度学习框架中的多个算法,包括多层次神经网络、前向传播算法、反向传播算法、损失度的计算及可视化,自适应学习和特征归一化优化等,敬请读者关注智华盘古新课进展(https://edu.csdn.net/course/detail/31166),共同学习!Spark 3.

2020-11-07 10:25:40 141

原创 NLP自然语言处理系列- week5-递归神经网络(RNN、LSTM、GRU)

NLP自然语言处理系列- week5-递归神经网络目录一级目录目录目录一级目录目录目录

2020-11-05 21:41:57 605

原创 NLP自然语言处理系列- week6-机器翻译(Pytorch seq2seq + attention)

NLP 机器翻译(Machine Translation)之 Pytorch+seq2seq + attention目录seq2seq于机器翻译中的应用seq2seq + attention 于机器翻译中的原理seq2seq+att 的模型框架及attention 计算python 实现bleu ,NLTK调包使用bleuseq2seq+attention 在机器翻译中的案例seq2seq于机器翻译中的应用基于RNN的seq2seq包括编码器encoder和解码器decoder,解码器decoder部

2020-11-03 21:52:57 177

原创 NLP自然语言处理系列-week6-Seq2Seq+Attention

基于seq2seq+attention的chatbot文本生成目录序列到序列模型序列到序列算法Seq2seq在机器翻译中的应用RNN序列到序列演示第一步RNN序列到序列演示注意力机制实战代码参考链接序列到序列模型序列到序列模型是一种框架结构,从一个序列转换输出另一个序列,由编码和解码两部分构成。包括序列转换、机器翻译、语音识别、文本到语音转换等。如图所示,输入用绿色表示,模型用蓝色表示,输出用紫色表示。序列到序列算法编码器+解码器:编码器处理输入序列中的每一项,将捕获的信息编译成一个向量(对输

2020-10-29 21:14:59 96

原创 自然语言处理系统NLP之拼写纠错

自然语言处理系统NLP之拼写纠错提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的

2020-10-23 22:02:14 310

原创 命名实体识别NER探索(5) Bert+BiLSTM+CRF模型实战应用

系列文章目录 命名实体识别NER探索(1) https://duanzhihua.blog.csdn.net/article/details/108338970 命名实体识别NER探索(2) https://duanzhihua.blog.csdn.net/article/details/108391645 命名实体识别NER探索(3)-Bi-LSTM+CRF模型 https://duanzhihua.blog.csdn.net/article/details/108392532 命名

2020-10-23 21:23:03 629 10

原创 深度学习实战-神经网络模型训练与应用

深度学习实战-神经网络模型训练与应用文章目录前言神经网络模型应用1. 神经网络拟合一个输入变量特征2.神经网络拟合二个输入变量特征总结前言例如:随着人工智能的不断发展,神经网络模型较重要,很多同学都开启了深度学习课程的学习,本文介绍神经网络模型的基础内容。神经网络模型应用1. 神经网络拟合一个输入变量特征使用神经网络模型拟合一个输入变量特征,一个输出结果。输入变量x,预测计算 x*1.8 +32的结果值。代码如下(示例):import tensorflow as tfimport n

2020-10-23 20:01:37 156

原创 免费系列新课程发布!Spark 3.0.0集群启动原理和源码详解,欢迎读者学习!

免费新课程发布!欢迎读者学习!Spark 3.0.0集群启动原理和源码详解https://edu.csdn.net/course/detail/30856Spark 3.0.0 Driver 启动内幕https://edu.csdn.net/course/detail/30671Spark的灵魂:RDD和DataSethttps://edu.csdn.net/course/detail/30608Spark 3.0技术及原理https://edu.csdn.net/course/detail

2020-10-06 07:23:31 172

原创 cs224u 实用颜色描述符

cs224u colors_overview.ipynb目录斯坦福英语颜色上下文语料库Corpus readerColorsCorpusExample 实例颜色表示斯坦福英语颜色上下文语料库本文使用斯坦福英语颜色上下文语料库(Stanford English Colors in Context corpus ,SCC)描述:玩家看到了三个颜色板。实验分为三个条件,即操纵语境以产生不同的语用使用。在远距离条件下,三种颜色在空间上相距甚远(例如,一种是红的,一种是绿的,一种是蓝的)。在切分状态下,

2020-09-21 21:36:51 119

原创 免费系列新课程发布!Spark 3.0.0 Driver 启动内幕,欢迎读者学习!

免费新课程发布!Spark 3.0.0的灵魂:RDD和DataSet,欢迎读者学习!Spark 3.0.0 Driver 启动内幕https://edu.csdn.net/course/detail/30671Spark的灵魂:RDD和DataSethttps://edu.csdn.net/course/detail/30608Spark 3.0技术及原理https://edu.csdn.net/course/detail/30504电光石火间体验Spark 3.0开发实战https://e

2020-09-20 20:34:14 229

原创 命名实体识别NER探索(4) 通过scikit-learn、pytorch实现HMM 及CRF模型

系列文章目录 命名实体识别NER探索(1) https://duanzhihua.blog.csdn.net/article/details/108338970 命名实体识别NER探索(2) https://duanzhihua.blog.csdn.net/article/details/108391645 命名实体识别NER探索(3)-Bi-LSTM+CRF模型 https://duanzhihua.blog.csdn.net/article/details/108392532 Vi

2020-09-17 19:40:12 297

原创 免费新课程发布!Spark 3.0.0的灵魂:RDD和DataSet,欢迎读者学习!

免费新课程发布!Spark 3.0.0的灵魂:RDD和DataSet,欢迎读者学习!目录 CSDN网站51CTO网站课程内容CSDN网站Spark 3.0.0的灵魂:RDD和DataSet CSDN新课链接51CTO网站Spark 3.0.0的灵魂:RDD和DataSet 51CTO新课链接课程内容在大数据和AI紧密协同时代,最佳的AI系统依赖海量数据才能构建出高度复杂的模型,海量数据需要借助Al才能挖掘出终极价值。本书以数据智能为灵魂,以Spark 2.4.X版本为载体,以Spark+ AI

2020-09-06 20:10:16 86

原创 命名实体识别NER探索(3)-Bi-LSTM+CRF模型

系列文章目录 命名实体识别NER探索(1) https://duanzhihua.blog.csdn.net/article/details/108338970 命名实体识别NER探索(2) https://duanzhihua.blog.csdn.net/article/details/108391645 Viterbi算法实战案例(天气变化、词性预测)https://duanzhihua.blog.csdn.net/article/details/104992597文章目录系列文章目录

2020-09-03 21:31:33 482 1

原创 命名实体识别NER探索(2)

系列文章目录 命名实体识别NER探索(1) https://duanzhihua.blog.csdn.net/article/details/108338970文章目录系列文章目录前言编写编码转换、特征拼接函数程序运行结果简化版的自动标注构建一个命名实体识别词典原始数据集自动标注总结前言在NER系列第一篇命名实体识别NER探索(1)中讲解了数据的采集及清洗,自动标注将文本转化为深度学习的格式。本文将文本转换为编码,并且将数据进行各种形式的拼接,进行数据增强。编写编码转换、特征拼接函数

2020-09-03 20:13:25 151

原创 命名实体识别NER探索(1)

命名实体识别NER探索命名实体识别(Named-entity recognition ,NER)(也称为实体识别、实体分块和实体提取)是信息提取的一个子任务,旨在将非结构化文本中提到的命名实体定位并分类为预定义的类别,例如人名、组织、地名、医疗名称、时间表达式、数量,货币价值、百分比等。目录 Tensorflow 1.x 虚拟环境部署Tensorflow 1.x 虚拟环境部署新建虚拟环境E:\>python -m venv 2020_vms_tensorflow_1激活虚拟环境E:\

2020-09-03 19:24:44 348

原创 电光石火间体验Spark 3.0开发实战

电光石火间体验Spark 3.0开发实战目录Spark新书介绍课程内容课程介绍课程链接Spark新书介绍添加链接描述课程内容通过一个电影点评系统实战案例体验Spark 3.0应用程序。使用Spark RDD、DataFrame、DataSet实现电影点评案例。课程介绍在大数据和AI紧密协同时代,最佳的AI系统依赖海量数据才能构建出高度复杂的模型,海量数据需要借助Al才能挖掘出终极价值。本书以数据智能为灵魂,以Spark 2.4.X版本为载体,以Spark+ AI商业案例实战和生产环境下几

2020-08-25 19:58:19 88

原创 图解大数据

大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。图解大数据Hadoop 3管理与开发HbaseFlume ZookeeperFlink基于Hadoop3搭建HA环境Hadoop 3管理与开发HbaseFlume ZookeeperFlink基于Hadoop3搭建HA环境一、集群的规划Zoo

2020-08-23 20:25:03 134

原创 cs224u 单词级神经网络实现

cs224u 单词级神经网络实现 hw_wordentail.ipynb__author__ = "Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"目录概述导入库数据概述单词级自然语言推理,训练示例是单词对(????????,????????),如果????????包含????????,则y为1,否则为0。导入库from collections import defaultdictimport jsonimp

2020-08-17 21:02:25 113

原创 cs224u 自然语言推断:模型-4

cs224u 自然语言推断:模型-4 nli_02_models.ipynb__author__ = "Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"一个简单示例def simple_example(): vocab = ['a', 'b', '$UNK'] # Reversals are good, and other pairs are bad: train = [ [(l

2020-08-12 21:47:10 126

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl的安装包下载 条件随机场,是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫(Markov)随机场。

2020-09-01

yolo_weights.rar

yolo_v3 yolo_weights yolo_weightsyolo_v3 yolo_weights yolo_weights

2020-12-14

五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

王家林老师五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

2018-04-28

段智华的留言板

发表于 2020-01-02 最后回复 2020-04-30

CSDN博客请版主帮忙将文档恢复(第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMon)

发表于 2016-06-11 最后回复 2017-12-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除