自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行,欢迎关注访问!

  • 博客(46)
  • 资源 (3)
  • 论坛 (2)
  • 收藏
  • 关注

原创 NLP自然语言处理系列-词汇挖掘与实体识别

NLP自然语言处理系列-词汇挖掘与实体识别词汇挖掘关键词提取同义词挖掘缩略词挖掘新词挖掘实体识别(NER)基于概率图模型基于深度学习基于CRF的NER基于bert+bilstm+crf的NER目录 关键词提取主题模型PageRankTextRank智能摘要案例同义词挖掘缩略词挖掘新词挖掘新词挖掘实战基于频次的新词挖掘基于自由疑固度以及左右邻字熵的新词挖掘《红楼梦》的新词挖掘实战关键词提取主题模型PageRankTextRank智能摘要案例使用ha

2021-02-28 16:03:49 137

原创 NLP自然语言处理系列- week7- 检索模型(排序、整合)(10)

NLP自然语言处理系列- week7- 检索模型(排序、整合)(10)检索模型(精排)排序模块步骤:处理数据⼈⼯特征深度匹配排序整合目录排序整合排序使⽤LightGBM训练排序模型params = {'boosting_type': 'gbdt', 'max_depth': 5, 'objective': 'binary', 'nthread': 3, # Updated from nthread '

2021-02-28 09:01:53 78 1

原创 NLP自然语言处理系列- week7- 检索模型(深度匹配)(9)

NLP自然语言处理系列- week7- 检索模型(深度匹配)(9)检索模型(精排)排序模块步骤:处理数据⼈⼯特征深度匹配排序整合目录 深度匹配对文本进行处理使用huggingface的transformerstransformers 简介表格智能问答智能填空深度匹配训练⼀个BERT模型对输⼊的两个问题做序列相似度的匹配,得到⼀个相似度的分数。运⾏ ranking/train_matchnn.py 来训练深度匹配模型。'''Author: Bingyu Jiang, Peixin L

2021-02-27 21:23:33 60 1

原创 NLP自然语言处理系列-业界前沿动态 对话式数据分析的关键技术——语义解析Text-to-SQL

业界前沿动态:对话式数据分析的关键技术——语义解析Text-to-SQL当今世界的大量信息存储在结构化和半结构化的知识库中。访问这些数据目前需要编程语言(例如SQL),而编程语言需要用户理解并熟练使用它们。查询结构化数据的有效而简单的方法是非常重要的,而且不能只局限于那些精通正式查询语言的人。语义解析是一项将自然语言问题自动转换为可在数据库上执行的编程语言(如SQL)的任务。它不仅降低了用户使用结构化数据的门槛和成本,而且提高了结构化数据的价值和效率。语义分析是自然语言理解的核心目标,近年来受到了学术界和

2021-02-27 13:12:25 89

原创 NLP自然语言处理系列- week7- 检索模型(精排)(8)

NLP自然语言处理系列- week7- 检索模型(精排)(8)检索模型(精排)排序模块步骤:处理数据⼈⼯特征深度匹配排序整合目录 处理数据处理数据

2021-02-25 21:43:53 78 1

原创 NLP自然语言处理系列- week7-意图识别、句向量表示、召回粗排(7)

NLP自然语言处理系列- week7-意图识别、句向量表示、召回粗排(7)目录意图识别词嵌入 Embedding - Word2Vec召回(粗排)意图识别fastText是一个由Facebook人工智能研究实验室创建的用于学习单词嵌入和文本分类的库。该模型允许人们创建一个无监督学习或监督学习算法来获取单词的向量表示。Facebook提供了294种语言的预训练模型。fastText使用神经网络来嵌入单词。建立fasttext 模型, 判断用户输入是否属于业务咨询。class Intention(obj

2021-02-23 21:39:56 57

原创 NLP自然语言处理系列- week6-文本数据增强(6)(PGN )

NLP自然语言处理系列- week6-文本数据增强(6)(PGN )少样本问题是自然语言处理NLP领域经常面临的问题,在医疗、金融、法律等领域通常缺乏高质量的标注语料,因此需使用数据增强技术,几种常用的数据增强的技术:单词替换:获取每个词在词向量空间中语义最接近的词,替换原始样本中的词,得到新的样本。替换样本中的核心词汇可能会导致核心语义的缺失,解决方案:通过tfidf 权重进行排序,替换排序靠后的词;通过无监督的方式获取样本的主题词,替换不属于主题词的词汇。回译:可以使用机器翻译模

2021-02-22 20:12:45 141

原创 Flink集群架构

Flink集群架构目录 Flink集群架构JobManagerTaskManagerClientJobGraphFlink集群架构JobManagerTaskManagerClientJobGraph

2021-02-19 12:34:29 95

原创 图神经网络实战案例-新冠疫苗项目实战,助力疫情!

Kaggle新冠疫苗研发竞赛https://www.kaggle.com/c/stanford-covid-vaccine/overviewmRNA疫苗已经成为2019冠状病毒最快的候选疫...

2021-02-16 00:00:00 123

原创 图神经网络-图采样Graphsage代码实现

一:为什么要图采样?二Graphsage 采样代码实践GraphSage的PGL完整代码实现位于https://github.com/PaddlePaddle/PGL/tree/main...

2021-02-15 00:00:00 251

原创 图神经网络-ERNIESage及UniMP

图神经网络-GraphSage实践学习笔记目录

2021-02-14 21:12:01 131

原创 图神经网络-图采样-邻居聚合学习笔记

图神经网络-图采样-邻居聚合学习笔记目录 论文邻居聚合Graph Isomorphism Net (GIN)模型自连边 εGIN代码 ε邻居聚合-语义场景论文论文链接:https://arxiv.org/pdf/1810.00826.pdf邻居聚合Graph Isomorphism Net (GIN)模型自连边 εGIN代码 εhttps://arxiv.org/pdf/2003.00982v1.pdf邻居聚合-语义场景...

2021-02-14 10:08:19 207

原创 图神经网络-图采样学习笔记

图神经网络-图采样学习笔记目录 Cora数据集训练集 测试集 验证集图采样为什么要图采样Cora数据集cora.content格式:1061127 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

2021-02-14 09:25:58 87

原创 图神经网络-图游走算法核心代码SkipGram、Node2Vec实现

图神经网络-图游走算法核心代码SkipGram、Node2Vec实现1. DeepWalk采样算法对于给定的节点,DeepWalk会等概率的选取下一个相邻节点加入路径,直至达到最大路径长度...

2021-02-14 00:00:00 83

原创 图神经网络-图游走算法核心代码DeepWalk实现

本文主要涉及图游走算法DeepWalk的代码实现。1. DeepWalk采样算法对于给定的节点,DeepWalk会等概率的选取下一个相邻节点加入路径,直至达到最大路径长度,或者没有下一个节...

2021-02-13 17:46:02 178 1

原创 图神经网络-图注意力网络 学习笔记

图神经网络-图注意力网络 学习笔记目录GAN论文图卷积网络GAN论文论文:Graph Attention Networks论文链接:https://arxiv.org/pdf/1710.10903.pdf图卷积网络

2021-02-13 09:31:31 54

原创 图神经网络-GCN学习笔记

图神经网络-GCN学习笔记目录 图神经网络图卷积网络邻接矩阵度矩阵消息传递方式实现卷积网络邻居的特征接收、聚合给边加权pgl实现多层图网络完成节点分类任务图神经网络图卷积网络邻接矩阵度矩阵消息传递方式实现卷积网络邻居的特征接收、聚合给边加权pgl实现多层图网络完成节点分类任务...

2021-02-12 20:35:13 123

原创 图神经网络-图游走类模型-作业

图神经网络-图游走类模型-课堂实践图神经网络-图游走类模型 异构图Methpath2Vec 学习笔记https://duanzhihua.blog.csdn.net/article/details/113793820图神经网络-图游走类模型 同构图学习笔记https://duanzhihua.blog.csdn.net/article/details/113793336目录 图游走类模型生成单条DeepWalk游走序列Deepwalk 采样PGL 运行DeepWalk图游走类模型生成单条D

2021-02-12 16:17:19 115

原创 图神经网络-图游走类模型 异构图 Methpath2Vec 学习笔记

图神经网络-Methpath2Vec及其变种 学习笔记图神经网络-图游走类模型学习笔记https://duanzhihua.blog.csdn.net/article/details/113793336目录 Methpath2Vecmeta pathMetapath2Vec 框架Metapath2Vec++ 框架Multi-Methpath2Vec++Methpath2Vecmeta pathMetapath2Vec 框架Metapath2Vec++ 框架Multi-Meth

2021-02-12 13:33:29 48

原创 图神经网络-图游走类模型 同构图 学习笔记

图神经网络-图游走类模型学习笔记目录 Node embeddings图游走类算法Node embeddings图游走类算法

2021-02-12 10:15:51 98 1

转载 图神经网络-图学习初印象-笔记

一 课程基础二 资料推荐三什么是图?四 图能做什么?五 图学习是如何做的?六 图学习算法分类七 图学习框架PGL八 PGL 应用 ...

2021-02-12 01:00:00 33

原创 图神经网络-图与图学习笔记-论文

论文:A Comprehensive Survey on Graph Neural Networks论文链接:https://arxiv.org/pdf/1901.00596.pdf一、 ...

2021-02-11 09:19:01 80 1

原创 图神经网络-图与图学习笔记-中

图神经网络-图与图学习笔记-中目录 图机器学习计算Adamic-Adar绘制ROC-AUC来评价预测的效果节点标记预测(Node labeling)Facebook 数据拉普拉斯矩阵(Laplacian matrix)图嵌入(Graph Embedding)图机器学习计算Adamic-AdarAdamic-Adar 简称AA, 根据共同邻居的节点的度给每个节点赋予一个权重值,为每个节点的度的对数分之一,把节点对的所有共同邻居的权重值相加,其和作为该节点对的相似度值。import networkx

2021-02-10 20:32:42 48

原创 图神经网络-图与图学习笔记-2

图神经网络-图与图学习笔记-2图神经网络系列笔记目录 主要的图算法寻路和图搜索算法图机器学习的发展主要的图算法目前大多数框架(比如 Python 的 networkx 或 Neo4J)支持的图算法类别主要有三个:Pathfinding(寻路):根据可用性和质量等条件确定最优路径。我们也将搜索算法包含在这一类别中。这可用于确定最快路由或流量路由。Centrality(中心性):确定网络中节点的重要性。这可用于识别社交网络中有影响力的人或识别网络中潜在的攻击目标。Community detect

2021-02-08 20:55:17 49

原创 图神经网络-图与图学习笔记-1

图神经网络-图与图学习 笔记-1目录 一. 图是什么?图的基本表示方法计算图的每个节点的度计算边的数量可视化二. 如何存储图?存储为边列表使用邻接矩阵使用邻接列表三. 图的类型和性质附录:斯坦福课程一. 图是什么?图(graph)近来正逐渐变成机器学习的一大核心领域,图表示物件与物件之间的关系的数学对象,是图论的基本研究对象。节点(node)用红色标出,通过黑色的边(edge)连接。图可用于表示:社交网络、网页、生物网络,可以研究拓扑结构和连接性、群体检测、识别中心节点、预测缺失的节点、预测缺失的

2021-02-08 16:55:22 55

原创 计算机视觉系列-文本检测常见数据集(6)

计算机视觉系列-文本检测常见数据集(6)目录 文本检测应用场景ICDIAR数据集CTW数据集ICPR MWI 数据集Total-TextGoogle FSNSCOCO-TextSynthetic data for Text Localisation参考文献基于视频的目标检测文本检测应用场景ICDIAR数据集CTW数据集ICPR MWI 数据集Total-TextGoogle FSNSCOCO-TextSynthetic data for Text Localisatio

2021-02-07 16:13:27 77

原创 计算机视觉系列-文本检测PixelLink、Textboxes、Textboxes++算法(5)

计算机视觉系列-文本检测PixelLink、Textboxes、Textboxes++算法(5)计算机视觉系列-文本检测EAST、SegLink算法https://duanzhihua.blog.csdn.net/article/details/113727086计算机视觉系列-文本检测FTSN DMPNet算法https://duanzhihua.blog.csdn.net/article/details/113719746计算机视觉系列-文本检测CTPN、RRPN算法https://duan

2021-02-07 13:13:57 91

原创 计算机视觉系列-文本检测EAST、SegLink算法(4)

计算机视觉系列-文本检测EAST、SegLink算法(4)计算机视觉系列-文本检测FTSN DMPNet算法https://duanzhihua.blog.csdn.net/article/details/113719746计算机视觉系列-文本检测CTPN、RRPN算法https://duanzhihua.blog.csdn.net/article/details/113709484计算机视觉系列-文本检测系列算法https://duanzhihua.blog.csdn.net/article/

2021-02-06 17:08:36 71

原创 计算机视觉系列-文本检测FTSN、DMPNet算法(3)

计算机视觉系列-文本检测FTSN DMPNet算法(3)计算机视觉系列-文本检测CTPN、RRPN算法https://duanzhihua.blog.csdn.net/article/details/113709484计算机视觉系列-文本检测系列算法https://duanzhihua.blog.csdn.net/article/details/113703213目录 FTSN算法FTSN论文FSTN 网络FSTN 效果-识别环形文字DMPNet算法DMPNet论文DMPNet结构损失函数DMPN

2021-02-06 15:43:09 105

原创 计算机视觉系列-文本检测CTPN、RRPN算法 (2)

计算机视觉系列-文本检测CTPN算法 (2)计算机视觉系列-文本检测系列算法https://duanzhihua.blog.csdn.net/article/details/113703213目录CTPN算法CTPN算法https://github.com/tianzhi0549/CTPN

2021-02-06 11:59:33 86

原创 计算机视觉系列-文本检测系列算法(1)

计算机视觉系列-文本检测系列算法(1)目录 文本检测算法原理Top-Down VS Bottom-up文本检测传统方法深度学习方法常规物体检测算法的问题改进方法文本检测算法原理Top-Down VS Bottom-up文本检测传统方法深度学习方法常规物体检测算法的问题改进方法...

2021-02-05 21:19:19 56

原创 计算机视觉系列-YOLO案例及COCO数据集

计算机视觉系列-YOLO系列算法计算机视觉系列-YOLOv5应用https://duanzhihua.blog.csdn.net/article/details/113525218计算机视觉系列-YOLOv4基本构造https://duanzhihua.blog.csdn.net/article/details/113516336计算机视觉系列-YOLOv3网络结构https://duanzhihua.blog.csdn.net/article/details/113505415计算机视觉系列

2021-02-05 20:05:35 65

原创 计算机视觉系列-基于FasterRCNN的ADAS场景目标检测

计算机视觉系列-基于FasterRCNN的ADAS场景目标检测目录 ADAS 业务场景Kitti数据集Faster RCNN 环境搭建VOC格式转换代码ADAS 业务场景Carcraft谷歌母公司Alphabet的自动驾驶子公司Waymo开发的一款软件,用来在诸如加州山景城和得克萨斯州奥斯汀等虚拟重建城市中测试无人驾驶汽车软件。https://blog.csdn.net/u010821666/article/details/79026100Kitti数据集http://www.

2021-02-05 16:01:31 62

原创 计算机视觉系列-Faseter-Rcnn系列

计算机视觉系列-Faseter-Rcnn系列计算机视觉系列-RCNN Fast-RCNN Faster-RCNNhttps://duanzhihua.blog.csdn.net/article/details/113456944计算机视觉系列-RCNN Fast-RCNNhttps://duanzhihua.blog.csdn.net/article/details/113453408计算机视觉系列-RCNNhttps://duanzhihua.blog.csdn.net/article/det

2021-02-05 08:35:02 53

原创 计算机视觉+NLP : DALL·E 从文本中创建图像

DALL·E:从文本中创建图像目录 DALL·E一个穿着芭蕾舞裙遛狗的小白萝卜牛油果形状的扶手椅一个写着openai的店面猫的素描画像概述功能控制属性绘制多个对象可视化的视角和三维空间可视化内部和外部结构分析背景细节结合无关的概念地理知识时间的知识总结DALL·E官网链接:https://www.openai.com/blog/dall-e/DALL·E神经网络 从自然语言表达的文本概念创建图像。DALL·E 是GPT-3的120亿参数版本,经过训练,使用文本-图像对数据集从文本描述生成图像。DAL

2021-02-04 19:57:34 134

原创 计算机视觉系列-人脸识别技术(2)

计算机视觉系列-人脸识别技术(2)计算机视觉系列-人脸识别 传统检测技术https://duanzhihua.blog.csdn.net/article/details/113617712目录 FaceNet 论文人脸识别FaceNet算法网络结构Triplet Loss三元组的选择Facenet github 代码FaceNet 论文论文链接:https://arxiv.org/pdf/1503.03832.pdf人脸识别FaceNet算法网络结构Triplet Losshttp

2021-02-04 09:38:57 69

原创 计算机视觉系列-人脸识别技术(1)

计算机视觉系列-人脸识别技术(1)目录 应用场景Face DetectionFace AlignmentFace AttributeFace Feature ExtractionFace VerificationFace RecognitionFace RetrievalFace Cluster传统检测技术 Haar特征级联分类器人脸识别的步骤人脸检测算法MTCNNP-NetR-NetO-Net传统卷积网络应用于人脸识别人脸识别DeepID算法网络结构人脸验证人脸特征可视化应用场景Face Detec

2021-02-04 08:10:58 251

原创 计算机视觉系列-GAN生成式对抗网络原理及应用

计算机视觉系列-GAN生成式对抗网络原理及应用目录GAN 论文GAN简介判别器生成器GAN 手写数字生成案例实现GAN 论文论文链接:https://arxiv.org/pdf/1406.2661.pdfGAN简介判别器生成器转置卷积https://github.com/vdumoulin/conv_arithmeticGAN应用GAN 手写数字生成案例实现训练判别器模型:训练对抗模型+判别器模型: GAN代码:# coding: utf-8 #

2021-02-03 16:59:40 77

原创 计算机视觉系列-图像风格转换

计算机视觉系列-图像风格转换目录 图像风格转换论文论文链接图像风格转换网络论文复现代码运行结果图像风格转换论文以不同的方式呈现图像的语义内容样式是图像处理中的一个难点。以前方法的限制因素是缺乏明确表示语义信息的图像表示,论文使用的图像表示从卷积神经网络优化目标识别,显示高层次的图像信息。论文介绍了一种艺术风格的神经网络算法,该算法能够将自然图像的内容和风格进行分离和重组图像。该算法能够产生新的图像,将任意照片的内容与众多知名艺术品的外观相结合的高感知质量。论文的研究结果提供了新的见解,通过卷积神经网络

2021-02-03 11:07:29 62

原创 计算机视觉系列-图像目标分割 Mask-RCNN结构介绍(2)

计算机视觉系列-Mask-RCNN结构介绍(2)目录 Mask-RCNN简介Mask-RCNN网络Mask-RCNN Mask分支ROIAlign和ROIPooling对比ROI Pooling的局限性ROI AlignROI Align 比较Mask-RCNN代价函数标注工具Labelme使用预训练Mask-RCNN 目标分割自定义Mask-RCNN 目标分割Mask-RCNN简介论文链接:Mask R-CNNhttp://cn.arxiv.org/pdf/1703.06870v3Mas

2021-02-02 21:26:43 59

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl的安装包下载 条件随机场,是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫(Markov)随机场。

2008-06-22

yolo_weights.rar

yolo_v3 yolo_weights yolo_weightsyolo_v3 yolo_weights yolo_weights

2020-12-14

五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

王家林老师五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

2018-04-28

段智华的留言板

发表于 2020-01-02 最后回复 2020-04-30

CSDN博客请版主帮忙将文档恢复(第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMon)

发表于 2016-06-11 最后回复 2017-12-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除