自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行,欢迎关注访问!

  • 博客(13)
  • 资源 (3)
  • 论坛 (2)
  • 收藏
  • 关注

原创 cs224u 基于远程监督的关系抽取(4)

cs224u 基于远程监督的关系抽取(4)目录 评估数据切分选择评估指标运行评估评估随机猜测策略评估在开始构建模型之前,建立一个测量模型性能的测试工具。数据切分根据数据构建模型时,最好将数据划分为多个部分,训练集用于训练模型,测试集用于评估模型。实际上,我们会划分为三部分:测试集(1%)。在开发期间,划出一小块数据用于训练或测试数据通常是有用的。当然,通过对小数据集进行评估而获得的结果几乎是没有意义的,但是由于评估运行速度非常快,在代码迭代开发周期中清除bug,这是个好方法。训练集(74%)

2020-06-30 21:34:38 234

原创 cs224u 基于远程监督的关系抽取(3)

cs224u 基于远程监督的关系抽取(3)目录关系抽取系列篇负例多标记分类构建数据集关系抽取系列篇cs224u 基于远程监督的关系抽取(1)cs224u 基于远程监督的关系抽取(2)负例通过将语料库连接到知识库,我们可以为每个关系获得大量的正实例。但是分类器不能只针对正例进行训练。为了应用远程监督范式,我们还需要一些负例——即不属于任何已知关系的实体对,可以将这些实体对分配给一个名为NO_RELATION的特殊关系。我们可以通过在语料库中搜索示例来找到大量这样的对,这些示例包含两个实体,而这两个

2020-06-29 21:28:27 229

原创 cs224u 基于远程监督的关系抽取(2)

cs224u 基于远程监督的关系抽取(2)目录cs224u 关系抽取知识库问题公式化关联语料库和知识库课外资料cs224u 关系抽取cs224u 基于远程监督的关系抽取(1)知识库这里的数据分布包括一个源自Freebase的知识库。Freebase已于2016年关闭,但Freebase的数据仍然可以从各种来源和形式获得。这里包含的知识库是从Freebase Easy dump中提取的(http://freebase-easy.cs.uni-freiburg.de/dump/)。知识库是关系三元组

2020-06-27 21:16:42 198

原创 cs224u 基于远程监督的关系抽取(1)

cs224u 基于远程监督的关系抽取 rel_ext_01_task.ipynb__author__ = "Bill MacCartney and Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"目录概述DeepDive关系抽取实体链接处理不确定性DeepDive 远程监督关系抽取的任务手工模式监督学习远程监督(Supervised learning)导入包语料库Wikilinks数据集概述本文讲解使用远程监督(di

2020-06-27 16:15:22 259

原创 cs224u 树结构神经网络PyTorch 实现(6)

cs224u 树结构神经网络PyTorch 实现(6)__author__ = "Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"构建TorchTreeNN的实例torch_tree_nn_glove = TorchTreeNN( sst_glove_vocab, embedding=glove_embedding, embed_dim=50, max_iter=10, eta=0

2020-06-26 21:04:49 145

原创 Linux python3及Dorcker虚拟环境部署Hanlp、Tensorflow1.x 2.x +Mysql系列篇

Linux python3原生虚拟环境部署Hanlp目录Linux Anaconda 环境 hanlp JVM 及libstdc++.so.6部署小技巧Linux Anaconda 环境 Python 及Sudo Python 导包小技巧Linux+Docker 环境 +Tensorlfow 部署探索Linux Anaconda环境 部署TensorflowLinux virtualenv环境 python及HanLP部署Linux python3 原生虚拟环境部署Hanlppython3 新

2020-06-23 16:31:52 394

原创 LinkedIn Spark-TFRecord partitionBy案例实战

LinkedIn Spark-TFRecord partitionBy案例实战目录Spark将完全支持TFRecordLinkedIn Spark-TFRecord案例体验Spark-TFRecord partitionBy案例实战Spark将完全支持TFRecordSpark将完全支持TFRecordLinkedIn Spark-TFRecord案例体验LinkedIn Spark-TFRecord案例体验Spark-TFRecord partitionBy案例实战package spark

2020-06-20 16:24:12 210

原创 Spark-TFRecord:Spark将完全支持TFRecord

Spark-TFRecord:Spark将完全支持TFRecord共同作者: Jun Shi, Mingzhou Zhou目录简介现有的项目和先前的努力系统设计如何使用Spark-TFRecord结论原文链接Github链接简介在机器学习社区中,Apache Spark 支持SQL高效操作而被广泛用于数据处理,而TensorFlow是业界最主流的人工智能框架。尽管这两种工具都支持一些数据格式,但是Spark并不完全支持TFRecord—TensorFlow的原生数据格式。虽然以前试图在这两个系统之间

2020-06-20 09:51:24 499

原创 LinkedIn Spark-TFRecord案例体验

lenovo@duanzhihua MINGW64 /d/1sparkWorkSpace$ git clone https://github.com/linkedin/spark-tfrecord.gitCloning into 'spark-tfrecord'...remote: Enumerating objects: 52, done.remote: Counting objects: 100% (52/52), done.remote: Compressing objects: 100%

2020-06-18 21:42:53 199

原创 全球最大的Spark+AI峰会发放优惠码SAIS20TRAIN,培训费优惠20%!

Spark AI 峰会现在对于数据团队来说规模更大了,提供的培训课程是原来的四倍!使用优惠码SAIS20TRAIN可享受20%的折扣培训,用于学习热门开源项目如Apache Spark、DeltaLake、MLflow和Koalas的前沿技术。目录Databricks全球最大的Spark+AI峰会免费参加主题演讲及分组会议参加付费培训,领取优惠码SAIS20TRAIN管理人员统一数据分析入门Delta数据湖简介Databricks 管理Apache Spark™编程介绍Databricks SQLApac

2020-06-16 19:42:01 544

原创 免费参加全球最大的Spark+AI峰会(Databricks 2020年6月22-26日)!免费访问峰会主题演讲及分组会议!

数据团队联合起来!Databricks Spark+AI 峰会倒计时!2020年6月22-26日Spark + AI 峰会虚拟环境个性化仪表盘建立日程Dev Hub + Expo峰会任务和商店Spark + AI2020峰会注册选择门票类型(免费、VIP)付费培训免费培训(已售完)付费认证Spark 大数据商业实战第二版新书发布功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一

2020-06-13 11:31:05 1298

原创 cs224u 树结构神经网络实现(5)

cs224u 树结构神经网络实现(5)sst_03_neural_networks__author__ = "Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"树结构神经网络(TreeNNs)与RNN分类器相关,TreeNNs比RNNs有更少的参数。网络采用递归的方式,父节点表示与单词表示有相同的维数,可以应用组合函数:[???? ???? ;???? ???? ] 是左右子节点表示的连接,p是生成的父节

2020-06-02 21:38:34 223

原创 cs224u 监督情感分析:RNN classifiers PyTorch 实现(4)

cs224u 监督情感分析:RNN classifiers PyTorch 实现(4)__author__ = "Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"在上一篇博客中讲解了使用Numpy实现RNN分类器https://duanzhihua.blog.csdn.net/article/details/106459726本文讲解使用Pytorch实现RNN分类器。torch_rnn_classifi

2020-06-01 20:41:13 193

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl

tensorflow-1.15.0-cp36-cp36m-win_amd64.whl的安装包下载 条件随机场,是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫(Markov)随机场。

2020-09-01

yolo_weights.rar

yolo_v3 yolo_weights yolo_weightsyolo_v3 yolo_weights yolo_weights

2020-12-14

五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

王家林老师五节课从零起步(无需数学和Python基础)编码实现AI人工智能框架电子书V1

2018-04-28

段智华的留言板

发表于 2020-01-02 最后回复 2020-04-30

CSDN博客请版主帮忙将文档恢复(第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMon)

发表于 2016-06-11 最后回复 2017-12-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除