NLP自然语言处理系列- week6-文本生成案例（1）（Text Generation）
文本生成
文本生成是自然语言处理中一个重要的研究领域，根据不同的任务分为：文本摘要、 古诗生成、机器翻译、文本复述等。文本摘要可以分为抽取式摘要和生成式摘要。抽取式摘要从原文（source）中选取关键的句子摘抄下来，生成式摘要通过学习原文的语义，自动生成反应其核心思想的文本作为摘要。
- 生成式摘要：构建Seq2seq+Attention模型
- 集成生成式和抽取式两种方法：Pointer-Generator Network模型
文本生成的相关名词：
- source ： 输入的原文。本案例source 主要由三部分构成：1 商品的标题，2 商品的参数，3 商品图片提取的宣传文案。
- target或hypothesis ： 生成的目标文本
- reference ：评估target生成文本好坏的参考文本。
文本生成步骤：
- 文本预处理与特征提取
- 构建模型：构建一个深度学习模型，实现前向传导、定义损失函数等
- 模型调参
- 实现Beam Search
- 模型评估 文本生成
本人从事大数据人工智能开发和运维工作十余年，码龄5年，深入研究Spark源码，参与王家林大咖主编出版Spark+AI系列图书5本，清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》，《企业级AI技术内幕》新书分为盘古人工智能框架开发专题篇、机器学习案例实战篇、分布式内存管理系统Alluxio解密篇。Spark新书第二版以数据智能为灵魂，包括内核解密篇，商业案例篇，性能调优篇和Spark+AI解密篇。从2015年开始撰写博文，累计原创1059篇，博客阅读量达155万次
1197
