Spark视频王家林大神第8课:彻底理解大数据机器学习

Spark视频王家林大神第8课:彻底理解大数据机器学习

本节带领大家快速理解大数据机器学习:第一个问题:机器学习是什么?第二个问题:大数据机器学习到底是什么?

先想一下人正常思考的过程:根据自己的历史经验或者生活经验得出了某种规律,然后在当前的情况下,根据历史经验或者规律来预测当前的情况,下一步该怎么做,这个描述人的思考过程其实就是机器学习的过程。我们可以发现规律或者模型以及当前的情况,规律其实就是模型,当前的情况就是当前具体的数据,根据当前不同的情况结合规律,得出不同的结论来指导下一步的行为,这是数据驱动的决策方式,跟我们编程的时候第一条指令,第二条指令,第三条指令得出一个结果,这是完全不一样的。

机器学习的过程是基于数据统计学的理论得出影响结果的几个变量,变量包括因变量、自变量。例如预测房价,根据房价过去波动的因素判断一下哪些因素影响房价,得出一个影响房价的模型,假设买/卖房子会得出几个变量,当然这几个变量不会那么单一,可以使用回归的方式去处理,计算出模型以后,具体某个地方的房子和具体某个时间去预测房价,机器学习也是从数据中得出某种模型,模型由变量构成,变量变成某种公式,公式就变成某种模型,8月份和10月份的房价是不一样的,不一样是由8月份和10月份的时间,以及经济情况和人们购买力、市场的细节信息决定的,首先是构建一个模型,然后根据当前具体的情况决策出具体房价的过程就是机器学习的过程。机器学习和人的决策过程是一样的,根据过去的数据得出某个模型,模型有个输入就是当前的情况,例如计算今天的房价或这个月的房价,情况不一样得出的房价就不一样&#

段智华 CSDN认证博客专家 Spark AI 企业级AI技术
本人从事大数据人工智能开发和运维工作十余年,码龄5年,深入研究Spark源码,参与王家林大咖主编出版Spark+AI系列图书5本,清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲:内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》,《企业级AI技术内幕》新书分为盘古人工智能框架开发专题篇、机器学习案例实战篇、分布式内存管理系统Alluxio解密篇。Spark新书第二版以数据智能为灵魂,包括内核解密篇,商业案例篇,性能调优篇和Spark+AI解密篇。从2015年开始撰写博文,累计原创1059篇,博客阅读量达155万次
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值