本文目录
- 究竟什么是机器学习 深度学习和人工智能
- data mining 和machine learning的区别
- 如何评价亚马逊新推出的 Amazon Machine Learning
- 有哪些经典的Machine Learning的教材
- machine-learning是什么意思
究竟什么是机器学习 深度学习和人工智能
目前，业界有一种错误的较为普遍的意识，即“深度学习最终可能会淘汰掉其他所有机器学习算法”。这种意识的产生主要是因为，当下深度学习在计算机视觉、自然语言处理领域的应用远超过传统的机器学习方法，并且媒体对深度学习进行了大肆夸大的报道。
深度学习，作为目前最热的机器学习方法，但并不意味着是机器学习的终点。起码目前存在以下问题：
1. 深度学习模型需要大量的训练数据，才能展现出神奇的效果，但现实生活中往往会遇到小样本问题，此时深度学习方法无法入手，传统的机器学习方法就可以处理；
2. 有些领域，采用传统的简单的机器学习方法，可以很好地解决了，没必要非得用复杂的深度学习方法；
3. 深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟，举个例子，给一个三四岁的小孩看一辆自行车之后，再见到哪怕外观完全不同的自行车，小孩也十有八九能做出那是一辆自行车的判断，也就是说，人类的学习过程往往不需要大规模的训练数据，而现在的深度学习方法显然不是对人脑的模拟。
深度学习大佬 Yoshua Bengio 在 Quora 上回答一个类似的问题时，有一段话讲得特别好，这里引用一下，以回答上述问题：
Science is NOT a battle, it is a collaboration. We all build on each other’s ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking!
这段话的大致意思是，科学不是战争而是合作，任何学科的发展从来都不是一条路走到黑，而是同行之间互相学习、互相借鉴、博采众长、相得益彰，站在巨人的肩膀上不断前行。机器学习的研究也是一样，你死我活那是邪教，开放包容才是正道。
结合机器学习2000年以来的发展，再来看Bengio的这段话，深有感触。进入21世纪，纵观机器学习发展历程，研究热点可以简单总结为2000-2006年的流形学习、2006年-2011年的稀疏学习、2012年至今的深度学习。未来哪种机器学习算法会成为热点呢？深度学习三大巨头之一吴恩达曾表示，“在继深度学习之后，迁移学习将引领下一波机器学习技术”。但最终机器学习的下一个热点是什么，谁又能说得准呢。
于 2017-12-27
29918 条评论
分享
收藏感谢收起
阿里云云栖社区
用户标识1
已认证的官方帐号
39 人赞同了该回答
人工智能并不是一个新的术语，它已经有几十年的历史了，大约从80年代初开始，计算机科学家们开始设计可以学习和模仿人类行为的算法。
在算法方面，最重要的算法是神经网络，由于过拟合而不是很成功（模型太强大，但数据不足）。尽管如此，在一些更具体的任务中，使用数据来适应功能的想法已经取得了显着的成功，并且这也构成了当今机器学习的基础。
在模仿方面，人工智能专注于图像识别，语音识别和自然语言处理。人工智能专家们花费了大量的时间来创建诸如边缘检测，颜色配置文件，N-gram，语法树等。不过，这些进步还不足以达到我们的需求。
传统的机器学习：
机器学习（ML）技术在预测中发挥了重要的作用，ML经历了多代的发展，形成了具有丰富的模型结构，例如：
1.线性回归。
2.逻辑回归。
3.决策树。
4.支持向量机。
5.贝叶斯模型。
6.正则化模型。
7.模型集成（ensemble）。
8.神经网络。
这些预测模型中的每一个都基于特定的算法结构，参数都是可调的。训练预测模型涉及以下步骤：
1. 选择一个模型结构（例如逻辑回归，随机森林等）。
2. 用训练数据（输入和输出）输入模型。
3. 学习算法将输出最优模型（即具有使训练错误最小化的特定参数的模型）。
每种模式都有自己的特点，在一些任务中表现不错，但在其他方面表现不佳。但总的来说，我们可以把它们分成低功耗（简单）模型和高功耗（复杂）模型。选择不同的模型是一个非常棘手的问题。
由于以下原因，使用低功率/简单模型是优于使用高功率/复杂模型：
在我们拥有强大的处理能力之前，训练高功率模型将需要很长的时间。
在我们拥有大量数据之前，训练高功率模型会导致过度拟合问题（因为高功率模型具有丰富的参数并且可以适应广泛的数据形状，所以我们最终可能训练一个适合于特定到当前的训练数据，而不是推广到足以对未来的数据做好预测）。
然而，选择一个低功率的模型会遇到所谓的“欠拟合”的问题，模型结构太简单，如果它复杂，就无法适应训练数据。（想象一下，基础数据有一个二次方关系：y = 5 * x ^ 2;你无法适应线性回归：y = a * x + b，不管我们选择什么样的a和b。
为了缓解“不适合的问题”，数据科学家通常会运用他们的“领域知识”来提出“输入特征”，这与输出关系更为直接。（例如，返回二次关系y = 5 * square（x），如果创建了一个特征z = x ^ 2，则可以拟合线性回归：y = a * z + b，通过选择a = 5和b = 0）。
机器学习的主要障碍是特征工程这个步骤，这需要领域专家在进入训练过程之前就要找到非常重要的特征。特征工程步骤是要靠手动完成的，而且需要大量领域专业知识，因此它成为当今大多数机器学习任务的主要瓶颈。
换句话说，如果我们没有足够的处理能力和足够的数据，那么我们必须使用低功耗/更简单的模型，这就需要我们花费大量的时间和精力来创建合适的输入特征。这是大多数数据科学家今天花时间去做的地方。
神经网络的回归：
在大数据时代，云计算和大规模并行处理基础架构的共同发展，使得机器处理能力在二十一世纪初得到了极大的提升。我们不再局限于低功耗/简单的模型。例如，当今最流行的两种主流机器学习模型是随机森林和梯度提升树。尽管如此，两者都非常强大，并且提供了非线性模型拟合的训练数据，但数据科学家仍然需要仔细地创建特征以获得良好的性能。
与此同时，计算机科学家重新使用神经网络的许多层来完成这些人类模仿的任务。这给DNN（深度神经网络）带来了新的生机，并在图像分类和语音识别任务方面提供了重大突破。DNN的主要区别在于，你可以将原始信号（例如RGB像素值）直接输入DNN，而不需要创建任何域特定的输入功能。通过多层神经元（这就是为什么它被称为“深度”神经网络），DNN可以“自动”通过每一层产生适当的特征，最后提供一个非常好的预测。这极大地消除了寻找“特征工程”的麻烦，这是数据科学家们最喜欢看到的。
DNN也演变成许多不同的网络拓扑结构，所以有CNN（卷积神经网络），RNN（递归神经网络），LSTM（长期短期记忆），GAN（生成敌对网络），转移学习，注意模型（attention model）所有的这些被统称为深度学习（Deep Learning），它正在引起整个机器学习界的关注。
强化学习：
另一个关键组成部分是关于如何模仿一个人（或动物）的学习，设想感知/行为/奖励循环的非常自然的动物行为。一个人或者一个动物首先会通过感知他或者她所处的状态来了解环境。在此基础上，他或者她会选择一个“动作”，将他或者她带到另一个“状态”。那么他或她将获得“奖励”，循环重复，直到他或她消失。这种学习方式（称为强化学习）与传统监督机器学习的曲线拟合方法有很大不同。尤其是，强化学习学习得非常快，因为每一个新的反馈（例如执行一个行动并获得奖励）都被立即发送到影响随后的决定。
强化学习也提供了预测和优化的平滑整合，因为它在采取不同的行动时保持当前状态的信念和可能的转换概率，然后做出决定哪些行动可以导致最佳结果。
深度学习+强化学习= AI
与经典的ML技术相比，DL提供了一个更强大的预测模型，通常可以产生良好的预测结果。与经典优化模型相比，强化学习提供了更快的学习机制，并且更适应环境的变化。
机器学习 vs 深度学习
在深度探讨machine learning和data science的联系之前，这里简要地讨论一下machine learning 和deep learning。machine learning是一套算法，来训练数据集做预测或者采取行动以使得系统最优化。举例来说，supervised classification algorithms被用来根据历史数据将想要贷款的客户分成预期好的和预期差的(good or bad prospects)。对于给定的任务(比如监督聚类)，需要的技术多种多样：naive Bayes、SVM、neural nets、ensembles、association rules、decision trees、logistic regression，或者是很多技术的组合。所有这些都是数据科学的子集。当这些算法自动化后，比如无人驾驶飞机或者无人驾驶汽车，这就叫AI了，或者说的具体一点，deep learning。如果采集的数据来自传感器并且通过互联网传播，那么这就是机器学习或数据科学或深度学习应用于物联网了。
有些人对深度学习有不同的定义，他们认为深度学习是更深层次的神经网络(一种机器学习的技术)。AI(Artificial Intelligence)是创建于20世纪60年代的计算机科学的一个子领域，是关于解决那些对人类来讲非常容易但是对计算机而言很难的任务。值得一提的是，所谓的strong AI可能可以做所有人类可以做的事情(可能除了纯粹的物理问题)。这是相当广泛的，包括各种各样的事情，比如做计划，在世界上到处溜达，识别物体和声音，说话，翻译，社交或者商业交易，还有创造性工作(比如写诗画画)等等。
NLP(Natural language processing)只是AI要处理的语言部分，尤其是写。
Machine learning是这样的一种情况：给出一些可以被以离散形式描述的AI问题(比如从一系列动作中选出对的那个)，然后给定一堆外部世界的信息，在不需要程序员手动写程序的情况下选出那个“正确的”行为。通常情况需要借助外界的一些过程来判断这个动作对不对。在数学上，这就是函数：你给一些输入，然后你想要他处理一下得到正确的输出，所以整个问题就简化为用一些自动的方式建立这种数学函数模型。和AI区分一下：如果我写了一段特别机智的程序有着人类的行为，那这就可以是AI，但是除非它的参量都是自动从数据中学会的，否则就不是机器学习。
Deep learning是当下非常流行的机器学习的一种。它包含一种特殊的数学模型，可以想成是一种特定类型的简单块的组合(或者说是块的功能的组合)，这些块可以进行调整来更好的预测最终结果。
data mining 和machine learning的区别
就像采矿和冶金。数据挖掘注重对海量数据中有效规则的提炼。机器学习注重用大量数据训练出来的有效模式。利用的算法规则大体相似。
data mining 一个广泛的定义， machine learning 是data mining的一种方法下面的数据挖掘是研究的概念。首先，数据挖掘这个item具体指找出一堆数据里面的隐含信息。由于定义出发点在数据，所以它的指代范围很广——包括根据任务目的来寻找数据来源，数据前期分析，数据建模和定算法，数据清洗和重新组织，数据特征提取，跑模型做实验等等。如果范围在学术上，它就侧重于这个过程中各阶段的研究。所以数据挖掘研究，并不仅仅局限在算法研究上。只是挖掘算法是当中主流，仅此而已。其次，由于从数据出发，它没具体定义使用什么手段挖掘。一切手段(包括机器学习以及非机器学习手段)，只要能挖掘数据信息的，也可以用于数据挖掘。所以数据挖掘研究的算法，更侧重于算法对你用的数据的adapt。相反，机器学习更加在意模型在各种情况下的性质和效果。同时机器学习的应用比数据挖掘更加泛。因为数据挖掘仅仅是研究提取信息，但机器学习是研究模型和算法本身，而这些模型和算法用来提取信息很多时候只是中间过程，更多时候我们可以用来构建各种高大上的应用。作者：陈子良链接：
如何评价亚马逊新推出的 Amazon Machine Learning
这是个很火的创业方向。基本的想法是"Machine Learning (AI) for everyone".目标就是让不是专门搞机器学习的公司也能在他们的数据上用到机器学习技术。我个人很看好这个方向。市场潜力巨大，盈利模式清晰，门槛也高。以我的消息闭塞程度就听说了两家湾区的start up在做这个。几个人的规模刚开始就拿了A轮级别的风投。但是现在AWS来了... 感觉那些start up要好好想想如何竞争了...前一阵子看到的时候和朋友讨论了下，AWS这几个优势让其他竞争对手要很重视：1，ML功能服务的对象和AWS服务的对象非常吻合。云端的数据存储，云端的service平台，再加上云端的数据分析。这个生态系统非常完整。而AI start up只有云端数据分析的样子。而AWS已经非常成功了，去年的营收相当于大约1/10个Google The Economist Global Business Review 。现在这些已经选择AWS的企业可以直接无缝对接到AWS machine learning上。2，亚马逊本身服务带来的AWS成本优势。亚马逊的服务是典型的高峰期与平时差距巨大的类型。为了黑色星期五准备的巨量计算资源在低峰期对于AWS来说成本几乎可以忽略。机器闲着也是闲着。对于其他公司来说，就不是这么回事了。这也是我个人认为AWS和其他云端服务（包括其他大公司）相比最独特的优势。3，亚马逊的人力优势... 大公司毕竟人力成本低，招人容易... 创业公司很难有这么多质量不错价格便宜（大雾）的码农工时... 而做系统，做服务，知道怎么做是算法，模型这些事情，有那么多工时把各个部分做好则是软件工程了... 后者大公司比小公司还是有一些优势的.总之，我很看好这个方向，也觉得亚马逊来做这个很适合。
有哪些经典的Machine Learning的教材
初学者，献丑不完整地看过三本书Machine Learning by Tom Mitchell, 作者是CMU Machine Learning Department的老大，主要是从CS的角度写的，涵盖的面比较广，较为传统的话题如Concept learning, Decision Tree, ANN，以及Genetic Algorithm等等都涵盖其中，讲的很细致，各章之内的条理很清楚，都是围绕task和method展开，比较易于理解Pattern Recognition and Machine Learning by Chris Bishop, 这本PRML比较著名了，其特点就是以statistical learning的角度较为全面地讲述了近年来比较时髦的machine learning话题，比如bayesian method, graphical model, EM等等，作者是理论物理出身（著名的Peter Higgs的学生，就是提出希格斯粒子理论的那位。。。），大概本身数学背景就更多一点，所以此书统计和数学味道更重，如果对此类方向比较感兴趣的话，应该比较对胃口Pattern Classification by Richard O. Duda, 说实话这本书没怎么仔细看过，只是课上讲过几章内容，从书名就可知道是侧重于pattern recognition的，尤其是classification，这本书应当是比较全面的介绍了各种classification的问题，基本上各种Bayesian decision theory，参数估计，非参数模型，linear discriminant, neural network, clustering和unsupervised learning等等方法都讲到了。
machine-learning是什么意思
machine-learning 机器学习; , and Facebook, have implemented machine-learning algorithms in their applications. 和Facebook，都在自己的应用程序中实现了机器学习算法。
