Deep learning - note 1

1.1 深度学习简介

⽬前的机器学习和深度学习应⽤共同的核⼼思想：我们可以称其为“⽤数据编程”。函数的形式通常通过我们的知识来对针对特定问题选定：例如我们使⽤⼀个⼆次函数来判断图像中是否含有猫。但是像⼆次函数系数值这样的函数参数的具体值则是通过数据来确定。

通俗来说，机器学习是⼀⻔讨论各式各样适⽤于不同问题的函数形式，以及如何使⽤数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的⼀类函数，它们的形式通常为多层神经⽹络。近年来，仰赖于⼤数据集和强悍的硬件，深度学习已逐渐成为处理像图像、⽂本语料和声⾳信号等复杂⾼维度数据的主要⽅法。
我们现在正处于⼀个程序设计越来越多得到深度学习的帮助的时代。这可以说是计算机科学历史上的⼀个分⽔岭。举个例⼦，深度学习已经在你的⼿机⾥：拼写校正、语⾳识别、认出社交媒体照⽚⾥的好友们等等。

1.1.1 起源

虽然深度学习似乎是最近⼏年刚兴起的名词，但它基于的⽤数据编程和神经⽹络的核⼼思想已经被研究了数百年。⾃古以来，⼈类就⼀直渴望能从数据中分析出预知未来的窍⻔。实际上，数据分析正是⼤部分⾃然科学的本质，我们希望从⽇常的观测中提取规则，并找寻不确定性。

早在 17 世纪，雅各⽐·伯努利（1655–1705）提出了描述只有两种结果的随机过程（例如抛掷⼀枚硬币）的伯努利分布。⼤约⼀个世纪之后，卡尔·弗⾥德⾥希·⾼斯（1777–1855）发明了今⽇仍⼴泛使⽤在从保险计算到医学诊断等领域的最小⼆乘法。概率论、统计学和模式识别等⼯具帮助⾃然科学的实验学家们从数据回归到⾃然定律，从而发现了如欧姆定律（描述电阻两端电压和流经电阻电流关系的定律）这类可以⽤线性模型完美表达的⼀系列⾃然法则。

克劳德·⾹农（1916–2001）的信息论以及阿兰·图灵（1912–1954）的计算理论也对机器学习有深远影响。图灵在他著名的论⽂《计算机器与智能》中提出了“机器可以思考吗？”这样⼀个问题。在他所描述的“图灵测试”中，如果⼀个⼈在使⽤⽂本交互时不能区分他的对话对象到底是⼈类还是机器的话，那么即可认为这台机器是有智能的。时⾄今⽇，智能机器的发展可谓⽇新⽉异。

另⼀个对深度学习有重⼤影响的领域是神经科学与⼼理学。既然⼈类显然能够展现出智能，那么对于解释并逆向⼯程⼈类智能机理的探究也在情理之中。最早的算法之⼀是由唐纳德·赫布（1904–1985）正式提出的。在他开创性的著作《⾏为的组织》中，他提出神经是通过正向强化来学习的，即赫布理论 [2]。赫布理论是感知机学习算法的原型，并成为⽀撑今⽇深度学习的许许多多的随机梯度下降算法的基⽯：强化合意的⾏为、惩罚不合意的⾏为，最终获得优良的神经⽹络参数。

来源于⽣物学的灵感是神经⽹络名字的由来。这类研究者可以追溯到超过⼀世纪前的亚历⼭⼤⻉恩（1818–1903）和查尔斯·斯科特·谢灵顿（1857–1952）。研究者们尝试组建模仿神经元互动的计算电路。随着时间发展，神经⽹络的⽣物学解释被稀释，但仍保留了这个名字。时⾄今⽇，绝⼤多数神经⽹络都包含以下的核⼼原则：

• 交替使⽤线性与⾮线性处理单元，经常被称为“层”
• 使⽤链式法则（即反向传播）来更新⽹络的参数

本作品采用《CC 协议》，转载必须注明作者和本文链接