第一周 深度学习概念

1. 什么是深度学习。

从房价预测的例子来理解，房价多少与房子大小相关。如果知道房子大小我们可以预测房价。这个关系就可以用一个node的神经网络节点来简单估计。（当然这个问题在数学上可以直接可以求解的，但往往很多问题不能显示用数学表达式求出。）。视频中提到了神经网络中最最经典的一个kernel， relu（修正线性函数 ）。

那么如果我们知道房子的信息很多的时候怎么办呢？这时候就需要很多的节点，这些节点构成神经网络。（请不要被神经网络这个名词吓到了！）。其实就跟我们刚结束函数这个名词一样，其实是一种建立输入输出连接的方式。

输入层->隐藏层->输出层

2. 神经网络下的监督学习。

机器学习有很多种的分类方式，监督学习/无监督学习是分类中的一种。监督学习中，我们拿到的训练数据是标签好的。注意一般情况，神经网络需要大量的数据训练，因此如何制造有效的labeled的训练集很重要。著名教授Feifei Li的贡献就是构建了Image的数据集。后来著名的图像识别神经网络都是根据这个数据集展示的，大家也通过这个数据集的预测结果来现实自己算法的优越性。但是现在的神经网络的识别率已经大大高于人眼，失败率只有小数点后几位，因此可能需要更大更好的数据集。其他领域也有很多著名的数据集。同时也有一些小的数据集，例如UCI数据集。

在监督学习中，你输入一个x，学习到一个函数，映射输出到y。

深度学习在图像识别、语音识别、广告推荐、机器翻译、自动驾驶上应用广泛并取得了很好的价值和效果。

结构化数据：数据库的数据。
非结构化的数据句：音频、图片、文字

应用：语音识别、图像识别、自然文字处理。

神经网络目前在结构化数据中创造了很多利润，比如更精准的推荐广告、数据预测未来趋势。圣经网络彻底的改变了监督学习，正创造着巨大的价值。其实，神经网络后的理论，其实并不新鲜，在几十年前就有了。

3.为什么深度学习火了。

为什么神经网络最近这么火，其实神经网络经历了三次起伏。但是都没能真正到达应用的程度，这一次人工智能的热潮真正将神经网络推向应用。为什么呢？简单的说就是new data（海量数据），new algorithm, new CPU GPU。这些都让神经网络的训练faster。神经网络的发展历史这篇博文，可以让你迅速的一时到这么多年历史是怎么起起伏伏的。
以下三点促进了深度学习的发展

• Data
• Computation
• Algorithms（从sigmod函数到ReLU）

本作品采用《CC 协议》，转载必须注明作者和本文链接