认识达内从这里开始

认真做教育专心促就业

浅说深度学习：核心概念（下）

发布：互联网
来源：互联网
时间：2017-04-25 13:43

    激励函数(Acitivation Function)

    激励函数读取加权数据(输入数据和权重进行矩阵乘法),输出数据的非线性变换.比如output = max(0, weight_{data})就是修正线性激励函数(本质上就是把负值变成0)."单元"和"激励函数"之间的区别是,单元可以更加复杂,比如一个单元可以包含若干个激励函数(就像LSTM单元)或者更复杂的结构(比如Maxout单元).青岛达内培训

    Kaiser:原文这个例子显然把简单的问题说复杂了,建议跳过.

    线性激励函数,与非线性激励函数的区别,可以通过一组加权值之间的关系体现:想象4个点A1, A2, B1, B2.点(A1 / A2),和(B1 / B2)很接近,但是A1和B1, B2都很远,A2亦然.

    经过线性变换,点之间的关系会变化,比如A1和A2远离了,但同时B1和B2也远离了.但是(A1 / A2)和(B1 / B2)的关系不变.

    而非线性变换则不同,我们可以增加A1和A2的距离,同时减小B1和B2的距离,如此就建立了复杂度更高的新关系.在深度学习中,每一次层的非线性激励函数都创造了更复杂的特征.

    而纯线性变换,哪怕有1000层,也可以用一个单层来表示(因为一连串的矩阵相乘可以用一个矩阵乘法来表示).这就是为什么非线性激励函数在深度学习中如此重要.

    层(Layer)

    层是深度学习更高级的基本构成单位.一层,就是接受加权输入、经过非线性激励函数变换、作为输出传递给下一层的容器.一层通常只含一种激励函数,池化、卷积等等,所以可以简单地与网络其他部分作对比.第一层和最后一层分别称为"输入层"和"输出层",中间的都称作"隐藏层".

    卷积深度学习

    卷积(Convolution)

    卷积是一种数学操作,表述了混合两个函数或两块信息的规则:(1)特征映射或输入数据吗,与(2)卷积核混合,形成(3)变换特征映射.卷积也经常被当做是一种滤波器,卷积核(kernel)过滤特征映射以找到某种信息,比如一个卷积核可能是只找边缘,而抛掉其他信息.

    图3:用边缘检测卷积核,对图像进行卷积操作.图3:用边缘检测卷积核,对图像进行卷积操作.

    卷积在物理和数学中都很重要,因为他建立了时域和空间(位置(0,30)的,像素值147)以及频域(幅度0.3,频率30Hz,相位60度)的桥梁.这一桥梁的建立是通过傅里叶变换:当你对卷积核与特征映射都做傅里叶变换时,卷积操作就被极大简化了(积分变成了相乘).

    图4:用图像窗在整个图像上滑动计算卷积.原始图像(绿色)的图像窗(黄色)与卷积核(红字)相乘再相加,得到特征映射中的一个想租(Convolved Feature里的粉红单元).图4:用图像窗在整个图像上滑动计算卷积.原始图像(绿色)的图像窗(黄色)与卷积核(红字)相乘再相加,得到特征映射中的一个想租(Convolved Feature里的粉红单元).

    卷积,可以描述信息的扩散.比如当你把牛奶倒进咖啡却不搅拌,这是扩散就发生了,而且可以通过卷积精确描述(像素向着图像边缘扩散).在量子力学当中,这描述了当你测量一个量子的位置时,其在特定位置出现的概率(像素在边缘处于最高位置的概率).在概率论中,者描述了互相关,也就是两个序列的相似度(如果一个特征(如鼻子)里的像素,与一个图像(比如脸)重叠,那么相似度就高).在统计学中,卷积描述了正太输入血猎的加权动平均(边缘权重高,其他地方权重低).另有其它很多不同角度的解释.

    Kaiser:这里的"边缘"不同于之前的edge,原词为contour,指决策边界.比如对于人脸识别,人脸的轮廓就是contour,识别的重点.

    不过对于深度学习,我们也不知道卷积的哪一种解释才是正确的,互相关(cross-correlation)解释是目前最有效的:卷积滤波器是特征检测器,输入(特征映射)被某个特征(kernel)所过滤,如果该特征被检测到了,那么输出就高.这也是图像处理中互相关的解释.

    图5: 图像的互相关.卷积核上下倒过来,就是互相关了.核Kernel可以解释为特征检测器,如果检测到了,就会产生高输出(白色),反之则为低输出(黑色).图5: 图像的互相关.卷积核上下倒过来,就是互相关了.核Kernel可以解释为特征检测器,如果检测到了,就会产生高输出(白色),反之则为低输出(黑色).

    池化/下采样(Pooling/Sub-Sampling)

    池化过程从特定区域读取输入,并压缩为一个值(下采样).在卷积神经网络中,信息的集中是种很有用的性质,这样输出连接通常接收的都是相似信息(信息像经过漏斗一样,流向对应下一个卷积层的正确位置).这提供了基本的旋转/平移不变性.比如,如果脸不在图片的中心位置,而是略有偏移,这应该不影响识别,因为池化操作将信息导入到了正确位置,故卷积滤波器仍能检测到脸.

    池化区域越大,信息压缩就越多,从而产生更"苗条"的网络,也更容易配合显存.但是如果池化面积太大,丢失信息太多,也会降低预测能力.

    Kaiser:以下部分将之前罗列的概念串了起来,是全文的精华所在.

    卷积神经网络(Convolutional Neural Network, CNN)

    卷积神经网络,或卷积网络,使用卷积层过滤输入以获得有效信息.卷积层有的参数是自动学习获得的,滤波器自动调整以提取最有用的信息(特征学习).比如对于一个普适的物体识别任务,物体的形状可能是最有用的;而对于鸟类识别人物,颜色可能是最有用的(因为鸟的形状都差不多,而颜色却五花八门).

    一般我们使用多个卷积层过滤图像,每一层之后获得的信息,都越来越抽象(层级特征).

    卷积网络使用池化层,获得有限的平移/旋转不变性(即使目标不在通常位置,也能检测出来).池化也降低了内存消耗,从而能够使用更多卷积层.

    最近的卷积网络使用inception模块,即1x1的卷积核进一步降低内存消耗,加速计算和训练过程.

    图6:一个交通标志图像被4个5x5卷积核滤波,生成了4个特征映射,这些特征映射经过"最大池化".下一层对之前下采样过的图像应用10个5x5卷积核,并在此池化.最后一层是全连接层,所有的特征都组合起来传递给分类器(本质上就是逻辑回归).图6:一个交通标志图像被4个5x5卷积核滤波,生成了4个特征映射,这些特征映射经过"最大池化".下一层对之前下采样过的图像应用10个5x5卷积核,并在此池化.最后一层是全连接层,所有的特征都组合起来传递给分类器(本质上就是逻辑回归).

    Inception

    卷积网络中,inception模块的设计初衷是为了以更高的计算效率,执行更深、更大的卷积层.Inception使用1x1的卷积核,生成很小的特征映射.比如192个28x28的特征映射,可以经过64个1x1的卷积,被压缩成64个28x28的特征映射.因为尺寸缩小了,这些1x1的卷积后面还可以跟跟大的卷积,比如3x3,5x5.除了1x1卷积,最大池化也用来降维.

    Inception模块的输出,所有的大卷积都拼接成一个大的特征映射,再传递给下一层(或inception模块).

更多青岛达内培训相关资讯,请扫描下方二维码

青岛达内培训