深度学习和深信度网络是什么？

2021-01-06 14:22:45 阅读（204） 评论（0）

(1)20世纪90年代末，神经网络研究遇到的困难不仅缓慢，而且缓慢。除了计算速度的因素外，传统神经网络的反向传播算法在捕捉昆虫时极其困难。一个基本问题叫做所谓的vanishingradientproblem(梯度消失问题).1991年，这个问题，德国学者Sepphochreiter首次明确提出并澄清了原因。简单地说，成本函数(costfunction)当从输出层反向传播时，梯度衰减速度非常快，学习速度变得非常慢，神经网络很容易停滞在局部最优解决方案中，无法自拔。这就像原始部落的小混混，山上没有老虎，称霸当地国王很舒服。然而，任何关于“外部世界非常美好”的信息都被落后的层层沟通机制中的噪音所淹没。小混混一辈子都很开心，没有意识到外面的世界有多大，也从来没有想过出去看看更多.(2)支持向量机(SVM)图像和语音识别技术的成功使神经网络的研究再次陷入低潮.SVM理论上更加严谨完整，结果重复性好，启动简单，受到主流学术界的追捧。学术界的共识是，多层神经网络的计算模型实际效果差，完全没有前途。这是一条死胡同。到本世纪初，这种情况变得如此糟糕，以至于当任何论文发送到学术期刊时，研究人员都不敢使用“神经网络”这个词，以免被粗暴地拒绝。2003年，GeoffreyHinton,还在多伦多大学，在神经网络领域努力工作。一位56岁的穷教授从事了30多年没有前途的研究，不得不绞尽脑汁申请研究资金。他不是卢瑟(loser),2003年卢瑟在温哥华大都会酒店，以Hinton为首的15位来自世界各地的不同专业的科学家，加拿大先进研究院(CanadanInstitueoFAdvancedResearch,基金管理负责人，简称CIFAR，MelvinSilverman谈话.Silverman问大家，CIFAR为什么要支持他们的研究项目？计算神经科学研究者，SebastianSung(现为普林斯顿大学教授)，“哦，因为我们有点奇怪。如果CIFAR想跳出自己的舒适区，寻找一个高风险、高度探索性的群体，就应该资助我们！最后，CIFAR同意从2004年开始资助这个团体十年，总额1000万加元.CIFAR成为当时世界上唯一支持神经网络研究的机构。毫不夸张地说，如果没有2004年CIFAR的财政支持，人类可能会在黑暗中探索人工智能研究几年.Hinton很快就获得了资金支持，做了第一件事，就是先换个牌坊。两千多年前，刘三改名换姓，叫什么“汉高祖”？.鉴于“神经网络”口碑不好，Hinton也改名，改姓，称为“深度学习”(DeepLearning)了.Hinton的同事们，从那以后，不时听到他突然在办公室大喊大叫，“我知道人脑是怎么工作的！”.(3)2006年，Hinton与合作伙伴发表论文，“Afastalgorithmfordeepbeliefnets"(深信度网络的快速算法).在这篇论文中，Hinton算法的核心是借用统计力学中“玻尔兹曼分布”的概念(一个颗粒处于某种状态的概率与该状态的能量指数成反比，与其温度的倒数指数成反比)，使用所谓的“限制玻尔兹曼机”(RBM)来学习.RBM引入了统计力学中常用的概率工具。在20世纪70年代，概率和不确定性正是主流人工智能研究人员所讨厌的.RBM相当于两层网络，同一层神经元不能连接(所以称为“限制”)，对神经网络实现“无监督训练”(unsupervisedtraining).深信度网络是几层RBM叠加在一起。除去技术细节，RBM可以从输入数据中进行预训练，找到重要的特征，有效初始化神经网络连接的权重。这是一种特征提取器(featureextractor)神经网络，又称自动编码器(autoencoder).经过RBM预训练初始化后的神经网络，然后用反向传播算法进行微调，效果会更好.Hinton后来指出，深度学习的突破，除了计算蛮力的显著提高外，聪明有效地初始化网络链接权重也是一个重要原因.在Hinton的论文中，经过6万个MNIST数据库的图像培训，1万个测试图像的识别错误率最低降至1.25%.虽然这还不足以改变主流学术界的观点，但深度学习的发展已经看到了曙光.

内容来源:数据分析网，以上内容来源于网络，不代表本站观点，如有侵权，请联系删除。

上一条：什么是做好数据分析的关键？下一条：游戏数据分析中需要关注的核心指标

商标/知识产权

网站服务

CRM/销售管理

ERP/智慧办公

财税人力

安全/技术支持

其他应用

商标版权

小程序

深度学习和深信度网络是什么？

推荐阅读

猜你喜欢

分类

最新文章