五千年(敝帚自珍)

主题:【翻译】概率随机及编程 (一) -- 东方射日

共:💬21 🌺99
全看分页树展 · 主题 跟帖
家园 神经网络算法和随机算法

你说的对,神经网络的核心不是随机算法,而应该是那个活化函数(常用的s函数或双曲正切函数)。并且传统的神经网络算法如你所说,没有用到随机算法。

以最简单的三层前馈神经网络为例,输入层在接受输入后,传导给隐藏层,传导的过程则是输出值乘以权重加上一定的偏差值。各神经元间连接的权重和偏差是通过回馈函数进行训练修正的。

这种不带随机的神经网络有一个特点,就是如果不断给出输入同样的输入,经过长时间的回馈训练,其行为会逐渐逼近线性函数,稳定地给出我们希望的输出值。类似于我们说说的条件反射。

放在日常生活中,一个熟练工人我们可以说他出错的可能性很小,但是我们不会说他绝对不会出错。

所以在游戏的人工智能中,我们在神经网络中通常会引入一些随机量,也就是人为引入些噪音。对权重和偏差随机有些变化。这样在对同样输入长期训练后仍旧会有一些出其不意的变化。可能是更好的决策,更多可能是大脑短路的自杀。

其二,隐藏层通常是非线性的活化函数对传递来的信号分析后,输出到输出层,通常会活化超过一个的输出神经元。一种方案是采用赢家通吃的办法,将活化值最大的神经作为该算法的输出。但是更常用的算法是将各个神经元的输出作为权重,采用随机函数来决定该算法的输出。

所以准确的说法,我应当将“神经网络算法是随机算法的应用”修改为“神经网络算法也应用了随机算法”

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河