第139章 神经网络的曙光

    「当时我正在天慧一号边上，突然乌拉一声！我靠……知道飞机在你身边起飞是什么感觉么？」

    见赵强师兄比手画脚，还穿着鞋套，余江就一个劲地直乐。

    「没事没事，炸不了。」

    「我知道炸不了，但你这动静也太大了吧。」赵师兄瞥了一眼余江导出来的监控，很是心疼：「你这满载要飞多久？」

    「大概七八个小时吧。」

    本书由????????????????全网首发

    「……」忍了几忍，赵强最终还是叹道：「虽然是你姐花的钱，你也悠着点吧……这才交付的新机器，看着心疼啊。」

    「嗯嗯，就这一次。」

    余江把赵师兄送到门口，轻轻呼了口气。

    也亏得自己有钱捐了一台，按照这种宝贝劲，就算是石院士全力支持他，超算中心也会不乐意的。

    回到电脑前坐下，余江再次翻起了书。

    实验室的研究生们陆续就位，没一会，余江把「天慧一号」算力占满的消息便传遍了实验室。

    众人也不好说什么，只是暗暗摇头。

    当≈ap;前章节内容不≈ap;完整！要~查!看-完_整|章;节)请(退≈ap;出阅读|模式！加载中　　这时余江又不好意思地道：「现在所有层的权重都要参与链式求导和梯度更新，计算密度大了点，所以超算动静就有点大。」

    石院士沉默许久，轻轻嗯了一声。

    「神经网络本来就是吃资源的，而且不同参数的结果差异太大，根本没有规律可言，你这就只跑三天，时间够吗？」

    余江回头，只见老太太是真诚地在问，心中微微一暖，轻声道：「是这样的，石老师，我翻了之前的好多论文，自己又琢磨了好久，觉得超参数其实还是有规律的。」

    所谓参数没规律，这正是神经网络被诟病不可解释的原因之一。

    「石老师，譬如这个dbn模型，学习率01不是随便选的——低于005在这个网络结构下几乎不收敛，高于02很容易发散，这个区间对于784维到500维的映射是相对稳定的。」

    「weight_st我设了00001，如果设成零，网络会倾向于用少数强权重拟合数据；加一点惩罚，它会强迫网络用更多弱权重来学习规律。其实这些参数，论文里有人做过类似对比实验，只是没有总结成方法论。」

    听余江一口气介绍完，石院士皱眉沉思了一会：「原理呢？」

    「先找到规律，再探求原理。」他轻轻呼气：「石老师，我这边用的是yann lecun实