当人工神经网络花时间根本不学习时它们会学得更好

根据年龄的不同，人类每24小时需要7至13小时的睡眠。在此期间，发生了很多事情：心率、呼吸和新陈代谢潮起潮落;激素水平调整;身体放松。大脑中没有那么多。

“我们睡觉时大脑非常忙碌，重复我们白天学到的东西，”加州大学圣地亚哥分校医学院医学教授兼睡眠研究员MaximBazhenov博士说。“睡眠有助于重组记忆并最有效地呈现它们。”

在之前发表的作品中，Bazhenov及其同事报告了睡眠如何建立理性记忆，即记住物体、人或事件之间任意或间接关联的能力，并防止遗忘旧记忆。

人工神经网络利用人脑的结构来改进从基础科学和医学到金融和社交媒体的众多技术和系统。在某些方面，他们已经取得了超人的表现，例如计算速度。尽管如此，它们在一个关键方面还是失败了：当人工神经网络按顺序学习时，新信息会覆盖以前的信息，这种现象称为灾难性遗忘。

“相比之下，人脑不断学习并将新数据整合到现有知识中，”Bazhenov说，“当新训练与睡眠时间交替进行以巩固记忆时，它通常学得最好。”

在2022年11月18日出版的PLOSComputationalBiology中，资深作者Bazhenov及其同事讨论了生物模型如何帮助减轻人工神经网络中灾难性遗忘的威胁，从而提高它们在一系列研究兴趣中的效用。

科学家们使用尖峰神经网络人工模拟自然神经系统：信息不是连续交流，而是在特定时间点作为离散事件(尖峰)传输。

他们发现，当脉冲神经网络接受一项新任务的训练时，但偶尔会出现模仿睡眠的离线状态，灾难性遗忘就会减轻。研究作者说，就像人脑一样，网络的“睡眠”使它们能够在不明确使用旧训练数据的情况下重播旧记忆。

记忆在人脑中由突触权重模式表示——两个神经元之间连接的强度或幅度。

“当我们学习新信息时，”Bazhenov说，“神经元会按特定顺序放电，这会增加它们之间的突触。在睡眠期间，我们在清醒状态下学到的尖峰模式会自发地重复。这称为重新激活或重播。

“突触可塑性，即改变或塑造的能力，在睡眠期间仍然存在，它可以进一步增强代表记忆的突触权重模式，有助于防止遗忘或使知识从旧任务转移到新任务。”

当Bazhenov及其同事将这种方法应用于人工神经网络时，他们发现它有助于网络避免灾难性遗忘。

“这意味着这些网络可以像人类或动物一样不断学习。了解人脑在睡眠期间如何处理信息有助于增强人类受试者的记忆力。增强睡眠节奏可以提高记忆力。

“在其他项目中，我们使用计算机模型来制定最佳策略，以在睡眠期间应用刺激，例如听觉音调，从而增强睡眠节奏并改善学习。当记忆力不佳时，例如当记忆力因衰老或阿尔茨海默氏病等疾病而下降时，这一点可能尤为重要。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！