NC-大脑启发的全局-局部学习与神经形态计算相结合

words • 88888

1. 类脑计算背景介绍

《终极算法》一书提到机器学习的五个学派,分别是连接学派、符号学派、进化学派、贝叶斯学派和类推学派。不同学派各有所长,但其终极挑战却是一致的,即设计一个能够统一解决各学派所面向的问题的“终极算法”。

对于类脑计算,即模仿大脑运行机制的机器学习算法,其主要方向聚焦在连接学派和进化学派上。前者将全局的误差逐层向后传播,其典型算法包括反向传播算法及尖峰神经网络(spiking neural network,SNN)。后者则是通过局部神经元间的竞争,增强相关性高的神经元间的连接,常用于特征提取和记忆等相关任务。尽管基于局部相关性的学习方法能耗及延时均较低,但它在常见数据集上的表现不及当前最佳结果。

三因素学习法则和元学习尝试融合两种方向。其中三因素学习法则通过改变神经元的连接因素(包括突触前后的活动以及自上而下调控的神经递质),以全局的预测误差指导局部权重的调整。元学习则通过持续的学习来提升模型的学习能力,其神经学解释是将神经递质视为一种权重共享机制(通过超参数优化的方式)。元学习仅关注如何提高单个全局模型的学习能力,而对局部神经的可塑性予以忽略。