“天机”登Nature封面: 施路平团队发布全球首款异构融合类脑芯片!

支持各种模型,算法和编码方案。

支持多个专用神经网络的交织合作,这些神经网络可能是为并行处理不同任务而设计的。

这些特征需要在一个通用化的平台中高效地运行,即能够在统一框架中实现对主流的人工神经网络(ANN)以及受神经科学启发的模型和算法的支持。

“天机”登Nature封面: 施路平团队发布全球首款异构融合类脑芯片!

为了支持这些功能,团队开发了一种跨范式计算平台,可以适应面向计算机科学和神经科学的神经网络(图1),兼容各种神经模型和算法,尤其是基于生物学的(如脉冲神经网络,即 SNN)要素。

通常,ANN 和 SNN 在信息表示、计算原理和记忆组织方面具有不同的建模方式(如图 2a 所示)。

二者最大的差异是,ANN 以精确的多位值来处理信息,而 SNN 使用二进制脉冲序列。

ANN 神经元和 SNN 神经元之间的实现比较如图 2b 所示。

另一方面,ANN 和 SNN 神经元之间也存在一些相似之处,这就为模型间的融合留下了空间。

通过对 ANN 和 SNN 的神经网络模型进行详细比较,将计算模型解析并对应到相关的神经元功能模块上 - 即轴突、突触、树突和胞体,从而构建一个跨范式的统一神经元方案(如图 2c 所示)。

团队设计了同时适用两种方案的突触和树突,而轴突和体细胞通过独立重构来改变功能。

中国芯片登Nature 图-1

图 2d 是一个完整的单功能核(FCore)示意图,包括轴突、突触、树突、胞体和路由部分。

为了实现深度融合,几乎整个 FCore 都可以重新配置,以便在不同模式下实现高利用率。

FCore 能够涵盖大多数 ANN 和 SNN 使用的线性积分和非线性变换操作。

该芯片上的 FCores 以二维 2D 网格方式排列,如图 2e 和 2f 所示。

Tianjic 芯片和其后端布局图如图 3a 所示。

芯片由 156 个 FCore 组成,包含大约 40000 个神经元和 1000 万个突触。

Tianjic 芯片采用 28 纳米半导体工艺制造,面积为 3.8×3.8 平方毫米。

每个独立模块占用的芯片面积,包括轴突,电流,信号,路由器,控制器和其他芯片开销,如图 3b 所示。

由于资源可以重复使用,用以兼容 SNN 和 ANN 模式的区域仅占总面积的3% 左右。

FCore 的功耗分解如图 3c 所示。

中国芯片登Nature 图-2

Tianjic 能够支持多种神经网络模型,包括基于神经科学的网络(如 SNN,以及基于生物学启发的神经网络)和基于计算机科学的网络(如 MLP,CNN 和 RNN 等)。

图 3d 所示为在 Tianjic 芯片上测试不同网络模型与通用处理单元的测试结果。

如图 3e 所示,具有树突中继的混合神经网络可突破传统神经形态芯片 Fan in/fan out 的限制,避免 SNN 网络的精度损失(+11.5%)。

采用这种混合模式增加的额外开销小到可以忽略不计,因为 Tianjic 可以自然地在 FCore 中实现异构转换。

使用 Tianjic 还可以探索更具生物学意义的认知模型(如图 3f 所示)。

二、语音控制,自动避障,这辆无人自行车很秀为了证明构建类脑跨范式智能系统的可行性,团队利用无人驾驶自行车发展了一个异构可扩展人工通用智能开发展示平台,在一块 Tianjic 芯片内并行部署并同时运行多个专用网络。

实验中的自行车配备了多种算法和模型,能够执行实时物体检测、跟踪,语音命令识别、加速、减速、躲避障碍、控制平衡和决策等任务(图 4a)。

中国芯片登Nature 图-3

要实现这些任务,需要克服三个主要挑战:首先,在室外自然环境中成功检测并平滑跟踪移动目标、跨越减速带,并在必要时自动避开障碍物。

第二,需实时响应平衡控制、语音命令和视觉感知产生实时电机控制信号,以保持自行车在正确的方向上运动。

第三,实现多种信息的集成处理和快速决策。

中国芯片登Nature 图-4

为了完成这些任务,团队开发了几个神经网络,包括用于图像处理和物体检测的 CNN,用于人类目标跟踪的 CANN,用于语音命令识别的 SNN,用于姿态平衡和方向控制的 MLP,还有用于决策控制的混合网络。

由于芯片的分散式架构和任意路由拓扑,Tianjic 芯片平台可以实现所有神经网络模型的并行化运行,并实现多个模型之间的无缝通信,使自行车能够顺利完成这些任务。

图 4c 显示响应不同语音命令的输出信号。

图 4d 显示自行车在跟踪、避障和和“S形”曲线行进时的输出控制信号。

图 4e 为基于物理量度的不同速度下的车辆姿态和转向控制的学习情况。

Tianjic 芯片可以同时支持基于计算机科学的机器学习算法和基于神经科学的生物学模型,可以自由地集成各种神经网络和混合编码方案,实现多网络之间的无缝通信,包括 SNN 和 ANN。

来源:

发表评论

图片表情