灵感源自人脑的架构

南洋理工大学和悉尼科技大学的研究人员最近开发了一种机器学习架构，该架构可以通过分析可拉伸应变传感器捕获的图像来识别人的手势。在《自然电子》上发表的一篇论文中提出的新架构受到人脑功能的启发。

“我们的想法源于人脑如何处理信息，”进行这项研究的研究人员之一陈晓东告诉TechXplore。“在人脑中，诸如思维，计划和灵感之类的高感知活动不仅取决于特定的感官信息，而且源于来自各种传感器的多感官信息的全面集成。这启发了我们结合视觉信息和体感信息来实现高精度手势识别。”

当人类解决实际任务时，他们通常会整合从周围环境中收集的视觉和躯体信息。这两类信息是互补的，结合起来使用，它们可以更好地理解一个人要解决的问题中涉及的所有要素。

因此，在开发用于人类手势识别的技术时，Chen及其同事确保了该技术可以整合由多个传感器收集的不同类型的感觉信息。最终，他们的目标是建立一种可以非常准确地识别人的手势的体系结构。

为了实现我们的目标，我们通过设计和制造可拉伸且顺应性的传感器来提高传感器数据质量，与目前的可穿戴传感器相比，该传感器可以收集更准确的手势体感数据。”“此外，我们开发了一种受生物启发的体感-视觉(BSV)学习体系结构，可以合理地融合视觉信息和体感信息，类似于大脑中的体感-视觉融合层次。”

Chen和他的同事开发的BSV学习体系结构以多种方式复制了人类大脑如何融合体感和视觉信息。首先，它的多层和层次结构模仿了人工神经网络，而不是生物学的神经网络。

另外，该体系结构中的某些分区网络处理由大脑中的神经网络处理的相同模态感觉数据。例如，分段卷积神经网络(CNN)专门执行卷积运算，在生物神经系统内人工复制局部感受野的功能，从而模仿在负责视觉的人脑部分发生的初始视觉信息处理。

最后，研究人员设计的架构使用新开发的稀疏神经网络融合了功能。该网络复制了大脑中的多感觉神经元如何代表视觉和体感信息之间的早期且节能的相互作用。

Chen解释说：“我们开发的技术具有三个独特的特征。”“首先，它可以处理视觉和体感信息的早期交互。其次，CNN进行的卷积操作类似于生物神经系统中局部感受野的功能，它可以自动学习分层的深层空间特征并提取位移不最后，我们引入了一种新的修剪策略，该策略依赖于Frobenius条件数来实现节能的稀疏神经网络。”

在一系列初步评估中，Chen和他的同事设计的BSV学习体系结构优于单峰识别方法(即仅处理视觉或体感数据，而不同时考虑两者的方法)。值得注意的是，与过去开发的三种多模式识别技术(加权平均融合(SV-V)，加权注意融合(SV-T)和加权乘法融合(SV-V))相比，它还能够更准确地识别人的手势。 M)架构。

“与单模式识别方法(基于视觉，基于体感的)和常见的多模式识别方法(SV-V，SV-T和SV-M)相比，我们的生物启发式学习体系结构可以实现最佳的识别精度。”“它还保持较高的识别精度(该精度显示BSV略有下降，这比其他方法要好得多)，在非理想的情况下，图像会出现噪点并且曝光不足或曝光过度。”

由这组研究人员开发的受大脑启发的体系结构最终可能会在许多实际环境中引入。例如，它可以用于开发可以读取患者肢体语言的医疗保健机器人，也可以帮助创建更高级的虚拟现实(VR)，增强现实(AR)和技术。

Chen说：“其独特的仿生特性使我们的体系结构优于大多数现有方法，这已被我们的实验结果证明。”“我们的下一步将是基于视觉数据和传感器数据的生物融合，构建一个VR和AR系统。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！