基于光的计算机系统可以增强ChatGPT型机器学习程序的能力

ChatGPT因其能够根据用户的几个问题撰写出色的论文、电子邮件和计算机代码而成为世界各地的头条新闻。

现在，麻省理工学院领导的团队报告了一种系统，该系统可以产生比ChatGPT背后的程序强大几个数量级的机器学习程序。此外，他们开发的系统所使用的能源比当今机器学习模型背后最先进的超级计算机要少几个数量级。

在7月17日的《自然光子学》杂志上，研究人员报告了新系统的首次实验演示，该系统基于光的运动而不是使用数百微米级激光的电子运动进行计算。该团队报告称，与最先进的机器学习数字计算机相比，新系统的能源效率提高了100倍以上，计算密度(衡量系统能力的指标)提高了25倍以上。

在论文中，该团队还指出“未来的改进还需要提高几个数量级”。作者继续说道，因此，该技术“为大规模光电处理器开辟了一条途径，以加速从数据中心到分散边缘设备的机器学习任务。”换句话说，手机和其他小型设备可能能够运行目前只能在大型数据中心计算的程序。

此外，由于该系统的组件可以使用当今已使用的制造工艺来创建，“我们预计它可以在几年内扩展到​​商业用途。例如，所涉及的激光阵列广泛用于手机面部ID和数据通信。”第一作者ZaijunChen说，他在麻省理工学院电子研究实验室担任博士后期间进行了这项工作，现在是南加州大学的助理教授。

麻省理工学院电气工程与计算机科学系(EECS)副教授兼这项工作的负责人DirkEnglund表示：“ChatGPT的规模受到当今超级计算机能力的限制。训练需要大量数据的模型在经济上是不可行的。”更大。我们的新技术可以使跨越机器学习模型成为可能，否则在不久的将来是无法实现的。”

他继续说道，“我们不知道如果下一代ChatGPT的功能增强100倍，它将会具有什么功能，但这就是这种技术可以允许的发现机制。”恩格伦德还是麻省理工学院量子光子学实验室的负责人，并隶属于电子研究实验室(RLE)和材料研究实验室。

进步的鼓声

目前的工作是英格兰德和许多同事在过去几年中不断取得进展的最新成果。例如，2019年，Englund团队报告了导致当前演示的理论工作。该论文的第一作者RyanHamerly(现供职于RLE和NTTResearchInc)也是当前论文的作者。

当前《自然光子学》论文的其他合著者包括RLE的AlexanderSludds、RonaldDavis、IanChristen、LianeBernstein和LamiaAteshian;以及柏林工业大学的TobiasHeuser、NielsHeermeier、JamesA.Lott和StephanReitzensstein。

ChatGPT背后的深度神经网络(DNN)基于庞大的机器学习模型，可模拟大脑如何处理信息。然而，即使机器学习领域不断发展，当今DNN背后的数字技术也已达到极限。此外，它们需要大量的能源，并且主要局限于大型数据中心。这推动了新计算范式的发展。

光的优点

使用光而不是电子来运行DNN计算有可能突破当前的瓶颈。例如，使用光学的计算可能比基于电子的计算消耗更少的能量。此外，陈说，通过光学，“你可以拥有更大的带宽”或计算密度。光可以在更小的区域内传递更多的信息。

但当前的光学神经网络(ONN)面临着巨大的挑战。例如，它们使用大量能源，因为它们在将基于电能的传入数据转换为光方面效率低下。此外，所涉及的部件体积庞大并且占据大量空间。虽然ONN非常擅长线性计算(例如加法)，但它们并不擅长非线性计算(例如乘法和“if”语句)。

在当前的工作中，研究人员引入了一种紧凑的架构，首次解决了所有这些挑战，并且同时解决了另外两个挑战。该架构基于最先进的垂直表面发射激光器(VCSEL)阵列，这是一种相对较新的技术，用于激光雷达遥感和激光打印等应用。

《自然光子学》论文中报道的特定VCEL是由柏林工业大学的Reitzenstein小组开发的。“这是一个合作项目，没有他们就不可能实现，”哈默利说。

洛根·赖特(LoganWright)是耶鲁大学的助理教授，他没有参与当前的研究。Wright表示：“ZaijunChen等人的工作非常鼓舞人心，鼓舞了我以及该领域的许多其他研究人员，基于调制VCSEL阵列的系统可能是实现大规模高速光学神经网络的可行途径。”

“当然，这里的最先进水平仍然远未达到实际有用设备所需的规模和成本，但我对未来几年可以实现的目标感到乐观，特别是考虑到这些潜力系统必须加速非常大规模、非常昂贵的人工智能系统，例如ChatGPT等流行文本“GPT”系统中使用的系统。”

陈、哈默利和英格伦德已经为这项工作申请了专利。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！