通过语音和手势共同表演音乐新应用程序支持互动音乐表演

音乐表演需要音乐专业知识和乐器训练。虽然对许多人来说这是一项艰巨的任务，但其他人则缺乏演奏乐器的身体能力。亚·博罗维克，博士计算和数据科学与工程专业的学生与来自德国的合著者制定了一个雄心勃勃的目标，即让人们无论背景如何都能更容易地接触到音乐表演。

为了从熟悉的乐曲中带来乐趣，作者推出了一款应用程序，可以通过声音、面部表情或手势根据自己的口味定制音乐，例如放慢速度或就像摇篮曲一样。结果报告在电子书“增强人类智力”的一章中。

“我们系统的演示版本包含一个AI模型，该模型已使用包含236首钢琴音乐作品的1,067个渲染的开放语料库进行训练。该模型将注释的音乐作为输入，并在预测演奏特征的同时学习如何演奏它：本地速度、位置、持续时间和音符响度。输出是乐曲的渲染。我们的目标是向用户提供对模型的控制，因此我们将其合并到应用程序中，从而实现模型和最终用户之间的交互，“亚·博罗维克说。

启动应用程序时，用户可以访问智能手机的摄像头和麦克风，并开始收听数据库中随机生成的合成渲染。要更改渲染，用户开始视频或音频录制。通过声音或面部表情，可以要求模特以其他方式演奏音乐。例如，肖邦的玛祖卡舞曲可以变成摇篮曲。

“为了与模型进行交互，我们使用音符中已经包含的演奏指示。乐谱上有书面标记，指导玩家如何演奏音乐：更快、更慢、更大声等。根据所有可用数据，用户的语音命令被转化为这些性能方向，”Ilya补充道。

该项目仍在进行中。研究团队计划让用户与模型的交流更具互动性，以便用户只需几次迭代即可获得所需的结果。该应用程序的界面将得到改进，而作品数据库将得到扩展。截至目前，它包含古典音乐，这是世界音乐遗产。在下一阶段，研究人员将把管弦乐纳入其中。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！