top of page
练习演奏小提琴的拉弓、换弦、按指板等技巧
虚拟现实技术助您入门
从此史上最难(之一)乐器不再令人生畏。

这个名为《最后的顿弓》的Oculus虚拟现实小提琴模拟项目是我在美攻读互动媒体艺术硕士学位的毕设课题,已通过南加州大学电影艺术学院互动媒体艺术硕士项目的毕业设计评审委员会的审核。意在赋予虚拟现实技术抽象的交互方式以某种可以让产品潜在的用户能有所认同的“意义”,我独自一人历时三个学期进行对该古典弦乐器及虚拟现实技术的研究,并构思、开发和迭代了此小提琴模拟器。

出现在项目名称中的器乐术语“顿弓”,提示(但不限制)了用户在体验该产品时所能做出的乐器表演动作;当用户手持虚拟现实控制器来模拟练习小提琴的拉弓、换弦及按指板等技巧时,项目所采用的乐器数字接口(MIDI)技术将发送同步信号来驱动由四个扇形图案组成的图形用户界面(UI),以此作为动态的“乐谱”来指导用户演奏各式节奏及旋律难易程度不同的曲目。

想知道更多关于项目的设计初衷、参照设计/竞品及开发难题的技术解决方案等信息,请点击以下链接并在跳转到的“论文/技术文档”页面中查看我的南加州大学艺术硕士学位论文-《Last Martelé : A virtual Reality Approach to Analogic Violin Performance》(最后的顿弓:一种模拟小提琴演奏的虚拟现实方法):
https://shengraymondliao.wixsite.com/raymondsportfolio/documentation
点击以下链接跳转到“数字音频/MIDI”页面以获取更多关于项目所采用的乐器数字接口(MIDI)技术系统实现的细节:
https://shengraymondliao.wixsite.com/raymondsportfolio/digital-audio

体裁

模拟

节奏动作

教育

所用技术

Oculus 虚拟现实

Unity 3D 游戏引擎

通用 MIDI

已攻克的难点

  • 研究并实现应用于虚拟现实的对用户模仿演奏小提琴时手腕运弓和平滑流畅地连弓换弦的手势的识别。

  • 通读、理解消化、整合并修改了一个包含大约五万五千行C# .NET代码的开源MIDI工具包;同时参考了另一个包含大约三万行代码工具包。

  • 设计并正在实现定制于此模拟器的由MIDI消息驱动、用于指导用户跟随演奏某曲目的虚拟现实用户界面(UI)。

  • 用免费的美术资源(assets)搭建低多边形(low-poly)风格的森林小溪场景,意在用柔和的光影色彩营造恬静的氛围。

Last Martelé VR Violin - Proof of Concept 小河淌水

Last Martelé VR Violin - Proof of Concept 小河淌水

播放影片
产品特征
用虚拟现实技术实现对演奏小提琴时的运弓、流畅换弦等技法的仿真模拟
包含全音域和各种力度的、悦耳的高仿真小提琴电子合成器音色
用于同步音乐回放和视觉用户界面的
、带有独奏及静音功能的MIDI模块
技术难点 1:小提琴的运弓及平滑的连弓换弦
Last Martelé - Feature Illustration - Bowing

Last Martelé - Feature Illustration - Bowing

播放影片
技术难点 2:虚拟现实用户界面及音频-视觉同步
Last Martelé - Feature Illustration - Fretboard UI

Last Martelé - Feature Illustration - Fretboard UI

播放影片
bottom of page