廖 晟【liào shèng】
练习演奏小提琴的拉弓、换弦、按指板等技巧
用虚拟现实技术助您入门
从此史上最难(之一)乐器不再令人生畏。
这个名为《最后的顿弓》的Oculus虚拟现实小提琴模拟项目是我在美攻读互动媒体艺术硕士学位的毕设课题,已通过南加州大学电影艺术学院互动媒体艺术硕士项目的毕业设计评审委员会的审核。意在赋予虚拟现实技术抽象的交互方式以某种可以让产品潜在的用户能有所认同的“意义”,我独自一人历时三个学期进行对该古典弦乐器及虚拟现实技术的研究,并构思、开发和迭代了此小提琴模拟器。
出现在项目名称中的器乐术语“顿弓”,提示(但不限制)了用户在体验该产品时所能做出的乐器表演动作;当用户手持虚拟现实控制器来模拟练习小提琴的拉弓、换弦及按指板等技巧时,项目所采用的乐器数字接口(MIDI)技术将发送同步信号来驱动由四个扇形图案组成的图形用户界面(UI),以此作为动态的“乐谱”来指导用户演奏各式节奏及旋律难易程度不同的曲目。
想知道更多关于项目的设计初衷、参照设计/竞品及开发难题的技术解决方案等信息,请点击以下链接并在跳转到的“论文/技术文档”页面中查看我的南加州大学艺术硕士学位论文-《Last Martelé : A virtual Reality Approach to Analogic Violin Performance》(最后的顿弓:一种模拟小提琴演奏的虚拟现实方法):
https://shengraymondliao.wixsite.com/raymondsportfolio/documentation
点击以下链接跳转到“数字音频/MIDI”页面以获取更多关于项目所采用的乐器数字接口(MIDI)技术系统实现的细节:
https://shengraymondliao.wixsite.com/raymondsportfolio/digital-audio
体裁
模拟
节奏动作
教育
所用技术
Oculus 虚拟现实
Unity 3D 游戏引擎
通用 MIDI
已攻克的难点
-
研究并实现应用于虚拟现实的对用户模仿演奏小提琴时手腕运弓和平滑流畅地连弓换弦的手势的识别。
-
通读、理解消化、整合并修改了一个包含大约五万五千行C# .NET代码的开源MIDI工具包;同时参考了另一个包含大约三万行代码工具包。
-
设计并正在实现定制于此模拟器的由MIDI消息驱动、用于指导用户跟随演奏某曲目的虚拟现实用户界面(UI)。
-
用免费的美术资源(assets)搭建低多边形(low-poly)风格的森林小溪场景,意在用柔和的光影色彩营造恬静的氛围。