坂本龙一(Ryuichi Sakamoto)身穿黑色西装，戴着他惯常戴的玳瑁眼镜，弓着背坐在一架三角钢琴前。他周围的房间笼罩在黑暗中，除了脸上的雀斑和雅马哈摩托车的光泽外，看不到其他的纹理。然后他举起双手，让它们落在琴键上。在他的触摸下，他们开始唱歌。
演出时长约45分钟。这位获得奥斯卡奖的作曲家演奏了10首自己创作的曲子，每一首曲子结束时，人们都会鼓掌。一开始不是我，但我用眼泪来弥补，眼泪先是涌进喉咙，然后顺着脸颊流下来。演出结束后，坂本并没有鞠躬走下舞台;在与癌症抗争多年后，他于今年3月去世。当我摘下戴着的耳机时，他就渐渐变黑了。
这场名为Kagami的音乐表演是一场混合现实秀，将于7月9日在曼哈顿的the Shed和曼彻斯特的Factory International举行，接下来将在悉尼歌剧院和田纳西州诺克斯维尔的大耳朵音乐节(Big Ears Festival)上演。演出开始时，80个人围成一圈，周围什么都没有。每位观众戴上Magic Leap 2耳机后，一个虚拟的坂本就会出现在圆圈的中心。然后，当你在“周围”徘徊时，音乐家会表演，小心翼翼地不撞到一架不存在的钢琴——或者你的同伴，他们是存在的。
kagami(日语“镜子”的意思)是由制作工作室Tin Drum设计的，它将坂本的3D模型与现实世界融合在一起，产生了一种既物质又缥缈的体验。它是不断增长的AR和VR音乐实验的一部分。在2020年疫情最严重的时候，比莉·艾利什(Billie Eilish)举行了一场直播音乐会，用扩展现实效果装点了舞台，把舞台变成了阴沉的海底和繁星点点的天空。2022年，街头霸王占领了纽约时代广场，然后是伦敦皮卡迪利广场，因为增强现实技术让乐队的角色在大屏幕上栩栩如生。这份名单还包括爱莉安娜·格兰德、贾斯汀·比伯和特拉维斯·斯科特，他们中的大多数人在疫情期间开始涉足混合现实。
关于神神，故事也从那时开始。据Tin Drum创始人托德·埃克特(Todd Eckert)回忆，2020年初，他和坂本坐在埃克特的公寓里，讨论着混合现实实验的想法。当时，这位音乐家并不知道他几年前康复的癌症又复发了。埃克特说:“也许他答应了，因为他之前因癌症治疗而错过了两年的演出。”或者他说是因为他对科技的迷恋。
时间快进到2020年11月，两人从总部所在的纽约市飞往东京，封锁了东京。东京是世界上仅有的两个拥有3D捕捉坂本所需设备的城市之一，并使用体积和动作捕捉技术生成了他的虚拟模型。会议持续了三天，在此期间，坂本在48台摄像机、各种麦克风和灯箱的监视下演奏了他的作品。
摄影:锡鼓
他周围的每一个表面，包括钢琴，都被绿色覆盖——“克米特的土地”，埃克特开玩笑说。坂本脸上戴着扁豆大小的动作捕捉标记，有近20个标记策略性地贴在他的手背上。他那稀疏的银发通常披在额头上，现在被打了蜡，用网罩住，这样就不会在镜头前掩盖他的面部表情。埃克特说:“为了制作真实的东西，你必须经历看似不真实的不可能的困难和过程。”
埃克特的团队花了大约六个月的时间来处理在会议中捕获的原始数据。与此同时，他们还必须从头开始雕刻坂本的头发，并重现他标志性的眼镜。但最具挑战性的是重现坂本的脸，因为他弯腰驼背，所以在大部分表演中镜头都看不到他的脸。
也许这是因为在第一次治疗开始的前一天早上，坂本得知癌症复发了，而且到处都是。“直到一年半之后，我才知道他发现了什么，”埃克特说，他猜测坂本可能知道他很快就要死了，所以他比平时更倾向于钢琴。埃克特说:“这是他做过的最慢的版本。”
由于坂本的面部数据在形状和纹理上都不一致，他们不得不通过使用完整数据的参考片段重建他的面部来弥补缺失的数据。花了几个月的时间。
与此同时，不同的团队正在制作一系列3D艺术作品，这些作品最终将伴随着表演:在开场作品中，轻柔的雾缠绕在每个人的脚踝上;一棵树在钢琴上画了一会儿。埃克特说:“我从来没有打算简单地为那些知道自己喜欢龙一的人服务，而是试图扩大观众，让他们了解他的作品。”幸运的是，这些艺术品提升了表演，而不是减损表演。例如，当坂本正在演奏热门曲目“能量流”时，他头顶上的一扇窗户打开了，雪花开始飘进来。雪的效果参考了黑泽明(Akira Kurosawa) 1952年的电影，在电影中，主人公——一位知道自己将不久于人世的老人——在下雪天坐在公园的秋千上，唱着一首浪漫的歌谣，度过了生命的最后时刻。
摄影:Ryan Muir/Tin Drum
整个节目给人一种超凡脱俗的感觉，但科技能做到的也就这么多。Magic Leap 2有一个70度的视野，是上一代的两倍大，但这仍然意味着当你抬头看天花板看到那个窗户时，你再也看不到坂本。考虑到你在一个满是戴着墨镜的陌生人的房间里走来走去，这种耳机也很难适应。(Magic Leap 2有一个调光功能，可以让真实物体滑到虚拟物体后面，但这种错觉太强烈了，以至于人们在测试中不断撞到对方，所以开发团队不得不取消了这个功能。)
这场表演虽然超现实，却让我有些困惑。一场混合现实的音乐会能弥补某人缺席的悲伤现实吗?我从未见过坂本的现场表演，但我怀疑神神是否能接近他在房间里的那种明显的能量。当技术成为人类最亲密的体验不可或缺的一部分时，我们失去了什么?我们又得到了什么?
音乐以各种不同的方式影响大脑。神经科学家、认知和行为神经科学学院的创始人海莉·纳尔逊解释说，当我们探测深度、运动或视觉模式时，我们的大脑几乎都以同样的方式运作。但是当你把音乐加入到混音中，这些输入对体验的影响因人而异。她说:“虽然有些人可能会发现视觉元素，比如现场表演者的出现或一个令人愉悦的环境，来增强他们对音乐的享受，但其他人可能主要关注听觉方面，只从声音本身中获得快乐。”
锡鼓提供
神经科学家、歌剧女高音因德雷·维斯康塔斯(Indre Viskontas)是旧金山音乐学院(San Francisco Conservatory of Music)的教员，她说，知道这首曲子的作者也会影响人们对它的体验。2013年，一组研究人员进行了一项神经成像研究，他们要求人们躺在扫描仪中，听一段对每个人都一样的音乐。其中一半人被告知音乐是由人类创作的，另一半人被告知音乐是由机器创作的。维斯康塔斯说，第一组调动了大脑的一部分，帮助我们理解他人的感受、思考和行为。换句话说，当人们知道作曲家是人类时，他们会更有同理心。“作为人类，我们要做的一件事就是试图理解，‘那个人想告诉我什么，他们的信仰是什么，他们是朋友还是敌人?维斯康塔斯说:“我们基本上是站在那个人的角度来做这件事的。
维斯康塔斯承认，如果同样的研究在今天进行，当我们的文化沉浸在人工智能生成的音乐和艺术中，可能会产生不同的结果。考虑到坂本是人类，而且是在为录音演唱自己的歌曲，这也有点不同——只是他的存在通过一台机器传递。但根据维斯康塔斯的说法，在混合现实中，公众与他之间的联系只有在我们相信房间里有一个演奏者在弹钢琴的幻觉的情况下才能起作用，而且如果技术足够先进，可以帮助我们说服自己这是真实的。
后者可能需要一段时间。正如2016年的一项研究所概述的那样，为了让VR技术真正让我们感觉自己与表演者和观众在一个房间里，它需要更好地翻译表演者的细微身体变化，比如脸红和出汗，或者几乎难以察觉的事情，比如扬起眉毛。它还必须让我们有机会与周围的人进行身体接触。再现表演者和观众共同在场的独特能量和氛围是另一个挑战。这在Kagami中只得到了部分解决，它可能是为一小群人设计的，但仍然是一种孤独的体验。
尽管如此，这部剧仍然是一次引人入胜的尝试，它捕捉了不可能，并将其冻结在时间里。由于没有即兴发挥的空间，坂本每次表演都会表现出完全相同的情绪。如果我第二次回去，魔力会消失吗?
也许坂本知道其中的利害关系。2023年初，在神神去世前不久，他写道:“在现实中，有一个虚拟的我。这个虚拟的我不会变老，会继续弹钢琴几年、几十年、几百年……会有同理心吗?跨越数十万年的同理心。啊，但是电池用不了那么久。”
