情景盒子与强对话交互：MR展演空间的新形态

　　作者：上海交通大学媒体与传播学院副教授 花晖

　　MR（混合现实）技术发展至今，于文化艺术领域的应用已由单纯的数字资源保护与包装，向激活艺术要素的“展演性”更迭。如何在科艺融合视角下，探讨与实践MR空间内表达方式与叙事手段的演进，成为当下焦点。

　　后现代哲学家福柯曾在其“异托邦”概念中提出：空间并非建立于抽象而同一的秩序之上，而是由多元且异质的关系构成。在现实中存在着这样的场所，它既属于现实的一部分、同时亦改写着现实。

　　首先不妨假借这一概念来理解MR视域下的展演空间，不难发现，通过巨幕、环幕、多机无缝投影、全息投影等多重手段呈现而出的主视觉要素，与声音、装置、表演、游戏等多元表达要素，并置、充盈在空间中形成立体的情节密度，从而组接、搭建起一个个具备独立叙事能力的“情景盒子”，而以“情景盒子”串联起的空间序列，成为主创者设计展演程序、观者体验展演行为的依归。

　　上：上海天文馆，下左：GAMEBOX沉浸式游戏展，下右：SAMSKARA生生不息沉浸艺术展

　　例如上海天文馆将宏大的星空探索故事，拆解为家园、宇宙、征程、中华问天等多个子空间，对应展开由太阳系到银河系直至星空深处，以及由古人思考到近代天文革命直至当代空天探测的时空平行叙事。又如GAMEBOX沉浸式游戏展借助数个独立的情景空间，将多款手游由电子屏幕转制放大为可具身进入的立体空间，激发并串联起玩家的经典回忆。

　　值得一提的是：推出GAMEBOX（游戏盒子）的OUTPUT，亦衍生出TECHBOX（科技盒子）、EDUCBOX（教育盒子）、MUSICBOX（音乐盒子）等多条产品线。就空间构建与运营而言，这种可分可串的“盒子”设置，对过往系统繁杂的MR展演进行了情景分化与切割，将场地、技术、成本局限在某一可控制、可复制的标准之中，从而实现了类似卡拉OK亭、娃娃机的胶囊式SKU（库存控制最小可用单元）运营可能，其商业价值就此逐渐清晰，亦越来越多见艺术推广乃至时尚品牌活动以MR快闪空间的形式出现在街头。

　　就内容生产与输出而言，每一个“情景盒子”都是一个不同类型艺术要素并置的传播综合体，其传播的最高目的在于：利用视觉、听觉、触觉乃至嗅觉来最大限度地调动观者的多重感官，打通其身心双重层面与设定情景的沉浸通道。在身心沉浸的状态下，观者或多或少发生意识退行，现实与幻想、真实与虚拟在心理层面呈现出难解难分的、类似“白日梦”的重叠状态，这一“白日梦”状态是促进观者融入情景、掌握信息，进而与虚拟现实连续体发起交互的重要基础。

　　左：北外滩沉浸式光影艺术展，右：SAMSKARA生生不息沉浸艺术展

　　现阶段，MR空间交互正向更具对话性的趋势发展，这其中主要包含了两条路径：一是基于算法更新，大幅提升可视环境与体验者的互动性。例如在北外滩沉浸式光影艺术展及SAMSKARA生生不息沉浸艺术展中，3D Mapping这一被广泛运用于大型建筑灯光秀的投影技术，在任何规则或凹凸的地面、墙面甚至身体上投射出动态贴图，由此构建起物理层面上颜色、线条、光影相统一；心理层面上体验者与设定情景相互缠绕的一体化空间。又如在teamLab“无界美术馆”及上海天文馆中，随着观者的身形位移或姿态转换，四周影像可仿真瀑布、溪流或花瓣的柔性形态与运动轨迹，从而对投影面或接触面做出即时反馈。此类千变万化、无定式的“液态”视觉环境背后，是流体模拟系统与刚体碰撞系统的支撑。前者以影像粒子为基础单位生成数字环境，依据流体动力模型的实时演算，向体验者提供搅动、分割及混合粒子的功能；后者则在体验者抛掷数字对象时，展现了刚体碰撞模型的演算结果。流体与刚体模拟系统在很大程度上，革新了MR空间的视觉呈现，而算法的快速迭代，必将不断满足视觉感知的真实度与灵敏度。

左：teamLab 右：上海天文馆

　　第二条增强对话性的交互途径侧重于展演体验中，应用更低体力负荷与认知负荷的自然交互。一方面，着力于挖掘与落实体验者的媒体使用经验及日常游戏经验，例如装置环节常设置基于平板交互的多点触控界面、或是基于“扫一扫”的增强现实界面；又如GAMEBOX中体验者需要操控放大数倍的操控杆或轨迹球，来移动游戏中的人物及道具。另一方面，整合裸手手势、自然凝视及便捷语音的“多通道交互”，逐步取代笨重的VR头显或是数据手套，以实现低负荷的舒适体验。相对应的交互技术正加快速度由实验室走向市场，如运用颜色与深度数据实现手势分割、运用神经网络对人体姿态进行自主学习、运用语音消除动作的交互二义性等，这一大批技术的成熟与落地，势必将MR展演空间的体验自由带入全新的阶段。

　　同样值得期待的还有配备更精准空间感知定位技术及更高算力的日常可穿戴设备，正如当下成为人类身心一部分的手机，MR技术亦终将悄然无声地融入大众生活，为文创元宇宙打开一道大门。（花晖）