11600平方米的高清LED显示屏,基于人工智能技术的影像识别跟踪、基于交互引擎技术的实时渲染,全球首次在超过一万平方米地面上对超过600名演员进行实时跟踪和互动…
2022年北京冬奥会开幕式带来了太多绝美瞬间,其背后是用科技的手段将中国人的浪漫展现得淋漓尽。下面就让我们一起来看看,这些精彩的节目背后有哪些科技手段在支撑。
一进鸟巢,观众首先会被一块超大的LED屏吸引。它平铺在鸟巢中心,一直延伸到跑道,约1.16万平方米,是目前建成的世界最大的LED显示屏,包含超过4万块的LED模块,不仅能完美地呈现各种特效,还可结合虚拟现实技术来使用,完全颠覆了传统的演出舞台空间结构,可变换成多面凸屏,延伸画面,增添空间感,打造出数字化高端演艺视效,是为此次开幕式量身打造的分辨率高、刷新率高的地屏展示项目。
据@京东方BOE 官微消息,此次开幕式流光溢彩的会发光的舞台就是由京东方提供。京东方采用多个8K+级分辨率的画面融合技术,超大规模的光学校正算法可对每个显示画面进行像素点级的光学校正,可呈现出100000:1超高对比度,3840Hz超高刷新率,以及29900x15096超高分辨率的超高清绚丽画面。同时,通过搭载京东方自主研发的超大规模显示模组控制与同步系统,还可实时捕捉演员行进轨迹,实现画面与演员的无缝互动。
与地屏垂直的是一块近60米高、20米宽的LED屏,叫做冰瀑。开幕式中,一滴水墨滴下来,张艺谋解释,如同“黄河之水天上来”,铺满全场,呈现出具有中国美学的画面,令人惊艳。
负责演出装置的副经理刘记军表示,平地竖起这样一块大屏并非易事,第一个考验就是大风。冰瀑建好后正是秋冬季节,场内的风速足以把屏幕撕烂。冰瀑下面没有地基,塔架无法生根,这么大面积的屏会不会被吹倒?
安全是首位的,刘记军的团队开始研究鸟巢场内的风如何刮,记录了一二百种风况,设置模拟实验。最终考虑到风的影响,屏幕的宽度从30米调整到20米,采用了透风的格栅屏。
得益于团队的细致严谨,最终冰瀑的呈现效果非常抓人眼球。或许若干年后,当我们回忆起2022年的春节,脑海中的第一个画面就是从天而降的冰瀑。
激光与3D视效“雕刻”冰立方
对于许多观众来说,北京冬奥会开幕式上最吸引眼球的是冰雪五环的出现。
空中的一滴水墨凝结成冰,一块冰立方从地下升起,24道激光在上面回顾24届冬奥会,最终停在北京。6个冰球运动员快速击打,配合激光雕刻碎冰,最终一个冰五环显出形来。可以说,当“冰立方”缓缓被激光“雕刻”成晶莹璀璨的五环时,燃爆了现场,也点燃了屏幕前观众的激情。
“雕刻的是真冰还是假冰”在微博上,一些人就这一话题开始了激烈的讨论。
海淀高科技企业利亚德承担了北京冬奥会开幕式地屏、冰瀑、冰立方、南北看台屏和播放系统等装置生产、安装任务。据利亚德集团董事长李军介绍,“‘雕刻’的视觉是在激光与冰立方3D视效的结合下产生的”。
冰立方长22米、宽7米、高10米,是由LED屏组成的。五环本身也是一个LED屏,当它亮相的时候,位于看台4层的激光照射在冰立方上,对冰立方进行“雕刻”,随着冰立方上部的顶盖的下翻,配合着激光的“雕刻”,底部的五环缓缓上升,冰立方四面的LED屏一边缓缓下降,一边播放冰渣四溅的三维视觉效果,三方面完美配合,就形成了五环被一点点“雕刻”出来的视觉效果。
三维追踪技术与地面自然互动
在《致敬人民》和《雪花》节目中,我们看到风雪特效和运动员的配合天衣无缝,运动员所到之处“风雪消融”,看到地面大屏随着表演者的走动出现新的画面,还看到雪花与孩子们如影随形,陪着孩子们在舞台上自由地移动……一个疑问产生了:为什么地面能够与表演者互动得如此自然?
国家体育场团队科技创新经理杨建栋介绍道,3DAT技术(三维运动员追踪技术)的运用是一大关键。这套系统的运作过程大致如下:整个系统大致包括摄像机系统、进行计算机视觉和人工智能处理的服务器系统、后端进行渲染的渲染系统。运行时,技术团队通过安放在鸟巢看台6层的4台检测度极高的摄像机覆盖全场,以此采集场上演员的影像,判断他们的位置,然后把位置信息和动作信息反馈给渲染系统,渲染系统再按照导演设定的艺术效果,结合演员的位置、动作、姿态,进行实时的现场合成。
一般来说,3DAT技术多用于运动员训练,帮助教练员整理并提出科学训练计划和专业策略,“而这套系统是世界上首次把英特尔3DAT技术运用在演出中。”北京电影学院声音学院院长童雷、英特尔项目经理贺郁馨说,“这套系统难就难在它是实时的。这么长的链条,要经过几套服务器,整个过程的延迟大概在100到200毫秒之间,所以从视觉上看起来,渲染效果就像是跟随着演员一样,它给了导演们进行更多艺术创作的空间。”
航天科技助力冬奥主火炬点燃
此次开幕式之前,总导演张艺谋在接受采访时表示,“这次在点火和火炬上有一个重要改革,跟一百年以来都不一样”,吊足了观众的胃口。
当雪花形状的主火炬在万众瞩目下点燃,360度自动旋转展示,用独特又浪漫的方式向全世界传递了低碳环保理念和中国文化自信时,不得不感叹这极具创新和科技的点火仪式必将在奥运会火炬的历史上留下浓墨重彩的一笔。
虽然主火炬的点火仪式看似简单短暂,但却经历了半年时间的验证,航天科技集团五院运用成熟的航天器试验验证技术,确保点火仪式的各个环节可靠、顺畅。
为了保证主火炬的有效起吊高度和承载需求,五院508所选用航天器回收着陆试验场内高40米、长25米、宽15米的冲击试验塔架作为试验主装置,并对机械结构和电力系统进行适应性改造,以满足主火炬及其吊挂机构的安装要求和试验要求。该试验塔架平时主要用于航天器回收着陆系统的着陆冲击试验、绳带冲击试验、弹伞开伞试验等,具有高强度、高可靠、操作便捷等特点。
试验验证过程中,为了更真实的模拟主火炬内场应用环境,降低外场自然风及光线影响,508所项目团队结合半个多世纪的航天器降落伞研制经验,选用具有特殊性能的航天器用特纺柔性材料,制成总面积约3000平方米的三面防护网,分别悬挂、固定于试验塔架的西、北、东三个方向。
由于柔性材料本身刚度不够,受风力影响,防护网可能随风摆动而影响试验,项目团队别具匠心,利用降落伞设计技术,在防护网周围增加了径向带和纬向带设计,并选用伸缩量小的绳带作为系留绳,保证了防护网即使在大风条件下依然保持稳定的张力和可靠性。
2022北京冬奥会秉承“绿色、共享、开放、廉洁”的办奥理念,以绿色发展和绿色办奥相结合,打造“绿色化”“低碳化”“智能化”“数字化”的生态环保理念。主火炬的燃料为氢气,氢气瓶的安全存储也是试验过程中的重要环节。为此,508所充分利用试验场内具有防爆功能的航天器推进剂加注间,增设强排风系统,定时排风,每日由专人负责检查,保证氢气瓶的存储和使用过程安全可控。
正是在严格把关质量的航天精神的保障下,才最终呈现了精彩绝伦、举世瞩目的主火炬点火仪式。
三维仿真技术搭建开幕式演出“大脑”
在北京冬奥会开幕式惊艳世界之前,它已经在北京理工大学数字表演与仿真技术北京市重点实验室研发的平台上排演了无数遍。
实验室主任、北京理工大学计算机学院教授丁刚毅对开幕式的流程,已经熟谙于心。毕竟,40多人的团队,为了冬奥会的开闭幕式,已经忙了一年半。
每一分钟会发生什么,他都心中有数。此前,每一场彩排后的每一处改动和调整,他的团队都会立刻在平台上做出相应改动。
在这个神奇的平台上,你能获得关于开幕式的最佳最全视角。
你会进入一个复刻国家体育场的虚拟世界,这里有与开幕式相关的所有要素。你会看到观众席、灯带、主舞台和震撼人心的超大型 LED屏幕;你也能看到地屏和竖屏上流动的精彩画面;你会看到焰火升腾,五环升起;甚至还能看到开幕式中不同节目的演员如何上场、表演和退场,看到整场演出精妙而复杂的调度。那些电视转播里不会出现或者不会重点强调的镜头,在这里,你都能尽收眼底。
可以说,它是一个有关冬奥会开幕的投射,能实现表演全要素、全流程、全业务的集成与融合。
冬奥会开闭幕式大型表演智能化创编排演一体化服务平台关键技术,是科技冬奥的项目之一,由丁刚毅带领的团队牵头完成。
它集成活动策划与智能创意系统、训练彩排方案生成系统、表演预演系统、装备协同控制系统和仿真转播关键技术,形成了新一代表演全流程技术解决方案。其实,先进的仿真技术,也是现在大热的“元宇宙”概念中的关键技术。
平台,就是演出的大脑,能把导演创作团队的创意进行拆解、细化,通过仿真数据,提炼成训练手册指导训练。可指导演员、机器人、视频投影等表演要素排练,保证表演在时间、空间上的一致性与准确性,帮助导演实时观察演员和道具的姿态与队形,演员也能迅速调整自身动作,实时、快速地熟悉表演方案。
预演系统以可视化的界面和图纸、视频等多种数据输出载体,将各种表演方案的真实效果进行三维呈现,协助导演决策及完善表演方案,确定最终方案。
这套技术还能为拍摄、转播、直播方案制定技术服务,模拟出不同机位在不同时间点的拍摄效果。
演出或者仪式的顺利进行,在丁刚毅看来,就是声音、演员和画面的配合,时间和空间的吻合,多要素的卡点,全流程的推进。虚拟仿真技术,大大提升了大型演出的排演效率。
冬奥开幕式中的节目《立春》令人印象深刻。演员用手中的发光长杆,做出了大地回春、万物生长的图景。
团队成员闫大鹏介绍,一开始,大家也想象不出来节目会是什么效果,表现力究竟如何。长杆是软的,挥舞时根据演员力道不同会形成自然的弧度。舞动长杆,要整齐,但也要有舒展感;要散,但不能乱。而且,这一舞蹈的视觉呈现,还要兼顾不同观众的视角。于是,在导演的指导和编导们的共同努力下,团队用算法模拟出了多种队形和挥杆方式的组合,“出了几百个方案,前前后后调整了大半年时间。”
一次次的推翻重来,都是在虚拟仿真系统中完成的,无需演员反复试验。
“我们就是要解决问题。”丁刚毅反复强调。再先进的系统,也要满足真实需求。他们的平台,在“高大上”的同时,也接地气,还能成为很多矛盾冲突的“调解员”。
一台大型演出,涉及几十个部门或团队,大家的角度立场不同,常会因为对更好演出效果的追求产生争执。比如,一个节目结束了,下一个节目要准备上场,鸟巢出入口只有四个,这边演员要怎么退场,那边演员要怎么进场,究竟是你快一点,还是我慢一点……此时,虚拟仿真系统能对人流进行模拟,为闹矛盾的不同部门给出一个最优解决方案,并让他们在系统上就能看到调整后的效果。
北京冬奥会开闭幕式,是北京理工大学这支数字表演与虚拟仿真团队的又一次“实战”。他们已经为多场大型活动提供了科技支撑:2008年奥运会开幕式的“击缶而歌”,2018年平昌冬奥会的“北京八分钟”,2019年国庆盛典虚拟仿真演练,2021年建党百年庆祝大会的仿真建模和现场服务,还有2010-2022年中央电视台春晚数字舞台仿真……
团队已是数字表演领域的领军者,技术达到国际国内领先水平。他们还手握多项核心专利:涉及人群行为规划和人群行为仿真方法的系列专利,大型活动人群仿真的核心技术,涉及虚拟摄像和直播方案仿真的系列专利,涉及虚拟舞台的系列专利……
北京冬奥会开幕式结束了,它展现了中国人的浪漫美学,必将在奥运会开幕式的历史上留下浓重的印记。接下来,让我们将目光投向奥运健儿们,祝愿他们能够为国争光,开创中国冬奥新的篇章。