幻霄科技×量子位丨创新教育体验,探索AIGC在元宇宙教育中的无限潜能
2023/10/10 浏览:7332次

近年来,教育数字化转型泛虚拟现实技术在教育领域的应用越来越受到重视。

《中国教育现代2035》中明确指出加快信息化时代教育变革是教育现代化的重要战略任务之一。

在这个充满变革和创新的时代,教育领域正迎来前所未有的机遇与挑战。其中,备受瞩目的AIGC技术,正在元宇宙教育领域展现出巨大的潜力。


围绕AIGC技术和元宇宙技术在创新教育中的应用,幻霄科技联合创始人兼CTO、首席科学家高天寒受邀「量子位·视点」直播,分享了他的从业经验和观点。


以下是分享内容要点:




AIGC是元宇宙的“灵魂”



01 元宇宙定义



1992年,尼尔·史蒂芬森在其所著的小说《雪崩》中提出了Metaverse(元宇宙)和Avatar(化身)两个概念。Metaverse拥有现实世界的一切形态,用户在Metaverse中均为第一人称视角,并拥有一个专属的可自定义形象的虚拟化身Avatar。


Research and Markets发布的“全球元宇宙市场报告”显示:元宇宙市场预计在预测期内(2022-2030年)复合年增长率将达到40%,到2030年市场收入将达到7000亿美元。




在今年年初,国家《“十四五”数字经济发展规划》中,重点提及了元宇宙对于数字经济发展的重要支撑。从去年年中开始,各个地方层面对元宇宙产业扶持和人才培养的相关政策更是层出不穷。据不完全统计,截至2023年4月底,全国已有23个省级(含直辖市)单位及80余个市级单位发布了约500项明确支持元宇宙产业的相关政策。


02 元宇宙要素


元宇宙是一个迅速发展的领域,其构建具备5大要素:


第一要素是具身互动,即用户可以进入虚拟世界并使用数字形象进行交互。这是元宇宙中最为落地的应用场景,类似于数字人或虚拟人。


第二要素是内容生成,第一代互联网内容生成叫PGC模式,以移动互联网为代表的第二代互联网则由PGC转向UGC模式,但随着人工智能技术的快速发展,AIGC将成为新的趋势。


第三要素是统一身份管理,必须有一种方法将不同的虚拟身份关联到物理世界的实际用户上,以确保元宇宙的稳定性。


第四要素是虚拟经济系统,区块链技术的快速发展为其提供了支持。


第五要素是虚实融合,用户可以在真实和虚拟世界之间无缝切换,这一点背后重要的技术支撑涉及到XR技术。


总体而言,元宇宙发展已经形成了三条比较清晰的主线,分别是与虚实融合有关的交互有吸引力的内容生成、以及经济和治理的发展


03 AIGC与元宇宙


XR现在已经被定义为未来人机交互的全新形态,将会取代移动互联网,成为下一代的移动计算平台。用一句话来定义XR和元宇宙的关系,我们认为XR是通向元宇宙的“虫洞”。



用户可以通过XR技术并配合相应的可穿戴设备进入到元宇宙中,期望在虚拟的元宇宙环境中进行全方位交互。



AIGC是今年信息技术领域热门概念,利用人工智能技术来自动生产内容,被认为是继PGC、UGC之后的新型内容创作方式,已经可以自动生成文字、图片、音频、视频,甚至3D模型和代码。AIGC已被定义成为数字内容创发展的新引擎,将重塑甚至颠覆数字内容的生产及消费方式,并极大丰富人们的数字生活,是元宇宙的重要底层基础设施之一。



在元宇宙中,如果XR技术为其入口,那么AIGC就是其灵魂,AIGC很快将成为元宇宙生产力的工具。虽然现在的元宇宙已经足够精彩,但是当AIGC像我们之前描述的那样,高效地生成高质量个性化内容时,它将变得更加辉煌。




教培领域的痛点与机遇



教育培训领域存在“三高三难”痛点问题,包括投入高、损耗高、风险高、实施难、观摩难、再现难。



元宇宙教培可以有效解决这些问题,将教学过程完全转移到虚拟空间中,消除了除前期制作和设备成本外的任何支出和风险。此外,元宇宙教培可以通过虚拟环境提供更好的实施、观摩和再现能力。这是元宇宙教育快速发展的原因,当然这也离不开政策的引导和支持。


在K12教育领域,元宇宙教育的优势主要体现在实验和实操环节,尤其是理化生三个学科,因此幻霄制作了大量的VR和AR实验课程。在职业教育领域,注重培养学生实际动手能力,需要更多针对不同专业的虚拟仿真课程来满足需求。在高等教育领域,对元宇宙教育的需求更加个性化,深入到某一门课程或核心知识点。


目前元宇宙教育仍处于初级阶段,面临着一些挑战和问题。首先缺乏顶层设计和行业标准;其次,核心技术不够成熟,过度依赖硬件实现;第三,缺乏高质量个性化的教育内容。为了应对这些挑战,需要高层引领,进行统筹规划,同时聚焦多通道自然交互等核心技术突破,注重元宇宙教育内容的创新和个性化程度提升,打造低门槛的个性化元宇宙内容制作平台。




基于元宇宙和AIGC

沉浸式教培探索



01 三大核心技术


针对元宇宙教育面临的问题,幻霄打造了MET平台,包括三个核心产品:MetMaker虚拟课程制作平台、MetAssets数字资产平台和MetLab元宇宙教学平台。


用户可以使用MetMaker以低代码或无代码方式快速搭建元宇宙教育内容;MetAssets提供高质量的3D数字模型等专业素材;MetLab则提供便捷的教育内容和学习方式。


在教育层面,MET平台期望能够无缝的去连接教、学、练、测教育领域当中的核心环节。在职业培训层面,幻霄提出了“五位一体”概念,包括学习、实训、考试、认证、就业,形成一个完整的闭环。


MET平台实现需要核心技术的支撑,第一个核心技术是AIG3D,具有独立自主知识产权,可集成到MET平台中。在元宇宙教育内容中,3D数字资产是制作高质量教育内容的重要素材。目前,这些3D模型和场景的制作大多仍靠手工完成,投入了大量的人力物力。因此,AIG3D技术在元宇宙教育3D数字资产制作环节具有非常重要的意义。



去年年底,幻霄发布了基于多张图片对实物进行自动重建的技术路线,在今年幻霄会发布全新的 AIG3D技术,基于单张RGB图像不需要任何的深度信息,就能够快速完成实物3D模型重建。


而且整个的AIG3D方案,支持零样本学习,在重建的过程当中,支持实时PBR材质渲染,能够在保证效率的前提下获得更好的画面效果。创作者能够基于AIG3D技术,去快速生成高质量3D模型。AIG3D可以一键式集成到MET平台中,辅助用户完成相应的元宇宙教培内容制作。


当然,除了单张图片三维重建技术之外,幻霄还提出了基于波函数坍缩的建筑集群自动生成技术路线,以及基于基于OSM的城市交通网络场景生成技术。这一系列的AI计算机技术极大程度助力了MET平台的研发,为用户提供了简单便捷的创作工具。



第二个核心技术是渲染优化。为了保证用户在浏览器端能够对元宇宙教培内容的体验有更好的表现效果,幻霄针对不同图形接口做了大量的渲染优化的工作,支持webgl2.0及WebGPU,并在此基础上进行了优化。


我们为Webgl2.0设计了一套针对Opengl es3.0的着色方案,采用Forward+渲染,支持实时PBR材质渲染。这种方案在保证效率的同时,能够获得更好的画面效果。同时,我们针对于WebGPU提供了一套GPU蒙皮方案,进一步提升整个模型制作效率,并在MetMaker中提供了基于延时渲染管线的Voxel GI方案,能够进一步提升视觉效果。



第三个核心技术是具有自主知识产权的自动LOD技术。这项技术主要是确保所产生的不同形式的高质量模型,能够快捷、高效、高质量地上传到MET平台中。


为了确保模型的上传,自动LOD技术会根据模型的情况对面数较高的模型如三维重建、扫描模型、数字雕刻模型进行自动降面,并保持模型细节。


除此之外,MET平台支持低门槛轻量化创作,采用无代码或者低代码的方式快速制作元宇宙教培内容。


在底层核心技术层面,包括AI三维重建技术、渲染优化技术,还有自动LOD技术,这一系列技术的不断的突破,为MET平台打造了坚实的技术门槛。同时在这个过程中积累了大量的自主知识产权。


02 AIGC沉浸式教培探索


主流元宇宙教育内容制作流程包括技术人员和教师共同编写教案,形成可理解的课程脚本;在立项后进行美术资源制作,包括图片、视频和3D模型等,并将其导入到相应工具中进行交互程序编写,生成一门元宇宙教育课程。在初次交付用户后,不断迭代和反馈以优化课程内容。即使在项目验收并提交给终端用户后,仍会跟踪课程使用情况并进行流程优化和迭代。这是许多公司和机构广泛采用的元宇宙教育内容制作流程。



在元宇宙教培制作流程中,AIGC技术能够充分发挥其优势。在流程中,首先用AIG3D技术,即只需要拍摄单张照片,就可以快速、高效地去生成高质量的3D模型。3D模型成型后,可以快速的导入到MetMaker里,并进一步的利用MetMaker去零代码或者低代码快速制作相应的元宇宙课程内容,课程制作完成后一键发布到MetLab平台,以便于教师和学生展开相应的元宇宙教学内容的学习。在学生侧,整个教培内容既支持网页端的浏览,同时也支持在VR侧的沉浸式体验。


纵观整个流程,MET平台对前面的主流元宇宙教培内容做了极大的优化,让没有任何技术门槛的创作者可以在很短的时间内,快速完成高质量教培内容的制作。