一、政策法规
2、西安市印发培育打造XR产业链工作实施方案的通知。
2、上海交大提出解决超高清CGH生成中内存和计算能力不足的问题;
3、研究发现:从AR/VR回到现实世界时会有视觉感知偏差。
2、AI公司Rep.ai获得750万美元融资,计划推出“数字孪生”销售代表。
2、Unity 6将于10月17日面向全球发布;
3、XR产业研讨会在嘉兴成功举办,雷鸟XR光学研发及制造总部落地南湖。
1、售价人民币9888元,HTC发布VR头显Vive Focus Vision;
2、索尼AR/VR专利分享利用眼睛姿态来提升游戏体验的方法。
近日,全球通信国际标准组织3GPP的业务与系统技术规范组(SA)105次全会在澳大利亚墨尔本召开。
在国际通信产业发展日渐成熟的今天,标准制定已成为每一代移动通信制式发展的前奏,在经过国际电信联盟制定的框架下,3GPP都会集结产业企业,率先制定技术规范和标准,随即再推动其发展商用。因此,业内认为,6G产业化进程正式开启。
根据会议释出的信息,相比5G,此次6G场景需求项目的支持公司多了一倍多。同时,政府部门、研究机构、垂直行业和终端公司的参与数量从8家增长到46家,也反映出全球对于共同推进6G商用的重视。
(图源:网络)
近日,西安市人民政府办公厅关于印发培育打造XR产业链工作实施方案的通知。旨在进一步推动西安市XR产业发展、生态构建及产业技术创新,布局新赛道,培育新动能。
通知明确工作举措坚持场景牵引、融合互促,着力构建“1+1+1+N”的XR产业发展体系,促进西安XR产业高质量发展,共发布了41项任务清单。
(图源:网络)
二、行业聚焦
韩国延世大学开发了一种可以允许所有用户体验到相同触觉的虚拟触觉实现技术。AR/VR业界正积极探索模拟触觉的方法和系统,目标是创造与虚拟对象进行逼真物理接触的感觉,从而帮助用户感受到纹理、形状和力量,就像与现实世界的物体交互一样。
值得注意的是,通过电刺激而非物理振动触觉的电触觉系统正在成为一个有前景的方向。其中,触觉是由机械刺激感受器介导,而它能够以电信号的形式将触觉信息传递给大脑。
电触觉系统能够人工地产生相关电信号,从而模拟触觉。通过调节电流密度和频率,可以创造出精确而多样的触觉体验。
尽管富有潜力,但现有的电触觉技术面临着一系列的挑战,特别是在安全性和一致性方面,因为皮肤接触压力的变化会导致不稳定的触觉,而使用高电流会引起安全问题。为了解决所述问题,韩国延世大学的团队开发了一种透明压力可校准干扰电触觉执行器TPIEA。
TPIEA包含两个主要组成:电极部分负责产生电触觉感觉;压力传感器部分调整手指压力。另外,研究人员通过将铂纳米粒子应用于铟锡氧化物基电极,大大降低了电极的阻抗。
与传统电极相比,所述方案不仅降低了阻抗,而且实现了约90%的高透射率。无论如何触摸显示器,集成的压力传感器都能确保用户体验一致的触觉反馈。
(图源:网络)
基于深度学习的计算机生成全息CGH展示了巨大的潜力,并产生了令人印象深刻的显示质量。然而,大多数现有技术只能生成1080p分辨率的全息图,而这与AR/VR应用所需的超高分辨率(16K+)相去甚远。
当前CGH框架的主要障碍之一在于消费级GPU的可用内存有限,无法生成更高清晰度的全息图。为了克服上述挑战,上海交大团队提出了一种divide-conquer-and-merge策略来解决超高清CGH生成中内存和计算能力不足的问题。
所述算法允许现有的CGH框架能够以更快的速度合成更高清晰度的全息图,同时保持高保真的图像显示质量。团队通过仿真和实验验证了所提框架的功能。通过将策略集成到HoloNet和CCNN中,在训练期间实现了GPU内存使用量的显著降低,分别降低了64.3%和12.9%。
另外,研究人员观察到全息图生成的速度有了实质性的提高,分别加速了3倍和2倍。特别是,他们首次在NVIDIA GeForce RTX 3090 GPU成功地训练和推断了8K清晰度的全息图。
(图源:网络)
多伦多大学的研究人员发现,在使用AR和VR头显后,回到现实世界的用户会经历一定的视觉感知偏差。不过,在一段时间的重新适应后,被试能够恢复过来。
在VR或AR中进行一小时的手指指向动作之前和之后,被试需要在物理世界中执行了一系列视觉引导的手动指向动作。结果表明,由于头显固有的感知几何特性,在VR中执行的移动较短,而在AR中执行的移动较长。
重要的是,这种感觉运动偏差会在随后的物理世界指向任务中表现出来,并造成目标偏离。其中,从VR回到现实世界的被试所移动的距离够不到目标,而从AR回到现实世界的被试所移动的距离超过目标。不过,随着参与者重新适应现实世界的环境,这种效果会逐渐消失。
研究人员指出:“我们的研究探索了使用虚拟现实和增强现实将如何影响我们回到现实世界后执行日常体力任务的能力。具体来说,我们想了解大脑和身体适应数字环境的方式是否会改变我们VR和AR会话结束后移动,以及与真实物体交互的准确性。”研究人员表示,他们对两个发现感到惊讶:首先,VR和AR中的移动模式可以转移到现实世界;第二,与VR相比,AR的效果消失的速度较快,亦即在AR会话结束后能够更快地重新适应现实世界环境。
团队表示:“相关发现至关重要,因为它们突出了将VR或AR学习的技能转移到现实世界中的潜在挑战。随着越来越多的行业和培训项目采用这种技术进行技能开发,了解它们如何影响现实世界的表现非常重要。
三、融资并购
1、扩展现实初创公司Metadome宣布已成功融资650万美元
近日,扩展现实初创公司Metadome宣布,该公司已在最近的一轮融资中获得了650万美元。该公司计划利用这笔资金扩大其在美国、东南亚和中东市场的业务。
据了解,Metadome.ai是一家尖端的AR、VR和3D技术公司,旨在彻底改变汽车、家居装饰和时尚配饰行业的客户参与度。该公司可提供跨网络、应用程序和店内平台的沉浸式体验的端到端创建和部署等技术。
Metadome.ai的创新销售支持解决方案利用了VR和AR技术,专门针对家居装饰、电子商务和移动行业。这家初创公司拥有50多个客户群,是Nvidia Inception计划和Google startup计划的一部分。
Metadome的创始人兼首席执行官为Kanav Singla是印度理工学院德里分校的校友,也是斯坦福大学种子项目的毕业生。凭借在XR技术方面十多年的经验,Singla一直致力于为品牌开发可持续的、逼真的沉浸式体验。
随着Metadome不断突破沉浸式技术的界限,它将重塑品牌在日益数字化的世界中与消费者互动的方式。
近日消息,AI公司Rep.ai宣布获得了750万美元融资,此次融资来源于包括Browder Capital、Gradient和MXV等知名机构。Rep.ai计划利用这笔资金进一步完善其AI模型,并招募更多优秀的工程人才,以推动“数字孪生”销售代表技术的研发和应用。
据了解,Rep.ai的“数字孪生”销售代表技术通过AI技术克隆企业销售代表的形象,创造出能够进行实时视频和音频对话的虚拟销售代表。这些虚拟销售代表能够实现24/7全天候在线服务,打破人类销售代表的时间限制,提供无约束的人类体验。
该技术将极大地改变传统的购物体验,提升客户服务质量。企业可以利用这些虚拟销售代表在网站上实时展示产品,与潜在客户进行互动,从而提高销售转化率和客户满意度。
随着企业对客户服务质量要求的不断提高,AI数字人技术的市场前景正愈发扩大。未来Rep.ai将继续优化技术、加强合规性管理,为客户提供更加优质、高效的AI数字人服务。
(图源:网络)
四、企业动态
1、Snap发布全新AR眼镜Spectacles'24
Snap日前发布了全新的AR眼镜产品Spectacles ’24,而这款新设备在视场、分辨率和手部追踪方面都有显著改进,并对其软件堆栈进行了全面改革。不过,它目前仅向开发者提供。
Spectacles ‘24已经开始发售,有兴趣的开发者可以以每月99美元的价格申请设备,一年总计1188美元。
三年多前,Snap发布了首款包含显示器和真AR功能的眼镜产品Spectacles 4。如今,这家公司正开始努力向真正的消费者AR眼镜迈进。在这一过程中,全新的Spectacles ‘24进行了一系列关键的改进。
Unity在其年度“Unite”开发者大会上宣布,Unity 6将于2024年10月17日在全球发布,据称这是Unity迄今为止稳定性与性能俱佳的版本。Unity 6将为开发者提供可定制的图形渲染功能,增强视觉效果的掌控能力;简化多人游戏开发,加速整个游戏的开发生命周期;并提供强大的工具,用于构建针对Web浏览器优化的丰富游戏。
Unity如今广泛应用于远程协作支持、企业培训系统以及VR/AR/MR游戏开发等广泛领域,如果Unity 6能在该领域进一步发挥作用,可以期待未来会出现更多更高质量的游戏等内容。
此外,Unity透露,Unity 6系列的首个更新版本——Unity 6.1,将于2025年4月发布。Unity 6.1将以Unity 6的核心功能为基础,并包含一些新功能,如支持折叠屏和更大屏幕格式、GPU Resident Drawer中的Deferred+渲染,以及新的构建目标和构建配置文件。
9月19日,XR产业闭门研讨会成功举办,活动由嘉兴科技城(嘉兴南湖高新区)管委会主办,容亿投资、雷鸟创新承办。会议围绕“AI/大模型赋能下的虚实融合 XR产业链的下一波浪潮”展开研讨,汇集了XR行业龙头企业、头部券商投行、专业投资机构 等一众企业和专家代表。容亿投资、雷鸟创新、芯原股份等代表企业分别发表演讲,多位企业家与行业专家围绕XR技术进行了深入的分享与交流,共同探讨XR技术的创新应用场景和发展趋势。
雷鸟创新创始人兼CEO李宏伟指出,尽管AR/VR行业目前仍处于探索发展阶段,面临技术与产品体验方面的挑战,但其前景依旧广阔,尤其在AI与AR的结合下,市场潜力巨大。雷鸟创新将与南湖共同深耕新质生产力产业发展机遇,并充分发挥链主价值,致力于联动产业上下游,促进整个XR产业链在嘉兴乃至整个长三角地区快速发展。
在此背景下,雷鸟创新与嘉兴南湖高新区签订了光学研发及制造总部项目,标志着雷鸟创新的光学技术正式落地南湖。这一总部将结合长三角在元宇宙产业链上的先发优势,重点布局光学研发中心、光机模组产线等多项内容。其中,雷鸟光学项目研发中心将开展光学仿真、光机模组设计、光机模组工艺、自动化设备等研发研制工作;光机模组产线预计达成年产105万套光机模组的生产能力。
五、 联盟动向
1、售价人民币9888元,HTC发布VR头显Vive Focus Vision
HTC日前发布了所谓的“混合式PCVR一体机”VIVE Focus Vision,可通过DisplayPort模式兼作PCVR头显使用,并畅玩Steam和Viveport的PC VR游戏。这款头显搭载高通骁龙XR2处理器,以及16MP的双彩色摄像头和深度传感器,可提供自然且高画质的MR体验。
VIVE Focus Vison的单眼分辨率为2448 x 2448,至高视场角120度,刷新率90Hz,并且预计在今年底前推出120Hz 支持。设备搭配12GB的LPDDR5内存和128GB储存空间,并可以通过MicroSD 扩充2TB。
HTC特别强调了这款头显的PCVR支持,并宣称“PC VR,更强大了”。其中,设备内置了DisplayPort输入的USB-C埠,而DisplayPort模式可以最大限度地利用PC的带宽,并实现更为清晰的图形显示和更为快速的响应时间。
不过,对应的套件需要另购(提前预购者免费送)。这个串流工具的一端会连接到PC的两个 USB 埠,一个提供DisplayPort信号,另一个提供与Focus Vision的通讯。另一端则是一条长线并接到Focus Vision的USB-C埠。
另一个强调的功能是MR透视。其中,两个16MP的双彩色摄像头可以实现立体彩色透视,并展现周围生动、深度矫正的视图。同时,由深度传感器提供的场景感知功能可帮助用户与环境中的对象和表面进行逼真交互。
六、 专利情报
用户之于电子设备的专注状态可以对用户的体验产生显著影响。用于评估用户注意力状态的改进技术可以增强用户对内容的享受、理解和学习。内容创作者和系统可以提供更好、更定制的用户体验,从而帮助用户基于专注的状态信息来享受、理解和学习相关体验。
在名为“Attention detection”的专利申请中,苹果就介绍了一种注意力检测方法。
图1示出了包括具有显示器15的设备10的真实世界环境5。在一些实现中,设备10向用户25显示内容20以及与内容20相关联的视觉特征30。例如,内容20可以是按钮、用户界面图标、文本框、图形等。
内容20可以是视觉体验(例如教育体验),并且视觉体验的视觉特性30可以在视觉体验期间连续变化。同一电子设备或另一电子设备获得生理数据(例如瞳孔数据、EEG数据等)以评估用户的注意力状态。在这样的体验期间,相同或另一电子设备可以获得生理数据以评估用户的专注状态。
在一个实施例中,视觉特征30是用户的特定于体验的反馈机制。在教育体验期间,内容20可以是烹饪视频或图像序列,其可以包括视觉和/或音频提示作为呈现给用户以引起注意的视觉特征30。
(图源:USPTO)
对于AR/VR,你可以在设备视场之内显示数字内容。这意味着远超于传统2D设备的屏幕空间。然而,这同时意味着用户可能专注于在显示空间的一个部分,并错过在显示空间另一个部分发生的动作或重要事件。
为了帮助用户获得满意的内容浏览体验,有必要确定用户在交互时可能经历的眼睛疲劳,并提供适当的调整。
在日前由美国专利商标局公布的一份专利申请中,索尼就介绍了一种利用眼动追踪来提升游戏体验的方法。
图1示出可穿戴设备可用于在用户查看或与内容交互时捕获用户的眼睛姿态,并使用眼睛姿态的属性向用户提供帮助。图1所示的系统可用于与游戏应用的游戏内容进行交互。
头显102包括多个用于捕获用户面部特征变化的传感器。感器捕捉到的面部特征变化可以用来识别头部姿态、面部姿态、眼睛姿态,如眼睛形状、眼睛位置、眼睛注视等。