一、政策法规
2、英国国防部开展为期三个月的AR眼镜试点。
1、苹果开源Depth Pro,0.3秒即可从2D图像生成高分辨率深度图;
2、研究员探索相变材料,为AR/VR设备散热管理;
3、号称世界最大质量最高,Meta Reality Labs发布数字孪生目录。
1、为随军护士构建VR模拟培训,SimX获美国空军拨款125万美元;
2、XR云流媒体平台Mawari获得1080万美元投资。
1、JBD宣布与Xpanceo合作开发新一代AR隐形眼镜;
2、灵伴科技落户江夏,将建华中总部及武汉研发中心;
3、微软停产HoloLens 2,并于2027年底前结束维护支持。
1、Meta AR/VR专利分享SPAD传感器的三维压缩传感眼动追踪系统;
2、微软AR/VR专利提出改善眼动交互的“误交互”问题。
为加快工业互联网标识解析体系建设,推进江西省工业互联网标识解析赋能千行百业,江西省通信管理局、工业和信息化厅等十三部门日前印发了《江西省工业互联网“标识赣通”行动计划(2024—2026年)》(以下简称《行动计划》),提出到2026年,标识解析体系在制造业及经济社会重点领域初步实现规模应用,对推动企业数字化转型、畅通产业链供应链、促进大中小企业和一、二、三产业融通发展的支撑作用不断增强。
工业互联网是新型工业化的战略性基础设施,是数字经济与实体经济深度融合的关键底座。工业互联网标识解析体系是工业互联网新型基础设施的重要组成,是支撑工业互联网互联互通的神经中枢,是实现工业全要素、各环节信息互通的关键枢纽。近年来,江西大力推荐工业互联网标识解析体系建设,促进标识解析向全省经济社会各领域广泛应用。
《行动计划》在工业互联网标识解析体系进一步完善、工业互联网标识应用成效进一步提升、工业互联网标识产业生态进一步优化等三个方面提出了具体发展目标。
2、英国国防部开展为期三个月的AR眼镜试点
根据BusinessLive,英国国防部正在进行为期三个月的AR眼镜试验,通过实时沉浸式文本可视化的形式来帮助存在听力障碍的员工。
报道指出,英国国防部与加拿大眼镜厂商设备XRAI Glass签署了一份价值1万英镑的合同,团队将在布里斯托尔部署8副AR眼镜。这个以无障碍为重点的解决方案旨在帮助存在听力障碍的员工与同事交流,这样就不再需要读唇或手语。
团队指出,这一解决方案极大地促进了工作场所的沟通。与类似的解决方案相比,XRAR Glass的解决方案效果更好。
在三个月的试验期间,英国国防部将根据各种工作会议收集反馈和数据,包括一对一和小组设置。
如果英国国防部认为试验成功,小组将把AR硬件解决方案部署到英其他部门。
(图源:网络)
二、行业聚焦
苹果日前发布了一个全新的模型Depth Pro,而它可以显著提高机器感知深度的方式,并可能会改变AR等一系列不同的行业。
据悉,名为Depth Pro的系统能够在几分之一秒内从单个2D图像生成详细的3D深度图,无需依赖传统上进行这类操作所需的camera数据。
单目深度估计是一种仅使用一张图像推断深度的过程,而苹果新发布的Depth Pro是单目深度估计领域的一次重大飞跃,
在实时空间感知是关键的领域,这可能会带来深远的影响,包括空间计算。团队将Depth Pro描述为同类系统中最快,最准确的系统之一。
单目深度估计一直是一项具有挑战性的任务,需要多个图像或像焦距这样的元数据来准确测量深度。
但Depth Pro绕过了相关要求,在标准GPU上仅需0.3秒即可生成高分辨率深度图。模型可以创建225万像素的深度图,图像具有出色的清晰度,甚至可以捕获到其他方法经常忽略的微小细节,如头发和植被。
研究人员指出:“模型能够同时处理图像的整体背景和更精细的细节,与之前速度较慢、精度较低的模型相比,这是一个巨大的飞跃。”
(图源:网络)
2、研究员探索相变材料,为AR/VR设备散热管理
对于今天的电子产品而言,散热是一个重要课题,尤其是对于头戴式/眼戴式AR/VR设备。针对这个问题,普渡大学机械工程教授艾米·马科内特(Amy Marconnet)正在研究广泛的技术,以开发电子冷却和热管理技术,重点是减少产生的热量,从而提高设备的功率和利用率。
电子产品能有效工作的温度范围非常窄。在一个不断发展的技术时代,有各种各样的方法来保持设备的冷却,即便是纳米级水平。
艾米·马科内特指出:“在半导体方面,我们主要着眼于改善热管理,以确保电子产品在更高的功率下运行。对于可穿戴电子产品,需要更严格的温度控制,因为它随时都与人体直接接触。”
这一要求促使行业研究一种以在不增加设备额外重量或制造成本的情况下,更好地将系统中的热量转移出去的材料。
她指出,相变材料是她正在研究的一种选择。根据不同的条件,材料通过在熔化或凝固之间的过渡过程中吸收或释放热量来提供热管理。
简单来说,通过熔化,相变材料吸收产生的热量,而再次凝固则释放热量。通过这种方式,设备就不会出现过热情况。
她解释道:“当你戴着VR头显时,你可以让材料融化。然后,当你给头显充电或过夜时,它们会凝固。这样第二天你就可以以更高的强度使用设备。”
艾米·马科内特关于相变材料研究的论文正在审查中并有待发表。
(图源:网络)
Meta旗下的Reality Labs Research日前发布了一个数字孪生目录Digital Twin Catalog(DTC)。团队声称,这是世界最大、质量最高的3D对象模型数据集。
据介绍,DTC包含超过2400个非常详细的3D对象模型,它们模型非常逼真,精确到物理对应的亚毫米尺度。相关物品基本都是日常用品,比如玩具和厨房用具。
研究人员现在可以使用Digital Twin Catalog来训练、优化和评估基于人工智能的3D重建技术。
Meta同时宣布与全球领先的电子商务公司Shopify建立合作关系。在接下来的几个月里,合作伙伴将提供7000多个数字孪生。
数字孪生是一种逼真的3D对象模型。如今,电子商务和沉浸式应用中的绝大多数数字孪生都是由技术美术团队手工精心创建。有时候,成本可能与实物的生产成本一样高。
为了简化3D重建,Meta多年来一直在技术开发方面进行投资。
Meta表示:“与所有基于机器学习的方法一样,数据将是3D重建进一步发展的关键。3D对象数据集近年来有所增长,但依然缺乏几何和材料保真度。对于DTC,Meta的目标是帮助3D重建更加稳健和高效。
三、融资并购
XR解决方案供应商SimX宣布,获得美国空军研究实验室下属的空军创新工场(AFWERX)提供的125万美元拨款,目标是是为随军护士建立一个虚拟现实医学模拟培训课程。
对于这笔拨款,SimX正在与南佛罗里达大学的模拟培训专家合作,共同构建合适的医学模拟培训。
其中,团队将利用现代虚拟现实技术的沉浸式体验,结合个性化指导和专家指导反馈等传统教学方法的优势,直接为医疗保健提供者提供专业的医疗培训,帮助他们消除传统障碍。这一组合旨在提高医疗保健培训的标准。
团队表示:“非常高兴参与一个支持我们军队护士的项目。我们有机会利用虚拟现实技术对未来训练军队和文职护士的方式产生巨大影响。通过将VR技术整合到模拟教育活动中,我们将能够远程培训医疗团队。
2、XR云流媒体平台Mawari获得1080万美元投资
Mawari是一家面向空间计算设备实时传输3D内容的技术公司。近日他们宣布获得1080万美元战略投资,通过此次融资,该公司旨在加快新市场开发和技术研发,并在XR和元宇宙领域提供创新服务。本次融资由Anfield LTD、Borderless Capital和1kx领投,Animoca Brands Japan、Samsung Next和Draper Dragon参投。
Mawari公司成立于2017年,一直致力于XR产品,至今已获得3项专利,还有11项专利正在申请中。该公司的技术已被包括KDDI和宝马在内的40多家全球公司采用,两个关键的解决方案是空间传输SDK和Mawari Network。
空间传输SDK是一个可与Unity和虚幻引擎等流行开发环境集成的工具包,允许开发人员和内容创建者专注于内容创建,而不必担心复杂的后端处理。Mawari Network是一个基于GPU的分布式内容交付网络,专门用于空间计算。它利用战略性地分布在世界各地的GPU节点,以低延迟提供最佳性能,使网络能够向空间计算设备——如Meta Quest 3头显和Apple Vision Pro实时传输3D内容。
此外,公司的目标是通过在2024年第四季度推出节点许可证来分散和扩展其空间计算网络。预计这将打造一个平台,让更多人参与到3D互联网的建设中来。Mawari的创始人兼首席执行官Luis Oscar Ramírez表示:“我们的愿景一直是为所有人提供身临其境的体验。这笔投资将开启一个平台,让更多人与我们一起构建3D互联网。”
(图源:网络)
四、企业动态
1、JBD宣布与Xpanceo合作开发新一代AR隐形眼镜
JBD日前宣布与Xpanceo建立战略合作伙伴关系,共同开发新一代AR智能隐形眼镜。
位于阿联酋迪拜的AR隐形眼镜开发商XPANCEO致力于创造一种像传统隐形眼镜一样轻薄,并且无缝集成增强现实、健康监测和监督功能的设备。
对于本次与JBD的合作,双方旨在将JBD的MicroLED显示屏集成到Xpanceo的智能隐形眼镜中。目前团队正在探索两种方法来实现这种整合。第一种是使用投影仪和全息图的组合,其中图像使用全息方法在一定距离投射,以令眼睛自然对焦。JBD的MicroLED投影仪已经成功地测试了这种方法,但目前的原型机采用了外部投影仪,但两家公司正在积极努力将其直接集成到隐形眼镜之中。
第二种方法采用集成微显示器的形式,将一个小屏幕直接嵌入隐形眼镜中。其中,一个定制的准直系统用于引导图像作为平行光束,以令用户的眼睛能够有效地对焦。使用JBD的显示技术,Xpanceo已经创建了一个工作原型,实现了总透镜厚度小于0.5毫米。
两家公司声称,与传统的增强现实眼镜相比,这种智能隐形眼镜具有显著的优势。通过降低周边视觉的分辨率(不需要高细节),它们减少了视频控制器的处理负荷,并实现了更紧凑的设计。
另外,与智能眼镜中使用的波导技术相比,这种设备的亮度损失减少了三倍,所以显示效果更清晰、更生动。据称,这款眼镜的功耗不到10 μ W,比同类AR眼镜低100到300倍,适合全天佩戴,无需频繁充电。
9月29日,江夏经济开发区管委会、江夏科技投资集团有限公司与杭州灵伴科技有限公司(以下简称灵伴科技)签订投资合作协议,将在江夏区成立华中业务总部及武汉研发中心。
灵伴科技成立于2014年,是全球头部的AR眼镜及操作系统技术公司,专注于AI+AR领域的操作系统研发、软件和核心服务平台搭建,AR硬件产品设计、研发、销售和相关AR应用生态建设,其AI/AR产品已在全球八十余个国家和地区投入使用并获得好评。企业曾推出了Rokid Air Pro、Rokid Station等知名AR产品。
灵伴科技联合创始人向文杰介绍,灵伴科技是技术密集型企业,公司成立10年以来研发投入超20亿元,在武汉建立华中总部,能让公司更加迅速地组建起百人以上的研发团队。从初步接触到签约落地仅花2个月时间,灵伴科技董事长祝铭明说:“近年来,公司逐步向全国扩张业务,江夏签约项目推进最快,招商团队的专业性和诚意也深深打动了我们。”
微软日前向企业合作伙伴宣布将停产HoloLens 2,并在2027年底结束维护支持。现在大家都在纷纷讨论这家巨头是否会完全放弃这个平台。目前微软没有进行置评。
根据XR初创公司Virsabi的首席产品官延斯·劳里森(Jens Lauritsen)的邮件分享,微软宣布将停产HoloLens 2。不过,HoloLens 2在2027年12月31日之前都会继续接收安全更新,而HoloLens 1则会在2024年12月10日收到最后的服务更新。
HoloLens 1最初在2016推出,而HoloLens 2则是在2019年与大家见面。所以就2027年底的结束日而言,这对于一款电子设备而言并不是一个糟糕的生命周期。
但令人注意的是,微软没有公布是否会有后续迭代(当然,早前有韩媒称微软全新MR头显2026年面世,已与三星签订Micro-OLED屏供应)。
实际上,微软在过去数年间一直在逐渐减少对MR项目的投入,包括在今年6月的集团整体裁员中重组了MR业务(但承诺会继续销售HoloLens 2,同时会继续支持现有的HoloLens 2客户和合作伙伴)。
五、 联盟动向
2024年9月23日,南昌大学第二附属医院(以下简称“二附院”)专家一行莅临国家虚拟现实创新中心(以下简称“国创中心”)座谈交流,国创中心主任、南昌虚拟现实研究院股份有限公司总经理周建国等热情接待。
二附院专家一行参观了国创中心展厅,详细了解了国创中心建设情况、技术研发布局、关键共性技术研发成果以及成果转移转化等情况。随后,双方就技术合作等进行了座谈交流。
座谈会上,二附院专家一行对国创中心研发能力表示高度认可。双方就虚拟医疗教学场景下的合作进行深入探讨,就合作共建南昌大学智能医学工程实习基地达成共识。未来双方将以本次交流为契机,进一步在关键共性技术融合创新、技术人才培养交流、产品联合研发等方面开展合作,共同为推动我国虚拟现实产业高质量发展贡献力量。
六、 专利情报
对于AR/VR头显,眼动追踪可以通过一系列的技术来实现。眼球运动可以达到每秒1000度。所以高速测量对于眼动追踪应用至关重要。另一仿麦呢,严格的设备尺寸和功率要求限制了传统照明组件的使用,而如此高的图像捕获速度很难用摄像头实现。
对于这个问题,业界开始把目光投向单光子雪崩二极管SPAD传感器。这是一种可以实现超快速度检测的小尺寸传感器。然而,SPAD传感器在眼动追踪应用中面临着自己的挑战,例如有限的带宽,低分辨率和/或噪点敏感性等等。
在一份专利申请中,Meta描述了使用SPAD传感器的基于三维压缩传感的眼动追踪系统。为了通过使用低分辨率SPAD传感器实现高分辨率深度测量,可以将主动编码照明投射到眼睛表面,并且可以通过SPAD传感器捕获投影图案的反射。利用正演观测模型和多次观测可以获得更高分辨率的三维结果。
高速照明装置可用于以与SPAD传感器相同的速率改变图案。处理器可以采用压缩感知技术从不同模式的捕获图像中获得高分辨率图像和深度信息。通过快速改变模式投影和捕获速度,可以以更快的速度捕获高分辨率信息。
(图源:USPTO)
在一系列的AR/VR计算场景中,用户需要通过瞄准机制来瞄准计算机生成的或真实世界的对象。有时候,用户很难准确地定位感兴趣对象。例如,当两个或多个对象挤在一起或重叠时,用户或会瞄准错误的对象。
在一份专利申请中,微软就提出了一种基于生理反馈的制导目标瞄准。
帮助用户定位正确对象的一种方法是接收来自用户的显式错误反馈。例如,当用户无意中瞄准了错误的对象时,用户可以按下按钮或执行撤销手势来指示说明。然而,这对用户来说是繁重且耗时的,而且往往会削弱用户的信任。
作为替代方案,可以捕获来自用户的隐式错误反馈,例如,当瞄准错误的对象时,用户会下意识地以一种无需用户提供明确反馈即可感知的方式来作出反应。例如,脑电图信号或瞳孔直径的变化等生物信号可以提供用户如何感知计算系统行为的见解。