MR视觉透视方案解析与前瞻
刘延 于 2023.01.07 19:16:38 | 源自:www.soomal.com | 版权:特约 | 平均/总评分:10.00/40
  • 本文为SOOMAL读者投稿,非SOOMAL合作平台转载请获得作者至少口头同意。本文约2700字,结算稿酬700元,感谢刘延网友投稿支持。希望文章内容能够带给大家帮助,也欢迎更多网友踊跃投稿。

虽然目前说MR还有些为时尚早,但从各家的硬件配置方案中,我们可以对未来电子消费品领域的MR方案一探究竟,看看未来MR究竟会朝什么方向发展,体验又会是怎样?

1、苹果、Meta、字节跳动、爱奇艺的MR方案

苹果:虽然现在苹果还没有公布设备的配置,但是从各种传闻里头,我们大概可以拼凑出来一台整机的形状:10-16个摄像头,其中包含至少2个ToF传感器。ToF相信各位读者都不陌生,在我们此前的《Time of Flight[ToF]技术简介 》[作者:刘延 ] 中,已经对ToF技术进行了简单的科普。两块主芯片,目前传闻中还没有确定,有一种说法是M1+M1,另一说法是M1+A16,但不管哪种传闻,我们大致可以确定的是,会用上苹果近两年最新的处理器。两块硅基OLED(又称Micro OLED),这个SOOMAL的读者们一定熟悉,就是微单EVF用的显示设备。苹果的规格要高得多,会提升到4k级分辨率,而目前微单上最高是XGA或者FHD分辨率。这一套的总计的成本大约在1200美元至1500美元,按照苹果当前的定价方式,最终产品售价可在2999美元甚至更高。

Meta:Quest Pro,从Wellsenn和iFixit的拆解来看,是两颗1/5的黑白图像传感器和一颗1/3英寸的索尼IMX471。假如是双目成像的话,那么Quest Pro采用黑白图像传感器用来成像,毕竟少了拜耳滤镜可以增加一倍多的进光量,RGB图像传感器用来“上色”,是一个讨巧但更难的做法。也有可能是单摄像头方案,即通过这一颗RGB摄像头,通过矫正的方式实现。但Quest Pro留了个空,通过拆解可以发现,Quest Pro本应该有一颗ToF传感器。

  • 爱奇艺

    爱奇艺·奇遇MIX采用了两颗1600万像素1/3英寸的RGB 图像传感器。在笔者的实际应用到了及格水平,即用这款设备能看到屏幕上的字,包括手机和电脑,绝大部分活动不受影响。但成像质量还是稍微有点弱,噪点偏多,看AMOLED屏幕会有PMW导致的闪烁,LED的自动防闪烁算法还需要适应。

  • 字节跳动:Pico 4采用了一颗来自豪威科技的1600万像素的图像传感器,镜头上采用了一个鱼眼摄像头,通过校正的方法,尽可能的还原了大部分情况下的视觉体验。从笔者的实际体验中,这颗摄像头基本能在家里不太亮的环境里看到大部分东西,并且没有太多异样,但室内不太亮的环境中噪点较多。此外,由于是基于鱼眼镜头的校正还原,所以部分环境下,如手离得比较近,或是镜头边缘,对于畸变的校正不够完善。

  • 2、MR方案解析

    各家厂商正在做的是See-Through,或者海外叫Pass-Through,即透视方案。这个透视方案与目前的AR眼镜完全不一样。为了让AR眼镜兼具轻巧和透明显示功能,目前业界通常采用Micro LED显示屏和光波导方案,Micro LED兼具发光效率和高亮度特性,一块Micro LED屏亮度可以达到数百万尼特级别。结构上将电池、处理器、显示屏“藏”在眼镜腿里,通过光线的折射与衍射投到外部的透明显示屏上,外形和“七龙珠”中的战斗力显示眼镜相似。

  • 此外,光波导技术涉及了光线的衍射效应,因此RGB发光单元下单层光波导和光栅会引起出射光的“彩虹效应”,换句话说就是色散——微软初代HoloLens显示效果不佳的主要原因之一就是这个。而如果采用RGB三层分开传导,价格又会呈现几何倍数增长。因此当前AR眼镜通常采用发光效率最高的绿色单色Micro LED。

  • 目前主流的MR是通过摄像头实时摄像、合成,在屏幕中实时呈现。这事对于相机用户可能挺熟悉,没错就是EVF。但MR要做的比EVF还要复杂,EVF只负责成像,但MR还需要矫正、合成,让人眼看到的,和平时看到的,基本不会有太大差异,还得足够快的实时成像,算法渲染必须在一帧的时间内完成,否则就会有眩晕感,这是更难的一点。对于关心汽车自动驾驶的朋友们,这事更熟悉,没错就是视觉方案里面的低延迟。当然,穿透模式没有自动驾驶那么复杂,也没有相机EVF那么简单,但无疑,这事不那么好做。

  • 也就是说MR需要两颗不错的摄像头,可以实时反馈外部信息,并且在弱光下也可以成像,同时还需要不错的、高效率的实时矫正+合成算法,此外还需要极低的延迟,以保证在正常使用中人眼的感受和平时一致。

    难点也在这,尽管各家都采用的是前些年手机主摄级别的1/3英寸传感器配置,但实际应用中,人眼含余光的实际视角范围大概是24mm-28mm左右,而透视大概是50mm左右,所以MR设备不仅需要考虑透视,也需要考虑实际范围,笔者认为各家都是用广角甚至超广角镜头矫正而来的。这反过来也导致了实际的成像面积更小,在符合人眼透视的50mm焦段,图像传感器面积可能还得砍半,进一步降低了图像信噪比。

    笔者认为,理想状态下这颗摄像头在1/2英寸——即目前中端手机主流传感器尺寸,图像分辨率达到1440p/400W像素即可。同时可以通过AI-ISP 芯片实现更好的弱光成像,毕竟vivo V1/V1+/V2以及爱芯家在监控AI ISP上已经展现出来极弱光下的视频预览的“超能力”。

    但这些都关系到成本问题。1/2英寸图像传感器的手机摄像模组价格在7美元左右,1/3英寸的可以只需要2-3美元,两个累积起来成本差价到了10美元,在目前VR设备贴着成本甚至亏钱卖的阶段,这10美元成本差异不小。更难的是开发,手机厂商们在长达十年的行业发展中积累了大量的视觉处理相关的技术。但取景框能做到流畅的,中低端机器里面也没几个。VR,或者说MR设备厂商们,大多在这块的积累不够深入。

    3、未来MR体验前瞻

    图像传感:从目前各家配置来看,未来的MR更多将采用摄像头的穿透方案,即通过摄像头成像以及校正算法,实现即使戴上MR设备,也能不仅看清外面的东西,还和正常不戴设备视角基本一致,实现正常交互。但从实际硬件和体验来看,这个效果相较于人眼还得打个折,各家主要会从弱光和HDR两方面下手优化。

    弱光取景方面,各位读者在弱光下拍照的时候,肯定能体会到取景的迟滞与噪点的增加,不管是手机还是全幅微单,都会出现这种困扰,这是当前绝大部分图像传感器都无法避免的问题。高对比度环境方面,我们日常会遇到大量的高对比度环境,最简单的例子就是从家里窗户往外眺望,室内外的光线对比度就非常大。但当前的图像传感器很难实时将高对比度环境以视频形式实时处理。这个技术在汽车自动驾驶所使用的图像传感器中有一定突破,例如豪威科技通过大小像素结合的方式,实现了单帧高宽容度与实时输出。

    空间传感:从Quest Pro和苹果MR设备来看,图像的“穿透”只是基础,要实现更佳的交互还需要空间传感。例如对手势的实时识别,对距离的感应,对物体形状的感应,很多内容靠视觉算法不能完全实现。但这部分内容需要融合算法,换句话说,和自动驾驶的图像信号与激光雷达信号融合算法是类似的。这部分内容需要各家厂商努力实现。

    总结

    受限于目前VR/MR的生态,以及人类科学进步的限制,所有的MR/VR设备不可能让人在现在就有《头号玩家》、《失控玩家》等电影中的体验,就算是苹果的MR设备量产了也做不到。让台积电的产线拼劲全力造出来一批0.05纳米的芯片,外加一个手提式的30公斤的电池,说不定还有点机会。爱奇艺奇遇MIX、Meta Quest Pro、苹果未来的MR设备,只是在未来的某条路径上MR和人机交互上的一个起点,但VR生态相较于五年前已经有了大幅改善,我们距离戴上设备体验不同类型的场景,又近了一步。
    请评分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    有一个信息要帮编辑你修正:用在手机上的模组方案无法直接套用到VR/MR设备上,手机上的镜头基本上是全塑的,而MR上的镜头为了考虑到长时间佩戴和视频拍摄,需要用到玻塑混合的镜头,会进一步拉高产品成本。
    此帖使用Win10提交
    发表于2023.01.15 10:18:52
    13
    114.225.208.***
    114.225.208.***
    发表于2023.01.11 17:25:20
    11
    03
    发表于2023.01.10 20:01:33
    10
    03
    其他方面,仍然处于玩具状态,仍然是骗钱的玩意儿——投资人的钱和消费者的钱。
    此帖使用Win10提交
    发表于2023.01.09 08:20:49
    9
    175.153.168.***
    175.153.168.***
    发表于2023.01.08 17:41:12
    7
    03

    此帖使用Win10提交
    发表于2023.01.08 14:51:47
    6
    03
    仅就短期内而言,它还只是个吸引投资/资本的噱头。要成为刚需类电子设备不现实。
    如果成不了刚需,或者说没有办法成为“消费主义”的一类标杆,最后就只能在小范围内迭代,势必会越迭份额越小。比如PS4销量破7000万的时候,PS VR才200万,基本不在一个数量级。那么PS5和VR2的比率有可能会更低。
    假如非要让这类东西成为主流,个人更看好AR,毕竟佩戴体验和使用层面的排他性要优秀很多。
    发表于2023.01.08 11:29:06
    5
    183.165.200.***
    183.165.200.***
    发表于2023.01.08 11:19:22
    4
    03
    好几千买个头戴显示器,现在连官网都关了。咱就不点名了。
    此帖使用Win10提交
    发表于2023.01.08 00:40:23
    3
    03
    等到2035年,估计大家都对VR/MR设备不感兴趣了吧
    此帖使用Win10提交
    发表于2023.01.07 22:11:15
    2
    114.220.126.***
    114.220.126.***
    发表于2023.01.07 20:42:36
    1
    提示
    本贴不可匿名回复,回复等级为:1 ,您现在正处在潜水状态
    回复
    验证码
    3954 为防止广告机贴垃圾,不得已而为之
    表情
    正文