爱范儿关注「明日产品」,硬哲学栏目试图剥离技术和参数的外衣,探求产品设计中人性的本源。
主摄、长焦、超广角,堪称手机摄影的「三大金刚」,基本上能应对大部分用户的日常拍摄场景,一些影像旗舰手机,还会在这基础上多配备一个长焦镜头,满足更极致的创作需要。
最新发布的华为 Mate 70 Pro 和 Pro+,也有四个摄像头,只是多出的一个有点特别:华为称其为「红枫原色摄像头」,本质其实是一个微型多光谱仪。
多光谱成像仪主要应用于水土农业、食品检测等更专业的场景,智能手机运用不仅可以说不多见,像华为这颗这么高参数的镜头,几乎可以说没有。
但在不遥远的未来,类似的多光谱传感器模组,会来到我们身边的更多智能设备上。
虽然智能手机厂商卷影像能力已经有不少的年头,手机上的摄像头模组越来越大,越来越凸,但始终有一块难啃的骨头尚需解决——色彩还原。
目前传统的手机相机传感器通常通过捕捉红色、绿色、蓝色(RGB),来呈现一定范围内的颜色,每个像素只有红、绿或蓝一个色彩信息,需要通过算法,结合周围像素的色彩关系,推算出每个像素点的真实颜色,最终尽可能还原出我们肉眼所见的景象。
▲ 单个像素只负责单个颜色的信息记录
但用红色、绿色、蓝色组成的颜色,仅为人眼可见色彩的 75%,成片的颜色损失比较大。
并且,既然是靠算法「推算」,准确性自然无法完全保证;而在比较复杂的色彩和光线的环境下,算法的准确性会进一步降低,这也是为什么有时拍出来人的肌肤会发黄、发红。
要想解决偏色的问题,厂商尝试从软件和硬件两个方向入手。
靠计算摄影发家的 Google Pixel,就推出了名为「Real Tone」的色彩算法,在照片后台处理时,还原不同人种的真实肤色。
也有很多厂商也尝试转换赛道,不追求完美的色彩还原,而采用风格化的思路,让照片呈现更好的视觉观感,而不是百分百的还原。
而华为从 P20 手机开始搭载 5 通道色温传感器,陆续升级到 P50 系列的 10 通道多光谱色温传感器,能够捕捉普通 RGB 之外的波段,包括可见光之外的一些波段。
然后通过 XD Fusion Pro 的算法,将可见光和非可见光融合,呈现更多色彩细节。
通过多通道多光谱传感器来尝试纠正相机的「色弱」,其实也是行业内的一个主流方案,像是 vivo、OPPO 都尝试过在旗舰上配备类似的多光谱色温模组。
简单来说,这类传感器能够捕捉更多特定波段的色彩,但只能对整体的环境光做一个总体感知和判断,无法提供局部光源和色彩信息,也不具备成像能力。
而 150 万像素的红枫原色摄像头模组,本质上是 150 个独立的多光谱仪,对色彩的敏锐度更高,并且具备了成像的能力,也就是能够同时获取二维图像和色谱信息,记录能力也远远超出了 RGB 三色。
▲ Spectricity 也生产类似的多光谱摄像头
用人话来说,就是华为 Mate 70 Pro 的主摄、长焦、超广角正常拍摄高清照片,而原色摄像头专门记录照片中的每块区域的色彩细节,然后处理器按照这些精准的色彩信息给照片润色。
但这颗参数不低的多光谱摄像头的上限,远远不止于此。
不同物质对不同的光吸收、反射情况不同,会呈现不一样的光谱。
简单来说就是不同的物质会呈现不一样的「颜色」,有些是肉眼可见,有些则需要通过多光谱摄像头捕捉。
而通过这些光谱,我们就能推断出物质目前的性质和状态,因此多光谱仪的身影经常出现在在环境监测、农林牧业、医学诊断、化学分析、刑事侦查等专业领域。
相关业界人士告知爱范儿,行业内光谱模块像素最高能做到 200 万,而华为 Mate 70 系列上的多光谱摄像头达到了 150 万像素。
这样的素质或许还不能运用于上述的专业领域中,但如果华为愿意开放第三方接口,还能让这台面向消费者推出的 Mate 70,创造更多可能性。
比如从菜市场买回来的农产品,我们可以就可以使用手机上的多光谱仪进行扫描,肉眼无法直接看出的农药残留,也会因为不一样的光谱特征,被多光谱摄像头发现。同理,也能用于检测纸巾荧光剂。
▲通过高光谱相机辨别发霉的李子和异物,图源:advian
像是皮肤的状态,也能通过多光谱仪拍摄,提前发现皮肤干燥、明暗、暗沉、色斑等问题,以便进行皮肤管理。
而由于血液呈现的近红外、中红外光谱,理论上也能被光谱仪识别,因此有可能通过华为 Mate 70 系列进行一个「自拍」,对身体的血糖、血氧等指标进行一个粗略的监测。
总之,这个多光谱摄像头,真的就像孙悟空的「火眼金睛」,仅仅通过「看」,就能让物体「现原形」。
对于 AI 来说,这绝对是梦寐以求的能力。
目前的 AI 助手和外部世界的交互方式,主要通过摄像头拍摄图像后进行分析,但一张平面图的信息有限,AI 也很难进行更多延伸解读。
▲ iPhone 16「视觉智能」
而如果多模态 AI 能够调用多光谱摄像头,就能极大丰富其能获取的外部信息。比如「看」一眼冰箱,AI 就能根据光谱特征分析出食材新鲜度,给出更恰当、详细的晚餐食谱建议。
跳出手机,来到智能家居上的光谱摄像头,也有着广阔的发挥空间。想象一下,一个能智能判断食材状态的烤箱,不需要用户手动设定温度和时间,自己可以决定出最优的烹饪方式。
用手机拍小狗来进行智能识别会被吐槽,但如果是能拍小狗进行一个皮肤病速检,那就是真的改变生活。
这么好用的多光谱仪,为什么直到今天,才来到我们的手机上?
传统的多光谱仪器体积和重量,其实远远没有能压缩到手机相机模组的地步。多光谱仪中用于分光的核心器件——光栅体积难以缩小,还需要一定的传道范围,为了更大的光谱范围,有时还需要在仪器内放入复数个光栅。
▲ 一个光谱仪的原理图,中间的就是光栅
国内光学企业求是光谱公司就摸索用算法的方式,替代了物理分光元件,使得光谱仪得以顺利缩小。
▲ 求是光谱的多光谱相机
另一个阻碍多光谱摄像头进入智能手机的因素是算力:当按下手机拍摄快门,处理器需要利用详细的光谱信息完成对照片的处理,如果性能跟不上,就会使得手机出片时间变得很长,严重影响拍摄体验。
在集成了 CPU、GPU、NPU(AI 处理器)的手机处理器性能不断实现突破后,这个问题也迎刃而解。
2022 年,华为哈勃入股求是光谱公司,2 年后的今天,首部搭载 150 万像素的多光谱仪的智能手机华为 Mate 70 系列诞生。
但华为这次不会领先太久,实际上,海外也已经在探索类似的道路,将多光谱芯片引入移动设备。
一家名为 Spectricity 的比利时企业,于 2023 年推出了专门为智能手机打造的多光谱传感器 S1,原理和效果与红枫原色摄像头类似,也能提升手机摄像头成片的色彩准确度。
▲ Spectricity 的多光谱相机模组
今年,Spectricity 宣布与高通公司合作,目标是为高通骁龙平台开发出优秀的光谱图像传感器产品。
目前暂时还没有搭载 S1 的消费者手机产品面世,但 Spectricity 方面表示,已经和几家手机厂商达成合作,其中有来自中国的品牌,相关的产品即将发布。
也许明年,这颗现在对大众而言还有点陌生的传感器,就会在各家旗舰手机发布会上频频刷脸,成为又一个新颖的卖点。
而对于消费者而言,这颗摄像头不仅意味着我们能拍出色彩更准的照片,还蕴含了革新人机交互的新可能。
参考文章:
《光谱相机,史上最出彩华为 Mate 的一颗 “慧眼”》
《光谱成像,迈入手机 AI 影像的新纪元》