进入信息化时代,自从夏普发布第一款带摄像头的功能手机开始,人们对手机的相机功能的追求一直未曾停止,以至于时至今日,各大主流厂商的新机发布会上,拍照画质都会作为主讲重点之一。
一般来说,提高拍照像素,是手机厂商提升照片画质最常用、最直观体现差距的方法之一。相比起软件向的优化,通过直接升级相机传感器,能给照片画质带来立竿见影的效果。
自从诺基亚2012年就在手机实现4100万像素相机后,“千万级像素”成为了宣传手机拍照能力的关键词之一,不过提升画质一直靠“堆像素”真的可行吗?
来自面包板社区的明星博主——欧阳洋葱就这一角度,结合自身经验发表了自己的看法。
我们常说,成像技术与摩尔定律是背道而驰的,即工艺越先进,图像传感器上的像素越小,并不意味着性能越好,有时甚至成像质量会变差。当然了,摩尔定律更具体的定义其实不是这么说的,但我们姑且就这么信了。
不过我们知道手机这些年的拍照是越来越强的,像素也的确是越来越小——之前探讨其实就提到过这个问题,这也是这些年手机图像传感器实质上的发展趋势,甭管多少媒体喜欢大谈单像素尺寸这件事,像三星如今的图像传感器像素尺寸做到了 0.7μm——虽然还没有应用到 1 亿像素的图像传感器上。
当然了,手机摄像头的图像传感器总面积这些年一直是在变大的,起码从 10 年前的对角线 1/3 英寸,变成了现在的 1/1.33 英寸——这个转变其实还是巨大的。其实图像传感器变大,也就意味着拍摄一个相同的场景,光圈、快门、ISO 参数相同时(或者说照片亮度一致),则实际的光通量是明显更多的。从直觉上来看,拍照一定更好——毕竟吃了更多的光,光总量变大,也就意味着前端的散粒噪声会更低。
但好像 1 亿像素的手机,拍的照片其实也没比 4800 万像素的手机厉害到哪里去;跟当年的 1200 万像素和 4100 万像素的较量,似乎全然不是一个量级。或者说,如果我们抛开什么光学/混合变焦、超广角这些多摄加成不说,当代手机的 28mm 主摄拍下的照片,其实也就那么回事:你说好能好到哪里去,坏又能坏到哪里去?
前一阵还有朋友说想买个拍照好的手机,问我应该买哪款。其实以手机“摄影”框定的范畴,即便华为、小米之类的厂商把手机拍照吹破天际,如果同样是 5000 块钱的手机,它们的成像质量差异真的会大到哪里去吗?所以我跟他说:你喜欢哪个,就买哪款吧,你又不搞什么严肃摄影,没事难道还跟别人去拼一拼宽容度、边角失色的问题不成?
毕竟这会儿早不是十多年前,手机拍照几乎就只有苹果一家能把自动白平衡做好;也不是十年前,诺基亚手机的解析力和信噪比可以把同时代竞争对手抛到天边去。
DxOMark 在 3 月份发布的一篇文章,我觉得特别能回答为什么 1 亿像素手机拍照其实也不过尔尔。这篇文章中提到,智能手机 10 多年来,成像质量提升超过 4EV(stop);其中 1.3EV 是来自图像传感器/光学技术的提升;有 3EV 是来自图像处理器(SoC 的 ISP、NPU 之类),或者说智能手机的处理能力提升。
总体,智能手机拍照越来越好,是摄像头光学系统(包含图像传感器技术提升),以及图像数字信号处理能力的双重提升。而后者占了大头;前者有价值,但在手机这个门类的产品中,其提升相对缓慢——这其实也符合相机市场的发展,单画质提升速度,完全不可能像半导体技术发展那样疯狂。
DxOMark 认为,近 10 年 APS-C 画幅的图像传感器,以 DxOMark 针对图像传感器的测试标准来看,其性能提升是 1.3EV。那么手机拍照 4EV+ 的程度是怎么做到的?
从光学系统来看,对于手机来说,BSI 背照式 CMOS 图像传感器技术,算是一个伟大的发明(即便它也是相机->手机摄像头的技术下放,不过相机从 BSI 技术上的获益远少于手机),其实质就是把像素内部的色彩 filter 与感光层(光电二极管)之间的电路层,移到后方去。我们所知,BSI 解决的主要问题是串扰,而且还能提升光的利用率。
感觉背照式和堆栈式,已经是基础教育级别的名词了吧...
图片来源:DxOMark
实际上 BSI 这个工艺改进本身不光是提升像素感光能力,也在于因为光电二极管离上层更近,则传感器能够从更多的方向获取光子,它带来的价值包括:
光圈因此可以做的更大(更偏角度的光);镜头也因此可以和传感器靠得更近,也就可以用更大的传感器;而且镜片可以更“平”,在增加额外光学组成部分,以及更长的有效焦距时也更具弹性,也不会让手机的摄像头模组太厚。
这么看来,BSI 对于手机拍照的贡献也算是延续至今啊,还影响到了光学系统设计。不过如 DxOMark 所说,这么多年的发展,无论是像素阱结构调整,还是什么 RAM 堆栈技术、Cu-Cu 互联之类,CMOS 制造工艺提升、图像传感器总尺寸越来越大,其贡献限定在 1.3EV。
就图像处理来看,下面这张图,第一张是用无数年前的尼康 D70s 拍的 RAW 照片,ISO3200;第二、三、四、五张,分别针对这张原始照片应用了 DxO Labs 的 Optics Pro 3/5/7/9 软件做后处理(也就是不同时期的软件后处理)。能够看出随着时代发展,不管是算力提升还是算法提升,都对原有相同光学硬件基础的成像做了怎样的提升,就表明图像处理这些年还是十分重要。
图片来源:DxOMark
能够直观体现手机拍照提升的是下图,在低照度(5 lux)下从 iPhone 5s 开始,一直到 iPhone 11 Pro Max 拍摄的不同照片。按照 DxO 所说,图像处理器在其中提升比重占得明显更大,包括现在引入多张堆栈、AI 之类乱七八糟的技术——这本身就需以图像处理器算力提升为基础。
图片来源:DxOMark
我之前翻译过好几篇谷歌 AI Blog 相关成像技术的文章,都是将机器学习应用到计算摄影的成果介绍,前一阵才发了一篇,有兴趣的同学可以去看一看。这些主要建立在图像处理技术提升的基础上;而且足够谷歌在 Computational Photography 领域发一大堆的 paper。
谷歌在 Computational Photography 的成像技术介绍上最为透明,无论是 HDR+(高宽容度多张堆栈)、Night Sight(夜拍模式)、Super Res Zoom(抖动实现的超分辨率数字变焦),还是把机器学习应用到夜间模式的自动白平衡之类,它们对于当代手机拍照画质的提升显得十分显著。即便老一辈革命家们其实总是特别喜欢说,你这技术几百年前相机就用上了,你这是技术下放。
其实无论包括苹果、华为在内的厂商,在这些问题上的解决方案有多大差别,它们的核心都是图像处理的提升,包括用于图像处理的硬件算力提升,和软件算法提升。它们如 DxOMark 所说,贡献了 3EV 的画质提升。
1亿像素的图像传感器,在 Computational Photography 面前,可能在实际产出的收益上,并不会显得十分巨大——于是,我们才说,这更是一个比拼 post processing 的时代。要不然大家都拿一样的一亿像素图像传感器,还哪来差异化竞争?
毕竟现在不像过去那样,诺基亚随随便便就去跟东芝订个独家的 1/1.2 英寸的图像传感器(808Pureview),光学系统还有蔡司参与设计,就把别家手机拍照打到满地找牙。那是十年前的传奇了,图像处理器算力也远不如现在,那会儿都没人听说过 AI 拍照。如今的华为,即便有索尼的图像传感器独家定制资源,它到底有多“独家”都很值得打个问号,更别说,在图像处理器上谁技高一筹的问题。
当然其实在光学系统方面的努力,也包括了多摄之类的。不过这些提升,尤其是多摄的图像合成实现更好的画质,本身和信号处理又是分不开的——所以算是两者的相辅相成吧。
最后文章与文首呼应一下:既然手机拍照,图像处理带来的效益更大,那么其实手机拍照是否也可以很勉强地说,是符合了摩尔定律的发展规律的。毕竟要做图像处理,靠的就是数字芯片的发展。那么其实现在手机拍照越来越好,显然 7nm 的骁龙、麒麟之类的就十分有意义,重要性不亚于摄像头本身...那还不是要跟摩尔定律挂钩了吗?
最后的最后,相机(单反/微单)领域,由于专业摄影职能和手机拍照的差别,其“计算”属性显得并没有那么重要,毕竟摄影师有自己的创作意图,而且还需要花大量时间去做人工的照片后期,自然不可能允许照片一拍下来就有浓重的饱和度和对比度。
而且相机在光学系统的优越性上具备碾压手机摄像头的特点,或者说吃光子的能力可以把手机甩到海王星去;不过当代手机凭借着图像处理能力越来越强,开始有人整天在问,手机拍照是不是能和微单/单反比了,一会儿红米秒尼康 D5,一会儿荣耀秒佳能 5D4——本质上是图像处理技术发展中,对传统光学技术的叫嚣,甭管他们有多荒谬,起码这种叫嚣在 10 年前是从来不曾有的。
[1] - DxOMark
[2]
[3]
*国际电子商情对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。