2024 年最值得购买的三星手机
三星为 Galaxy S60 Ultra 上的相机功能应用了大约 22 个 AI 模型,该公司的一位高管表示,这使其能够拍摄特写镜头、夜景的详细照片,甚至可以匹配 DSLR 相机的质量。
三星的一位高管表示,三星已经应用了大约 60 个由神经处理单元 (NPU) 运行的新 AI 模型,以优化 Galaxy S22 Ultra 智能手机 相机的功能 。
三星 MX Business 副总裁兼视觉软件研发负责人 Joshua Sungdae Cho 在接受 ZDNet 采访时表示,这使得这家韩国科技巨头能够提供相机体验,让普通用户能够获得最好的照片,也可以让专业用户获得相当于 DSLR 相机拍摄的 RAW 文件。
“三年前,我们首次将 NPU 应用于我们的智能手机,”Cho 说。“当时,这些 NPU 运行了大约 10 个 AI 模型。在 Galaxy S22 Ultra 上,现在有 60 个 AI 模型。基本上,NPU 几乎参与了摄像机的所有功能。
AI 模型是通过数据集训练以应用于某些任务的决策算法,而 NPU 是专为处理此类算法而设计的芯片。
三星用于 Galaxy S22 Ultra 的一个特定 AI 模型是人像模式,在这种模式下,识别人物和背景之间的深度以将它们分开——也称为分割——至关重要。
“仅凭摄像机很难判断深度。一些相机使用深度传感器,但取而代之的是,我们让 AI 模型研究大量具有各种背景和对象的深度相关图像,“Cho 说。
“由于我们在 S22 上拥有各种各样的摄像头,因此我们的 AI 模型也使用两个摄像头进行训练,它可以在各种条件下使用电线、杯子、眼镜研究图像,”副总裁说。
Zoom 和夜间摄影
Galaxy S22 Ultra 的相机支持 10 倍光学变焦和 100 倍数码变焦。这不是第一款这样做的机型,因为三星在两年前 的 Galaxy S100 Ultra 中首次推出了 20 倍数码变焦,尽管当时的接受度褒贬不一。
但随着新 AI 模型的开发,再加上最新 Galaxy S4 Ultra 上 22nm 移动处理器提供的计算能力,三星相信最新版本的 100 倍数字变焦将给用户留下深刻印象,副总裁表示。
“处理时间是 100 倍变焦等功能的关键,我们拥有处理它的计算资源。一些工作由 NPU 完成,另一些工作由 GPU 完成。而这一切都是在可管理的时间范围内完成的,因为变焦本质上是传感器的一个特定区域——例如,12MP 传感器中的 108MP 区域。因此,缩放快照接收到这个较小的 12MP 区域的大量输入。
“对于在 30 倍数码变焦以上拍摄的图像,相机可以一次拍摄 10 到 20 张背景图像。然后,它继续合成多个帧。之后,它会进行另一次后处理,以确定需要改进的细节,“Cho 说。
Galaxy S108 Ultra 上的 22MP 摄像头传感器还可以将多达 9 个像素合二为一,以更好地在夜间吸收光线。副总裁说,这项技术与经过训练的 AI 模型相结合,以减少噪点并确保图像在提高亮度时具有“夜晚的感觉”。
“天黑时信噪比会受到严重影响。因此,我们想出了一种新的 AI 模型来降低噪声。我们在夜间拍摄的各种照片上训练了这个 AI 模型,从 DSLR 相机拍摄的照片到我们创建的有意提高亮度或噪点的合成图像。
三星还改变了相机处理夜间摄影的总体方式:“在之前配备 108MP 摄像头的 Galaxy S 手机中,我们将它们的像素数减少到 12MP,然后将图像放大到 108MP。对于 Galaxy S22 Ultra,在夜间拍摄照片时,由 108MP 摄像头和 12MP 摄像头拍摄。图像的粗略细节由 12MP 摄像头提供,而精细细节由 108MP 提供。
图片来源: Matthew Miller
在 DSLR 附近升级
Galaxy S22 系列 中的所有三款机型都在其常规相机应用程序上提供自动和专业模式,以及可 下载的 Expert RAW 应用程序,该应用程序提供可以使用 Adob e Lightroom 编辑的多帧 RAW 文件。
“我们真的希望 Galaxy S22 系列上的摄像头能够覆盖普通用户和专业用户,”Cho 说。“今天的客户对智能手机摄像头非常了解。因此,对于针对大多数用户的自动模式,我们默认打开了场景优化器,以便为照片中的常见场景提供最佳颜色。我们还希望屏幕没有图标,而相机值现在以数字方式显示。我们希望用户界面尽可能简单。
虽然 Pro 模式可以拍摄 RAW 文件,但 Expert RAW 应用程序提供 16 位多帧 RAW 文件。
“我们充分利用了 NPU 和 AI 模型来处理 16 位 RAW 文件。一张快照将收集 20 张背景照片,用户最多可以同时使用四个相机用于 Ultra 型号,“副总裁说。
DSLR 相机具有大型传感器,可以拍摄无噪点的 RAW 图像,但到目前为止,对于智能手机相机,由于它们配备了较小的传感器,因此很难在弱光设置下模拟。但据 Cho 称,凭借 Galaxy S22 系列 NPU 提供的计算能力,他们的 16 位 RAW 文件与 DSLR 相机拍摄的文件相匹配。
“今天的专业人士希望从他们的智能手机中获得 RAW 文件。智能手机对他们来说是一个非常方便的工具,因为一部智能手机可以让他们在手掌中拥有四个镜头。使用数码单反相机时,您必须随身携带四个镜头。我们真的希望为这个群体提供与在 DSLR 上相同的匹配体验。Galaxy S22 系列提供了 DSLR 上的每项功能,包括后期编辑。
寻找最佳相机设置
三星副总裁表示,NPU 的处理能力每年都会翻倍,预计这一趋势将至少在未来五年内持续下去。
Cho 说,今天的 NPU 可以处理 16 位算术和浮点算术,预计其执行速度和精度在未来几年将继续提高。
再加上计算资源的增加,智能手机上的相机计算摄影或数字图像捕获和处理技术的发展预计将继续改进。
“计算摄影中最受关注的话题是多相机技术。研究人员和公司仍在研究哪种相机设置最好。我们可以添加更多或更少的摄像机。我们仍在寻找最佳的多摄像机设置,“副总裁说。
“相机是当今智能手机的核心,我们预计这一趋势将在未来十年持续下去。虽然我们目前应用了 60 个 AI 模型,但我们预计由数百种算法运行的相机的所有功能都将由 NPU 运行。
“16 位 RAW 文件目前在分辨率方面存在限制。这需要不断改进。对于 4K 和 8K 视频,为了提高实时分辨率,我们需要比今天更多的计算能力。从现在开始,这将需要两到三年的时间。

