Pixel 3 и Pixel 3 XL получили превосходные камеры – одни из лучших среди смартфонов. И Google удалось этого добиться, используя всего один модуль, хотя большинство производителей сейчас оснащают свои флагманы двойными основными камерами. “Пиксели” же способны добавлять размытие и боке на фон без дополнительного объектива. В блоге Google опубликовали пост, в котором объяснили, как именно смартфон просчитывает глубину.
Прошлогодние Pixel 2 и Pixel 2 XL использовали фазовый автофокус (PDAF) – он также известен как Dual Pixel. Благодаря PDAF смартфон делал два снимка со слегка отличающихся ракурсов и соединял их, создавая эффект параллакса. Этого было достаточно для создания карты высот, которая использовалась при просчете боке. И хотя это работало довольно неплохо, Google решила вывести вещи на новый уровень в третьем поколении своих флагманов.
Хотя PDAF работает хорошо, некоторые факторы приводят к ошибкам при просчете глубины. Чтобы улучшить оценку глубины на Pixel 3, Google добавила несколько новых сигналов, включая сравнение объектов на фоне вне фокуса с объектами в фокусе на переднем плане. Это называется глубиной кисти дефокусировки. Подсчет пикселей в изображении лица позволяет просчитать, как далеко находится этот человек от камеры. Это называется смысловой меткой. Google использовала машинное обучение для создания алгоритма, который позволил бы смартфону объединить эти сигналы для более точной оценки глубины. Для этого компании необходимо было обучить нейронную сеть.
Эта оценка глубины, основанная на машинном обучении, должна работать очень быстро на Pixel 3, чтобы пользователю не пришлось долго ждать снимок. Однако для получения хороших оценок глубины, которые необходимы для точной дефокусировки и параллакса, мы должны передавать в сеть полноразмерные изображения. Для ускорения процесса мы используем TensorFlow Lite, кросс-платформенное решение для запуска моделей машинного обучения на мобильных устройствах, и мощный графический процессор Pixel 3 для быстрого просчета глубины. Затем мы объединяем полученные оценки глубины с масками из нашей портретной нейронной сети для получения отличного результата.
