Нейросеть NVIDIA может вернуть недостающие детали на фото

Для восстановления старых или испорченных фотографий зачастую тратится много времени и усилий, а каждый утраченный фрагмент восстанавливается вручную чуть ли не попиксельно.  Но уже не первый год ведутся разработки автоматизированной системы, предназначенной для этих целей. И недавно команда инженеров NVIDIA представила нейросеть, способную как дорисовать утраченную деталь, так и убрать «лишнее» вроде водяных знаков. Более того, технология компании NVIDIA на данный момент не имеет аналогов в мире.

Алгоритм был разработан и представлен инженером Гуйлинь Лю. У нейросети NVIDIA сейчас есть конкурент в лице Adobe, которая работает над подобной технологией. Однако функционирует технология иначе. Создатели Photoshop используют ИИ, который в ходе обработки изображения «заимствует» контекстное отображение у соседних пикселей, а затем достраивает картину в соответствии с этим. Такой подход удобен не всегда, ведь отсутствующий фрагмент может содержать несколько цветов. Скажем, по краям он будет красным, а в центре – синим. Система видит лишь край объекта и на основании этого «заливает» все красным.

Алгоритм от NVIDIA работает по-другому. Он анализирует контекст не отдельной области, а всей картины в целом, определяя закономерности и взаимосвязь между объектами. Распознавая объект, нейросеть «предполагает», что могло находиться в отсутствующих местах, после чего «дорисовывает» все так, чтобы результат максимально вписался не только в цветовую гамму, но и в контекст оригинальной картины. На примере с синим и красным предметом алгоритм «посмотрит» на всю картину и, если увидит похожие фрагменты, постарается «дорисовать» недостающую область так, чтобы она была максимально похожа на оригинал.

Когда технология будет готова, ее использование позволит восстанавливать фотографии за пару минут. Но уже сейчас, как вы можете убедиться на видео, доступно ниже, ИИ неплохо справляется, «дорисовывая» глаза на портрете человека.