Как нижегородские IT-инженеры при помощи компьютерного зрения создают 3D аватары и модели органов по двухмерным изображениям

Небольшая камера перед лицом актёра захватывает малейшие нюансы мимики и движения лица. Далее преобразование в анимацию и создание реалистичного образа Аватара в одноимённом фильме. Проще говоря, компьютер наделён способностью "видеть" и извлекать информацию из увиденного. 

Вадим Турлапов, профессор Института информационных технологий, математики и механики ННГУ им.Н.И.Лобачевского: "Смотреть - это воспринимать сенсорами то, что должно восприниматься. Видеть - это уже обработать то, что воспринято, записано и принять решение".

Это и есть компьютерное или машинное зрение. С помощью алгоритмов машины, получая изображение, обрабатывают его, распознают элементы, их закономерности и выдают результат. Заставить машину проводить такие сложные аналитические действия одновременно, впервые удалось в Нижнем Новгороде. Виктор Ерухимов, один из тех, кто стоял в начале обучения компьютеров зрению, создавая базу методов и алгоритмов - OpenCV

Виктор Ерухимов, директор компании по созданию 3D аватаров: "Фактически, всё что делается с изображением, оно всегда делается на основе OpenCV. То что вы видите в мобильных телефонах, когда делаете фотографию, лицо детектируется - это алгоритм, который был создан в начале 2000-х. Задачи, связанные с безопасностью дорожного движения: детектирование пешеходов, детектирование опасности столкновения с машиной впереди, детектирование отклонения машины от своего ряда".

То, что сначала казалось простой задачей, оказалось, потребовало десятилетия исследований. В первую очередь в работе нейронных сетей, которые и составляют основу машинного зрения.

Евгений Васильев, преподавать кафедры "МОСТ" ИИТММ ННГУ им. Н.И.Лобачевского: "Алгоритмы старались вручную искать признаки, вручную разработчики задавать, что это маленькая на четырёх ножках - это кошка, большая - это собака. А после барьера 14-15 года пошло активное развитие алгоритмов, когда компьютер сам эти признаки выделяет".

Область применения компьютерного зрения обширна. От безопасности - распознавание лиц, до образования и даже медицины, когда, имея результаты анализов, компьютер может построить визуальную модель патологии того или иного органа.  В последней сфере нижегородские айтишники тоже опередили время.

Николай Золотых, директор Института информационных технологий, математики и механики ННГУ им.Н.И.Лобачевского: "Наиболее выдающиеся результаты достигнуты как раз группой профессора Турлапова. Он специализируется в области обработки биомедицинских изображений и биомедицинских видео и здесь его результаты одни из лучших в мире".

А единственная в мире лаборатория по созданию трёхмерных - аватаров по двухмерной фотографии так же находится в Нижнем Новгороде. Так что будущее, снятое Джеймсом Кэмероном, уже почти реально на нижегородской земле.

16 апреля 2021 года. ГТРК "Нижний Новгород" (видео)