RUPROTEZ
Демо
Продукты
R&D
О нас
Контакты
Разработка веб-приложения
Сделано при поддержке Univ. Rey Juan Carlos, MPI Informatics. Научно-техническая база и оснащение - Facebook Reality Labs, Scan Engine 3D Photogrammetry Studio.
Сбор данных и аугментация датасета для искусственной нейронной сети.
Фотограмметрическая установка.
Для сбора обучающих данных для искусственной нейронной сети было использовано 160 камер ориентированных в модульную cистему, обрамляющую движения рук на 360°. В серии экспериментов для сбора данных камеры были настроены на одновременную съемку с интервалом 1/100 секунды вокруг объекта, чтобы воссоздать 3D-модель анимации движения рук.Для захвата движения была использована стандартная технология Motion-Tracking Optitrack.
Маркерам присваиваются уникальные идентификаторы, если они постоянно отслеживаются. Если маркер ненадолго исчезает, он возвращается с новым идентификатором. В работе использован метод отслеживания на основе моделей для восстановления поз рук по меткам маркеров в комбинации с 3D-фотограмметрической моделью из которой воссоздается кинематический скелет руки с указанием 21 узловой точки.
Аугментация набора данных
Поскольку обучение эффективной, помехоустойчивой искусственной нейронной сети требует большой набор проиндексированных изображений, реальный набор данных был дополнен синтетическим датасетом изображений рук SynthHands. Главное преимущество синтетических изображений состоит в том, что точные трехмерные положения суставов известны, важным недостатком является то, что им обычно не хватает реализма. Такое несоответствие между реальными и синтетическими изображениями ограничивает обобщающую способность глубокой искусственной нейронной сети, обученной только по синтетическому набору данных. Для купирования выше указанного несоответствие, была обучена сеть, которая переводит синтетические изображения в «реальные». Такая сеть трансляции основана на CycleGAN, которая использует состязательные дискриминаторы, совместно образуя GeoConGAN, используемой для перевода синтетических изображений в реальные. Таким образом загруженные синтетические изображение в GeoConGAN аугментируют набор реальных данных и создают устойчивую выборку для обучения искусственной нейронной сети.

Архитектура GeoConGAN
Обучаемая часть состоит из компонентов real2synth и synth2real. Функции потерь показаны черным цветом, изображения из реальной базы данных выделены зеленым. Изображения, сгенерированные ИНС, выделены синим цветом.
Алгоритм предсказания расположения узловых точек руки.
Чтобы получить позу руки из RGB изображения руки,была обучена глубокая сверточная сеть на основе RegNet, которая предсказывает 3D взаимное расположение 21 узловой точки руки . В 2D-пространстве позиции узловых точек позиции представлены в виде тепловых карт в пространстве изображения, а 3D-позиции представлены как 3D-координаты относительно основания руки на базе масштабированной ортографической проекции. После получения тепловых карт расположения узловых точек в пространстве изображения, подбирается кинематическая модель скелета руки в 3D пространстве, таким образом обеспечивая анатомически правдоподобную модель руки

Браузерная совместимость
На данный момент поддержка веб-приложения осуществляется на следующих платформах:
Продукты
  • Веб - интеграция
  • Онлайн примерка
    • Рекламный стенд
Контакты
email
Made on
Tilda