В MIT научили ИИ исправлять дефекты 3D-моделей
Пользователь выделяет ошибку, описывает её словами и проверяет исправление ещё до запуска принтера.
Сгенерировать объёмный предмет по картинке или короткому описанию сегодня несложно. Труднее превратить получившуюся модель в полезную вещь. Алгоритм воспроизводит знакомую форму, но способен запечатать горлышко сосуда, сделать стенки слишком тонкими или соединить детали, которые должны оставаться раздельными. На экране такой предмет выглядит убедительно. После печати выясняется, что им нельзя пользоваться.
Именно эту проблему взялась решить команда Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL), Google и Северо-Восточного университета США. Созданная ими система InstructMesh позволяет работать не со всей моделью сразу, а с конкретным дефектом. Пользователь выделяет нужный участок мышью и пишет, например: «Убери перегородку, чтобы кружка была открытой». Можно обойтись и ползунками, вручную задавая толщину или глубину изменения.
Внутри объединены генератор трёхмерных объектов TRELLIS и языковая модель GPT-4. Последняя не рисует исправленную деталь самостоятельно, а переводит человеческое объяснение в одну из предусмотренных геометрических операций. Программа меняет промежуточное цифровое представление формы и заново строит её поверхность. Перед подтверждением пользователь видит, что именно будет добавлено или удалено.
Масштаб проблемы исследователи оценили на 120 моделях, восстановленных нейросетью по изображениям популярных объектов с платформы Thingiverse. У 94 обнаружилось больше одного типа дефектов, значимых для изготовления; в среднем на модель приходилось 2,4 ошибки. Это результат испытания конкретного генератора, а не характеристика всех существующих систем 3D-моделирования.
Затем с InstructMesh работали 12 человек без опыта в CAD и цифровом производстве. Они распознали 90,4% отмеченных проблем и успешно исправили 89,7% из 156 дефектов — такой результат дал независимый эксперт, оценивавший модели. Участники не просто выбирали лучший из предложенных вариантов: им нужно было самим заметить неисправность и указать, где её исправлять.
Авторы напечатали несколько необычных предметов: кружку, у которой драконий хвост стал ручкой, очки с декоративными крыльями бабочки и свисток в форме раковины. Но до универсального «ремонтника» ещё далеко. InstructMesh рассчитан прежде всего на видимые геометрические ошибки; подвижные соединения, скрытые нарушения допусков и поведение вещи под нагрузкой система полноценно не проверяет. Сравнения с обычной ручной правкой или повторной генерацией в этом исследовании тоже не проводили.
Работа появилась в научном архиве в конце августа, а 1 октября о ней подробно рассказал MIT. Публичное представление результатов на конференции UIST запланировано на ноябрь.
Самое трудное в изготовлении вещей нейросетью оказалось не придумать форму, а понять, где она перестаёт работать. InstructMesh оставляет это решение за человеком, но убирает барьер сложных инструментов: ошибку можно объяснить обычными словами, пока она существует только на экране.
Фото: редакция ИЗНАНКИ.
