Ваш AI Eraser перерисовывает всю фотографию: внутри средства удаления объектов с возможностью «наклеить, а затем отредактировать»

На этой неделе две наши собственные страницы помощи противоречили друг другу. На странице прохожих MagicRemover было обещано, что изменится только область, которую вы чистите; на странице людей говорится, что все изображение может немного измениться. Только одно могло быть правдой, поэтому я прочитал наш конвейер от начала до конца, вместо того чтобы доверять какой-либо странице. Страница людей была права. Ластик на основе инструкций не заполняет дыру: он заново визуализирует всю фотографию из текстовой инструкции, и только ваш мазок кисти решает, что говорит эта инструкция. В этом посте рассказывается, как этот конвейер работает в производстве, почему на него стоит перейти и сколько это стоит пикселям, которые вы никогда не трогали. Раскрытие информации: я создаю MagicRemover, браузерный ластик с искусственным интеллектом, о котором идет речь в этом посте. Черновик был написан с помощью искусственного интеллекта, и каждый отрывок и номер кода были проверены по журналам репозитория и производства. Два способа сделать ластик Есть два общих плана, и они терпят неудачу в противоположных отношениях. Вставка маски берет изображение плюс бинарную маску. Модель генерирует пиксели только внутри маски, а конвейер копирует все, что находится за ее пределами, прямо из оригинала. За пределами кисти результат по пикселям идентичен загруженному вами. Слабость – контекст: если да