Скриншот Figma AI: как ИИ перестраивает экраны в виде слоев

Первоначально опубликовано на Crafttor. Множество инструментов теперь обещают преобразование скриншотов в Figma AI. Эта фраза охватывает очень разные подходы, и разница проявляется в тот момент, когда вы пытаетесь отредактировать результат. В этом посте объясняется, что добавляет ИИ по сравнению с классическим обнаружением, где он помогает больше всего и где вам все равно следует вмешаться. Мы сравним два режима в Image и Figma Design. Фаст использует классическое компьютерное зрение. Turbo AI перестраивает экран в виде вложенных кадров автоматической компоновки. Два способа прочитать скриншот Классическое компьютерное зрение Классическое обнаружение ищет края, цветовые области и текст. Находит прямоугольник с заливкой, блок текста, иконку. Затем он помещает каждый элемент в то место, где он появился. Это быстро и предсказуемо. Результат выглядит правильно. Но слои в основном располагаются в абсолютных координатах. Если вы измените заголовок так, чтобы он занимал две строки, текст ниже не переместится вниз. Реконструкция структуры ИИ Подход искусственного интеллекта пытается понять экран так, как это сделал бы дизайнер. Он задает такие вопросы, как: какие элементы образуют карту? Какие карты образуют список? Является ли этот ряд кнопок горизонтальной группой с одинаковым интервалом? Ответ становится деревом