Мультимодальный ИИ начинается с доказательств, а не с модальности

Приемщик должен решить, безопасно ли принимать охлажденный груз. Доступны четыре сигнала: фотография, на которой изображена помятая коробка и жидкость на полу, датчик температуры, сообщающий показания холодовой цепи, голосовое сообщение водителя с описанием резкого торможения, заказ на поставку, в котором определяется приемлемое количество и упаковка. Ничто из этого не является истиной само по себе. Каждое из них является доказательством: произведено источником, зафиксировано одновременно, преобразовано конвейером и интерпретировано в соответствии с политикой. Распространенная ошибка Заманчивый дизайн отправляет каждый доступный файл самой большой модели и запрашивает вердикт. Увеличение количества СМИ не делает этот вердикт лучше. Он добавляет нерелевантный сигнал, конфликтующие версии одного и того же документа, данные, которые системе не разрешено использовать, контент, созданный для манипулирования моделью, задержку и стоимость. Сначала напишите решение Прежде чем выбрать одну модель, запишите: решение, которое необходимо принять, необходимые для этого наблюдения, разрешенные источники, неопределенность, которая является приемлемой, какой авторитет имеет вывод: окончательный ответ или рекомендация для человека. Только после этого выберите модальности и возможности модели, которые