В 1982 году физик Джон Хопфилд опубликовал модель нейронной сети, которая четыре десятилетия спустя оказалась концептуальной основой механизма внимания, лежащего в основе GPT, Клода и Близнецов. Центральная идея — ассоциативная память: сеть...
В 1982 году физик Джон Хопфилд опубликовал модель нейронной сети, которая четыре десятилетия спустя оказалась концептуальной основой механизма внимания, лежащего в основе GPT, Клода и Близнецов. Центральная идея — ассоциативная память: сеть, которая хранит полные шаблоны и извлекает их из неполной или зашумленной версии без использования точных адресов, как в компьютерной памяти.
Исследователь Алекс Ванг реконструировал эту связь в недавнем эссе: он шаг за шагом показал, как достаточно начать с идеи сохранения и извлечения шаблонов, чтобы вывести формулу внимания, не запоминая ее по бумаге.
ТЛ;ДР
Сеть Хопфилда восстанавливает полный шаблон из неполной или зашумленной версии этого шаблона. - Энергия сети падает с каждым обновлением, пока не стабилизируется на максимально похожем запомненном шаблоне. - Механизм внимания преобразователя вычисляет то же восстановление по сходству между векторами. - Матрицы запроса, ключа и значения преобразуют этот ассоциативный поиск в параллельные умножения на графическом процессоре. - Тридцать пять лет спустя документ 2017 года формализует эту математическую эквивалентность.
Что такое ассоциативная память?
память