Сегодня генеративный ИИ меняет жизнь даже тех людей, кто не знает, что такое «генеративный ИИ». И не всегда эти изменения во благо. Например, мошенники уже научились применять генеративные аудиомодели, чтобы обманывать доверчивых граждан, и...
Сегодня генеративный ИИ меняет жизнь даже тех людей, кто не знает, что такое «генеративный ИИ». И не всегда эти изменения во благо. Например, мошенники уже научились применять генеративные аудиомодели, чтобы обманывать доверчивых граждан, имитируя голоса их близких и уговаривая расстаться с крупными суммами денег. А это значит, что создание методов надежного обнаружения речевых дипфейков (Speech Deepfake Detection, SDD) — это уже больше, чем просто академическая задача.
К сожалению, существующие SDD зачастую недостаточно универсальны: они плохо адаптируются к новым аудиодоменам и типам генераторов. Но, что самое неприятное, им недостает интерпретируемости — то есть способности объяснить, почему аудио является подлинным или поддельным, предоставляя при этом понятные человеку признаки.
Озаботившись этим вопросом, мы коллегами из AIRI, МФТИ, МТУСИ и ВШЭ придумали новый подход к обнаружению речевых дипфейков, который объединяет возможности больших аудиоязыковых моделей с пошаговым рассуждением, полученным на основе набора данных с человеческой разметкой. Метод получил название HIR‑SDD и съездил постером в Австралию на Interspeech в конце сентября (статью можно посмотреть здесь).
Ниже расскажу, как устроен наш подход, что дали эксперименты и почему, если фраза «я не слышу признаков синтеза» еще не означает, что на записи точно живой человек.