Дерматолог Магнус Линч взял 200 кожных образований с подтверждённым биопсией диагнозом и показал их GPT-6 Astra, Claude Fable 5.1 и дообученной свёрточной сети Inception v3 2015 года. Правильный диагноз из шести вариантов: CNN — 125 из 200 ...
Дерматолог Магнус Линч взял 200 кожных образований с подтверждённым биопсией диагнозом и показал их GPT-6 Astra, Claude Fable 5.1 и дообученной свёрточной сети Inception v3 2015 года. Правильный диагноз из шести вариантов: CNN — 125 из 200 (62%), обе LLM — 84 и 85 (42%). Меланому на ухе обе LLM приняли за безобидный себорейный кератоз и предложили отпустить пациента. В переводе — методика, результаты по каждому диагнозу, разные типы ошибок у моделей и оговорки автора: от размера выборки до того, сколько меланом отпустила бы сама CNN при заданном заранее пороге.
![[Перевод] Дерматолог проверил GPT-6 Astra и Claude на 200 образованиях кожи: CNN 2015 года точнее](/_next/image?url=https%3A%2F%2Fhabrastorage.org%2Fextt%2Ffb%2F74%2F42%2Ffb7442ee2c84ec0f5cbd71a2f6c804c0.jpg&w=3840&q=75)