یه شبکه عصبی ده‌ساله تو تشخیص سرطان پوست از GPT-6 و Claude جلو زد
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
نویسنده، که متخصص پوست و جراح Mohs تو بیمارستان Guy's لندنه، مقاله‌ش رو با یه مثال شروع می‌کنه: عکس یه melanoma (خطرناک‌ترین نوع سرطان پوست) رو به GPT-6 Astra و Claude Fable 5.1 نشون داده و هر دو گفتن این یه seborrhoeic keratosis (یه زائدهٔ پوستی بی‌خطر) هست و بیمار می‌تونه بره خونه. ولی یه CNN قدیمی (یعنی شبکهٔ عصبی کانولوشنی که مخصوص پردازش تصویره) از روی عکس درموسکوپی جواب درست رو داد.
داده‌ها از دیتاست عمومی MILK10k اومدن که سال ۲۰۲۵ منتشر شد و از هر ضایعه دو تا عکس داره: یه عکس بالینی از نزدیک و یه عکس درموسکوپی، یعنی عکسی که با ذره‌بین نوردار مخصوص متخصص‌های پوست گرفته میشه. نویسنده ۲۰۰ ضایعه رو تصادفی برداشت: ۱۰۰ تا که نباید ول بشن (۳۰ melanoma، ۲۵ BCC، ۲۵ SCC و ۲۰ actinic keratosis) و ۱۰۰ تا بی‌خطر (۵۰ خال و ۵۰ seborrhoeic keratosis). همه‌شون بیوپسی شده بودن، پس از موارد معمولی سخت‌ترن.
به مدل‌های زبانی فقط دو تا عکس داده شد و ازشون محتمل‌ترین تشخیص بین ۶ گزینه، میزان اطمینان، گزینهٔ دوم و اینکه آیا بیمار رو میشه بدون درمان مرخص کرد پرسیده شد. طرف مقابل یه Inception v3 بود که گوگل ۲۰۱۵ منتشرش کرد و اینجا روی ۶۸٬۰۱۱ عکس از ISIC Archive با یه H100 حدود بیست دقیقه fine-tune شده. همهٔ عکس‌های این ۲۰۰ ضایعه و بیمارهاشون از داده‌های آموزشش حذف شده بودن. این مدل اونقدر کوچیکه که کامل تو مرورگر گوشی با WebGPU اجرا میشه.
نتیجه: CNN برای ۱۲۵ مورد (۶۲٪) تشخیص درست داد و GPT-6 Astra و Claude Fable 5.1 به‌ترتیب ۸۴ و ۸۵ (۴۲٪). اگه گزینهٔ دوم هم حساب بشه، CNN به ۱۷۳ رسید و مدل‌های زبانی به ۱۳۴ و ۱۳۸. تو melanoma هم CNN سیزده تا از ۳۰ تا رو درست گفت، در برابر ۸ و ۱۱. بیشترین فاصله سر ضایعه‌های بی‌خطر بود. البته CNN تو BCC یکی از GPT-6 Astra عقب‌تر بود و تو actinic keratosis از هر دو.
نویسنده می‌گه خطاها هم شکل متفاوتی داشتن. هر مدل زبانی یه جواب محبوب داشت: GPT-6 Astra هفتاد و پنج ضایعه رو BCC نامید در حالی که فقط ۲۵ تاش بود، و ۱۴ تا از melanomaها هم جزوشون بودن. Claude Fable 5.1 هم ۵۳ مورد رو actinic keratosis گفت در حالی که ۲۰ تا بودن. وقتی هم سؤال از زبون بیمار پرسیده شد («باید برم دکتر؟»)، هر دو مدل تقریباً همیشه گفتن برو دکتر، حتی برای ضایعه‌های بی‌خطر.
خود نویسنده چند تا محدودیت رو هم گفته: ۲۰۰ نمونه برای رتبه‌بندی نتیجه‌های نزدیک کمه، هر کیس فقط یه بار به مدل‌های زبانی داده شد، و چون MILK10k از ۲۰۲۵ عمومیه ممکنه اونا قبلاً دیده باشنش. Inception v3 هم state of the art نیست و محصول‌های تجاری خیلی بهترن. داده‌ها، پرامپت‌ها و کد امتیازدهی هم برای بررسی دوباره منتشر شدن.
نکات کلیدی:
- دقت تشخیص از ۲۰۰ ضایعه: CNN با ۱۲۵ مورد (۶۲٪)، GPT-6 Astra با ۸۴ و Claude Fable 5.1 با ۸۵ (۴۲٪)
- مدل CNN یه Inception v3 از ۲۰۱۵ هست که روی ۶۸٬۰۱۱ عکس ISIC حدود بیست دقیقه fine-tune شده
- تو melanoma، CNN سیزده مورد از ۳۰ رو درست تشخیص داد و مدل‌های زبانی ۸ و ۱۱ مورد
- GPT-6 Astra هفتاد و پنج ضایعه رو BCC نامید در حالی که فقط ۲۵ تا BCC بودن
- آزمایش محدودیت داره: فقط ۳۰ melanoma، هر کیس یه بار اجرا، و احتمال دیده‌شدن دیتاست توسط مدل‌های زبانی
