‏مدل‌های جدید هوش مصنوعی در زیست‌شناسی فضایی سریع‌تر شدن، نه دقیق‌تر

بنچمارک SpatialBench که روی ۱۵۹ تسک از پلتفرم‌های مختلف زیست‌شناسی فضایی مثل Xenium، Visium FFPE، MERFISH، TakaraBio Seeker و AtlasXomics DBiT-seq طراحی شده، یه سوال مهم داره: آیا مدل‌های جدید هوش مصنوعی واقعاً می‌تونن مثل یه دانشمند خبره این آنالیزها رو انجام بدن؟ جواب کوتاهه: هنوز نه.

GPT-5.5 در مقایسه با نسل قبلش GPT-5.4 تقریباً نصف زمان می‌بره و مراحل کمتری طی می‌کنه، ولی دقتش از ۵۷.۴٪ به ۵۷.۶٪ رسیده که عملاً یعنی هیچ پیشرفتی. Opus 4.7 هم همین وضع رو داره؛ ۵۲.۴٪ در برابر ۵۲.۸٪ نسل قبل. سرعت بیشتر خوبه، ولی وقتی دقت علمی همون‌جا بمونه، مشکلات اساسی هنوز حل نشده.

بررسی دستی مسیر تحلیل (trajectory) توسط دانشمندان متخصص، چند دسته خطای تکرارشونده رو آشکار کرد. یکی از مهم‌ترین‌ها pseudoreplication یا تکرار کاذبه. در تسک SPATIAL10 مربوط به AtlasXomics، مدل باید تفاوت جنسیتی در بیان ۲۴٬۹۱۹ ژن رو در یه دیتاست با ۸ دونور بررسی کنه. یه محقق درست این کار رو روی سطح دونور انجام می‌ده و حدود ۱.۲٪ ژن دیفرانسیال پیدا می‌کنه. ولی هر دو نسل GPT و Opus اومدن گفتن ۹۲ تا ۹۴٪ ژن‌ها تفاوت جنسیتی معنادار دارن! این از نظر زیست‌شناختی کاملاً غیرممکنه.

همین خطا در تسک SPATIAL07 هم دیده می‌شه که از مدل خواسته شده ببینه آیا ۱۰ ژن housekeeping تفاوت جنسیتی دارن. جواب درست اینه که هیچ‌کدوم ندارن. ولی مدل‌ها ۹ تا ۱۰ تا رو معنادار اعلام کردن. ژن‌هایی مثل ACTB و GAPDH که در همه شرایط بیان یکسان دارن رو sex-differential خوندن، چون هزاران barcode رو به‌عنوان مشاهدات مستقل در نظر گرفتن و قدرت آماری کاذب ایجاد کردن.

مشکل دیگه نرمال‌سازی نادرسته. تسک MERFISH مربوط به coexpression دو ژن میلین یعنی Mbp و Plp1 در oligodendrocyte‌هاست. این دو باید همبستگی مثبت داشته باشن (مقدار انتظاری ~۰.۳۰۸). GPT-5.5 و هر دو نسل Claude عدد حدود ۰.۱۵۷- رو گزارش دادن؛ یعنی همبستگی منفی! دلیل اینه که مدل‌ها نرمال‌سازی استاندارد scRNA-seq رو روی یه پنل هدفمند ۳۷۴ ژنه اعمال کردن:

sc.pp.normalize_total(adata, target_sum=1e4)
sc.pp.log1p(adata)

این روش برای داده‌های MERFISH که چند ژن میلین بخش بزرگی از کل countها رو می‌گیرن مناسب نیست و رابطه زیست‌شناختی واقعی رو برعکس نشون می‌ده.

تصحیح batch هم یه چالش جدیه. در تسک‌های TakaraBio و AtlasXomics، مدل‌ها بدون integrate کردن داده‌های چند دونور، خوشه‌بندی انجام دادن. نتیجه اینه که هر خوشه عملاً یه دونور یا یه timepoint خاصه نه یه نوع سلولی. مقدار انتظاری برای fraction یه timepoint در یه cluster حدود ۰.۳۷۵ بود، ولی GPT-5.5 عددهایی مثل ۰.۹۹۰ گزارش داد که یعنی clustering داره batch effect رو اندازه می‌گیره نه بیولوژی رو.

یه مشکل دیگه اینه که واحدهای فضایی را با سلول اشتباه می‌گیرن. TakaraBio Seeker از بیدهای ۱۰ میکرومتری استفاده می‌کنه و یه اووسیت بزرگ می‌تونه چندین بید رو پوشش بده. در تسک oocyte_count_per_timepoint مقدار انتظاری ۸۵۰ اووسیت بود ولی GPT-5.5 بین ۱۵۱۰ تا ۳۴۶۳ اووسیت گزارش داد. علاوه بر این، مدل‌ها cumulus granulosa cells رو در نمونه‌های immature شناسایی کردن که از نظر تکوینی غیرممکنه چون این سلول‌ها قبل از تحریک hCG متمایز نمی‌شن.

نکات کلیدی:

• GPT-5.5 و Opus 4.7 سریع‌تر از نسل قبل هستن ولی دقت‌شون روی SpatialBench عملاً تغییر نکرده
• pseudoreplication یکی از رایج‌ترین خطاهاست: مدل‌ها barcodeها رو به‌عنوان مشاهدات مستقل می‌بینن نه دونورها رو
• نرمال‌سازی scRNA-seq استاندارد روی پنل‌های هدفمند MERFISH می‌تونه رابطه‌های بیولوژیکی رو کاملاً برعکس نشون بده
• خوشه‌بندی بدون تصحیح batch باعث می‌شه نتایج بیان‌گر ساختار دونور/timepoint باشن نه نوع سلولی
• مدل‌ها واحدهای فضایی مثل bead رو با سلول اشتباه می‌گیرن و اعداد بیولوژیکی کاملاً اشتباهی گزارش می‌دن
• این بنچمارک نشون می‌ده سرعت بیشتر بدون بهبود قضاوت زیست‌شناختی برای کاربردهای علمی واقعی کافی نیست