Tool LLM 3 Pro: مدل کوچیکی که تناقضهای مستندات رو پیدا میکنه
خلاصهٔ کاملتر
Tool LLM 3 Pro یه مدل ۳.۶۶ میلیارد پارامتری از شرکت Web AI هست که روی معماری Granite 4.2 آیبیام ساخته شده. این مدل برای چت یا کدنویسی نیست و فقط برای منطق صوری (formal logic، یعنی اینکه از یه سری قانون چه نتیجهای حتماً درمیاد) آموزش دیده. کارش اینه که چندتا جمله رو بخونه و بگه با هم سازگارن، متناقضن یا اطلاعات کافی نیست. همین حالت آخر، یعنی «نمیشه گفت»، جاییه که خیلی از مدلهای بزرگتر توش گیر میکنن.
آموزشش چند مرحله داشته: fine-tune با LoRA (یعنی یه روش سبک برای آموزش دوبارهی بخش کوچیکی از وزنها)، ادغام چند checkpoint، و در آخر یادگیری تقویتی. نکتهی مهم اینه که پاداش رو یه بررسیکنندهی برنامهای داده، نه سلیقهی آدمها. یعنی مدل برای جوابی که واقعاً قابل اثبات باشه جایزه گرفته، نه جوابی که فقط قانعکننده به نظر برسه. نتیجهش اینه که خروجیهاش خیلی دقیق و با اشاره به شمارهی بند میآد.
تو تست اول، یه سند نیازمندی برای اپ تحویل خواربار بهش دادن که سه تا تناقض عمداً توش کاشته شده بود. مدل هر سه رو با شمارهی بند درست (مثلاً تضاد بند 2.1 با 9.1) پیدا کرد و یه تناقض چهارم هم گرفت که جزو موارد کاشتهشده نبود ولی قابل دفاع بود. هیچکدوم از بندهای فریبنده رو هم اشتباهی علامت نزد. تو تست سیاست مرجوعی یه فروشگاه با ده سناریو ۸ از ۱۰ گرفت و حتی وسط استدلال اشتباه خودش رو گرفت. تو مشخصات بلیتفروشی یه فستیوال هم نمرهی کامل گرفت.
تو بنچمارکهای داخل حوزهی تخصصیش از مدلهایی مثل Qwen3 8B، یه مدل LFM با ۳.۵۴ میلیارد پارامتر و حتی GPT-OSS با ۱۲۰ میلیارد پارامتر جلو زده. ولی تو بنچمارکهایی که بیرون از این حوزهن، قضیه برعکس میشه و مدلهای بزرگتر جلو میافتن. یعنی تو زمین خودش قویه ولی برای استدلال عمومی ساخته نشده.
نقطهضعفش استدلال برعکسه (backward chaining، یعنی از یه واقعیت منفی به عقب برگشتن و نتیجه گرفتن). تو دو تست با قوانین ساختگی ۴ از ۸ و ۵ از ۸ گرفت. یا با «نمیشه گفت» کنار کشید، یا یه قانون یهطرفه رو دوطرفه فرض کرد؛ مثلاً از «هر کی والس میرقصه گل رز داره» نتیجه گرفت که هر کی گل رز داره والس میرقصه.
به گفتهی نویسنده، برای کار خاص خودش ارزش اجرا داره. با llama.cpp حدود ۹ گیگ VRAM میخواد و روی یه کارت گرافیک معمولی کاملاً آفلاین اجرا میشه، که برای بررسی مدارک حساس به درد میخوره. لایسنسش فقط برای تحقیق و استفادهی غیرتجاریه و برای کار تجاری باید جدا با Web AI قرارداد بست.
نکات کلیدی:
- Tool LLM 3 Pro با ۳.۶۶ میلیارد پارامتر روی IBM Granite 4.2 ساخته شده و فقط برای منطق صوری آموزش دیده.
- یادگیری تقویتیش با یه بررسیکنندهی برنامهای انجام شده که فقط جواب قابل اثبات رو جایزه میده.
- تو تست سند نیازمندی هر سه تناقض کاشتهشده رو با شمارهی بند پیدا کرد و تو تست مرجوعی ۸ از ۱۰ گرفت.
- تو منطق صوری از GPT-OSS 120B و Qwen3 8B بهتره، ولی تو بنچمارکهای عمومی عقب میمونه.
- تو استدلال برعکس ضعیفه و تو دو تست ۴ از ۸ و ۵ از ۸ گرفت.
- با llama.cpp حدود ۹ گیگ VRAM لازم داره و لایسنسش فقط غیرتجاریه.




