هر کسی که تازه سراغ مدلهای محلی میآید، با یک سؤال شروع میکند: مدل بزرگ روی لپتاپ من بالا میآید؟ جوابش حدس نیست؛ سه عدد است و یک فرمول ساده. بقیهاش ابزار است.
در این مطلب اول میبینیم چه چیزی تعیین میکند مدل جا میشود یا نه، بعد چند ابزار رایگان و متن‌باز را معرفی میکنیم که خودشان سختافزارت را میخوانند و جواب می‌دهند، و آخرش یک جدول سر‌انگشتی میگیری که بدون نصب هیچ چیزی هم به کارت میآید.
در یک نگاه
- تعیینکننده
- حافظهٔ کارت گرافیک (VRAM)، یا رم یکپارچه در مکهای اپل سیلیکون
- فرمول
- تعداد پارامتر × بایت هر وزن، بهعلاوهٔ کش کانتکست
- کوانت ۴ بیتی
- حدود نیم گیگابایت برای هر میلیارد پارامتر
- بدون نصب
- canirun.ai در مرورگر
- ترمینال
- llmfit با مجوز MIT
- تأیید واقعی
- دستور
ollama psو عدد توکن بر ثانیه
سه عددی که همه‌چیز را تعیین میکند
اول، حافظه. مدل زبانی موقع اجرا وزنهایش را در حافظه نگه میدارد. اگر در VRAM کارت گرافیک جا شود، سریع اجرا میشود؛ اگر جا نشود، بخشی به رم سیستم میرود و سرعت چند برابر کم میشود. در مکهای اپل سیلیکون مرز VRAM و رم وجود ندارد و همان رم یکپارچه باید هم مدل و هم سیستمعامل را نگه دارد.
دوم، پهنای باند حافظه. دو کارت با ۱۲ گیگابایت VRAM میتوانند یک مدل را اجرا کنند و یکی دو برابر سریعتر باشد. ظرفیت تعیین میکند «میشود یا نه»، پهنای باند تعیین میکند «قابل استفاده هست یا نه».
سوم، طول کانتکست. هر توکن اضافه در کانتکست، حافظهٔ کش میخواهد. مدلی که با ۲ هزار توکن راحت جا میشد، با ۳۲ هزار توکن ممکن است سرریز کند. اگر عددی که ابزارها می‌دهند مرزی بود، اول کانتکست را کم کن.
ابزار‌هایی که جواب را می‌دهند
llmfit؛ دقیق‌ترین گزینه در ترمینال
یک ابزار ترمینالی متن‌باز با مجوز MIT که CPU، رم، کارت گرافیک و VRAM را میخواند و صدها مدل را در چهار معیار رتبه میدهد: جا شدن، سرعت تخمینی، کیفیت و طول کانتکست. کوانتهای GGUF، AWQ، GPTQ و EXL2 را میشناسد، چند کارت گرافیک و معماری MoE را هم حساب میکند و روی ویندوز، لینوکس و مک اجرا میشود.
# macOS / Linux
brew install AlexsJones/llmfit/llmfit
llmfit
# Windows
winget install --exact --id AlexsJones.llmfit
llmfitبدون فلگ، رابط متنی تعاملی باز میشود و بالا و پایین لیست، سختافزار خودت را نشان میدهد. اگر خروجی ساده می‌خواهی: llmfit recommend چند پیشنهاد برتر را چاپ میکند، llmfit info "model" یک مدل را با پایهٔ محاسبهاش باز میکند و llmfit bench سرعت واقعی را روی همان سیستم اندازه میگیرد.
canirun.ai؛ سریعترین راه، بدون نصب
یک صفحهٔ وب که کارت گرافیک یا مک تو را تشخیص میدهد و فهرست مدلهایی را میدهد که روی همان سختافزار اجرا میشوند، با حافظهٔ لازم و تخمین سرعت. مدل زبانی، مدل کدنویسی و حتی مدل تصویر و ویدیو را پوشش میدهد. برای جواب سریع قبل از دانلود چند گیگابایتی، همین کافی است.
llm-checker؛ وقتی Ollama داری و عدد واقعی می‌خواهی
یک ابزار خط فرمان Node.js که به Ollama وصل میشود، مدل را واقعاً دانلود و اجرا میکند و سرعت را اندازه میگیرد. تخمین نمیزند؛ امتحان میکند. یک محدودیت دارد: معماری MoE را مثل مدل معمولی حساب میکند، پس برای مدلهایی که فقط بخشی از پارامترهایشان فعال میشود، عدد حافظه را بدبینانه نشان میدهد.
Jan و LM Studio؛ برای کسی که ترمینال نمی‌خواهد
اپ Jan یک برنامهٔ دسکتاپ متن‌باز است که مدل را دانلود و اجرا میکند و کاتالوگ مدل را با اندازه و نیازمندی نشان میدهد. LM Studio هم رایگان است و کنار هر مدل مشخص میکند که کامل روی GPU اجرا میشود یا بخشی از آن روی CPU میافتد؛ فقط سورسباز نیست و مجوزش بسته است. اگر فقط می‌خواهی ببینی یک مدل روی سیستم تو سبز است یا زرد، همین برچسب کافی است.
| ابزار | چه میدهد | متن‌باز |
|---|---|---|
| llmfit | رتبه‌بندی صدها مدل برای سختافزار خودت، با تست سرعت | بله (MIT) |
| canirun.ai | چک سریع در مرورگر، شامل مدل تصویر و ویدیو | خیر (وب) |
| llm-checker | دانلود و بنچمارک واقعی مدل با Ollama | بله |
| Jan | اپ گرافیکی با کاتالوگ مدل و اجرای محلی | بله |
| LM Studio | نمایش سازگاری کامل یا جزئی هر مدل | خیر (رایگان) |
فرمول سر‌انگشتی، بدون نصب هیچ ابزاری
حجم وزنها تقریباً برابر است با تعداد پارامتر ضربدر بایت هر وزن. در دقت کامل (FP16) هر پارامتر ۲ بایت است، در کوانت ۸ بیتی حدود ۱ بایت و در کوانت ۴ بیتی حدود نیم بایت. یعنی مدل ۷ میلیارد پارامتری در ۴ بیت حدود ۴.۵ گیگابایت میبرد.
| حجم مدل | FP16 | ۸ بیت | ۴ بیت |
|---|---|---|---|
| ۷B | حدود ۱۴ گیگ | حدود ۷ گیگ | حدود ۴.۵ گیگ |
| ۱۳B | حدود ۲۶ گیگ | حدود ۱۳ گیگ | حدود ۸ گیگ |
| ۳۲B | حدود ۶۴ گیگ | حدود ۳۲ گیگ | حدود ۲۰ گیگ |
| ۷۰B | حدود ۱۴۰ گیگ | حدود ۷۰ گیگ | حدود ۴۲ گیگ |
این عددها فقط وزن مدل است. روی آن، کش کانتکست و سربار رانتایم را اضافه کن: برای ۸ هزار توکن کانتکست معمولاً ۱ تا ۴ گیگابایت. قاعدهٔ سر‌انگشتی: هیچوقت بیش از ۸۰ تا ۹۰ درصد VRAM را پر نکن، وگرنه مرورگر و سیستمعامل باید مدل را از حافظه بیرون بیندازند.
چه چیزی روی RTX 3090، RTX 4090 و H100 جا میشود؟
همان حساب را روی سه کارت پرسروصدای NVIDIA ببند؛ عددها از همان جدول بالا میآید:
| کارت گرافیک | حافظه | چه چیزی راحت جا میشود |
|---|---|---|
| NVIDIA GeForce RTX 3090 | ۲۴ گیگابایت | مدل ۳۲ میلیاردی در ۴ بیت (حدود ۲۰ گیگ)، با کانتکست کوتاه |
| NVIDIA GeForce RTX 4090 | ۲۴ گیگابایت | همان ۳۲ میلیاردی؛ مدل ۷۰ میلیاردی جا نمی‌شود |
| NVIDIA H100 | ۸۰ گیگابایت | ۷۰ میلیاردی در ۴ بیت با فضای راحت؛ در ۸ بیت فقط با کانتکست کوتاه |
دو کارت RTX 3090 و RTX 4090 حافظهٔ یکسان دارند (۲۴ گیگابایت)، پس جواب «چه چیزی جا میشود» برای هر دو یکی است؛ تفاوت در پهنای باند و سرعت است. H100 هم کارت دیتاسنتری است و روی لپتاپ معنا ندارد؛ اسمش را آوردیم چون سقف مرجع است: ۸۰ گیگابایت یعنی ۷۰ میلیاردی در ۴ بیت بدون دردسر.
اگر روی لپتاپ هستی، همین منطق برای کارتهای کوچکتر هم جواب میدهد: RTX 4060 لپتاپی با ۸ گیگابایت، مدل ۷ میلیاردی در ۴ بیت را راحت اجرا میکند.
بعد از نصب، چطور مطمئن شوی
عدد تخمینی خوب است، اندازهگیری بهتر. اگر با Ollama اجرا کردی، بعد از یک درخواست ollama ps را بزن: ستون PROCESSOR نشان میدهد مدل صد درصد روی GPU است یا بین GPU و CPU تقسیم شده. تقسیم شدن یعنی سرعت پایین، حتی اگر کار کند.
برای عدد سرعت، مدل را با --verbose اجرا کن و خروجی را ببین؛ نرخ توکن در ثانیه همانجاست. یک معیار ساده: بالای ۲۰ توکن در ثانیه روان است، بین ۵ تا ۱۰ قابل تحمل، و زیر ۳ برای هر کار جدی آزاردهنده.
اگر خواستی همان مدل را بهجای ترمینال از یک رابط وب بالا بیاوری، Open WebUI روی سرور خودت همین Ollama را به یک چت داخلی تبدیل میکند.
اگر مدل جا نشد، سه راه داری
- کوانت را پایین بیاور: از ۸ بیت به ۴ بیت، حجم تقریباً نصف میشود و افت کیفیت در بیشتر کارها کم است.
- کانتکست را کم کن: نصفکردن طول کانتکست، چند گیگابایت حافظهٔ کش آزاد میکند.
- مدل را عوض کن: مدلهای MoE فقط بخشی از پارامترها را فعال میکنند و برای همان کیفیت، حافظهٔ کمتری میخواهند.
اگر هیچکدام جواب نداد و کار واقعاً به مدل بزرگتر نیاز دارد، لپتاپ جای درستی نیست. یک سرور GPU همان مدل را در حافظهٔ کارت گرافیک نگه میدارد و از راه شبکه به بقیه سرویس میدهد. قیمت گزینههای موجود را هم در مقایسهٔ قیمت GPU در ایران جمع کردهایم.
لپتاپ جواب نداد؟ مدل را روی سرور GPU اجرا کن
سؤالات متداول
از کجا بفهمم یک مدل روی سیستم من اجرا میشود؟
سریعترین راه canirun.ai است: بدون نصب، کارت گرافیک یا مک را تشخیص میدهد و مدلهای ممکن را با حافظهٔ لازم نشان میدهد. برای فهرست کاملتر و تست سرعت، llmfit را نصب کن؛ سختافزار را میخواند و صدها مدل را بر اساس جا شدن، سرعت، کیفیت و طول کانتکست رتبه میدهد.
VRAM مهمتر است یا RAM؟
برای سرعت، VRAM کارت گرافیک تعیینکننده است؛ مدلی که در VRAM جا شود چند برابر سریعتر از مدلی است که بخشی از آن به رم سیستم میرود. RAM فقط وقتی به کار میآید که کارت گرافیک کافی نداری یا مدل بزرگتر از VRAM است، و آن حالت با افت شدید سرعت همراه است. در مکهای اپل سیلیکون این دو یکی هستند و رم یکپارچه نقش VRAM را بازی میکند.
با ۱۶ گیگابایت رم و بدون کارت گرافیک چه مدلی اجرا میشود؟
مدلهای ۳ تا ۸ میلیارد پارامتری با کوانت ۴ بیتی، که حدود ۲ تا ۵ گیگابایت حافظه میبرند. سرعت روی CPU معمولاً بین ۵ تا ۱۵ توکن بر ثانیه است؛ برای پرسش و پاسخ ساده قابل تحمل، برای کدنویسی با عاملها کند. مدل ۷۰B در این حالت عملاً جواب نمیدهد.
چرا مدل روی کارت گرافیک جا میشود ولی خیلی کند است؟
دو دلیل رایج: اول، بخشی از لایهها روی CPU افتاده و ابزار این را پنهان نمیکند؛ با ollama ps ستون PROCESSOR را ببین. دوم، طول کانتکست: کش کانتکست با زیاد شدن توکنها بزرگ میشود و همان چند گیگابایت باقیمانده را پر میکند. کانتکست را کمتر کن یا کوانت پایینتری بردار.
این ابزارها چقدر دقیقاند؟
عدد حافظه را خوب تخمین میزنند، چون از تعداد پارامتر و فرمت کوانت میآید. سرعت تخمینی است، چون به پهنای باند حافظه، نسخهٔ درایور و خود رانتایم بستگی دارد. برای عدد واقعی، بعد از نصب با ollama و گزینهٔ verbose یا با llmfit bench اندازه بگیر.
آیا اجرای مدل روی لپتاپ به اینترنت نیاز دارد؟
بعد از دانلود مدل، نه. دانلود اولیه چند گیگابایت است و به اینترنت نیاز دارد، ولی اجرا کاملاً محلی است و هیچ درخواستی به بیرون نمیرود. همین دلیل اصلی استفاده از مدل محلی برای دادههای حساس است.
منابع
- llmfit — ابزار ترمینالی تشخیص سختافزار، مجوز MIT.
- canirun.ai — چک سختافزار در مرورگر، با حافظه و تخمین سرعت.
- llm-checker — بنچمارک واقعی مدلها روی Ollama.
- Running AI models locally — راهنمای سختافزار Jan.
- Ollama — مستندات رانتایم و دستور
ollama ps.