The single question that decides which AI models you can run on your own computer is: how much memory can the model use? Not the processor, not the brand. Memory sets the ceiling; the processor sets the speed.
The quick formula
For a model in the common Q4 format:
Memory needed ≈ parameters (in billions) × 0.6 GB, plus 1–2 GB for the conversation.
So a 4B model needs about 3–4 GB, an 8B model about 6–7 GB, a 14B model about 10 GB and a 32B model about 21 GB. At Q8, roughly double the first number. Our quantization guide explains where these numbers come from.
Which memory counts?
On an Apple Silicon Mac, the CPU and GPU share one pool of unified memory. A Mac with 16 GB can give most of it to the model. macOS keeps some for itself, so plan on using roughly two-thirds to three-quarters of the total.
On a Windows PC with a graphics card, what matters most is the card's own VRAM. A model that fits entirely in VRAM is fast. If it doesn't fit, engines like llama.cpp can split it, keeping some layers in normal RAM on the CPU, but every layer that spills over slows it down noticeably.
On a PC without a dedicated GPU, the model runs from system RAM on the CPU. It works, just more slowly: fine for small models, patient for medium ones.
What each tier gets you
| Memory available | Comfortable models (Q4) | Good for |
|---|
| 8 GB | 1–4B, an 8B at a squeeze | Quick questions, summaries, rewriting, simple code help |
| 16 GB | 7–14B | Solid everyday assistant, decent coding, document Q&A |
| 24–32 GB | 14–32B, efficient mixture-of-experts models | Strong reasoning and coding, longer documents |
| 64 GB+ | 70B class and large MoE models | Close to mid-tier cloud models for many tasks |
Mixture-of-experts (MoE) models change the maths a little. They have many parameters in total but only use a fraction for each word, so they run like a smaller model while needing the memory of a bigger one. If you have plenty of memory but a modest GPU, they're often the best choice.
Speed: memory bandwidth
Once a model fits, its speed depends mostly on memory bandwidth: how fast the chip can read all those weights for every word it writes. That's why an M-series Max or Ultra chip, or a desktop graphics card, generates text several times faster than a thin laptop with the same amount of memory. As a rough guide, about 10 tokens per second feels like comfortable reading speed.
Close the browser tabsOn 8 or 16 GB machines, a browser with dozens of tabs can easily use 3–4 GB. Closing heavy apps before loading a model can be the difference between smooth and swapping.
Upgrading? What to look for
- Mac: memory can't be upgraded later, so buy more than you think. 16 GB is the realistic minimum for local AI; 24–32 GB is comfortable.
- PC: VRAM matters more than GPU speed. A card with 12–16 GB opens up most mid-size models.
- Either: if a model is too big, try a smaller version from the same family before giving up.
Let Synapse check for you
Synapse reads your chip, memory and graphics card and marks every model as fitting comfortably, fitting tightly or too big before you download it. On Windows it also checks VRAM, and it uses NVIDIA cards through CUDA and AMD or Intel cards through Vulkan. And if a task needs more than your computer can handle, you can switch to a free cloud model in the same chat.
Kendi bilgisayarınızda hangi yapay zekâ modellerini çalıştırabileceğinizi belirleyen tek soru şudur: model ne kadar bellek kullanabilir? İşlemci değil, marka değil. Tavanı bellek belirler; hızı işlemci.
Hızlı formül
Yaygın Q4 biçimindeki bir model için:
Gereken bellek ≈ parametre sayısı (milyar) × 0,6 GB, artı konuşma için 1–2 GB.
Yani 4B bir model yaklaşık 3–4 GB, 8B bir model yaklaşık 6–7 GB, 14B bir model yaklaşık 10 GB ve 32B bir model yaklaşık 21 GB ister. Q8'de ilk sayıyı kabaca ikiye katlayın. Bu sayıların nereden geldiğini nicemleme rehberimiz anlatıyor.
Hangi bellek önemli?
Apple Silicon bir Mac'te CPU ve GPU tek bir birleşik bellek havuzunu paylaşır. 16 GB'lık bir Mac bunun çoğunu modele verebilir. macOS bir kısmını kendine ayırır; toplamın kabaca üçte ikisi ile dörtte üçünü kullanmayı planlayın.
Ekran kartı olan bir Windows PC'de en önemli olan kartın kendi VRAM'idir. Tamamen VRAM'e sığan bir model hızlıdır. Sığmazsa llama.cpp gibi motorlar onu bölebilir ve bazı katmanları normal RAM'de CPU'da tutabilir, ama taşan her katman onu belirgin şekilde yavaşlatır.
Ayrı ekran kartı olmayan bir PC'de model, sistem RAM'inden CPU üzerinde çalışır. Çalışır, sadece daha yavaştır: küçük modeller için yeterli, orta boy modeller için sabır ister.
Her seviye size ne kazandırır?
| Kullanılabilir bellek | Rahat çalışan modeller (Q4) | Neye uygun |
|---|
| 8 GB | 1–4B, zorlanarak bir 8B | Hızlı sorular, özetler, yeniden yazma, basit kod yardımı |
| 16 GB | 7–14B | Sağlam bir günlük asistan, iyi kodlama, belgeler üzerinde soru-cevap |
| 24–32 GB | 14–32B, verimli uzman karışımı modeller | Güçlü akıl yürütme ve kodlama, daha uzun belgeler |
| 64 GB+ | 70B sınıfı ve büyük MoE modeller | Birçok işte orta seviye bulut modellerine yakın |
Uzman karışımı (MoE) modeller hesabı biraz değiştirir. Toplamda çok sayıda parametreleri vardır ama her kelime için yalnızca bir kısmını kullanırlar; bu yüzden daha büyük bir modelin belleğine ihtiyaç duyarken daha küçük bir model gibi çalışırlar. Belleğiniz bol ama GPU'nuz mütevazıysa çoğu zaman en iyi seçimdir.
Hız: bellek bant genişliği
Bir model sığdıktan sonra hızı büyük ölçüde bellek bant genişliğine bağlıdır: çipin yazdığı her kelime için tüm o ağırlıkları ne kadar hızlı okuyabildiği. Bu yüzden M serisi bir Max ya da Ultra çip veya bir masaüstü ekran kartı, aynı belleğe sahip ince bir dizüstüden birkaç kat hızlı metin üretir. Kabaca, saniyede yaklaşık 10 token rahat bir okuma hızı gibi gelir.
Tarayıcı sekmelerini kapatın8 ya da 16 GB'lık makinelerde onlarca sekmesi açık bir tarayıcı kolayca 3–4 GB kullanabilir. Bir modeli yüklemeden önce ağır uygulamaları kapatmak, akıcı çalışma ile diske takas arasındaki fark olabilir.
Yükseltme mi düşünüyorsunuz? Nelere bakmalı?
- Mac: bellek sonradan yükseltilemez; düşündüğünüzden fazlasını alın. Yerel yapay zekâ için gerçekçi alt sınır 16 GB; 24–32 GB rahattır.
- PC: VRAM, GPU hızından daha önemlidir. 12–16 GB'lık bir kart orta boy modellerin çoğunun önünü açar.
- Her ikisi: bir model çok büyükse vazgeçmeden önce aynı ailenin daha küçük bir sürümünü deneyin.
Synapse sizin için kontrol etsin
Synapse çipinizi, belleğinizi ve ekran kartınızı okur ve her modeli siz indirmeden önce rahat sığıyor, sıkışık sığıyor ya da çok büyük olarak işaretler. Windows'ta VRAM'i de kontrol eder; NVIDIA kartları CUDA, AMD ve Intel kartları Vulkan üzerinden kullanır. Bir iş bilgisayarınızın kaldırabileceğinden fazlasını gerektirirse aynı sohbette ücretsiz bir bulut modeline geçebilirsiniz.
