Open a model page on Hugging Face and you'll often see a dozen versions of the same model: Q2_K, Q4_K_M, Q5_K_S, Q8_0, F16. They're all the same model, compressed by different amounts. That compression is called quantization, and it's the reason a model trained on a data-centre GPU can run on your laptop at all.
What's being compressed
A language model is mostly a huge list of numbers called weights. An 8-billion-parameter model has about 8 billion of them. In training, each weight is usually stored as a 16-bit number, which takes 2 bytes:
8 billion × 2 bytes ≈ 16 GB
That's too big for most laptops. Quantization stores each weight with fewer bits, rounding it to the nearest of a smaller set of values. At 4 bits per weight, the same model shrinks to roughly a quarter of the size.
Reading the names
The names come from llama.cpp's GGUF format, now the standard for local models:
- The number is the approximate bits per weight: Q4 ≈ 4 bits, Q8 ≈ 8 bits.
- K means the newer "k-quant" method, which groups weights into blocks and keeps more precision where it matters most. Prefer K versions.
- S, M, L are small, medium and large variants: how many of the most sensitive layers get extra bits.
- F16 / BF16 is the uncompressed original. IQ quants (like
IQ3_XXS) use a newer technique that squeezes very low bit counts a bit better.
How much quality do you lose?
| Level | Size of an 8B model | Quality vs original |
|---|
| F16 | ~16 GB | Reference |
| Q8_0 | ~8.5 GB | Practically identical |
| Q6_K | ~6.6 GB | Very hard to tell apart |
| Q5_K_M | ~5.7 GB | Tiny loss |
| Q4_K_M | ~4.9 GB | Small loss; the usual sweet spot |
| Q3_K_M | ~4.0 GB | Noticeable on maths, code and facts |
| Q2_K | ~3.2 GB | Clearly worse; last resort |
Sizes are approximate and vary by model. The pattern holds everywhere, though: quality drops very slowly down to about 4 bits, then falls off quickly.
Bigger model, smaller quant?
A larger model at Q4 usually beats a smaller model at Q8 of the same file size.
If your computer can hold about 8 GB, a 14B model at Q4 will typically be smarter than a 7B model at Q8. The exception is very aggressive quants: a 30B model squeezed to Q2 may ramble more than a well-quantized 14B. Stay at Q3 or above when you can.
Don't forget the context
The file size isn't the whole memory bill. While it runs, the model also keeps a KV cache of the conversation so far, which grows with the context length. A long chat or a big document can add one or several gigabytes. Leave some headroom, or lower the context size in your app's settings.
What about MLX on a Mac?MLX models use their own naming, usually 4bit, 6bit or 8bit. The same rules apply: 4-bit is the common choice, 8-bit if you have memory to spare.
Let the app pick
Synapse reads your chip, memory and graphics card (including VRAM on Windows) and suggests the model and quantization that will actually run well, so you can skip the guesswork. You can still search Hugging Face for any GGUF or MLX file and choose a different level yourself. For more on how much memory you need, see our memory guide.
Hugging Face'te bir model sayfası açtığınızda çoğu zaman aynı modelin bir düzine sürümünü görürsünüz: Q2_K, Q4_K_M, Q5_K_S, Q8_0, F16. Hepsi aynı model, farklı oranlarda sıkıştırılmış. Bu sıkıştırmaya nicemleme (quantization) denir ve veri merkezi GPU'sunda eğitilmiş bir modelin dizüstünüzde çalışabilmesinin sebebi budur.
Sıkıştırılan ne?
Bir dil modeli büyük ölçüde ağırlık denen devasa bir sayı listesinden oluşur. 8 milyar parametreli bir modelde bunlardan yaklaşık 8 milyar tane vardır. Eğitimde her ağırlık genellikle 2 bayt yer kaplayan 16 bitlik bir sayı olarak saklanır:
8 milyar × 2 bayt ≈ 16 GB
Bu, çoğu dizüstü için fazla büyük. Nicemleme her ağırlığı daha az bitle saklar ve onu daha küçük bir değer kümesindeki en yakın değere yuvarlar. Ağırlık başına 4 bitte aynı model kabaca dörtte bir boyutuna iner.
Adları okumak
Adlar, artık yerel modeller için standart olan llama.cpp'nin GGUF biçiminden gelir:
- Sayı, ağırlık başına yaklaşık bit sayısıdır: Q4 ≈ 4 bit, Q8 ≈ 8 bit.
- K, ağırlıkları bloklara ayırıp en önemli yerlerde daha fazla hassasiyet tutan yeni "k-quant" yöntemini ifade eder. K sürümlerini tercih edin.
- S, M, L küçük, orta ve büyük varyantlardır: en hassas katmanların ne kadarının fazladan bit aldığını gösterir.
- F16 / BF16 sıkıştırılmamış asıl modeldir. IQ nicemlemeleri (
IQ3_XXS gibi) çok düşük bit sayılarını biraz daha iyi sıkıştıran yeni bir teknik kullanır.
Ne kadar kalite kaybedersiniz?
| Seviye | 8B bir modelin boyutu | Asıl modele göre kalite |
|---|
| F16 | ~16 GB | Referans |
| Q8_0 | ~8,5 GB | Pratikte aynı |
| Q6_K | ~6,6 GB | Ayırt etmesi çok zor |
| Q5_K_M | ~5,7 GB | Çok küçük kayıp |
| Q4_K_M | ~4,9 GB | Küçük kayıp; genellikle en iyi denge |
| Q3_K_M | ~4,0 GB | Matematik, kod ve bilgide fark edilir |
| Q2_K | ~3,2 GB | Belirgin şekilde kötü; son çare |
Boyutlar yaklaşıktır ve modele göre değişir. Ama örüntü her yerde geçerlidir: kalite 4 bit civarına kadar çok yavaş düşer, sonra hızla bozulur.
Daha büyük model mi, daha küçük nicemleme mi?
Aynı dosya boyutunda, Q4'teki büyük bir model genellikle Q8'deki küçük bir modeli yener.
Bilgisayarınız yaklaşık 8 GB taşıyabiliyorsa Q4'teki 14B bir model, Q8'deki 7B bir modelden genellikle daha akıllıdır. İstisna çok agresif nicemlemelerdir: Q2'ye sıkıştırılmış 30B bir model, iyi nicemlenmiş 14B bir modelden daha çok saçmalayabilir. Mümkünse Q3 ve üstünde kalın.
Bağlamı unutmayın
Dosya boyutu, bellek faturasının tamamı değildir. Model çalışırken o ana kadarki konuşmanın KV önbelleğini de tutar ve bu, bağlam uzunluğuyla büyür. Uzun bir sohbet ya da büyük bir belge bir ya da birkaç gigabayt ekleyebilir. Biraz pay bırakın ya da uygulamanızın ayarlarından bağlam boyutunu düşürün.
Mac'te MLX ne olacak?MLX modelleri kendi adlandırmasını kullanır, genellikle 4bit, 6bit ya da 8bit. Aynı kurallar geçerlidir: 4 bit yaygın tercihtir, belleğiniz bolsa 8 bit.
Seçimi uygulamaya bırakın
Synapse çipinizi, belleğinizi ve ekran kartınızı (Windows'ta VRAM dahil) okur ve gerçekten iyi çalışacak modeli ve nicemlemeyi önerir; böylece tahmin yürütmenize gerek kalmaz. Yine de Hugging Face'te herhangi bir GGUF ya da MLX dosyasını arayıp farklı bir seviyeyi kendiniz seçebilirsiniz. Ne kadar belleğe ihtiyacınız olduğu için bellek rehberimize göz atın.
