When you chat with an AI in a browser, your message travels to a data centre, runs on hardware worth more than a house, and the answer comes back. But you don't have to do it that way. Thousands of capable open models can be downloaded and run on an ordinary laptop, with nothing leaving your computer.
Both approaches are useful. This post explains the trade-offs so you can choose with your eyes open. (It's also the thinking behind Synapse, our app that does both.)
What "running a model locally" means
A language model is, at heart, a very large file of numbers called weights, plus a program that uses them to predict text. Running it locally means downloading that file (usually in a format called GGUF, or MLX on Apple silicon) and letting an engine like llama.cpp or MLX do the maths on your own processor and graphics chip.
Models are described by their number of parameters: 1B, 4B, 8B, 70B and so on (B for billion). More parameters usually means more knowledge and better reasoning, but also more memory and slower answers.
How much memory you need
Full-precision weights are huge, so local models are almost always quantized: their numbers are stored with fewer bits. A 4-bit quantization keeps most of the quality at roughly a quarter of the size. A useful rule of thumb for 4-bit models:
| Model size | Memory needed (approx.) | Runs well on |
|---|
| 1–4B | 1–3 GB | Almost any recent laptop, even with 8 GB RAM |
| 7–9B | 5–6 GB | 16 GB Mac or a PC with an 8 GB graphics card |
| 12–14B | 8–10 GB | 24–32 GB Mac or a 12–16 GB graphics card |
| 30–35B | 18–22 GB | 32–64 GB Mac or a 24 GB graphics card |
| 70B+ | 40 GB+ | High-end workstations |
You also need room for the context (the conversation so far), and the rest of your system still needs memory. On a Mac, Apple silicon shares memory between CPU and GPU, which is why Macs are surprisingly good at local AI. On a PC, what matters most is the graphics card's own memory (VRAM).
Speed checkLocal speed is measured in tokens per second (a token is roughly three-quarters of a word). Around 10 tokens/s feels like comfortable reading speed; below 5 starts to feel slow.
Where local wins
- Privacy. Your prompts, documents and code never leave the machine. That matters for medical questions, client data, unreleased work or anything you wouldn't email to a stranger.
- Offline. Works on a plane, in a basement, or when a service goes down.
- No limits and no bills. Ask a thousand questions; nobody counts.
- It doesn't change under you. The model you downloaded today behaves the same next year.
Where the cloud wins
- Raw intelligence. The biggest models are far larger than anything a laptop can hold, and for hard reasoning, long documents and complex code the difference is real.
- Speed. Data-centre hardware can produce hundreds of tokens per second.
- Nothing to install, and it works the same on a cheap laptop or a phone.
The costs: your data is processed on someone else's servers under their privacy policy, free tiers have rate limits, and paid plans add up. Some providers (Google AI Studio, Groq and OpenRouter, for example) offer free API access with daily limits, which is great for trying things out. Check each provider's terms, since free tiers may use your prompts to improve their models.
How to choose
We think the best answer is both, picked per task:
- Private notes, personal documents, quick rewrites, summaries, offline work: local.
- Hard maths, large codebases, long research with web search: cloud.
- Learning how AI works, or experimenting: local. You'll learn more, and it's free.
Small open models have improved remarkably fast. Questions that needed a giant cloud model two years ago are often handled well by a 4B–8B model today. If you haven't tried a local model recently, it's worth another look.
Tarayıcıda bir yapay zekâyla sohbet ettiğinizde mesajınız bir veri merkezine gider, bir evden daha pahalı donanımda çalışır ve yanıt geri gelir. Ama bunu böyle yapmak zorunda değilsiniz. Binlerce yetenekli açık model indirilip sıradan bir dizüstü bilgisayarda, hiçbir şey bilgisayarınızdan çıkmadan çalıştırılabilir.
İki yaklaşım da işe yarar. Bu yazı, bilinçli bir seçim yapabilmeniz için artılarını ve eksilerini anlatıyor. (Bu, ikisini birden yapan uygulamamız Synapse'in ardındaki düşünce de.)
"Modeli yerelde çalıştırmak" ne demek?
Bir dil modeli özünde ağırlık denen çok büyük bir sayı dosyası ve bu sayıları kullanarak metin tahmin eden bir programdır. Yerelde çalıştırmak, bu dosyayı (genellikle GGUF biçiminde, Apple silicon'da ise MLX biçiminde) indirmek ve llama.cpp ya da MLX gibi bir motorun hesapları kendi işlemcinizde ve grafik yongalarınızda yapmasına izin vermek demektir.
Modeller parametre sayılarıyla anılır: 1B, 4B, 8B, 70B ve benzeri (B milyar demektir). Daha fazla parametre genellikle daha fazla bilgi ve daha iyi akıl yürütme anlamına gelir, ama aynı zamanda daha fazla bellek ve daha yavaş yanıtlar demektir.
Ne kadar belleğe ihtiyacınız var?
Tam hassasiyetli ağırlıklar çok büyüktür, bu yüzden yerel modeller neredeyse her zaman nicemlenir (quantization): sayıları daha az bitle saklanır. 4 bitlik nicemleme, kalitenin çoğunu yaklaşık dörtte bir boyutta korur. 4 bitlik modeller için işe yarar bir kaba hesap:
| Model boyutu | Gereken bellek (yaklaşık) | İyi çalıştığı yer |
|---|
| 1–4B | 1–3 GB | 8 GB RAM'li olanlar dahil neredeyse her yeni dizüstü |
| 7–9B | 5–6 GB | 16 GB Mac ya da 8 GB ekran kartlı PC |
| 12–14B | 8–10 GB | 24–32 GB Mac ya da 12–16 GB ekran kartı |
| 30–35B | 18–22 GB | 32–64 GB Mac ya da 24 GB ekran kartı |
| 70B+ | 40 GB+ | Üst düzey iş istasyonları |
Ayrıca bağlam (o ana kadarki konuşma) için de yer gerekir ve sisteminizin geri kalanı da bellek kullanmaya devam eder. Apple silicon'lu Mac'lerde bellek işlemci ve grafik birimi arasında paylaşılır; Mac'lerin yerel yapay zekâda şaşırtıcı derecede iyi olmasının nedeni budur. PC'de ise en önemli şey ekran kartının kendi belleğidir (VRAM).
Hız kontrolüYerel hız, saniyedeki token sayısıyla ölçülür (bir token kabaca bir kelimenin dörtte üçüdür). Saniyede 10 token civarı rahat bir okuma hızı gibi gelir; 5'in altı yavaş hissettirmeye başlar.
Yerel çalıştırmanın üstün olduğu yerler
- Gizlilik. İstekleriniz, belgeleriniz ve kodunuz makineden hiç çıkmaz. Sağlık soruları, müşteri verileri, yayımlanmamış işler ya da bir yabancıya e-postayla göndermeyeceğiniz her şey için bu önemlidir.
- Çevrimdışı. Uçakta, bodrumda ya da bir servis çöktüğünde çalışır.
- Sınır ve fatura yok. Bin soru sorun, kimse saymaz.
- Elinizdeyken değişmez. Bugün indirdiğiniz model gelecek yıl da aynı şekilde davranır.
Bulutun üstün olduğu yerler
- Ham zekâ. En büyük modeller bir dizüstünün taşıyabileceği her şeyden çok daha büyüktür; zor akıl yürütme, uzun belgeler ve karmaşık kodda fark gerçektir.
- Hız. Veri merkezi donanımı saniyede yüzlerce token üretebilir.
- Kurulacak bir şey yok ve ucuz bir dizüstünde de telefonda da aynı şekilde çalışır.
Bedeli şu: verileriniz başkasının sunucularında, onların gizlilik politikasına göre işlenir; ücretsiz katmanların kullanım sınırları vardır ve ücretli planlar zamanla birikir. Bazı sağlayıcılar (örneğin Google AI Studio, Groq ve OpenRouter) günlük sınırlarla ücretsiz API erişimi sunar; bir şeyleri denemek için harikadır. Her sağlayıcının koşullarını kontrol edin, çünkü ücretsiz katmanlar isteklerinizi modellerini geliştirmek için kullanabilir.
Nasıl seçmeli?
Bize göre en iyi yanıt, işe göre seçilen ikisi birden:
- Özel notlar, kişisel belgeler, hızlı yeniden yazımlar, özetler, çevrimdışı iş: yerel.
- Zor matematik, büyük kod tabanları, web aramalı uzun araştırmalar: bulut.
- Yapay zekânın nasıl çalıştığını öğrenmek ya da denemeler yapmak: yerel. Daha çok şey öğrenirsiniz ve ücretsizdir.
Küçük açık modeller dikkat çekici bir hızla gelişti. İki yıl önce dev bir bulut modeli gerektiren sorular bugün çoğu zaman 4B–8B bir modelle gayet iyi yanıtlanıyor. Bir süredir yerel model denemediyseniz yeniden bakmaya değer.
