200 Satırda Çıplak GPTAşağıdaki linkte Andrej Karpathy’nin anlattığı MicroGPT, tamamen yalın haliyle bir GPT modelinin nasıl çalıştığını gösteren 200 satırlık, saf Python’dan oluşan bir proje. Dış kütüphane yok, PyTorch yok, NumPy yok. Sadece temel Python fonksiyonlarıyla GPT-2 tarzı bir modelin hem eğitimi hem de çıkarımı yapılıyor.
- Tüm GPT mantığı tek dosyada: Dataset hazırlama, karakter seviyesinde tokenizer, kendi yazdığı küçük bir autograd motoru, GPT-2 benzeri çoklu başlıklı dikkat mekanizması, feed-forward katmanlar, positional embedding, Adam optimizasyonu. Hepsi tek dosyada.
- Amaç sadelik: Karpathy bunu "LLM’lerin özünü en küçük haliyle göstermek" olarak tanımlıyor. Yıllardır devam eden micrograd, makemore, nanogpt çizgisinin son halkası.
- Küçük veri örneği 32.000 isimlik basit bir dataset kullanıyor. Model, ismin karakter yapısını öğrenip yeni, benzer isimler "halüsinasyon" olarak üretebiliyor
- Eğitim süreci tamamen görünür Modern framework’lerde gizlenen matematikler burada tamamen açık. Autograd motoru bile sıfırdan yazıldığı için her adım anlaşılabilir durumda.
- Öğrenmek isteyenler için ideal: Amaç güçlü bir model üretmek değil, GPT’nin çekirdeğini tamamen şeffaf şekilde göstermek. Eğitim, prototipleme ve mekanikleri anlamada çok faydalı.
Kaynak :
https://karpathy.github.io/2026/02/12/microgpt/GitHub :
https://gist.github.com/karpathy/8627fe009c40f57531cb18360106ce95
