Beta Space StudioBeta Space Studio logo
← Kaynaklara Geri Dön
📊 BenchmarklarNEW

TRLawBench

Türk hukuku LLM benchmarkı: Büyük dil modellerinin Türkçe hukuki bilgi ve muhakeme yetkinliğini 3 aşamada ölçer. ÖSYM soruları, ileri düzey muhakeme ve açık uçlu analizle toplam 297 soru üzerinde kapsamlı değerlendirme.

GitHub
Geliştirici: Beta Space Studio•

Genel Bakış

TRLawBench, büyük dil modellerinin (GPT, Claude, Gemini, Gemma, Qwen, Grok, DeepSeek, Mistral, Llama ve diğerleri) Türk hukuku üzerindeki yetkinliğini ölçmek için tasarlanmış üç aşamalı açık bir benchmark projesidir. Avukat Esat Erbil Tavus ile ortak hazırlanan Aşama 2 ve Aşama 3 soruları, basılı kaynaklardan derlenip internete hiç düşmediği için modellerin eğitim verilerine sızma riski bulunmamaktadır.

Neden TRLawBench?

  • Türkçe hukuki muhakeme odağı: Genel dil becerisi değil, Türk Borçlar Kanunu, TCK, Anayasa gibi ulusal mevzuat üzerinden değerlendirme.
  • Kirlilikten arınmış test seti: 200 soru basılı kaynaklardan geliyor; model eğitim verisinde olma olasılığı yok.
  • Şeffaf metodoloji: Doğru cevap tespiti deterministik; LLM yargıç yalnızca muhakeme kalitesini puanlıyor ve hangi modelin cevap verdiğini bilmiyor.

Değerlendirme Metodolojisi

  • Aşama 1: Temel Hukuki Bilgi. ÖSYM hukuk sınavlarından 97 çoktan seçmeli soru. Doğru cevap ÖSYM anahtarı baz alınarak belirlenir.
  • Aşama 2: Türk Hukuku İleri Muhakeme. 14 kategoride 100 ileri düzey çoktan seçmeli soru. Basılı kaynak, internet dışı.
  • Aşama 3: Açık Uçlu Sorular. 100 açık uçlu soru, 14 hukuk dalı. Deterministik doğru-cevap kontrolü + Gemini 3.1 Pro kör yargıç puanlaması (0 ile 10 arasında).

Her aşama için sıralama, doğruluk oranı ve örnek soru-cevaplar yukarıdaki interaktif panelde yer almaktadır.

Aşama 03Yargıç: Gemini 3.1 Pro Preview50 model

Açık Uçlu Sorular

Av. Esat Erbil Tavus ile hazırladığımız üçüncü aşama, 14 farklı hukuk dalında kategorize edilmiş 100 açık uçlu hukuki sorudan oluşur. Sorular çeşitli basılı kaynaklardan derlendiği ve internette yer almadığı için modellerin eğitim verilerine dahil olma ihtimali bulunmuyor. Her bir soru; gerekçelendirme, mevzuat ve içtihat atfı içeren serbest metin formatında yanıtlar üretilmesini gerektirir.

Doğru cevap sayısı deterministik olarak belirlenir: Her sorunun soru bankasında kesin bir doğru cevabı vardır ve modelin ulaştığı harf bu cevapla karşılaştırılır. Değerlendirmede LLM yargıç devrede olmadığı için self-bias olasılığı yoktur. Gemini 3.1 Pro (kör yargıç olarak, cevabı veren modelin kimliğini bilmeden) her yanıtı ayrıca 0 ile 10 arasında puanlar: İstenen muhakeme yolunu eksiksiz takip eden doğru cevaplar 10 alır; muhakeme sürecinde eksiklik bulunan doğru cevaplar 10'dan az alır; yanlış sonuca ulaşsa bile muhakemesi büyük ölçüde doğru olan yanıtlar ise 0'ın üzerinde puan alabilir. Değerlendirme Nisan 2026'da yapıldı.

Skor Karşılaştırması

Gemini 3.1 Pro + YargıPro
Google·9.85 ort.
96 / 100
Gemini 3.1 Pro Preview
Google·9.73 ort.
92 / 100
Gemini 3.5 Flash + YargıPro
Google·9.58 ort.
91 / 100
GPT-5.6 Sol + YargıPro
OpenAI·9.44 ort.
91 / 100
Qwen 3.8 Max + YargıPro
Alibaba·9.44 ort.
90 / 100
Fable 5 + YargıPro
Anthropic·9.64 ort.
90 / 100
GPT-5.6 Terra + YargıPro
OpenAI·9.50 ort.
90 / 100
Gemini 3 Flash Preview
Google·9.46 ort.
90 / 100
Claude Opus 5 + YargıPro
Anthropic·9.59 ort.
89 / 100
GPT-5.6 Sol
OpenAI·9.65 ort.
89 / 100
GPT-5.5 + YargıPro
OpenAI·9.38 ort.
89 / 100
GPT-5.6 Terra
OpenAI·9.33 ort.
89 / 100
Grok 4.5 + YargıPro
xAI·9.35 ort.
88 / 100
Claude Opus 5
Anthropic·9.49 ort.
87 / 100
GPT-5.6 Luna + YargıPro
OpenAI·9.25 ort.
87 / 100
Qwen 3.8 Max
Alibaba·9.14 ort.
86 / 100
Fable 5
Anthropic·9.45 ort.
86 / 100
Kimi K3 + YargıPro
Moonshot·9.10 ort.
85 / 100
GPT-5.5
OpenAI·9.38 ort.
85 / 100
DeepSeek V4 Pro + YargıPro
DeepSeek·8.97 ort.
85 / 100
Claude Sonnet 5 + YargıPro
Anthropic·8.92 ort.
85 / 100
Gemini 3.5 Flash
Google·9.18 ort.
84 / 100
DeepSeek V4 Flash 0731 + YargıPro
DeepSeek·8.93 ort.
83 / 100
Claude Opus 4.8 + YargıPro
Anthropic·9.23 ort.
82 / 100
GPT-5.4
OpenAI·9.08 ort.
81 / 100
Claude Opus 4.7
Anthropic·9.02 ort.
81 / 100
Claude Opus 4.6
Anthropic·9.03 ort.
80 / 100
GPT-5.6 Luna
OpenAI·8.90 ort.
80 / 100
Inkling + YargıPro
Thinking Machines·8.48 ort.
78 / 100
GLM 5.2 + YargıPro
Zhipu·8.02 ort.
78 / 100
Claude Opus 4.8
Anthropic·9.03 ort.
77 / 100
Claude Sonnet 4.6
Anthropic·8.38 ort.
77 / 100
Gemma 4 31B · MCP
Google·8.38 ort.
76 / 100
Gemma 4 26B A4B · MCP
Google·8.11 ort.
76 / 100
Gemma 4 12B + YargıPro
Google·7.82 ort.
75 / 100
Grok 4.5
xAI·8.51 ort.
73 / 100
Claude Sonnet 5
Anthropic·8.13 ort.
67 / 100
Kimi K3
Moonshot·8.01 ort.
66 / 100
DeepSeek V4 Flash 0731
DeepSeek·7.85 ort.
62 / 100
Inkling
Thinking Machines·7.43 ort.
62 / 100
GPT-5.4 Mini
OpenAI·7.76 ort.
61 / 100
Grok 4.20
xAI·7.38 ort.
60 / 100
Gemma 4 31B
Google·7.30 ort.
60 / 100
Gemini 3.1 Flash Lite Preview
Google·7.50 ort.
58 / 100
Gemma 4 26B A4B
Google·7.11 ort.
58 / 100
DeepSeek V4 Pro
DeepSeek·7.45 ort.
57 / 100
Qwen 3.6 Plus
Alibaba·6.97 ort.
57 / 100
GLM 5.2
Zhipu·6.64 ort.
53 / 100
Gemma 4 12B
Google·6.17 ort.
47 / 100
GPT OSS 120B
OpenAI·4.78 ort.
42 / 100

Örnek Soru

  • AMaliye Bakanlığına başvurmak suretiyle
  • Bİdare mahkemesinde dava açmak suretiyle
  • CMal sahibi idareye başvurup, olumsuz cevap alırsa Danıştay'a başvurmak suretiyle
  • DO yer asliye hukuk mahkemesine başvurmak suretiyle
  • EBaşbakanlığa başvurmak suretiyle
Beklenen Cevap
Bir kamu tüzel kişisi bir başka kamu tüzel kişisinin taşınmazına ihtiyaç duyarsa, kamulaştırma yapamaz, aksi halde, konusu gayrimeşru olan bu işlem yok hükmünde sayılır. Kamu tüzel kişilerinin ve kurumlarının sahip oldukları taşınmaz mal, kaynak veya irtifak hakları diğer bir kamu tüzel kişisi veya kurumu tarafından kamulaştırılamaz. İlgili idarenin başvuruya olumsuz cevap vermesi durumunda, alıcı idarenin başvurusu üzerine devir istemi Danıştay idari dairesince incelenerek iki ay içinde kesin karara bağlanır. Yanıt, C seçeneği.
Model Cevabı
Claude Opus 4.6
Anthropic
Doğru
# 2942 Sayılı Kamulaştırma Kanunu - Kamu Tüzel Kişileri Arası Taşınmaz Devri ## İlgili Kanun Maddesi: Madde 30 2942 sayılı Kamulaştırma Kanunu'nun **30. maddesi**, kamu tüzel kişilerinin birbirlerine ait taşınmazlara ihtiyaç duyması halini özel olarak düzenler. Bu maddeye göre: > **Temel kural:** Kamu tüzel kişilerinin sahip oldukları taşınmaz mal, kaynak veya irtifak hakları diğer bir kamu tüzel kişisi veya kurumu tarafından **kamulaştırılamaz.** Bu nedenle olağan kamulaştırma yolu (asliye hukuk mahkemesi, bedel tespiti vs.) burada uygulanmaz. Bunun yerine **özel bir idari usul** öngörülmüştür: ### İki Aşamalı Süreç: | Aşama | Açıklama | |-------|----------| | **1. Aşama** | Taşınmaza ihtiyaç duyan idare, **mal sahibi idareye başvurarak** satın alma talebini bildirir | | **2. Aşama** | Mal sahibi idare **60 gün içinde** taşınmazı devretmez veya olumsuz cevap verirse → ihtiyaç sahibi idare **Danıştay'a** başvurarak devir kararı verilmesini talep eder | ## Seçeneklerin Değerlendirilmesi: - **A** ❌ Maliye Bakanlığı'na başvuru öngörülmemiştir. - **B** ❌ İdare mahkemesi yetkili değildir. - **C** ✅ Önce mal sahibi idareye başvuru, olumsuz cevap halinde **Danıştay'a başvuru** → Madde 30'un tam karşılığı. - **D** ❌ Asliye hukuk mahkemesi olağan kamulaştırma bedel tespit davalarında yetkilidir; kamu-kamu arası devir için değil. - **E** ❌ Başbakanlığa başvuru şeklinde bir usul kanunda yoktur. ## Gerekçe Madde 30, kamu tüzel kişileri arasındaki taşınmaz ihtiyacının **önce uzlaşma (idareye başvuru)**, uzlaşma sağlanamazsa **yargısal çözüm (Danıştay)** yoluyla giderilmesini öngörmektedir. Danıştay burada "ilk derece mahkemesi" sıfatıyla karar verir ve taşınmazın hangi idareye bırakılacağına kamu yararı ölçütüyle hükmeder. **CEVAP: C**
▶Değerlendirici Notu
Öğrencinin cevabı mükemmel bir hukuki analiz içermektedir. Öğrenci sadece doğru şıkkı (C) bulmakla kalmamış, aynı zamanda 2942 sayılı Kamulaştırma Kanunu'nun ilgili 30. maddesini isabetli bir şekilde tespit etmiştir. Kamu tüzel kişileri arasında kamulaştırma yapılamayacağı temel kuralını, sürecin idari aşamasını (mal sahibi idareye başvuru) ve uyuşmazlık aşamasını (Danıştay'a başvuru) eksiksiz ve sistematik bir tablo ile açıklamıştır. Ayrıca diğer seçeneklerin neden yanlış olduğunu da usul hukuku ve idare hukuku prensipleri çerçevesinde doğru bir şekilde gerekçelendirmiştir. Gerekçe tam, doyurucu ve hukuki terminoloji açısından kusursuzdur. PUAN: 10
#benchmark#llm#turkish-law#evaluation#hukuk#ösym#llm-as-a-judge#legal-reasoning
TRLawBench - Resources | Beta Space Studio | Beta Space Studio