TRLawBench

Türk hukuku LLM benchmarkı: Büyük dil modellerinin Türkçe hukuki bilgi ve muhakeme yetkinliğini 3 aşamada ölçer. ÖSYM soruları, ileri düzey muhakeme ve açık uçlu analizle toplam 297 soru üzerinde kapsamlı değerlendirme.

GitHub

Soru: 297
Aşama: 3
Model: 117
Yazar: Beta Space Studio
Kategori: Benchmarklar
Son güncelleme: 14 Nisan 2026
Etiketler: benchmark
llm
turkish-law
evaluation
hukuk
ösym
llm-as-a-judge
legal-reasoning

Sıralama

Açık uçlu sorular

Av. Esat Erbil Tavus⁠ (yeni sekmede açılır) ile hazırladığımız üçüncü aşama, 14 farklı hukuk dalında kategorize edilmiş 100 açık uçlu hukuki sorudan oluşur. Sorular çeşitli basılı kaynaklardan derlendiği ve internette yer almadığı için modellerin eğitim verilerine dahil olma ihtimali bulunmuyor. Her bir soru; gerekçelendirme, mevzuat ve içtihat atfı içeren serbest metin formatında yanıtlar üretilmesini gerektirir.

Yargıç: Gemini 3.1 Pro Preview

Kategori

Sağlayıcı

Model

TümüYalın (34)YargıPro (24)

58 model

Skor karşılaştırması: Açık uçlu sorular
Sıra	Model	Sağlayıcı	Doğruluk	Skor (ort.)
1	Gemini 3.1 Pro + YargıProGoogle	Google	96 / 1009,85 ort.	9,85
2	Gemini 3.1 Pro PreviewGoogle	Google	92 / 1009,73 ort.	9,73
3	Gemini 3.5 Flash + YargıProGoogle	Google	91 / 1009,58 ort.	9,58
3	GPT-5.6 Sol + YargıProOpenAI	OpenAI	91 / 1009,44 ort.	9,44
5	Gemini 3.7 Flash + YargıProGoogle	Google	90 / 1009,61 ort.	9,61
5	Qwen 3.8 Max + YargıProAlibaba	Alibaba	90 / 1009,44 ort.	9,44
5	Fable 5 + YargıProAnthropic	Anthropic	90 / 1009,64 ort.	9,64
5	GPT-5.6 Terra + YargıProOpenAI	OpenAI	90 / 1009,50 ort.	9,50
5	Gemini 3 Flash PreviewGoogle	Google	90 / 1009,46 ort.	9,46
10	Claude Opus 5 + YargıProAnthropic	Anthropic	89 / 1009,59 ort.	9,59
10	GPT-5.6 SolOpenAI	OpenAI	89 / 1009,65 ort.	9,65
10	GPT-5.5 + YargıProOpenAI	OpenAI	89 / 1009,38 ort.	9,38
10	GPT-5.6 TerraOpenAI	OpenAI	89 / 1009,33 ort.	9,33
14	Gemini 3.7 FlashGoogle	Google	88 / 1009,53 ort.	9,53
14	Grok 4.5 + YargıProxAI	xAI	88 / 1009,35 ort.	9,35
16	Grok 4.6 + YargıProxAI	xAI	87 / 1009,38 ort.	9,38
16	DeepSeek V4 Pro 0813 + YargıProDeepSeek	DeepSeek	87 / 1009,23 ort.	9,23
16	Claude Opus 5Anthropic	Anthropic	87 / 1009,49 ort.	9,49
16	GPT-5.6 Luna + YargıProOpenAI	OpenAI	87 / 1009,25 ort.	9,25
20	Qwen 3.8 MaxAlibaba	Alibaba	86 / 1009,14 ort.	9,14
20	Fable 5Anthropic	Anthropic	86 / 1009,45 ort.	9,45
22	Kimi K3 + YargıProMoonshot	Moonshot	85 / 1009,10 ort.	9,10
22	GPT-5.5OpenAI	OpenAI	85 / 1009,38 ort.	9,38
22	DeepSeek V4 Pro + YargıProDeepSeek	DeepSeek	85 / 1008,97 ort.	8,97
22	Claude Sonnet 5 + YargıProAnthropic	Anthropic	85 / 1008,92 ort.	8,92
26	Gemini 3.5 FlashGoogle	Google	84 / 1009,18 ort.	9,18
27	Qwen 3.8 27B + YargıProAlibaba	Alibaba	83 / 1008,46 ort.	8,46
27	DeepSeek V4 Flash 0731 + YargıProDeepSeek	DeepSeek	83 / 1008,93 ort.	8,93
29	Claude Opus 4.8 + YargıProAnthropic	Anthropic	82 / 1009,23 ort.	9,23
30	GPT-5.4OpenAI	OpenAI	81 / 1009,08 ort.	9,08
30	Claude Opus 4.7Anthropic	Anthropic	81 / 1009,02 ort.	9,02
32	Claude Opus 4.6Anthropic	Anthropic	80 / 1009,03 ort.	9,03
32	GPT-5.6 LunaOpenAI	OpenAI	80 / 1008,90 ort.	8,90
34	Inkling + YargıProThinking Machines	Thinking Machines	78 / 1008,48 ort.	8,48
34	GLM 5.2 + YargıProZhipu	Zhipu	78 / 1008,02 ort.	8,02
36	Claude Opus 4.8Anthropic	Anthropic	77 / 1009,03 ort.	9,03
36	Claude Sonnet 4.6Anthropic	Anthropic	77 / 1008,38 ort.	8,38
38	Grok 4.6xAI	xAI	76 / 1008,79 ort.	8,79
38	Gemma 4 31B · MCPGoogle	Google	76 / 1008,38 ort.	8,38
38	Gemma 4 26B A4B · MCPGoogle	Google	76 / 1008,11 ort.	8,11
41	Gemma 4 12B + YargıProGoogle	Google	75 / 1007,82 ort.	7,82
42	Grok 4.5xAI	xAI	73 / 1008,51 ort.	8,51
43	Claude Sonnet 5Anthropic	Anthropic	67 / 1008,13 ort.	8,13
44	Kimi K3Moonshot	Moonshot	66 / 1008,01 ort.	8,01
45	DeepSeek V4 Flash 0731DeepSeek	DeepSeek	62 / 1007,85 ort.	7,85
45	InklingThinking Machines	Thinking Machines	62 / 1007,43 ort.	7,43
47	GPT-5.4 MiniOpenAI	OpenAI	61 / 1007,76 ort.	7,76
48	DeepSeek V4 Pro 0813DeepSeek	DeepSeek	60 / 1007,70 ort.	7,70
48	Grok 4.20xAI	xAI	60 / 1007,38 ort.	7,38
48	Gemma 4 31BGoogle	Google	60 / 1007,30 ort.	7,30
51	Qwen 3.8 27BAlibaba	Alibaba	59 / 1006,84 ort.	6,84
52	Gemini 3.1 Flash Lite PreviewGoogle	Google	58 / 1007,50 ort.	7,50
52	Gemma 4 26B A4BGoogle	Google	58 / 1007,11 ort.	7,11
54	DeepSeek V4 ProDeepSeek	DeepSeek	57 / 1007,45 ort.	7,45
54	Qwen 3.6 PlusAlibaba	Alibaba	57 / 1006,97 ort.	6,97
56	GLM 5.2Zhipu	Zhipu	53 / 1006,64 ort.	6,64
57	Gemma 4 12BGoogle	Google	47 / 1006,17 ort.	6,17
58	GPT OSS 120BOpenAI	OpenAI	42 / 1004,78 ort.	4,78

Doğru cevap sayısı deterministik olarak belirlenir: Her sorunun soru bankasında kesin bir doğru cevabı vardır ve modelin ulaştığı harf bu cevapla karşılaştırılır. Değerlendirmede LLM yargıç devrede olmadığı için self-bias olasılığı yoktur. Gemini 3.1 Pro (kör yargıç olarak, cevabı veren modelin kimliğini bilmeden) her yanıtı ayrıca 0 ile 10 arasında puanlar: İstenen muhakeme yolunu eksiksiz takip eden doğru cevaplar 10 alır; muhakeme sürecinde eksiklik bulunan doğru cevaplar 10'dan az alır; yanlış sonuca ulaşsa bile muhakemesi büyük ölçüde doğru olan yanıtlar ise 0'ın üzerinde puan alabilir. Değerlendirme Nisan 2026'da yapıldı.

Örnek soru

AMaliye Bakanlığına başvurmak suretiyle
Bİdare mahkemesinde dava açmak suretiyle
CMal sahibi idareye başvurup, olumsuz cevap alırsa Danıştay'a başvurmak suretiyleDoğru
DO yer asliye hukuk mahkemesine başvurmak suretiyle
EBaşbakanlığa başvurmak suretiyle

Beklenen cevap

Bir kamu tüzel kişisi bir başka kamu tüzel kişisinin taşınmazına ihtiyaç duyarsa, kamulaştırma yapamaz, aksi halde, konusu gayrimeşru olan bu işlem yok hükmünde sayılır. Kamu tüzel kişilerinin ve kurumlarının sahip oldukları taşınmaz mal, kaynak veya irtifak hakları diğer bir kamu tüzel kişisi veya kurumu tarafından kamulaştırılamaz. İlgili idarenin başvuruya olumsuz cevap vermesi durumunda, alıcı idarenin başvurusu üzerine devir istemi Danıştay idari dairesince incelenerek iki ay içinde kesin karara bağlanır. Yanıt, C seçeneği.

Model cevabı

Claude Opus 4.6 Anthropic

Doğru

# 2942 Sayılı Kamulaştırma Kanunu - Kamu Tüzel Kişileri Arası Taşınmaz Devri ## İlgili Kanun Maddesi: Madde 30 2942 sayılı Kamulaştırma Kanunu'nun **30. maddesi**, kamu tüzel kişilerinin birbirlerine ait taşınmazlara ihtiyaç duyması halini özel olarak düzenler. Bu maddeye göre: > **Temel kural:** Kamu tüzel kişilerinin sahip oldukları taşınmaz mal, kaynak veya irtifak hakları diğer bir kamu tüzel kişisi veya kurumu tarafından **kamulaştırılamaz.** Bu nedenle olağan kamulaştırma yolu (asliye hukuk mahkemesi, bedel tespiti vs.) burada uygulanmaz. Bunun yerine **özel bir idari usul** öngörülmüştür: ### İki Aşamalı Süreç: | Aşama | Açıklama | |-------|----------| | **1. Aşama** | Taşınmaza ihtiyaç duyan idare, **mal sahibi idareye başvurarak** satın alma talebini bildirir | | **2. Aşama** | Mal sahibi idare **60 gün içinde** taşınmazı devretmez veya olumsuz cevap verirse → ihtiyaç sahibi idare **Danıştay'a** başvurarak devir kararı verilmesini talep eder | ## Seçeneklerin Değerlendirilmesi: - **A** ❌ Maliye Bakanlığı'na başvuru öngörülmemiştir. - **B** ❌ İdare mahkemesi yetkili değildir. - **C** ✅ Önce mal sahibi idareye başvuru, olumsuz cevap halinde **Danıştay'a başvuru** → Madde 30'un tam karşılığı. - **D** ❌ Asliye hukuk mahkemesi olağan kamulaştırma bedel tespit davalarında yetkilidir; kamu-kamu arası devir için değil. - **E** ❌ Başbakanlığa başvuru şeklinde bir usul kanunda yoktur. ## Gerekçe Madde 30, kamu tüzel kişileri arasındaki taşınmaz ihtiyacının **önce uzlaşma (idareye başvuru)**, uzlaşma sağlanamazsa **yargısal çözüm (Danıştay)** yoluyla giderilmesini öngörmektedir. Danıştay burada "ilk derece mahkemesi" sıfatıyla karar verir ve taşınmazın hangi idareye bırakılacağına kamu yararı ölçütüyle hükmeder. **CEVAP: C**

Değerlendirici notu

Öğrencinin cevabı mükemmel bir hukuki analiz içermektedir. Öğrenci sadece doğru şıkkı (C) bulmakla kalmamış, aynı zamanda 2942 sayılı Kamulaştırma Kanunu'nun ilgili 30. maddesini isabetli bir şekilde tespit etmiştir. Kamu tüzel kişileri arasında kamulaştırma yapılamayacağı temel kuralını, sürecin idari aşamasını (mal sahibi idareye başvuru) ve uyuşmazlık aşamasını (Danıştay'a başvuru) eksiksiz ve sistematik bir tablo ile açıklamıştır. Ayrıca diğer seçeneklerin neden yanlış olduğunu da usul hukuku ve idare hukuku prensipleri çerçevesinde doğru bir şekilde gerekçelendirmiştir. Gerekçe tam, doyurucu ve hukuki terminoloji açısından kusursuzdur. PUAN: 10

Genel Bakış

TRLawBench, büyük dil modellerinin (GPT, Claude, Gemini, Gemma, Qwen, Grok, DeepSeek, Mistral, Llama ve diğerleri) Türk hukuku üzerindeki yetkinliğini ölçmek için tasarlanmış üç aşamalı açık bir benchmark projesidir. Avukat Esat Erbil Tavus ile ortak hazırlanan Aşama 2 ve Aşama 3 soruları, basılı kaynaklardan derlenip internete hiç düşmediği için modellerin eğitim verilerine sızma riski bulunmamaktadır.

Neden TRLawBench?

Türkçe hukuki muhakeme odağı: Genel dil becerisi değil, Türk Borçlar Kanunu, TCK, Anayasa gibi ulusal mevzuat üzerinden değerlendirme.
Kirlilikten arınmış test seti: 200 soru basılı kaynaklardan geliyor; model eğitim verisinde olma olasılığı yok.
Şeffaf metodoloji: Doğru cevap tespiti deterministik; LLM yargıç yalnızca muhakeme kalitesini puanlıyor ve hangi modelin cevap verdiğini bilmiyor.

Değerlendirme Metodolojisi

Aşama 1: Temel Hukuki Bilgi. ÖSYM hukuk sınavlarından 97 çoktan seçmeli soru. Doğru cevap ÖSYM anahtarı baz alınarak belirlenir.
Aşama 2: Türk Hukuku İleri Muhakeme. 14 kategoride 100 ileri düzey çoktan seçmeli soru. Basılı kaynak, internet dışı.
Aşama 3: Açık Uçlu Sorular. 100 açık uçlu soru, 14 hukuk dalı. Deterministik doğru-cevap kontrolü + Gemini 3.1 Pro kör yargıç puanlaması (0 ile 10 arasında).

Her aşama için sıralama, doğruluk oranı ve örnek soru-cevaplar yukarıdaki interaktif panelde yer almaktadır.