TRLawBench

Turkish law LLM benchmark: Measures large language models' Turkish legal knowledge and reasoning across 3 stages. Comprehensive evaluation of 297 questions covering ÖSYM exam items, advanced reasoning, and open-ended analysis.

GitHub

Questions: 297
Stages: 3
Models: 117
Author: Beta Space Studio
Category: Benchmarks
Last update: 14 April 2026
Tags: benchmark
llm
turkish-law
evaluation
hukuk
ösym
llm-as-a-judge
legal-reasoning

Leaderboard

Open-ended questions

Prepared together with Atty. Esat Erbil Tavus⁠ (opens in a new tab), the third stage consists of 100 open-ended legal questions categorized across 14 branches of law. Questions were compiled from various print sources and are not available online, so they cannot have leaked into models' training data. Each requires free-form responses with grounded argumentation and references to relevant legislation and case law.

Judge: Gemini 3.1 Pro Preview

Category

Provider

Model

AllPlain (34)YargıPro (24)

58 models

Score comparison: Open-ended questions
Rank	Model	Provider	Accuracy	Score (avg)
1	Gemini 3.1 Pro + YargıProGoogle	Google	96 / 1009.85 avg	9.85
2	Gemini 3.1 Pro PreviewGoogle	Google	92 / 1009.73 avg	9.73
3	Gemini 3.5 Flash + YargıProGoogle	Google	91 / 1009.58 avg	9.58
3	GPT-5.6 Sol + YargıProOpenAI	OpenAI	91 / 1009.44 avg	9.44
5	Gemini 3.7 Flash + YargıProGoogle	Google	90 / 1009.61 avg	9.61
5	Qwen 3.8 Max + YargıProAlibaba	Alibaba	90 / 1009.44 avg	9.44
5	Fable 5 + YargıProAnthropic	Anthropic	90 / 1009.64 avg	9.64
5	GPT-5.6 Terra + YargıProOpenAI	OpenAI	90 / 1009.50 avg	9.50
5	Gemini 3 Flash PreviewGoogle	Google	90 / 1009.46 avg	9.46
10	Claude Opus 5 + YargıProAnthropic	Anthropic	89 / 1009.59 avg	9.59
10	GPT-5.6 SolOpenAI	OpenAI	89 / 1009.65 avg	9.65
10	GPT-5.5 + YargıProOpenAI	OpenAI	89 / 1009.38 avg	9.38
10	GPT-5.6 TerraOpenAI	OpenAI	89 / 1009.33 avg	9.33
14	Gemini 3.7 FlashGoogle	Google	88 / 1009.53 avg	9.53
14	Grok 4.5 + YargıProxAI	xAI	88 / 1009.35 avg	9.35
16	Grok 4.6 + YargıProxAI	xAI	87 / 1009.38 avg	9.38
16	DeepSeek V4 Pro 0813 + YargıProDeepSeek	DeepSeek	87 / 1009.23 avg	9.23
16	Claude Opus 5Anthropic	Anthropic	87 / 1009.49 avg	9.49
16	GPT-5.6 Luna + YargıProOpenAI	OpenAI	87 / 1009.25 avg	9.25
20	Qwen 3.8 MaxAlibaba	Alibaba	86 / 1009.14 avg	9.14
20	Fable 5Anthropic	Anthropic	86 / 1009.45 avg	9.45
22	Kimi K3 + YargıProMoonshot	Moonshot	85 / 1009.10 avg	9.10
22	GPT-5.5OpenAI	OpenAI	85 / 1009.38 avg	9.38
22	DeepSeek V4 Pro + YargıProDeepSeek	DeepSeek	85 / 1008.97 avg	8.97
22	Claude Sonnet 5 + YargıProAnthropic	Anthropic	85 / 1008.92 avg	8.92
26	Gemini 3.5 FlashGoogle	Google	84 / 1009.18 avg	9.18
27	Qwen 3.8 27B + YargıProAlibaba	Alibaba	83 / 1008.46 avg	8.46
27	DeepSeek V4 Flash 0731 + YargıProDeepSeek	DeepSeek	83 / 1008.93 avg	8.93
29	Claude Opus 4.8 + YargıProAnthropic	Anthropic	82 / 1009.23 avg	9.23
30	GPT-5.4OpenAI	OpenAI	81 / 1009.08 avg	9.08
30	Claude Opus 4.7Anthropic	Anthropic	81 / 1009.02 avg	9.02
32	Claude Opus 4.6Anthropic	Anthropic	80 / 1009.03 avg	9.03
32	GPT-5.6 LunaOpenAI	OpenAI	80 / 1008.90 avg	8.90
34	Inkling + YargıProThinking Machines	Thinking Machines	78 / 1008.48 avg	8.48
34	GLM 5.2 + YargıProZhipu	Zhipu	78 / 1008.02 avg	8.02
36	Claude Opus 4.8Anthropic	Anthropic	77 / 1009.03 avg	9.03
36	Claude Sonnet 4.6Anthropic	Anthropic	77 / 1008.38 avg	8.38
38	Grok 4.6xAI	xAI	76 / 1008.79 avg	8.79
38	Gemma 4 31B · MCPGoogle	Google	76 / 1008.38 avg	8.38
38	Gemma 4 26B A4B · MCPGoogle	Google	76 / 1008.11 avg	8.11
41	Gemma 4 12B + YargıProGoogle	Google	75 / 1007.82 avg	7.82
42	Grok 4.5xAI	xAI	73 / 1008.51 avg	8.51
43	Claude Sonnet 5Anthropic	Anthropic	67 / 1008.13 avg	8.13
44	Kimi K3Moonshot	Moonshot	66 / 1008.01 avg	8.01
45	DeepSeek V4 Flash 0731DeepSeek	DeepSeek	62 / 1007.85 avg	7.85
45	InklingThinking Machines	Thinking Machines	62 / 1007.43 avg	7.43
47	GPT-5.4 MiniOpenAI	OpenAI	61 / 1007.76 avg	7.76
48	DeepSeek V4 Pro 0813DeepSeek	DeepSeek	60 / 1007.70 avg	7.70
48	Grok 4.20xAI	xAI	60 / 1007.38 avg	7.38
48	Gemma 4 31BGoogle	Google	60 / 1007.30 avg	7.30
51	Qwen 3.8 27BAlibaba	Alibaba	59 / 1006.84 avg	6.84
52	Gemini 3.1 Flash Lite PreviewGoogle	Google	58 / 1007.50 avg	7.50
52	Gemma 4 26B A4BGoogle	Google	58 / 1007.11 avg	7.11
54	DeepSeek V4 ProDeepSeek	DeepSeek	57 / 1007.45 avg	7.45
54	Qwen 3.6 PlusAlibaba	Alibaba	57 / 1006.97 avg	6.97
56	GLM 5.2Zhipu	Zhipu	53 / 1006.64 avg	6.64
57	Gemma 4 12BGoogle	Google	47 / 1006.17 avg	6.17
58	GPT OSS 120BOpenAI	OpenAI	42 / 1004.78 avg	4.78

Correct count is deterministic: every question has a ground-truth answer in the bank, and the model's chosen letter is matched against it: no LLM judge is involved, so self-bias is impossible. Gemini 3.1 Pro (a blind judge, unaware of which model produced the response) separately scores each answer on a 0–10 scale: correct answers reached through the expected reasoning path earn 10; correct answers with reasoning gaps score below 10; responses with largely sound reasoning can earn above 0 even when they reach the wrong conclusion. Evaluated April 2026.

Sample question

AMaliye Bakanlığına başvurmak suretiyle
Bİdare mahkemesinde dava açmak suretiyle
CMal sahibi idareye başvurup, olumsuz cevap alırsa Danıştay'a başvurmak suretiyleCorrect
DO yer asliye hukuk mahkemesine başvurmak suretiyle
EBaşbakanlığa başvurmak suretiyle

Expected answer

Bir kamu tüzel kişisi bir başka kamu tüzel kişisinin taşınmazına ihtiyaç duyarsa, kamulaştırma yapamaz, aksi halde, konusu gayrimeşru olan bu işlem yok hükmünde sayılır. Kamu tüzel kişilerinin ve kurumlarının sahip oldukları taşınmaz mal, kaynak veya irtifak hakları diğer bir kamu tüzel kişisi veya kurumu tarafından kamulaştırılamaz. İlgili idarenin başvuruya olumsuz cevap vermesi durumunda, alıcı idarenin başvurusu üzerine devir istemi Danıştay idari dairesince incelenerek iki ay içinde kesin karara bağlanır. Yanıt, C seçeneği.

Model answer

Claude Opus 4.6 Anthropic

Correct

# 2942 Sayılı Kamulaştırma Kanunu - Kamu Tüzel Kişileri Arası Taşınmaz Devri ## İlgili Kanun Maddesi: Madde 30 2942 sayılı Kamulaştırma Kanunu'nun **30. maddesi**, kamu tüzel kişilerinin birbirlerine ait taşınmazlara ihtiyaç duyması halini özel olarak düzenler. Bu maddeye göre: > **Temel kural:** Kamu tüzel kişilerinin sahip oldukları taşınmaz mal, kaynak veya irtifak hakları diğer bir kamu tüzel kişisi veya kurumu tarafından **kamulaştırılamaz.** Bu nedenle olağan kamulaştırma yolu (asliye hukuk mahkemesi, bedel tespiti vs.) burada uygulanmaz. Bunun yerine **özel bir idari usul** öngörülmüştür: ### İki Aşamalı Süreç: | Aşama | Açıklama | |-------|----------| | **1. Aşama** | Taşınmaza ihtiyaç duyan idare, **mal sahibi idareye başvurarak** satın alma talebini bildirir | | **2. Aşama** | Mal sahibi idare **60 gün içinde** taşınmazı devretmez veya olumsuz cevap verirse → ihtiyaç sahibi idare **Danıştay'a** başvurarak devir kararı verilmesini talep eder | ## Seçeneklerin Değerlendirilmesi: - **A** ❌ Maliye Bakanlığı'na başvuru öngörülmemiştir. - **B** ❌ İdare mahkemesi yetkili değildir. - **C** ✅ Önce mal sahibi idareye başvuru, olumsuz cevap halinde **Danıştay'a başvuru** → Madde 30'un tam karşılığı. - **D** ❌ Asliye hukuk mahkemesi olağan kamulaştırma bedel tespit davalarında yetkilidir; kamu-kamu arası devir için değil. - **E** ❌ Başbakanlığa başvuru şeklinde bir usul kanunda yoktur. ## Gerekçe Madde 30, kamu tüzel kişileri arasındaki taşınmaz ihtiyacının **önce uzlaşma (idareye başvuru)**, uzlaşma sağlanamazsa **yargısal çözüm (Danıştay)** yoluyla giderilmesini öngörmektedir. Danıştay burada "ilk derece mahkemesi" sıfatıyla karar verir ve taşınmazın hangi idareye bırakılacağına kamu yararı ölçütüyle hükmeder. **CEVAP: C**

Judge note

Öğrencinin cevabı mükemmel bir hukuki analiz içermektedir. Öğrenci sadece doğru şıkkı (C) bulmakla kalmamış, aynı zamanda 2942 sayılı Kamulaştırma Kanunu'nun ilgili 30. maddesini isabetli bir şekilde tespit etmiştir. Kamu tüzel kişileri arasında kamulaştırma yapılamayacağı temel kuralını, sürecin idari aşamasını (mal sahibi idareye başvuru) ve uyuşmazlık aşamasını (Danıştay'a başvuru) eksiksiz ve sistematik bir tablo ile açıklamıştır. Ayrıca diğer seçeneklerin neden yanlış olduğunu da usul hukuku ve idare hukuku prensipleri çerçevesinde doğru bir şekilde gerekçelendirmiştir. Gerekçe tam, doyurucu ve hukuki terminoloji açısından kusursuzdur. PUAN: 10

Overview

TRLawBench is an open three-stage benchmark that measures how well large language models (GPT, Claude, Gemini, Gemma, Qwen, Grok, DeepSeek, Mistral, Llama and others) handle Turkish law. Stages 2 and 3, co-authored with attorney Esat Erbil Tavus, were compiled from print sources and never published online, eliminating training-data contamination.

Why TRLawBench?

Turkish legal reasoning focus: Not general language fluency but grounded evaluation against Turkish Code of Obligations (TBK), Turkish Penal Code (TCK), the Constitution, and related legislation.
Contamination-free: 200 questions sourced from print, never indexed online, so they cannot appear in training data.
Transparent methodology: Correct-answer detection is deterministic; the LLM judge scores only reasoning quality and is blind to the model identity.

Evaluation Methodology

Stage 1: Foundational Legal Knowledge. 97 multiple-choice questions from ÖSYM legal exams. Correct answers derived from the official ÖSYM answer key.
Stage 2: Advanced Turkish Legal Reasoning. 100 advanced multiple-choice questions across 14 categories. Print-sourced, never online.
Stage 3: Open-Ended Questions. 100 open-ended questions spanning 14 branches of law. Deterministic letter-match plus Gemini 3.1 Pro blind-judge scoring on a 0 to 10 scale.

Per-stage leaderboards, accuracy rates, and sample Q&A are available in the interactive panel above.