Czym jest PolishLawLLM Benchmark?

Projekt badawczy oceniający zdolność dużych modeli językowych (LLM) do rozumienia i stosowania polskiego prawa. Testujemy modele na autentycznych pytaniach egzaminacyjnych oraz rzeczywistych orzeczeniach sądowych.

Cel projektu

Obiektywna ocena możliwości modeli AI w dziedzinie polskiego prawa. Weryfikujemy nie tylko poprawność odpowiedzi, ale także zdolność do wskazania podstawy prawnej i dokładnego przytoczenia przepisów.

Test egzaminów prawniczych

Modele odpowiadają na pytania z oficjalnych egzaminów na aplikacje prawnicze (adwokacka, radcowska, notarialna, komornicza). Oceniamy poprawność odpowiedzi, identyfikację artykułu i dokładność cytowania.

Test orzeczeń sądowych

W uzasadnieniach orzeczeń sądowych maskujemy przepisy prawne. Model musi na podstawie kontekstu zidentyfikować zamaskowany artykuł i przytoczyć jego dokładną treść.

Dowiedz się więcej o metodologii

Egzaminy Zawodowe

Średnie wyniki wszystkich egzaminów dla każdego modelu.

#	Model	Decyzja i Wiedza		Jakość Treści Uzasadnienia
#	Model	Answer	Legal Basis	Exact Match	Rouge N	Rouge N Tfidf	Rouge W
1	Gemini 3 Flash Preview	100%	77%	66%	0.89	0.90	0.88
2	Perplexity Sonar Pro	99%	88%	79%	0.92	0.94	0.92
3	Claude Opus 4.5	98%	70%	66%	0.86	0.87	0.86
4	Gemini 3 Pro Preview	98%	76%	70%	0.88	0.90	0.88
5	Gemini 3 Flash Preview with search	98%	72%	58%	0.86	0.88	0.86
6	Perplexity Sonar	92%	54%	50%	0.74	0.74	0.75
7	Claude Sonnet 4.5	88%	27%	23%	0.65	0.68	0.65
8	GPT-5.2	86%	56%	33%	0.72	0.72	0.72
9	Mistral Large 3 675B Instruct	84%	21%	27%	0.70	0.70	0.69
10	Llama 3.1 405B Instruct	79%	22%	22%	0.66	0.67	0.65
11	DeepSeek v3.2	77%	8%	18%	0.62	0.63	0.61
12	Llama 4 Maverick 17B 128E Instruct	76%	9%	9%	0.55	0.58	0.55
13	Grok 4.1 Fast	75%	15%	11%	0.51	0.52	0.53
14	Bielik 11B v3.0 InstructPL	73%	39%	23%	0.67	0.68	0.66
15	Llama 3.3 70B Instruct	71%	9%	13%	0.55	0.58	0.55
16	Gemma 3 12B IT	60%	1%	6%	0.48	0.50	0.49
17	PLLuM 12B InstructPL	57%	32%	17%	0.57	0.58	0.57
18	Mistral Nemo	48%	0%	8%	0.56	0.58	0.56

Interpretacja Orzecznictwa

Generatywna identyfikacja zamaskowanych artykułów w treści orzeczeń

#	Model	Identyfikacja	Jakość Generacji Tekstu
#	Model	Legal Basis	Exact Match	Rouge N	Rouge N Tfidf	Rouge W
1	Gemini 3 Pro Preview	94%	29%	0.77	0.73	0.75
2	Gemini 3 Flash Preview	88%	24%	0.71	0.67	0.69
3	Gemini 3 Flash Preview with search	88%	20%	0.68	0.63	0.65
4	GPT-5.2	88%	18%	0.65	0.59	0.63
5	Claude Opus 4.5	69%	18%	0.60	0.53	0.60
6	Claude Sonnet 4.5	67%	20%	0.45	0.42	0.43
7	Grok 4.1 Fast	55%	0%	0.18	0.16	0.18
8	Perplexity Sonar	43%	0%	0.13	0.11	0.14
9	Perplexity Sonar Pro	41%	0%	0.12	0.10	0.13
10	Mistral Large 3 675B Instruct	39%	2%	0.22	0.18	0.23
11	Llama 4 Maverick 17B 128E Instruct	31%	0%	0.11	0.08	0.13
12	DeepSeek v3.2	29%	2%	0.17	0.16	0.18
13	Llama 3.1 405B Instruct	14%	0%	0.12	0.10	0.13
14	Llama 3.3 70B Instruct	12%	0%	0.09	0.06	0.11
15	Bielik 11B v3.0 InstructPL	12%	6%	0.15	0.12	0.16
16	PLLuM 12B InstructPL	4%	0%	0.05	0.04	0.06
17	Gemma 3 12B IT	0%	0%	0.04	0.02	0.05
18	Mistral Nemo	0%	0%	0.04	0.03	0.05