Mistral Large 3 675B Instruct | PolishLawLLM Benchmark

Interpretacja Orzecznictwa

Zdolność do identyfikacji zamaskowanych przepisów w treści uzasadnień sądowych.

Legal Basis

39%

Exact Match

Rouge N

0.22

Rouge N Tfidf

0.18

Rouge W

0.23

Egzaminy Zawodowe

Wyniki na egzaminach wstępnych na aplikacje prawnicze.

Answer

84%

Legal Basis

21%

Exact Match

27%

Rouge N

0.70

Rouge N Tfidf

0.70

Rouge W

0.69

Wyniki wg typu egzaminu i roku

Typ Egzaminu	Rok	Answer	Legal Basis	Exact Match	Rouge N	Rouge N Tfidf	Rouge W
adwokacki_radcowy	2016	81%	21%	17%	0.65	0.64	0.63
adwokacki_radcowy	2017	80%	21%	16%	0.63	0.61	0.62
adwokacki_radcowy	2018	85%	21%	21%	0.69	0.70	0.68
adwokacki_radcowy	2019	85%	30%	25%	0.68	0.69	0.69
adwokacki_radcowy	2020	80%	17%	29%	0.69	0.72	0.68
adwokacki_radcowy	2021	88%	8%	45%	0.80	0.80	0.79
adwokacki_radcowy	2022	76%	22%	24%	0.70	0.69	0.68
adwokacki_radcowy	2023	83%	20%	19%	0.66	0.66	0.65
adwokacki_radcowy	2024	86%	26%	28%	0.71	0.72	0.70
adwokacki_radcowy	2025	84%	31%	30%	0.72	0.70	0.71
komorniczy	2016	88%	4%	30%	0.74	0.78	0.74
komorniczy	2017	84%	12%	30%	0.71	0.74	0.71
komorniczy	2018	84%	20%	33%	0.75	0.74	0.73
komorniczy	2019	83%	28%	25%	0.67	0.68	0.67
komorniczy	2020	79%	29%	36%	0.66	0.66	0.66
komorniczy	2021	86%	18%	28%	0.68	0.68	0.67
komorniczy	2022	90%	11%	21%	0.69	0.71	0.67
komorniczy	2023	93%	39%	51%	0.82	0.85	0.81
komorniczy	2024	82%	21%	40%	0.72	0.74	0.72
komorniczy	2025	83%	26%	34%	0.74	0.76	0.73
notarialny	2016	83%	23%	28%	0.68	0.68	0.67
notarialny	2017	82%	27%	21%	0.66	0.63	0.65
notarialny	2018	82%	18%	27%	0.69	0.69	0.68
notarialny	2019	84%	21%	23%	0.70	0.72	0.68
notarialny	2020	73%	13%	18%	0.63	0.65	0.63
notarialny	2021	89%	20%	21%	0.70	0.68	0.68
notarialny	2022	81%	32%	25%	0.69	0.68	0.69
notarialny	2023	89%	16%	23%	0.68	0.70	0.67
notarialny	2024	85%	15%	21%	0.65	0.64	0.64
notarialny	2025	83%	23%	20%	0.68	0.68	0.68

Interpretacja Orzecznictwa

Zdolność do identyfikacji zamaskowanych przepisów w treści uzasadnień sądowych.

Legal Basis

39%

Exact Match

Rouge N

0.22

Rouge N Tfidf

0.18

Rouge W

0.23

Egzaminy Zawodowe

Wyniki na egzaminach wstępnych na aplikacje prawnicze.

Answer

84%

Legal Basis

21%

Exact Match

27%

Rouge N

0.70

Rouge N Tfidf

0.70

Rouge W

0.69

Wyniki wg typu egzaminu i roku

Typ Egzaminu	Rok	Answer	Legal Basis	Exact Match	Rouge N	Rouge N Tfidf	Rouge W
adwokacki_radcowy	2016	81%	21%	17%	0.65	0.64	0.63
adwokacki_radcowy	2017	80%	21%	16%	0.63	0.61	0.62
adwokacki_radcowy	2018	85%	21%	21%	0.69	0.70	0.68
adwokacki_radcowy	2019	85%	30%	25%	0.68	0.69	0.69
adwokacki_radcowy	2020	80%	17%	29%	0.69	0.72	0.68
adwokacki_radcowy	2021	88%	8%	45%	0.80	0.80	0.79
adwokacki_radcowy	2022	76%	22%	24%	0.70	0.69	0.68
adwokacki_radcowy	2023	83%	20%	19%	0.66	0.66	0.65
adwokacki_radcowy	2024	86%	26%	28%	0.71	0.72	0.70
adwokacki_radcowy	2025	84%	31%	30%	0.72	0.70	0.71
komorniczy	2016	88%	4%	30%	0.74	0.78	0.74
komorniczy	2017	84%	12%	30%	0.71	0.74	0.71
komorniczy	2018	84%	20%	33%	0.75	0.74	0.73
komorniczy	2019	83%	28%	25%	0.67	0.68	0.67
komorniczy	2020	79%	29%	36%	0.66	0.66	0.66
komorniczy	2021	86%	18%	28%	0.68	0.68	0.67
komorniczy	2022	90%	11%	21%	0.69	0.71	0.67
komorniczy	2023	93%	39%	51%	0.82	0.85	0.81
komorniczy	2024	82%	21%	40%	0.72	0.74	0.72
komorniczy	2025	83%	26%	34%	0.74	0.76	0.73
notarialny	2016	83%	23%	28%	0.68	0.68	0.67
notarialny	2017	82%	27%	21%	0.66	0.63	0.65
notarialny	2018	82%	18%	27%	0.69	0.69	0.68
notarialny	2019	84%	21%	23%	0.70	0.72	0.68
notarialny	2020	73%	13%	18%	0.63	0.65	0.63
notarialny	2021	89%	20%	21%	0.70	0.68	0.68
notarialny	2022	81%	32%	25%	0.69	0.68	0.69
notarialny	2023	89%	16%	23%	0.68	0.70	0.67
notarialny	2024	85%	15%	21%	0.65	0.64	0.64
notarialny	2025	83%	23%	20%	0.68	0.68	0.68