Llama 3.1 405B Instruct | PolishLawLLM Benchmark

Interpretacja Orzecznictwa

Zdolność do identyfikacji zamaskowanych przepisów w treści uzasadnień sądowych.

Legal Basis

14%

Exact Match

Rouge N

0.12

Rouge N Tfidf

0.10

Rouge W

0.13

Egzaminy Zawodowe

Wyniki na egzaminach wstępnych na aplikacje prawnicze.

Answer

79%

Legal Basis

22%

Exact Match

22%

Rouge N

0.66

Rouge N Tfidf

0.67

Rouge W

0.65

Wyniki wg typu egzaminu i roku

Typ Egzaminu	Rok	Answer	Legal Basis	Exact Match	Rouge N	Rouge N Tfidf	Rouge W
adwokacki_radcowy	2016	71%	19%	16%	0.59	0.60	0.57
adwokacki_radcowy	2017	80%	19%	14%	0.56	0.56	0.56
adwokacki_radcowy	2018	81%	19%	9%	0.59	0.60	0.58
adwokacki_radcowy	2019	74%	21%	23%	0.66	0.67	0.66
adwokacki_radcowy	2020	69%	14%	26%	0.64	0.66	0.63
adwokacki_radcowy	2021	82%	17%	35%	0.73	0.76	0.74
adwokacki_radcowy	2022	88%	28%	24%	0.68	0.68	0.67
adwokacki_radcowy	2023	87%	19%	9%	0.62	0.66	0.61
adwokacki_radcowy	2024	82%	38%	32%	0.69	0.73	0.69
adwokacki_radcowy	2025	80%	25%	16%	0.66	0.68	0.66
komorniczy	2016	75%	16%	32%	0.72	0.75	0.72
komorniczy	2017	81%	14%	36%	0.74	0.77	0.74
komorniczy	2018	75%	19%	28%	0.69	0.68	0.68
komorniczy	2019	73%	15%	18%	0.64	0.67	0.65
komorniczy	2020	76%	28%	22%	0.59	0.60	0.60
komorniczy	2021	81%	26%	18%	0.63	0.64	0.62
komorniczy	2022	86%	18%	25%	0.68	0.70	0.67
komorniczy	2023	89%	30%	37%	0.73	0.75	0.73
komorniczy	2024	76%	28%	32%	0.70	0.73	0.70
komorniczy	2025	80%	25%	22%	0.68	0.74	0.68
notarialny	2016	70%	19%	17%	0.60	0.62	0.58
notarialny	2017	84%	23%	18%	0.62	0.59	0.61
notarialny	2018	69%	11%	18%	0.64	0.66	0.64
notarialny	2019	79%	17%	23%	0.69	0.71	0.68
notarialny	2020	68%	22%	20%	0.60	0.61	0.59
notarialny	2021	79%	25%	14%	0.63	0.61	0.61
notarialny	2022	81%	35%	24%	0.65	0.65	0.64
notarialny	2023	75%	25%	13%	0.67	0.70	0.66
notarialny	2024	82%	18%	19%	0.66	0.66	0.65
notarialny	2025	81%	19%	20%	0.66	0.68	0.64

Interpretacja Orzecznictwa

Zdolność do identyfikacji zamaskowanych przepisów w treści uzasadnień sądowych.

Legal Basis

14%

Exact Match

Rouge N

0.12

Rouge N Tfidf

0.10

Rouge W

0.13

Egzaminy Zawodowe

Wyniki na egzaminach wstępnych na aplikacje prawnicze.

Answer

79%

Legal Basis

22%

Exact Match

22%

Rouge N

0.66

Rouge N Tfidf

0.67

Rouge W

0.65

Wyniki wg typu egzaminu i roku

Typ Egzaminu	Rok	Answer	Legal Basis	Exact Match	Rouge N	Rouge N Tfidf	Rouge W
adwokacki_radcowy	2016	71%	19%	16%	0.59	0.60	0.57
adwokacki_radcowy	2017	80%	19%	14%	0.56	0.56	0.56
adwokacki_radcowy	2018	81%	19%	9%	0.59	0.60	0.58
adwokacki_radcowy	2019	74%	21%	23%	0.66	0.67	0.66
adwokacki_radcowy	2020	69%	14%	26%	0.64	0.66	0.63
adwokacki_radcowy	2021	82%	17%	35%	0.73	0.76	0.74
adwokacki_radcowy	2022	88%	28%	24%	0.68	0.68	0.67
adwokacki_radcowy	2023	87%	19%	9%	0.62	0.66	0.61
adwokacki_radcowy	2024	82%	38%	32%	0.69	0.73	0.69
adwokacki_radcowy	2025	80%	25%	16%	0.66	0.68	0.66
komorniczy	2016	75%	16%	32%	0.72	0.75	0.72
komorniczy	2017	81%	14%	36%	0.74	0.77	0.74
komorniczy	2018	75%	19%	28%	0.69	0.68	0.68
komorniczy	2019	73%	15%	18%	0.64	0.67	0.65
komorniczy	2020	76%	28%	22%	0.59	0.60	0.60
komorniczy	2021	81%	26%	18%	0.63	0.64	0.62
komorniczy	2022	86%	18%	25%	0.68	0.70	0.67
komorniczy	2023	89%	30%	37%	0.73	0.75	0.73
komorniczy	2024	76%	28%	32%	0.70	0.73	0.70
komorniczy	2025	80%	25%	22%	0.68	0.74	0.68
notarialny	2016	70%	19%	17%	0.60	0.62	0.58
notarialny	2017	84%	23%	18%	0.62	0.59	0.61
notarialny	2018	69%	11%	18%	0.64	0.66	0.64
notarialny	2019	79%	17%	23%	0.69	0.71	0.68
notarialny	2020	68%	22%	20%	0.60	0.61	0.59
notarialny	2021	79%	25%	14%	0.63	0.61	0.61
notarialny	2022	81%	35%	24%	0.65	0.65	0.64
notarialny	2023	75%	25%	13%	0.67	0.70	0.66
notarialny	2024	82%	18%	19%	0.66	0.66	0.65
notarialny	2025	81%	19%	20%	0.66	0.68	0.64