Cel projektu
PolishLawLLM Benchmark to projekt badawczy mający na celu obiektywną ocenę możliwości dużych modeli językowych (LLM) w dziedzinie polskiego prawa. W ramach benchmarku przeprowadzamy dwa komplementarne testy:
Test egzaminów prawniczych - bazujący na oficjalnych pytaniach z egzaminów na aplikacje prawnicze
Test orzeczeń sądowych - weryfikujący zdolność do identyfikacji przepisów w kontekście uzasadnień sądowych
W obu testach modele są proszone o przytoczenie dokładnej treści przepisów prawnych, co pozwala ocenić nie tylko znajomość prawa, ale także dokładność generowanego tekstu.
Test egzaminów prawniczych
Charakterystyka egzaminów
Egzaminy na aplikację prawniczą są kluczowym elementem rekrutacji do odbycia aplikacji przygotowującej do wykonywania zawodu prawniczego. W Polsce występują trzy rodzaje takich egzaminów:
Każdy egzamin ma formę testu jednokrotnego wyboru z 3 możliwymi odpowiedziami. Pytania odnoszą się do przepisów obowiązujących na dzień ogłoszenia wykazu tytułów aktów prawnych przez Ministra Sprawiedliwości.
Metodologia testu
Test polega na zadawaniu modelom pytań zamkniętych z egzaminów i weryfikacji trzech aspektów odpowiedzi:
Poprawność odpowiedzi - oceniana binarnie (1 punkt za poprawną, 0 za niepoprawną)
Identyfikacja podstawy prawnej - model podaje identyfikator przepisu (np. "art. 415 k.c."), na którym oparł odpowiedź
Przytoczenie treści przepisu - model cytuje dokładną treść wskazanego przepisu, którą oceniamy za pomocą metryk tekstowych
Przykładowe pytanie:
Zgodnie z Kodeksem karnym, czyn zabroniony uważa się za popełniony w miejscu, w którym:
Poprawna odpowiedź: A (art. 6 § 2 Kodeksu karnego)
Źródła danych
Pytania egzaminacyjne oraz klucze odpowiedzi zostały pozyskane ze strony Ministerstwa Sprawiedliwości. Teksty jednolite kodeksów prawnych pobrano z Internetowego Systemu Aktów Prawnych (ISAP). Zbiór zawiera łącznie 1994 pytania z egzaminów przeprowadzonych w latach 2016-2025.
Test orzeczeń sądowych
Charakterystyka orzeczeń
Orzeczenia sądowe są oficjalnymi rozstrzygnięciami sądów wydawanymi w sprawach cywilnych, karnych i administracyjnych. Każde orzeczenie składa się z rozstrzygnięcia (wyroku lub postanowienia) oraz uzasadnienia przedstawiającego motywy sądu.
Uzasadnienia zawierają bezpośrednie cytowania i interpretacje przepisów prawnych, co pozwala weryfikować zdolność modeli do rozpoznawania podstaw prawnych rozstrzygnięć.
Metodologia testu
Test polega na prezentowaniu modelom orzeczeń sądowych, w których zamaskowano:
Identyfikator artykułu - np. "art. 415 k.c.", oznaczony jako <ART_MASK>
Treść przepisu - dosłowną lub sparafrazowaną, oznaczoną jako <TREŚĆ_MASK>
Zadaniem modelu jest wywnioskowanie na podstawie kontekstu uzasadnienia, jaki przepis został zamaskowany, oraz przytoczenie jego treści.
Źródła danych
Orzeczenia pozyskano z Portalu Orzeczeń Sądów Powszechnych. Zbiór zawiera 50 ręcznie zamaskowanych orzeczeń sądów różnych instancji (rejonowych, okręgowych i apelacyjnych).
Wykorzystane metryki
Do oceny jakości wygenerowanych przez modele treści przepisów prawnych stosujemy metryki z rodziny ROUGE, które pozwalają na automatyczne porównanie tekstu przytoczonego przez model z tekstem referencyjnym.
ROUGE-W
Metryka mierząca, jak długie fragmenty tekstu wygenerowanego przez model pokrywają się z tekstem oryginalnego przepisu. Im dłuższy ciągły fragment jest zgodny z oryginałem, tym wyższa ocena. Przykładowo: jeśli model przytoczył 10 słów z rzędu dokładnie tak jak w przepisie, otrzyma wyższą ocenę niż gdyby te same 10 słów było rozrzuconych w różnych miejscach tekstu.
ROUGE-N
Metryka bazująca na analizie n-gramów, czyli ciągów n kolejnych słów. Obliczamy miarę F1 dla n-gramów o długości od 1 do 3, a następnie wyznaczamy średnią arytmetyczną tych wartości.
ROUGE-N TF-IDF
Rozszerzona wersja ROUGE-N wykorzystująca TF-IDF - metodę wyznaczania wag słów łączącą dwa komponenty: częstość słowa w artykule (TF) oraz odwrotną częstość w całym kodeksie (IDF), pozwalając na identyfikację słów, które są jednocześnie istotne dla danego dokumentu i wyróżniające w kontekście całego korpusu dokumentów.
Źródła danych
Pytania egzaminacyjne - Ministerstwo Sprawiedliwości
Teksty jednolite kodeksów - Internetowy System Aktów Prawnych (ISAP)
Orzeczenia sądowe - Portal Orzeczeń Sądów Powszechnych