Platforma do nauki biologii z ocenianiem AI.

Sytuacja

Aplikacje do nauki do egzaminów radzą sobie z pytaniami zamkniętymi, bo tam wystarczy porównać literę. Problem zaczyna się przy zadaniach otwartych, a to one decydują o wyniku z biologii. Żeby je sprawdzić, ktoś musi przeczytać odpowiedź ucznia i porównać ją z zasadami punktowania.

Efekt jest taki, że uczeń rozwiązuje arkusz, dostaje procent i nie wie, dlaczego stracił punkt. Nauczyciel wie, ale nie jest w stanie sprawdzić trzydziestu arkuszy tygodniowo.

Dlaczego to trudne

Model językowy poproszony wprost o ocenę odpowiedzi jest zbyt uprzejmy. Przyznaje punkt za odpowiedź brzmiącą sensownie, nawet gdy brakuje w niej elementu wymaganego w kluczu. Do nauki jest to gorsze niż brak oceny, bo utrwala błąd.

Druga trudność to powtarzalność. Ta sama odpowiedź musi dostać ten sam wynik dziś i za tydzień, inaczej nie da się liczyć postępu.

Co budujemy

System to modularny monolit w Symfony z API Platform i interfejsem w Reakcie. Zamiast jednej wielkiej aplikacji mamy sześć modułów domenowych z osobnymi granicami: treści i arkusze, sesje rozwiązywania, ocenianie, postęp ucznia, konta, płatności.

Ocenianie jest osobnym modułem właśnie dlatego, że to najbardziej ryzykowna część. Można je wymienić albo dołożyć drugi model do porównania, nie ruszając reszty.

• arkusze i zadania jako dane, nie jako pliki PDF do przeglądania,
• zasady punktowania zapisane przy zadaniu, tak jak w oficjalnym kluczu,
• ocena rozbita na elementy klucza, nie jedna liczba,
• każda próba zapisana, żeby liczyć postęp z historii, a nie z ostatniego podejścia.

Jak działa ocenianie

Model nie dostaje pytania „ile punktów”. Dostaje treść zadania, odpowiedź ucznia i rozpisany klucz, a jego zadaniem jest wskazać, które elementy klucza w odpowiedzi wystąpiły, a których brakuje. Punkty liczy z tego kod, nie model.

Dzięki temu uczeń dostaje zdanie w rodzaju „masz mechanizm, brakuje skutku dla organizmu” zamiast samego wyniku. To jest cała wartość tej platformy.

Czego pilnujemy

Zanim ocenianie wyjdzie do uczniów, sprawdzamy je na odpowiedziach ze znanym wynikiem i porównujemy z oceną człowieka. Dopóki się rozjeżdża, nie pokazujemy go jako oceny, tylko jako podpowiedź.

To samo podejście stosujemy u klientów. AI dostaje wąskie zadanie z jasnym kluczem, a decyzję liczy kod, który da się sprawdzić.