ITU får 7,1 millioner til forskning i en chatbot, der stiller modspørgsmål

IT-Universitetet i København har fået 7,1 millioner kroner fra Danmarks Frie Forskningsfond til at udvikle og afprøve en chatbot, der skal udfordre de studerendes argumenter. Universitetet offentliggjorde bevillingen mandag den 9. november. Den første afprøvning skal foregå blandt universitetets egne studerende i undervisning om AI-etik. Forskerne vil undersøge, om de studerende overvejer flere sider af et problem, når en chatbot beder dem begrunde deres svar.

Når det næste svar er et spørgsmål

Chatbotten skal hedde Diffrakt. Tanken er, at den nogle gange giver et åbent eller ufuldstændigt svar, så den studerende selv må vælge, hvad der er relevant at undersøge videre. Hvor en almindelig chatbot hurtigt kan skrive et sammenhængende argument, skal Diffrakt kunne standse ved en antagelse og bede den studerende forklare, hvorfor den holder.

Forestil dig for eksempel en opgave om en algoritme, der sorterer jobansøgere. En studerende kalder den retfærdig, fordi alle får samme test. Et modspørgsmål kunne være, om den samme test også giver alle en lige chance for at vise deres evner. Eksemplet viser, hvad et spørgsmål kan tilføre: Den studerende må nu skelne mellem ens behandling og lige muligheder og tage stilling til, hvilken af delene der bør veje tungest. ITU har endnu ikke offentliggjort eksempler på svar fra selve chatbotten.

Hjælp på skærmen og kunnen bagefter

I et uafhængigt forsøg med knap 1.000 gymnasieelever på en skole i Tyrkiet undersøgte Hamsa Bastani og kolleger forskellen på at løse en opgave med hjælp og at kunne løse en lignende opgave selv. Forskerne delte eleverne mellem en kontrolgruppe og to grupper med hver sin udgave af en chatbot til matematik. Den ene kunne give løsninger; den anden var instrueret i at give ledetråde og fik blandt andet eksempler på typiske fejl fra lærerne.

Under øvelserne klarede de to grupper med chatbot sig henholdsvis 48 og 127 procent bedre end kontrolgruppen målt på deres score. Ved en efterfølgende prøve uden hjælp lå gruppen med den almindelige chatbot 17 procent under kontrolgruppen. Gruppen med ledetråde skilte sig ikke statistisk sikkert ud fra kontrolgruppen. Tallene er relative forskelle i score, ikke procentpoint. Forsøget blev offentliggjort i PNAS i 2025 og siger noget om matematik på den pågældende skole. Det viser ikke, hvordan en chatbot vil påvirke danske universitetsstuderendes evne til at diskutere etik.

Modspørgsmålet skal komme på rette tidspunkt

Professor Jichen Zhu leder det femårige projekt sammen med lektor Christian Hardmeier som medansvarlig forskningsleder. Hardmeier skal undersøge, hvordan svarenes åbenhed kan tilpasses sprogmodellens usikkerhed. Lektor Pawel Grabarczyk bidrager med ekspertise i etik og ansvarlig AI.

Det stiller to forskellige krav til chatbotten. Når et etisk spørgsmål har flere forsvarlige svar, kan det hjælpe at holde mulighederne åbne. Men hvis en studerende mangler en konkret oplysning for at kunne komme videre, kan et modspørgsmål give mere forvirring end læring. For en underviser er forskellen praktisk: Ét spørgsmål kan afdække, hvorfor en studerende har valgt et bestemt argument; en stribe vage spørgsmål kan gøre det sværere at se, om den studerende overhovedet har forstået opgaven.

Undervisning og prøve har forskellige formål

I september indgik et politisk flertal en aftale om, at hf-elever skal forsvare deres større skriftlige opgave mundtligt. Ifølge Børne- og Undervisningsministeriet skal ændringen mindske risikoen for snyd med AI. Ved det mundtlige forsvar får eleven lejlighed til selv at redegøre for arbejdet. På ITU er opgaven en anden: at finde ud af, hvilken slags støtte der kan få de studerende til at gøre mere af arbejdet selv, mens de øver sig. Bevillingen ændrer ingen prøveregler.

Første afprøvning bliver på ITU

Forskerne vil samarbejde med undervisere og studerende, observere de studerendes reaktioner og bruge erfaringerne til at justere værktøjet. Universitetet har ikke oplyst, hvornår den første afprøvning begynder, eller hvor mange der skal deltage. Det konkrete resultat af bevillingen er derfor, at ITU kan bygge værktøjet og undersøge det i sin egen undervisning. Før andre uddannelser kan bruge erfaringerne, skal projektet vise, i hvilke situationer et modspørgsmål gør de studerendes begrundelser skarpere, og hvornår de har mere brug for et klart svar.