PROCENA ZNANJA PRIMENOM KOMPJUTERSKOG ADAPTIVNOG

TESTIRANJA

KNOWLEDGE ESTIMATION BY THE USE OF COMPUTER ADAPTIVE

TESTING

Jelena Anđelković
FON, Jove Ilića 154

Sadržaj: Razvoj informacionih tehnologija omogućuje primenu računara i u oblasti obrazovanja. U okviru
procesa obrazovanja računari se najčešće koriste za procenu znanja, odnosno u fazi vrednovanja i
ocenjivanja procenjenog znanja. U cilju praćenja savremenih svetskih trendova, na našim prostorima,
razvijena je aplikacija za Kompjutersko adaptivno polaganje ispita (KAPI). U okviru ovog rada biće
predstavljenja priemnjena metodologija kompjuterskog adaptivnog testiranja, aplikacija za Kompjutersko
adaptivno polaganje ispita , primena aplikacije KAPI kroz eksperiment i rezultati eksperimenta.

Ključne reči: Obrazovanje, metodologija, Kompjutersko adaptivnog testiranje, Kompjutersko adaptivno

polaganje ispita, Teorija davanja odgovora, banka ajtema, procena sposobnosti (znanja), eksperiment.

Abstract: The development of information tehnologies allows the appliance of computers for educational
purposes. Within the educational process, computers are mostly used for knowledge estimation, especially
during evaluation and grading phase. As a follow up of the new world wide trends, Computer Adaptive
Knowledge Evaluation and Grading (CAKEG) application is developed. Within this paper, applied
methodology of Comuter Adaptive Testing (CAT), application for Computer Adaptive Knowledge Evaluation
and Grading, the use of CAKEG application through the experiment and the experiment results will be
presented.

Key words: Education, methodology, Computer Adaptive Testing (CAT), Computer Adaptive Knowledge
Evaluation and Grading (CAKEG), Item Response Theory, bank of items, abillity (knowledge) estimation,
experimet.

1. UVOD

Prvi korak ka stvaranju tržišno konkuretnih kadrova jeste njihovo obrazovanje, bilo da je reč o školskom
obrazovanju ili obrazovanju u okviru radnih organizacija. Kako je rezultat procesa obrazovanja formiranje
novih sposobnosti koje se izražavaju kao znanja i umenja, često se postavlja pitanje vrednovanja ili
ocenjivanja tog stečenog znanja. Razvoj informaciono komunikacionih tehnologija doveo je do
osavremenjivanja samog procesa obrazovanja te danas primena informacionih tehnologija se može videti u
svim fazama obrazovnog procesa. Posebno se ističe njihova primena u fazi vrednovanja uspeha, odnosno
vrednovanja i ocenjivanja procenjenog znanja, i to u vidu Kompjuterski podržanih testova i Kompjuterski
adaptivnih testova.

Na našim prostorima procena i ocenjivanje znanja najčešće se vrši na tradiconalan način, usmenim
ispitivanjem ili putem testova papit-i-olovka. U novije vreme razvijen je i određi broj kompjuterski podržanih
testova za učenje i ocenjivanje. U cilju praćenja savremenih svetskih trendova, i njihove primene kod nas,
razvijen je Sistem za podršku kompjuterskom adaptivnom testiranju u okviru koga je kreirana aplikacaja za
kompjutersko adaptivno polaganje ispita (KAPI). Aplikacija KAPI primenjena je u okviru eksperimenta
organizovanog na Fakultetu organizacionih nauka u junskom ispitnom roku 2003. godine. Eksperimentom je
obuhvaćeno polaganje usmenog dela ispita iz predmeta Sistemi za podršku odlučivanju, preko računara,
primenom metodologije kompjuterskog adaptivnog testiranja, kao i anketno ispitivanje studenata o takvom
načinu polaganja ispita.

2. PRIMENJENA METODOLOGIJA KOMPJUTERSKOG ADAPTIVNOG TESTIRANJA U

APLIKACIJI KAPI

Kompjutersko adaptivni testovi predstavljaju znatno efikasniji način provere znanja uz maksimalno korišćenje
mogućnosti računara. Njihova adaptivnost se ogleda u mogućnosti prilagođavanja trenutnom znanju
ispitanika. Kao glavne prednosti ovakvog načina ispitivanja ističu se: individulni test za svakog ispitanika,
smanjenje greške u slučaju različitih ispitivača, povećana sigurnost testiranja (jer se ne zna koja će pitanja
ispitanik dobiti), mogućnost podešavanja vremena i postavljanja velikog raspona različitih tipova pitanja, brže
obavljanje testiranja uz postizanje istog nivoa pouzdanosti, davanje preciznih rezultata za ispitanike sa
širokim rasponom znanja (dok tradicionalni testovi daju precizne rezultate za predpostavljene prosečne
ispitanike odrgeđene grupe), itd. Kompjutersko adaptivno testiranje se zasniva na: izboru modela teorije
davanja odgovora, formiranju banke ajtema (pitanja), izboru prvog pitanja (početka testiranja), određivanju
redosleda zadavanja ajtema, proceni sposobnosti i izboru metode kriterijuma zaustavljanja.

Algoritam kopjuterskog adaptivnog testiranja je iterativni proces i najčešće obuhvata sledeće korake:
1. Svi ajtemi, iz banke ajtema, koji nisu još ušli u procenu, se evoluiraju ( na osnovu
inicijalne procene sposobnosti),
2. Odabira se sledeće najbolje pitanje i ispitanik daje odgovor,
3. Procenjuje se nivo sposobnosti na osnovu tog odgovora i svih ajtema koji su do tog
trenutka ušli u procenu i
4. Koraci 1-3 se ponavljaju dok se ne zadovolji kriterijum zaustavljanja.

Jednoparametarski model. Kompjutersko adaptivno testiranje zasniva se na Teoriji davanja odgovora [3].
Teorija davanja odgovora (Item Response Theory – IRT) je statistički model koji povezuje karakteristike
stavki i karakteristike pojedinca s jedne strane i verovatnoće davanja tačnog odgovora s druge. Slikovito
predstavljanje definicije Teorije davanja odgovora dato je na slici 1. Teorija davanja odgovora se zasniva na
dva postulata: uspešnost davanja odgova ispitanika na ajtemu se može predvideti grupom nezavisnih
faktora (osobine, latentne osobine, sposobnosti) i odnos između uspešnosti davanja odgovora ispitanika na
ajteme i grupe navedenih faktora, od kojih zavisi ta uspešnost. Uspešnost se može prikazati u vidu
monotono rastuće funkcije koja se naziva ajtem karakteristična kriva (AKK). Svaki ajtem u testu ima svoju
vlastitu ajtem karakterističnu krivu. U Teoriji davanja odgovora obrađenja su tri modela ajtem-katakteristične
krive: Rašov ili Jednoparametarski model, Dvoparametarski model i Troparametarski model.

Slika 1. Tipična Ajtem Karakteristična Kriva,

P(θ) – Verovatnoća davanja tačnog odgovora,
Θ – Sposobnost, Osobina

U aplikaciji KAPI primenjen je jednoparametarski (Rašov) model. Što znači da verovatnoća davanja tačnog
odgovora u odnosu na posmatranu osobinu, u ovom slučaju znanje, zavisi samo od jednog faktora. Taj
faktor je težina pitanja (u formuli (1) obeležen je oznakom b). Formula korišćena za računanje verovatnoće
da će ispitanik i tačno odgovoriti na postavljeno pitanje j je:

(θ i −b j )
e
p ij = −1∗(θ i −b j ) , za i=1,2,…,n i j=1,2,…,k… (1)
1+ e
n-predstavlja ukupan broj ispitanika, dok k-predstavlja ukupan broj pitanja u banci ajtema, Parametar bj,
(stavska kalibracija) definiše težinu pitanja, dok θ i je mera koja zavisi jedino od svojstva osobe i i naziva se
latentna crta osobe, u ovom slučaju govorimo o znanju.
Formiranje banke ajtema. Banka ajtema je strukturisana kolekcija ajtema, implementirana na računaru, koja
se kreira, održava i koristi pomoću specijalizovanog softvera. U aplikaciji KAPI banka pitanja sastavljana je
od 54 pitanja podeljenih u dve oblasti, kako se u teoriji i preporučuje. Pitanjima u obe oblasti dodeljeni su
težinski koeficijenti u rasponu od –3 do 3 logita (Jedan logit odgovara verovatnoći pozitivnih odgovora od
73%. Dakle, ako je ispitanik na testu sposobnosti od 100 pitanja tačno odgovorio na 73, njegova mera biće
1.) od strane stručnog lica. Pitanja prve oblasti bila su takozvana Da/Ne pitanja. Odnosno prikazana su tri
moguća odgovora: Da, Ne i Ne znam, od kojih je ispitanik mogao da izabere samo jedno, pri čemu se
odgovor Ne znam tretirao kao ne tačan. Pitanja druge oblasti bila su pitanja višestrukog izbora od kojih je
samo jedan odgovor tačan. Implementirana je kao tabela u okviru baze podataka. Skup automatski
odabranih pitanja iz banke pitanja (na osnovu kriterijuma za izbor) predstavlja test za određenog ispitanika.

Izbor prvog pitanja (početak testiranja). U aplikaciji KAPI primenjene su dve metode za početak testiranja:
• Pitanjem koje odgovara konkretnoj procenjenoj vrednosti inicijalnog znanja – Predstavlja način odabira
prvog pitanja za prvu oblast, gde se za inicijalno znanje uzima vrednost 0.65 (jer ona predstavlja nivo
znanja nešto iznad proseka, a treba znati da nema presudni uticaj kada ispitanik odgovori na dovoljan
broj pitanja). Na osnovu te vrednosti vrši se odabir pitanja za koje informaciona funkcija ima najveću
vrednost.
• Pitanjem na osnovu izračunate inicijalne procene znanja odabranim modelom – Predstavlja način
odabira prvog pitanja za drugu oblast gde se za izračunatu vrednost inicijalne procene znanja uzima
procenjeno znanje iz prve oblasti. Na osnovu te vrednosti bira se pitanje koje će sa najvećom
preciznošću učestvovati u daljoj proceni tj. pitanje sa najvišom vrednošću informacione funkcije.

Informaciona funkcija [2]. Statističko značenje informacione funkcije (Fisher) je recipročna vrednost od
preciznosti parametara koji se procenjuju
1 (2)
I= 2
δ

I - nivo informacija; δ 2 - mera preciznosti – varijansa procenjene sposobnosti.

Pošto se ovde radi o informaciji o osobini (θ) koju poseduje jedno pitanje ili čitav test ovu informaciju
možemo označiti kao I(θ). Za jednoparametarski model informativnost ajtema se može izračunati kao:
) ) )
I (θ ) = P (θ ) ∗ Q (θ ) (3)
) i i i

Pi( θ s ) – verovatnoća davanja tačnog odgovora na ajtem i , za dati model ajtem karakteristične krive, za nivo
)
sposobnosti θ s ,
) )
Qi( θ s ) = 1 – Pi( θ s ) - verovatnoća davanja netačnog odgovora na ajtem i, za dati model ajtem karakteristične
)
krive, za nivo sposobnosti θ s .

Sabiranjem informativnosti svih ajtema nekog testa može se dobiti ukupna informativnost tog testa o osobini
koju on meri: ) )
( )
I θ = ∑ I (θ )
n

i =1
j
(4)

Standardna greška [5]. Standardna greška predstavlja standardnu devijaciju asimptotičke normalne
distribucije maksimalne verovatnoće sposobnosti za datu tačnu vrednost. Odnosno, količina informacija koju
test obezbeđuje, za datu procenjenu sposobnosti, obrnuto je srazmerna tačnosti sa kojom izračunavamo
sposobnost u toj tačci.
1
SE (θ ) =
I (θ ) (5)
I(Θ) -Informaciona funkcija testa.

Određivanje redosleda zadavanja pitanja [5]. U aplikaciji KAPI primenjuje se Procedura maksimalne
informacije, koja obezbeđuje izbor onog pitanja za koje informaciona funkcija doseže najviši nivo u odnosu
na procenjeno znanje predhodne iteracije. Može se izdvojiti kao zaseban slučaj korišćenje Bejzijanove
procedure i to pri izboru prvog pitanja jer se tada predpostavlja a priori vrednost za inicijalnu procenu znanja i
u odnosu na nju vrši izbor pitanja.

Ispitaniku model postavlja prvo pitanje na osnovu neke od metoda za početak testiranja. Ispitanik odgovara
na pitanje i na osnovu njegovog odgovora vrši izbor sledećeg pitanja. Ako je ispitanik odgovorio tačno, na
postavljeno pitanje, model će mu izabrati prvo teže pitanje sa najvećom informativnošću za njega. Ako je
odgovorio pogrešno model će selektovati prvo lakše najinformativnije pitanje za njega. Posle svakog novog
zadatog pitanja model će nanovo procenjivati znanje, sposobnost ispitanika, standardnu grešku merenja i
nivo informacionih funkcija za sva preostala pitanja koja mogu biti postavljena (za trenutno procenjeni nivo
znanja), kao i informativnost testa. Postupak se ponavlja sve dok se ne zadovolji neki od kriterijuma
zaustavljanja.

Procena sposobnosti [1]. Za procenu sposobnosti ispitanika koristi se procedura maksimalne verovatnoće,
gde se za vrednost parametra diskriminacije uzima jedan jer se u aplikaciji KAPI koristi jednoparametarski
model (a=1). Ova procedura predstavlja iterativan postpak. Da bi postupak otpočeo za poznate promenljive
uzimaju se vrednosti za sve ajtem parametre i neka a priori vrednost za inicijalnu procenu sposobnosti.
Procena spobobnosti se računa na osnovu izračunatih verovatnoća i vektora davanja odgovora a prema
sledećoj formuli: N
)
ai *[u i −P (θ s ) ]
∑
) ) i =1
θ = θ + N ) ) (6)
s +1 s
ai2 *P (θ s )*Qi (θ s )
∑
i =1
)
θ s - procenjena sposobnost ispitanika u iteraciji s, ai – parametar diskriminacije ajtema i, i = 1,2,…,n,
ui – odgovor koji je ispitanik dao na ajtem i: ui = 1 za tačan odgovor, ui = 0 za netačan odgovor,
)
Pi( θ s ) – verovatnoća davanja tačnog odgovora na ajtem i , za dati model ajtem karakteristične krive, za nivo
) ) )
sposobnosti θ s , u iteraciji s, Qi( θ s ) = 1 – Pi( θ s ) - verovatnoća davanja netačnog odgovora na ajtem i , za
)
dati model ajtem karakteristične krive, za nivo sposobnosti θ s , u iteraciji s.

Cilj postupka jeste popravljanje vrednosti procenjene sposobnosti iz iteracije u iteraciju. Postupak se
nastavlja dok vrednost procenjene sposobnosti ne prestane da se menja ili je ta promena zanemarljivo mala,
odnosno kriterijum zaustavljanja može se predstaviti jednačinom:
) )
θ s +1 - θ s =0 (7)

Izbor metode kriterijuma zaustavljanja. Aplikacijom KAPI obuhvaćena su sledeća tri kriterijuma zaustavljanja:
1. Vreme. Vremensko trajanje testa predloženo je od strane profesora na predmetu Sistemi za podršku
odlučivanju jer se smatra da je to više nego dovoljno za rešavanje takve grupe pitanja, kao i u
slučaju rešavanja odabrane grupe od 20 pitanja u formi testa papir-i-olovka. Vremensko trajanje
ograničeno je na 90 minuta.
2. Broj pitanja. Iako se najčešće ne preporučuje kao kriterijum za adaptivno testiranje jer se
predpostavlja postojanje banke pitanja od 100, 200 ili više pitanja, u ovom ekperimentalnom primeru
uzet je u obzir jer je banka pitanja sastavljena od svega 54 pitanja.
3. Ocena preciznosti. Testiranje se zaustavlja kada je promena standardne greške zanemarljivo mala.
U ovom primeru uzeto je kada je promena standardne greške manja od 0.001 logita:

SE(θs) – SE(θs-1) < 0.001 (8)

3. KOMOPJUTERSKO ADAPTIVNO POLAGANJE ISPITA

Iz glavnog menija aplikacije KAPI mogu se izabrati:

1. Ispit-student. Izborom Ispit-student aktivira se modul za Testiranje studenata čiji su korisnici studenti.
Obuhvata unos osnovnih podataka o studentu preko monitora i testiranje studenata, na osnovu
odgovora studenata na ajteme testa, preko monitora, u interakciji sa sistemom. Po svakom odgovoru
ispitanika na postavljeno pitanje sistem izračunavanjem vrši trenutnu procenu znanja ispitanika na
osnovu koje izračunava informacione funkcije preostalih pitanja i postavlja sledeće pitanje ispitaniku.
Izgled ekranske forme za testiranje studenta dat je na slici 2.
 Slika 2: Izgled ekranske forme Ispit-student

2. Ispit-profrsor. Ovim izborom aktivira se modul za Testiranje sa praćenjem metodologije kompjuterskog

adaptivnog testiranja i analogan je modulu Testiranje. Razlika između ovih modula je u tome što je
kod modula Testiranje sa praćenjem metodologije kompjuterskog adaptivnog testiranja korisnik
pofesor i omogućava praćenje celokupnog testiranja kroz: grafički prikaz odabranih pitanja koja u
test ulaze kao i sve proračune potrebne za odabir pitanja i procenu znanja ispitanika. Izgled
ekranske forme za testiranje studenata sa praćenjem metodologije kompjuterskog adaptivnog
testiranja dat je na slici 3.

Slika 3: Izgled ekranske forme Testiranje-Profesor

3. Rezulati. Izborom Rezultati aktivira se modul za Pretraživanje rezultata kojim je omogućeno

pretraživanje studenata koji su ispit polagali i prikaz rezultata za odabranog studenta. Prikaz
rezultata obuhvata sva pitanja koja su ušla u test za tog ispitanika, njegove odgovore na postavljena
pitanja, kao i sve statističke proračune koji se na njih odnose (Za svako pitanje može videti: oblast
kojoj pitanje pripada, početni nivo znanja, verovatnoću davanja tačnog odgovora, težinu tog pitanja,
odgovor ispitanika, tačan odgovor na to pitanje, procenjeno znanje u trenutku davanja odgovora na
to pitanje, kao i standardnu grešku procene) i rezultat procenjenog znanja studenta (ukupan i po
oblastima) u vidu procentualnog rezulata i ocene. Izgled ekranske forme za Pretraživanje rezultata
dat je na slici 4.
 Slika 4: Izgled ekranske forme Rezultati

3.1. Eksperiment

Primena aplikacije KAPI pokazana je eksperimentom, koji je sproveden u junskom ispitnim roku na Fakultetu
organizacionih nauka, kojim je obuhvaćeno polaganje usmenog dela ispita iz predmeta Sistemi za podršku
odlučivanju preko kompjutera primenom metodologije kompjuterskog adaptivnog testiranja. U eksperimentu
je učestvovalo 36 studenata. Učešće u eksperimentu je bilo dobrovoljno, kao i učešće u anketnom ispitivanju
koje po završenom eksperimentu sprovedeno. Tokom izvođenja eksperimenata računar je generisao 36
testova za svakog ispitanika, koji su oni rešavali za različito vreme. Procenjeno znanje svakog ispitanika
moglo se videti odmah po završenom testu. Po završenom testiranju ispitanici su popunili anketu, gde su bili
u mogućnosti da izraze svoja mišljenja o klasičnom načinu polaganja ispita i polaganju ispita preko računara.
Ostvaren i zadati cilj eksperimenta, odnosno pokazano je da je, i u našim uslovima, polaganje ispita preko
računara, primenom kompjuterskog adaptivnog testiranja, moguće.

Na osnovu statističke analize rezultata procene znanja dobijene eksperimentom izvedeni su sledeći
zaključci:
• Da je za svakog ispitanika generisan poseban skup pitanja;
• Da su sva pitanja iz banke pitanja bila zastupljena;
• Da su pri ocenjivanju rezultata sve ocene bile zastupljene i
• Da odnos ocena i postavljenog broja pitanja odgovara logici kompjuterskog adaptivnog
testiranja.

Obrada rezultata ankete pokazala je da sami studenti, usled njihovog svakodnevnog rada na računaru,
pokazuju visok nivo spremnosti ka ocenjivanju znanja preko računara. Samo učešće u eksperimentu
pokazuje njihovu želju za praćenjem novih, savremenih trendova, kako su se i u anketi izjasnili. Za ovaj
način ispitivanja kao osnovne prednosti ističu: smanjenje vremena (nema pisanja), povećena preglednost, ne
zavisnost u odnosu na okruženje, smanjanje mogućnosti greške pri obradi rezultata, savremeni način
polaganja ispita, ujednačen kriterijum ocenjivanja, smanjenje treme, prilikom polaganja ispita vezanih za
programiranje mogućnost testiranja programa, zanimljivije je, lakši način, mogućnost studenata koji su
bolesni da polažu od kuće, savremeniji način, mogućnost trenutnog uvida u rezultate, povećanje motivacije,
isključivanje subjektivnosti ispitivača, očekivani izgled pitanja, više vremena za razmišljanje, smanjenje
zabune jer je prezentovano samo jedno pitanje i sva koncentracija je na njega usmerena kao i polaganje u
malim grupama.
4. ZAKLUČAK

Kompjuterski podržani i kompjuterski adaptivni testovi, danas, predstavljaju savremeni način testiranja koji se
u svetu uveliko primenjuje. U želji da se i našim studentima pruže mogućnosti savremenog testiranja
kreirana je aplikacija KAPI, organizovan je i sproveden navedeni eksperiment. Eksperimentom je pokazano
da je i u našim uslovima moguće sprovesti testiranje primenom logike kompjuterskog adaptivnog testiranja i
otvorena su vrata daljim istraživanjima i usavršavanjima takvih testova na našim prostorima.

5. LITERATURA

[1] Chapter 5 – Estimatimatig an Examinee’s Ability - www.digital-teacher.com

[2] Chapter 6 – The Information Function - www.digital-teacher.com
[3] IRT – Item Response Theory, na osnovu Hambleton, Swaminathan I Rogers, 1991.
[4] Milosavljević Dr Gordana, Vukanović Svetlana: “Profesionalno obrazovanje na distancu”
[5] Ronald K. Hambleton, H. Swaminathan, H. Jane Rogers “Fundamentalis of Item Response Theory”
SAGE PUBLICATIONS, The International Professional Publisher, Newbury Park London New Delhi
[6] Rudner, Lawrence M. (1998). An On-line, Interactive, Computer Adaptive Testing Mini-Tutorial,
http://ericae.net/scripts/cat/cat
[7] Vuković, N., 1987, “Statistička analiza”, Naučna knjiga, Beograd