P. 1
49 ProcenaZnanja

49 ProcenaZnanja

|Views: 204|Likes:
Published by kinasky

More info:

Categories:Topics, Art & Design
Published by: kinasky on Feb 10, 2010
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

07/26/2014

pdf

text

original

PROCENA ZNANJA PRIMENOM KOMPJUTERSKOG ADAPTIVNOG TESTIRANJA KNOWLEDGE ESTIMATION BY THE USE OF COMPUTER ADAPTIVE TESTING

Jelena Anđelković FON, Jove Ilića 154 Sadržaj: Razvoj informacionih tehnologija omogućuje primenu računara i u oblasti obrazovanja. U okviru procesa obrazovanja računari se najčešće koriste za procenu znanja, odnosno u fazi vrednovanja i ocenjivanja procenjenog znanja. U cilju praćenja savremenih svetskih trendova, na našim prostorima, razvijena je aplikacija za Kompjutersko adaptivno polaganje ispita (KAPI). U okviru ovog rada biće predstavljenja priemnjena metodologija kompjuterskog adaptivnog testiranja, aplikacija za Kompjutersko adaptivno polaganje ispita , primena aplikacije KAPI kroz eksperiment i rezultati eksperimenta. Ključne reči: Obrazovanje, metodologija, Kompjutersko adaptivnog testiranje, Kompjutersko adaptivno polaganje ispita, Teorija davanja odgovora, banka ajtema, procena sposobnosti (znanja), eksperiment. Abstract: The development of information tehnologies allows the appliance of computers for educational purposes. Within the educational process, computers are mostly used for knowledge estimation, especially during evaluation and grading phase. As a follow up of the new world wide trends, Computer Adaptive Knowledge Evaluation and Grading (CAKEG) application is developed. Within this paper, applied methodology of Comuter Adaptive Testing (CAT), application for Computer Adaptive Knowledge Evaluation and Grading, the use of CAKEG application through the experiment and the experiment results will be presented. Key words: Education, methodology, Computer Adaptive Testing (CAT), Computer Adaptive Knowledge Evaluation and Grading (CAKEG), Item Response Theory, bank of items, abillity (knowledge) estimation, experimet.

1. UVOD
Prvi korak ka stvaranju tržišno konkuretnih kadrova jeste njihovo obrazovanje, bilo da je reč o školskom obrazovanju ili obrazovanju u okviru radnih organizacija. Kako je rezultat procesa obrazovanja formiranje novih sposobnosti koje se izražavaju kao znanja i umenja, često se postavlja pitanje vrednovanja ili ocenjivanja tog stečenog znanja. Razvoj informaciono komunikacionih tehnologija doveo je do osavremenjivanja samog procesa obrazovanja te danas primena informacionih tehnologija se može videti u svim fazama obrazovnog procesa. Posebno se ističe njihova primena u fazi vrednovanja uspeha, odnosno vrednovanja i ocenjivanja procenjenog znanja, i to u vidu Kompjuterski podržanih testova i Kompjuterski adaptivnih testova. Na našim prostorima procena i ocenjivanje znanja najčešće se vrši na tradiconalan način, usmenim ispitivanjem ili putem testova papit-i-olovka. U novije vreme razvijen je i određi broj kompjuterski podržanih testova za učenje i ocenjivanje. U cilju praćenja savremenih svetskih trendova, i njihove primene kod nas, razvijen je Sistem za podršku kompjuterskom adaptivnom testiranju u okviru koga je kreirana aplikacaja za kompjutersko adaptivno polaganje ispita (KAPI). Aplikacija KAPI primenjena je u okviru eksperimenta organizovanog na Fakultetu organizacionih nauka u junskom ispitnom roku 2003. godine. Eksperimentom je

obuhvaćeno polaganje usmenog dela ispita iz predmeta Sistemi za podršku odlučivanju, preko računara, primenom metodologije kompjuterskog adaptivnog testiranja, kao i anketno ispitivanje studenata o takvom načinu polaganja ispita.

2. PRIMENJENA METODOLOGIJA KOMPJUTERSKOG ADAPTIVNOG TESTIRANJA APLIKACIJI KAPI

U

Kompjutersko adaptivni testovi predstavljaju znatno efikasniji način provere znanja uz maksimalno korišćenje mogućnosti računara. Njihova adaptivnost se ogleda u mogućnosti prilagođavanja trenutnom znanju ispitanika. Kao glavne prednosti ovakvog načina ispitivanja ističu se: individulni test za svakog ispitanika, smanjenje greške u slučaju različitih ispitivača, povećana sigurnost testiranja (jer se ne zna koja će pitanja ispitanik dobiti), mogućnost podešavanja vremena i postavljanja velikog raspona različitih tipova pitanja, brže obavljanje testiranja uz postizanje istog nivoa pouzdanosti, davanje preciznih rezultata za ispitanike sa širokim rasponom znanja (dok tradicionalni testovi daju precizne rezultate za predpostavljene prosečne ispitanike odrgeđene grupe), itd. Kompjutersko adaptivno testiranje se zasniva na: izboru modela teorije davanja odgovora, formiranju banke ajtema (pitanja), izboru prvog pitanja (početka testiranja), određivanju redosleda zadavanja ajtema, proceni sposobnosti i izboru metode kriterijuma zaustavljanja. Algoritam kopjuterskog adaptivnog testiranja je iterativni proces i najčešće obuhvata sledeće korake: 1. Svi ajtemi, iz banke ajtema, koji nisu još ušli u procenu, se evoluiraju ( na osnovu inicijalne procene sposobnosti), 2. Odabira se sledeće najbolje pitanje i ispitanik daje odgovor, 3. Procenjuje se nivo sposobnosti na osnovu tog odgovora i svih ajtema koji su do tog trenutka ušli u procenu i 4. Koraci 1-3 se ponavljaju dok se ne zadovolji kriterijum zaustavljanja. Jednoparametarski model. Kompjutersko adaptivno testiranje zasniva se na Teoriji davanja odgovora [3]. Teorija davanja odgovora (Item Response Theory – IRT) je statistički model koji povezuje karakteristike stavki i karakteristike pojedinca s jedne strane i verovatnoće davanja tačnog odgovora s druge. Slikovito predstavljanje definicije Teorije davanja odgovora dato je na slici 1. Teorija davanja odgovora se zasniva na dva postulata: uspešnost davanja odgova ispitanika na ajtemu se može predvideti grupom nezavisnih faktora (osobine, latentne osobine, sposobnosti) i odnos između uspešnosti davanja odgovora ispitanika na ajteme i grupe navedenih faktora, od kojih zavisi ta uspešnost. Uspešnost se može prikazati u vidu monotono rastuće funkcije koja se naziva ajtem karakteristična kriva (AKK). Svaki ajtem u testu ima svoju vlastitu ajtem karakterističnu krivu. U Teoriji davanja odgovora obrađenja su tri modela ajtem-katakteristične krive: Rašov ili Jednoparametarski model, Dvoparametarski model i Troparametarski model.

Slika 1. Tipična Ajtem Karakteristična Kriva, P(θ) – Verovatnoća davanja tačnog odgovora, Θ – Sposobnost, Osobina U aplikaciji KAPI primenjen je jednoparametarski (Rašov) model. Što znači da verovatnoća davanja tačnog odgovora u odnosu na posmatranu osobinu, u ovom slučaju znanje, zavisi samo od jednog faktora. Taj faktor je težina pitanja (u formuli (1) obeležen je oznakom b). Formula korišćena za računanje verovatnoće da će ispitanik i tačno odgovoriti na postavljeno pitanje j je:

(θ i −b j ) p ij = −1∗(θ i −b j ) 1+ e
e

, za i=1,2,…,n i j=1,2,…,k…

(1)

n-predstavlja ukupan broj ispitanika, dok k-predstavlja ukupan broj pitanja u banci ajtema, Parametar bj, (stavska kalibracija) definiše težinu pitanja, dok θ i je mera koja zavisi jedino od svojstva osobe i i naziva se latentna crta osobe, u ovom slučaju govorimo o znanju.

Formiranje banke ajtema. Banka ajtema je strukturisana kolekcija ajtema, implementirana na računaru, koja se kreira, održava i koristi pomoću specijalizovanog softvera. U aplikaciji KAPI banka pitanja sastavljana je od 54 pitanja podeljenih u dve oblasti, kako se u teoriji i preporučuje. Pitanjima u obe oblasti dodeljeni su težinski koeficijenti u rasponu od –3 do 3 logita (Jedan logit odgovara verovatnoći pozitivnih odgovora od 73%. Dakle, ako je ispitanik na testu sposobnosti od 100 pitanja tačno odgovorio na 73, njegova mera biće 1.) od strane stručnog lica. Pitanja prve oblasti bila su takozvana Da/Ne pitanja. Odnosno prikazana su tri moguća odgovora: Da, Ne i Ne znam, od kojih je ispitanik mogao da izabere samo jedno, pri čemu se odgovor Ne znam tretirao kao ne tačan. Pitanja druge oblasti bila su pitanja višestrukog izbora od kojih je samo jedan odgovor tačan. Implementirana je kao tabela u okviru baze podataka. Skup automatski odabranih pitanja iz banke pitanja (na osnovu kriterijuma za izbor) predstavlja test za određenog ispitanika. Izbor prvog pitanja (početak testiranja). U aplikaciji KAPI primenjene su dve metode za početak testiranja: • Pitanjem koje odgovara konkretnoj procenjenoj vrednosti inicijalnog znanja – Predstavlja način odabira prvog pitanja za prvu oblast, gde se za inicijalno znanje uzima vrednost 0.65 (jer ona predstavlja nivo znanja nešto iznad proseka, a treba znati da nema presudni uticaj kada ispitanik odgovori na dovoljan broj pitanja). Na osnovu te vrednosti vrši se odabir pitanja za koje informaciona funkcija ima najveću vrednost. • Pitanjem na osnovu izračunate inicijalne procene znanja odabranim modelom – Predstavlja način odabira prvog pitanja za drugu oblast gde se za izračunatu vrednost inicijalne procene znanja uzima procenjeno znanje iz prve oblasti. Na osnovu te vrednosti bira se pitanje koje će sa najvećom preciznošću učestvovati u daljoj proceni tj. pitanje sa najvišom vrednošću informacione funkcije. Informaciona funkcija [2]. Statističko značenje informacione funkcije (Fisher) je recipročna vrednost od preciznosti parametara koji se procenjuju 1 (2) I= 2 δ I - nivo informacija; δ 2 - mera preciznosti – varijansa procenjene sposobnosti. Pošto se ovde radi o informaciji o osobini (θ) koju poseduje jedno pitanje ili čitav test ovu informaciju možemo označiti kao I(θ). Za jednoparametarski model informativnost ajtema se može izračunati kao:

Pi( θ s ) – verovatnoća davanja tačnog odgovora na ajtem i , za dati model ajtem karakteristične krive, za nivo sposobnosti θ s ,

)

) ) ) I (θ ) = P (θ ) ∗ Q (θ )
i i i

(3)

)

Qi( θ s ) = 1 – Pi( θ s ) - verovatnoća davanja netačnog odgovora na ajtem i, za dati model ajtem karakteristične krive, za nivo sposobnosti θ s . Sabiranjem informativnosti svih ajtema nekog testa može se dobiti ukupna informativnost tog testa o osobini koju on meri: ) ) n (4) I θ = ∑ I (θ )

)

)

)

( )

i =1

j

Standardna greška [5]. Standardna greška predstavlja standardnu devijaciju asimptotičke normalne distribucije maksimalne verovatnoće sposobnosti za datu tačnu vrednost. Odnosno, količina informacija koju test obezbeđuje, za datu procenjenu sposobnosti, obrnuto je srazmerna tačnosti sa kojom izračunavamo sposobnost u toj tačci.

SE (θ ) =

I(Θ)

-Informaciona funkcija testa.

1 I (θ )

(5)

Određivanje redosleda zadavanja pitanja [5]. U aplikaciji KAPI primenjuje se Procedura maksimalne informacije, koja obezbeđuje izbor onog pitanja za koje informaciona funkcija doseže najviši nivo u odnosu na procenjeno znanje predhodne iteracije. Može se izdvojiti kao zaseban slučaj korišćenje Bejzijanove procedure i to pri izboru prvog pitanja jer se tada predpostavlja a priori vrednost za inicijalnu procenu znanja i u odnosu na nju vrši izbor pitanja. Ispitaniku model postavlja prvo pitanje na osnovu neke od metoda za početak testiranja. Ispitanik odgovara na pitanje i na osnovu njegovog odgovora vrši izbor sledećeg pitanja. Ako je ispitanik odgovorio tačno, na

postavljeno pitanje, model će mu izabrati prvo teže pitanje sa najvećom informativnošću za njega. Ako je odgovorio pogrešno model će selektovati prvo lakše najinformativnije pitanje za njega. Posle svakog novog zadatog pitanja model će nanovo procenjivati znanje, sposobnost ispitanika, standardnu grešku merenja i nivo informacionih funkcija za sva preostala pitanja koja mogu biti postavljena (za trenutno procenjeni nivo znanja), kao i informativnost testa. Postupak se ponavlja sve dok se ne zadovolji neki od kriterijuma zaustavljanja. Procena sposobnosti [1]. Za procenu sposobnosti ispitanika koristi se procedura maksimalne verovatnoće, gde se za vrednost parametra diskriminacije uzima jedan jer se u aplikaciji KAPI koristi jednoparametarski model (a=1). Ova procedura predstavlja iterativan postpak. Da bi postupak otpočeo za poznate promenljive uzimaju se vrednosti za sve ajtem parametre i neka a priori vrednost za inicijalnu procenu sposobnosti. Procena spobobnosti se računa na osnovu izračunatih verovatnoća i vektora davanja odgovora a prema sledećoj formuli: N ) ai *[u i −P (θ s ) ] i =1 ) ) (6) = θ + N θ ) ) s +1 s ai2 *P (θ s )*Qi (θ s )

θ s - procenjena sposobnost ispitanika u iteraciji s, ai – parametar diskriminacije ajtema i, i = 1,2,…,n, ui – odgovor koji je ispitanik dao na ajtem i: ui = 1 za tačan odgovor, ui = 0 za netačan odgovor,
Pi( θ s ) – verovatnoća davanja tačnog odgovora na ajtem i , za dati model ajtem karakteristične krive, za nivo sposobnosti θ s , u iteraciji s, Qi( θ s ) = 1 – Pi( θ s ) - verovatnoća davanja netačnog odgovora na ajtem i , za dati model ajtem karakteristične krive, za nivo sposobnosti θ s , u iteraciji s. Cilj postupka jeste popravljanje vrednosti procenjene sposobnosti iz iteracije u iteraciju. Postupak se nastavlja dok vrednost procenjene sposobnosti ne prestane da se menja ili je ta promena zanemarljivo mala, odnosno kriterijum zaustavljanja može se predstaviti jednačinom: ) ) θ s +1 - θ s =0 (7) Izbor metode kriterijuma zaustavljanja. Aplikacijom KAPI obuhvaćena su sledeća tri kriterijuma zaustavljanja:

)


i =1

)

)

)

)

)

1.

Vreme. Vremensko trajanje testa predloženo je od strane profesora na predmetu Sistemi za podršku odlučivanju jer se smatra da je to više nego dovoljno za rešavanje takve grupe pitanja, kao i u slučaju rešavanja odabrane grupe od 20 pitanja u formi testa papir-i-olovka. Vremensko trajanje ograničeno je na 90 minuta. 2. Broj pitanja. Iako se najčešće ne preporučuje kao kriterijum za adaptivno testiranje jer se predpostavlja postojanje banke pitanja od 100, 200 ili više pitanja, u ovom ekperimentalnom primeru uzet je u obzir jer je banka pitanja sastavljena od svega 54 pitanja. 3. Ocena preciznosti. Testiranje se zaustavlja kada je promena standardne greške zanemarljivo mala. U ovom primeru uzeto je kada je promena standardne greške manja od 0.001 logita: SE(θs) – SE(θs-1) < 0.001 (8)

3. KOMOPJUTERSKO ADAPTIVNO POLAGANJE ISPITA
Iz glavnog menija aplikacije KAPI mogu se izabrati: 1. Ispit-student. Izborom Ispit-student aktivira se modul za Testiranje studenata čiji su korisnici studenti. Obuhvata unos osnovnih podataka o studentu preko monitora i testiranje studenata, na osnovu odgovora studenata na ajteme testa, preko monitora, u interakciji sa sistemom. Po svakom odgovoru ispitanika na postavljeno pitanje sistem izračunavanjem vrši trenutnu procenu znanja ispitanika na osnovu koje izračunava informacione funkcije preostalih pitanja i postavlja sledeće pitanje ispitaniku. Izgled ekranske forme za testiranje studenta dat je na slici 2.

Slika 2: Izgled ekranske forme Ispit-student 2. Ispit-profrsor. Ovim izborom aktivira se modul za Testiranje sa praćenjem metodologije kompjuterskog adaptivnog testiranja i analogan je modulu Testiranje. Razlika između ovih modula je u tome što je kod modula Testiranje sa praćenjem metodologije kompjuterskog adaptivnog testiranja korisnik pofesor i omogućava praćenje celokupnog testiranja kroz: grafički prikaz odabranih pitanja koja u test ulaze kao i sve proračune potrebne za odabir pitanja i procenu znanja ispitanika. Izgled ekranske forme za testiranje studenata sa praćenjem metodologije kompjuterskog adaptivnog testiranja dat je na slici 3.

Slika 3: Izgled ekranske forme Testiranje-Profesor 3. Rezulati. Izborom Rezultati aktivira se modul za Pretraživanje rezultata kojim je omogućeno pretraživanje studenata koji su ispit polagali i prikaz rezultata za odabranog studenta. Prikaz rezultata obuhvata sva pitanja koja su ušla u test za tog ispitanika, njegove odgovore na postavljena pitanja, kao i sve statističke proračune koji se na njih odnose (Za svako pitanje može videti: oblast kojoj pitanje pripada, početni nivo znanja, verovatnoću davanja tačnog odgovora, težinu tog pitanja, odgovor ispitanika, tačan odgovor na to pitanje, procenjeno znanje u trenutku davanja odgovora na to pitanje, kao i standardnu grešku procene) i rezultat procenjenog znanja studenta (ukupan i po oblastima) u vidu procentualnog rezulata i ocene. Izgled ekranske forme za Pretraživanje rezultata dat je na slici 4.

Slika 4: Izgled ekranske forme Rezultati

3.1. Eksperiment Primena aplikacije KAPI pokazana je eksperimentom, koji je sproveden u junskom ispitnim roku na Fakultetu organizacionih nauka, kojim je obuhvaćeno polaganje usmenog dela ispita iz predmeta Sistemi za podršku odlučivanju preko kompjutera primenom metodologije kompjuterskog adaptivnog testiranja. U eksperimentu je učestvovalo 36 studenata. Učešće u eksperimentu je bilo dobrovoljno, kao i učešće u anketnom ispitivanju koje po završenom eksperimentu sprovedeno. Tokom izvođenja eksperimenata računar je generisao 36 testova za svakog ispitanika, koji su oni rešavali za različito vreme. Procenjeno znanje svakog ispitanika moglo se videti odmah po završenom testu. Po završenom testiranju ispitanici su popunili anketu, gde su bili u mogućnosti da izraze svoja mišljenja o klasičnom načinu polaganja ispita i polaganju ispita preko računara. Ostvaren i zadati cilj eksperimenta, odnosno pokazano je da je, i u našim uslovima, polaganje ispita preko računara, primenom kompjuterskog adaptivnog testiranja, moguće. Na osnovu statističke analize rezultata procene znanja dobijene eksperimentom izvedeni su sledeći zaključci: • Da je za svakog ispitanika generisan poseban skup pitanja; • Da su sva pitanja iz banke pitanja bila zastupljena; • Da su pri ocenjivanju rezultata sve ocene bile zastupljene i • Da odnos ocena i postavljenog broja pitanja odgovara logici kompjuterskog adaptivnog testiranja. Obrada rezultata ankete pokazala je da sami studenti, usled njihovog svakodnevnog rada na računaru, pokazuju visok nivo spremnosti ka ocenjivanju znanja preko računara. Samo učešće u eksperimentu pokazuje njihovu želju za praćenjem novih, savremenih trendova, kako su se i u anketi izjasnili. Za ovaj način ispitivanja kao osnovne prednosti ističu: smanjenje vremena (nema pisanja), povećena preglednost, ne zavisnost u odnosu na okruženje, smanjanje mogućnosti greške pri obradi rezultata, savremeni način polaganja ispita, ujednačen kriterijum ocenjivanja, smanjenje treme, prilikom polaganja ispita vezanih za programiranje mogućnost testiranja programa, zanimljivije je, lakši način, mogućnost studenata koji su bolesni da polažu od kuće, savremeniji način, mogućnost trenutnog uvida u rezultate, povećanje motivacije, isključivanje subjektivnosti ispitivača, očekivani izgled pitanja, više vremena za razmišljanje, smanjenje zabune jer je prezentovano samo jedno pitanje i sva koncentracija je na njega usmerena kao i polaganje u malim grupama.

4. ZAKLUČAK
Kompjuterski podržani i kompjuterski adaptivni testovi, danas, predstavljaju savremeni način testiranja koji se u svetu uveliko primenjuje. U želji da se i našim studentima pruže mogućnosti savremenog testiranja kreirana je aplikacija KAPI, organizovan je i sproveden navedeni eksperiment. Eksperimentom je pokazano da je i u našim uslovima moguće sprovesti testiranje primenom logike kompjuterskog adaptivnog testiranja i otvorena su vrata daljim istraživanjima i usavršavanjima takvih testova na našim prostorima.

5. LITERATURA
Chapter 5 – Estimatimatig an Examinee’s Ability - www.digital-teacher.com Chapter 6 – The Information Function - www.digital-teacher.com IRT – Item Response Theory, na osnovu Hambleton, Swaminathan I Rogers, 1991. Milosavljević Dr Gordana, Vukanović Svetlana: “Profesionalno obrazovanje na distancu” Ronald K. Hambleton, H. Swaminathan, H. Jane Rogers “Fundamentalis of Item Response Theory” SAGE PUBLICATIONS, The International Professional Publisher, Newbury Park London New Delhi [6] Rudner, Lawrence M. (1998). An On-line, Interactive, Computer Adaptive Testing Mini-Tutorial, http://ericae.net/scripts/cat/cat [7] Vuković, N., 1987, “Statistička analiza”, Naučna knjiga, Beograd [1] [2] [3] [4] [5]

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->