P. 1
Programska Evaluacija

Programska Evaluacija

|Views: 72|Likes:
Published by psihonautt

More info:

Published by: psihonautt on Jan 26, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as DOC, PDF, TXT or read online from Scribd
See more
See less

01/26/2011

pdf

text

original

Procjena Programa (Programska Evaluacija) • • • • Evaluacija programa se upotrebljava za procjenu djelotvornosti javnih organizacija i obezbjedjuje povratnu spregu administratorima

o njihovim uslugama. Organizatori programa procjenjuju sta je neophodno,procjenjuju postupke,ishod,i efikastnost drustvenih usluga. Odnos izmedju osnovnog istrazivanja i primjenjenog istrazivanja je reciprocan. Uprkos drustvenom protivljenju upotrebe eksperimenata,pravi eksperimenti i kvazi-eksperimenti mogu obezbijediti izvrstne pristupe za procjenu drustvenih reformi.

Organizacije koje proizvode dobra imaju konfekcijski indeks uspjeha.Ukoliko je kompanija spremna da proizvodi mikroprocesore,njen uspjeh je konacno odredjen profitom od prodaje mikroprocesora.Barem teoretski,efikasnost organizacije se moze lako procjeniti ispitivanjem njene knjige salda.Medjutim sve je vise organizacija drugog tipa koje igraju kljucnu ulogu u nasem drustvu.Posto ove organizacije obicno obezbjedjuju usluge (radna mjesta) a ne dobra,Posavak I Keri (2003) ih opisuju kao javne organizacije(sluzbe).Na primjer,bolnice,skole,policija,vladine agencije a koje obezbjedjuju mnostvo usluga od lijecenja do inspekcija za sprecavanje pozara.Posto pravljenje profita nije njihov cilj,neki drugi metod mora biti pronadjen za razlikovanje efektivnih I neefektivnih agencija (sluzbi).Jedan veoma koristan pristup u procjenjivanju efektivnosti javnih organizacije je procjena programa. Posavak I Keri su definisali procjenu programa kao:
. . . skup metoda,znanja, i prihvatljivosti neophodnih za odredjivanje potrebnosti javne sluzbe,da li je dovoljno jaka da se izbori sa neocekivanim potrebama i da li sluzba zapravo pomaze ljudima kojima je potrebna usluga po razumnoj cijeni bez neprihvatljivih nuspojava.

Definicija procjene programa ukljucuje nekoliko komponenata;redom cemo ih razmatrati.Posavak i Keri naglasavaju da je glavni cilj procjene programa obezbjedjivanje povratne sprege u pogledu na aktivnost javne sluzbe.Procjene programa su namjenjene obezbijedjivanju informacija administratorima javnih sluzbi kako bi im pomogle u odlucivanju koje usluge da namjene kojoj ciljnoj grupi,I kako da te usluge budu na visokom nivou.Procjena programa predstavlja integraciju discipline koja se crpi iz politicke nauke,sociologije,ekonomije,obrazovanja,i psihologije.Diskutujemo procjenu programa na kraju ovog poglavlja na osnovu istrazivanja 1

i dozvoljava administratorima da donose izmjene u isporuci usluga da bi pojacali postojeci program (Posavak i Keri.Moguce je da se koriste arhivski podaci kao sto su oni opisani u Poglavlju 6 za sprovodjenje evaluacije ishoda.i produktivnosti.Metodi anketnog istrazivanja se znatno upotrebljavaju u studijama namijenjenim procjenjivanju potreba. Vrsta potreba koje bi neka agencija trebala da pruzi zahtijeva utvrdjivanje opsega samih potreba ciljne grupe.’grad’ ce dalje zeleti da zna kakav program bi im bio najprimamljiviji.ispitivanjem policijskih zapisnika u svrhu dokumentovanja frekfencije raznih zlocina je jedan od nacina da se procijeni efektivnost programa nadgledanja zajednice.da li stariji gradjani sada imaju pristup vecem broju rekreacionih aktivnosti. Kada je program jednom ’pusten u rad’.2003).Metodi pracenja su cesto koristni u procjenjivanju toka programa.Programi nisu uvijek implementirani na nacin kojim su isplanirani.realnih okvira jer pretstavlja mozda najobimniji opseg primjena principa I metoda koje opisujemo do kraja ove knjige.Da li je program bio efektivan u ispunjavanju odredjenih ciljeva?Na primjer.Evaulacije ishoda mogu takodje obuhvatiti kako eksperimentalne i kvazi-eksperimentalne metode za istrazivanje realnih okvira.pitanja o efikasnosti se ticu cijene programa.i od velike je vaznosti da se zna sta je zapravo uradjeno po sprovodjenju programa. Sledeci set pitanja koje postavlja evaluator programa obuhvata ishod samog programa.Ukoliko isplanirane aktivnosti rekreacionog programa nisu odradjene od strane starije populacije.na primjer.Gradska vlada ce prvo da utvrdi da li stariji gradjani stvarno zele takav program.Na primjer.evaluatori mogu postavljati pitanja o procesu koji je utvrdjen programom.Razmotrimo.ishodu.Evaluacija koja obezbjedjuje odgovore na pitanja o postupku. Krajnja pitanja koja evaluatori mogu postaviti su o djelotvornosti programa.najvjerovatnije je da program nije adekvatno sproveden.Najcesce.Ova pitanja su o potrebama.gradska vlada je dobila predlog da ustanovi program rekreacionih aktivnosti za starije gradjane zajednice.je zapravo ta koja kazuje na koji nacin je program izvrsen.Administratori mogu upotrebljavati informacije dobijene iz procjena potreba radi lakseg prezentovanja programa.Ukoliko starija populacija zeli takav program.postupku.Izbori cesto trebaju da budu izmedju mogucih usluga koje vlada ili druga 2 . Posavak I Keri (2003) su identifikovali cetiri pitanja koja se postavljaju pri procjeni programa od strane evaluatora.i da li su zadovoljni sa tim aktivnostima?Ishod programa o nadgledanju zajednice koji ima svrhu da suzbije kriminal moze biti evaluiran procjenjivanjem stope provala i nasilja koje prati implementacija samog programa.

koju je testirala pod kontrolisanim eksperimentalnim uslovima i koja sa sobom povlaci jos neke generalnije teorije o ponasajnom razvitku kao i o obrazovanju. Model ilustrira reciprocan odnos osnovnog i primijenjenog istrazivanja 3 . Salomon ukazuje na rad Elene Langer kao konkretni primjer ovog kruznog odnosa.Kada se ovi principi ispitaju u kompleksnom i ’prljavom’ svijetu gdje su toboze primjenjene.Informacija o tome koliko je uspjesan program (evaulacija ishoda) i informacija o cijeni programa (produktivna evaluacija) su neophodne ukoliko zelimo da aviziramo odluke o nastavljanju programa.E. poglavlju smo opisali razlike izmedju osnovnog i primijenjenog istrazivanja.Pisanje u International Journal of Psychology.institucija mogu da pruze.Ove nove komplikacije su onda testirane i procijenjene u labaratoriji prije nego sto se isprobaju u stvarnom svijetu.Salomon(1987) tvrdi da svaki domen istrazivanja koristi drugom u stalno kruznom toku.Svrha Programske evaluacije (P. Slika 1.) je prakticna a ne teoretska.Programska evaluacija je vrlo vjerovatno ekstremni slucaj primijenjenog istrazivanja.Ona je identifikovala pogorsanje zdravlja starijih ljudi koji su smjesteni u staracke domove.Salomon istice da osnovno istrazivanje obezbjedjuje izvjestne apstrakcije koje izrazavaju odredjene pravilnosti u prirodi.nove slozenosti su prepoznate i nove hipoteze se potezu.da li da probamo alternativni program. Posebno.kako da ga poboljsamo. Ranije u ovom poglavlju i 2.Ova naturalisticka posmatranja su je vodila ka razvijanju teorije o mindfulness*.Salomonov model je ilustrovan slikom 1*.

Kempbelova (1969) ideja da spajanje socijalnih reformi i eksperimentalnih metoda moze imati jak uticaj na rad javnih sluzbenika.Primijenjeno Istrazivanje Ljudski i Socijalni Svijet Deduktivna Teorija Osnovno Istrazivanje Teorija omogucava vodic za njen primjenjen rad—konstruisuci nove modele starackih domova.Opisivao je program maloljetnicke edukacije u – Rahway State Prison u New Jersey-u(Kazneno Popravni Dom).zvanicnici moraju biti spremni da izvrse reforme na nacin koji dozvoljava najjasniju evaluaciju i moraju biti spremni da isprobaju druga resenja ukoliko prvo zataji.Razlozi su jedni od onih koji su vec identifikovani od strane Kempbela.bez socijalnog eksperimentisanja.Program 4 .Provjeravanje prakticnih efekata promjena u njezi u starackim domovima na zdravlje i blagostanje ce bez sumnje voditi ka modifikaciji njene teorije mindfulness*.da budu spremni da koriste eksperimentalne metode da identifikuju drustvene probleme i da odrede efektivna resenja. Prije nekoliko godina.drugim rijecima.Umjesto sto ’guraju’ jedno resenje za sve (koje.Javni zvanicnici moraju.svjestnost) Prema Kempbelu (1969).javni sluzbenici i drustvena vecina vjeruju da postupak funkcionise iako je ustvari suprotno.u vecini slucajeva.za javne zvanicnike umijesane u socijalne eksperimente je vazno da naglase vaznost problema prije nego vaznost resenja.ima male sanse za uspijeh).posebno onog koje je koristno u opsegu nasumicno odabranih eksperimenata.televizijski sou “Scared Straight“ je emitovan na nacionalnoj televiziji.(*-promisljenost.Takve neispravne odluke vode raspodjeli novca i resursa na neefektivne programe. ali jos uvijek nije primijenjena.Kako god.

Cilj je bio da se mladi prestupnici informisu o realnosti zatvorskog zivota. 5 .u vezi sa tim.je ukljucivao mlade prestupnike i upoznavao ih sa odabranim starijim osudjenicima .ucestali mladi prestupnici.vodje programa su se nadale da ce ih odvratiti od daljih nelegalnih aktivnosti.Al da li ovakvi programi stvarno funkcionisu? Nekoliko evaluacionih studija o izlaganju zatvorskim uslovima dale su izmijesane rezultate.Rahway program je samo jedan od par slicnih programa sprovedenih sirom zemlje.zakljucke da nema razlike izmedju kontrolisanih i eksperimentalnih ucesnika.Postoji i mogucnost da manje ocvrsnuti maloljetni prestupnici povecaju svoje kriminalisticke aktivnosti po upoznavanju sa osudjenicima.ukljucujuci pozitivne zakljucke.Nezvanicna procjena je napravljena za efektivnost ovog programa i pokazala je veoma dobre rezultate cak od 80% do 90%.koji su dostigli neki statustni nivo kod njihovih ’mentora’ strahuju da da ce ga izgubiti ukoliko se promjene.Sa druge strane.Nagovijesteno je da ovi manje moralno formirani prestupnici pocinju da vode kriminalni stil zivota u kojem se prepoznaju i za koji su ohrabreni od strane ’mentora’ koje su upoznali u zatvoru.kao i rezultati koji sugerisu da je program uvecao broj maloljetnickih prekrsaja odredjenog tipa delikvenata.

mjer—ili donesena na osnovu politickih opredeInace zasto trositi sav taj novac od poreza? nja.Trenutno.Donald Kampbel bivsi predsjednik Americke je to mogucno. nacije bi trebale da budu spremne za ekspe okruzuju programsku evaluaciju.jer je vecina socijalnih reformi ustanoden program sluzila bi za poredjenje. su samo od nekih tipova programa socijalnih Sociolozi trebaju da ubijede administratore reformi koje vlada moze da pokrene.ukoliko .ili pak kvazieksperimente.odluka ko sta dobija je cesto dotilo da je njih zapravo briga za reforme koje drustvo nesena pod uticajem odredjenih interesnih gr kao cijelina zeli.podrzavamo ili mijenjamo lacija na poslu.na prizapocet jer se unaprijed znalo da ce uspijeti.reformi ili ih odbacamo na osnovu jasne efektivnosti policije.BOX 11.i pri na lokalnom tako i na drzavnom nivou redovno stupu u kojem bi isprobavale druge programe.kaze sredstvima.Programi poreskih olaksica.Nazalost da upotrebljavaju prave eksperimente.i iz kove reformi.3 OTKLANJANJE „PLASTA NEZNANJA“ SA DRUSTVENIH EKSPERIMENATA Najvjerovatnije je da najveca razlika izmedju Kampbel je unaprijed argumentovao osnovnog istrazivanja i programske evaluacije Sjedinjene Americke Drzave i druge moderne lezi u politickim i socijalnim stvarnostima koje .Onda bi vljena za vrijeme politike koja nije spremna da efekat socijalnog ’tretmana’ mogao biti evaluih evaluira kako treba iz straha da se nebi shvairan.planiraju i izvrsavaju razlicite tipoiz kojih ucimo jesu li ili nisu efektivni.Vlade kako rimentalni pristup socijalnim reformama.medicinske njege za starije gradjane mnogostrukih nesavrsenih pristupnih kriterija.moze biti upotrijebljena la stopu kriminala?Da li program stumulansa za odabir ciljne grupe na kojoj bi bio sproveden radnicima poboljsava njihov rad?Odgovor na pilot program ili koja bi imala pristup oskudnim takva pitanja cesto je nemoguce pronaci.stimujih zadrzavamo.Grupa nad kojom ne bi bio sproveKempbel. Socijalnih reformi ne moze biti adekvatno evalunasumice odabrana procedura zasnovana na iran.Na primjer.Da li je promjena policijskih tehnika smanjina principu javne lutrije.edukacionih reformi. predlazu.kada Asocijacije Psihologa je istakao da ishod ovih donose nove drustvene programe.Takodje veliki broj reformi je upa—kao razeltat intezivnog lobiranja. Za mnoge javne administratore koristnije je da javnost ostave u nedoumici prije nego da se suoce sa istinom sa onim sta se zaista dogodilo. 6 .

drzava.Razlozi za izvodjenje eksperimenata u prirodnim uslovima.pravi eksperimenti koji ukljucuju pojedince preporucljivo je da budu odabrani nasumicno il za eksperimentalne ili neeksperimentalne uslove .Posto resursi (novac) nisu neograniceni.selekcija i sazrijevanje 3.prijetnje prema diferencijalnoj 7 .zajednica. Posebno jaka kvazi-eksperimentalna procedura je neekvivalentno kontrolisanje pojedinaca grupe.gradova.. Kempbel i drugi su raspravljali o tome da drustvo mora da bude spremno da pri-hvati eksperimentalni pristup socijalnoj reformi—takvoj koja ce dozvoliti najjasniju evaluaciju efektivnosti novog programa.Pokusaji da se evaluira efikasnost ovog vaznog socijalnog programa obezbjedjuje dobre primjere teskoca prisutnih u evalucionom istrazivanju:teskoca u nasumicnom biranju ucesnika..((?)).logicnim ispitivanjem situacije i prikupljanjem dodatnih dokaza.u pridobijanju administratora koji bi saradjivali u eksperimentalnim procedurama.) informacije koje im mogu pomoci u pripremi resenja za mo-guce socijalne problema.Ova procedura uglavnom vazi za sve vece prijetnje internoj vrijednosti izuzev onih vezanih za dodatne stvari 1.doprinose poboljsanju uslova pod kojim ljudi rade i zive. Eksperimentisanje u stvarnom svijetu razlikuje se na mnoge nacine od eksperimentisanja u ’psiholoskim labaratorijama’. Nadamo se da ce vam vase znanje o istrazivackim metodama omoguciti da ga prenesete dalje i mozda pak konstruktivno doprinesete debati koja se tice uloge eksperimentisanja u drustvu.Ukoliko pravi eksperiment nije izvodljiv.ukljucuju testiranje zakonitosti i procjena donesenih u labaratoriji.kvazi-eksperimentalne procedure su sledeci najbolji pristup.kada su raspoloziva sredstva premala) . selekcija i razvoj 2.programska evaluacija zasnovana na pouzdanim eksperimentalnim metodama nudi donosiocima odluka na svim nivoima (ustanova.U mnogim situacijama (na primjer.Kada odredjene pretnje unutarnjim vrijednostima eksperimenta nisu kontrolisane.onda eksperimentator.od velike je vaznosti da budu upotrebljeni na sto bolji nacin.mora pronaci nacin da njima upravlja.Ipak.selekcija i posredovanje(instrumentation) 4.i u izlazenju na kraj sa gubitkom ucesnika tokom evaluacije.

Vremenske serije sa neekvivalentnom kontrolisanom grupom.kontrolisu sto je vise moguce prethodne prijetnje.moze se ojacati unutrasnja vrijednost projektovane vremenske linije.na primjer.mozemo pomoci u mijenjaju drustva na nacin koji ce donijeti efektivnije usluge onima kojima su najpotrebnije.pitanje spoljasnje validnosti.I pored toga.Posredovanje takodje moze biti problem.Tipovi programske evaluacije ukljucuju procjenu potreba. Kljucni principi prijetnje unutrasnjoj vrijednosti razvoj prekinute vremenske linije zrelost neekvivalentnim kontrolnim testiranje posredovanje regresija selekcija kontaminacija kvazi-eksperimenti proracun jednostavno vremenske linije sa grupama programska evaluacija 8 .Nevoljnost javnih zvanicnika da traze evaluaciju socijalnih reformi je cesto prepreka koja nadvlada.Istrazivac koristeci ovaj projektovan pogled trazi nenadanu promjenu u vremenskoj seriji koja se podudara sa uvodom postupka.eksperimentator mora biti spreman za infektivno djelovanje koje nastaje iz komunikacije medju ucesnicima iz razlicitih grupa. Kada je moguce posmatrati promjene u zavistnoj mjeri prije i posle primjene postupka.Problem—ocekivanje eksperimentatora(tzv.Najvjerovatnije najvece prepreke programske evaluacije su politicke i socijalne stvarnosti koje nas okruzuju.Ukljucujuci kontrolisanu grupu koja je slicna koliko je to moguce eksperimentalnoj.ukljucujuci Hawthorn-ov efekat.Odgovorom na ovakav poziv.Kao dodatak velikom broju prijetnji unutrasnjim zakonitostima.su potencijalni problemi u svim eksperimentima. Narocito vazan cilj istrazivanja u prirodnim ulovima je programska evaluacija.ishoda i efikasnosti.bilo da su sprovedeni u labaratoriji ili na ’terenu’.statistickoj regresiji.procesa.Najveca prijetnja unutrasnjoj vrijednosti ove projekcije je razvoj—neki dogadjaj koji nije sastavni dio postupka moze biti odgovoran za promjenu u vremenskoj seriji.politicki naucnici i sociolozi) su cesto umijesani u ove procese.Zvanicnici izuzev psihologa(kao sto su edukatori.efekti noviteta. posmatracka neravnoteza).moze se lako sprijeciti anomalija u projektovanoj vremenskoj seriji.posebno kada postupak pretstavlja tip socijalne reforme koja moze voditi promjenama na vec zabiljezen nacin.sociolozi pozivaju programske evaluatorte da budu na raspolaganju javnim organizacijama.

Opisi i objasni posledice tri nacina u kojim ucesnici u kontrolisanoj grupi mogu reagovati kada se pojavi ’kontaminacija’(uticaj od strane druge grupe ucesnika eksperimenta) 7.ukljucujuci Hawthornov efekat. i koje su to najvece prijetnje unutrasnjoj zakonitosti projekta.i opisi prijetnju unutrasnjoj zakonitosti koja nije kontrolisana u ovoj projekciji. Objasni razliku izmedju razvojne prijetnje unutrasnjoj zakonitosti i onog sto nazivamo „lokalna razvojna prijetnja“ u projektovanoj neekvivalentoj kontrolisanoj grupi. Objasni kako noviteti. Sta je najveci dokaz za dejstvo postupka u jednostavno prekinutoj vremenskoj liniji. Identifikuj dva razloga zbog kojih je vazno realizovati eksperimente pod prirodnim uslovima? 2. Kakve poteskoce istrazivaci treba da savladaju pri sprovodjenju eksperimenata u prirodnim uslovima? 5. Objasni kako se jedna prijetnja unutrasnjoj zakonitosti kontrolise u projektovanoj neekvivalentnoj kontrolisanoj grupi. 12.i identifikuj kako nezavisne promjenjljive mogu biti definisane prema ovim karakteristikama.ciljevima i posledicama.. Objasni zasto je esencijalno upotrebljavati prethodan test u projektovanoj neekvivalentnoj kontrolisanoj grupi. 11. 6. Opisi tri karakteristike kojim se odlikuje pravi eksperiment.noviteti Revizija 1. 9 . 3.mogu uticati na istrazivacevu interpretaciju efektivnosti eksperimentalnog postupka. 10. Sta Kuk i Kampbel(1979) podrazumijevaju za najbolji test spoljasnje zakonitosti? 9. 4. Identifikuj dvije procedure koje dozvoljavaju istrazivacima da dodjele uslove nasumicno odabranim ucesnicima eksperimenta dok u isto vrijeme daju svim ucesnicima pristup eksperimentalnom postupku.unutrasnjim vrijednostima. Objasni kako se labaratorijski eksperimenti i oni pod prirodnim uslovima razlikuju u kontroli. 8.

Zanimali su je efekti koji se pojavljuju deset godina nakon razvoda.25% zena i 20% muskaraca jos uvijek su nemocne “da se vrate u zivot“.ali studenti nisu nasumicno razvrstani po sekcijama.Dok je drugoj sekciji isti materijal iznio bez multimedijalnog opisa. 14.Ovi zakljucci su zasnovani na petnaestogodisnjoj studiji 60 razvedenih parova i 135-oro njihovo djece iz Marin Okruga.kako muskaraci i zene imaju srecan i zadovoljavajuc zivot deceniju nakon razvoda. Opisi koji tip informacija je najtrazeniji kada evaluatori traze odgovor na cetiri pitanja koja su tipicna u programskoj evaluaciji.Otkrila je da cak posle deset godina nakon razvoda polovina zenskih ispitanika je jos ljuta dok je sa druge strane to trecina muskaraca.Razlicite forme testa su koriscene za pretest i posttest.Mada polovina muskaraca i zena su se izjasnili srecnim.Studenti iz obje sekcije su testirani drugog dana predavanja (pre test) i na kraju(post test). 2 Psiholog je objavio knjigu koja opisuje uticaj razvoda na muskarce.13.vise od polovina djece je uslo u zrelo doba kao neizgradjeni i samokriticni muskarci i zene.Znanje studenata o materijalu kursa je procijenjeno upotrebom dvije vrste sadrzajnih testova.Na kraju.Dvije oblasti uvodne psihologije su objasnjenje od istog predavaca u ranom prijepodnevu. 3 Policijska snaga jednog velikog grada treba da se odluci izmedju dva razlicita pristupa kojim bi cinovnike odrzali informisanim o zakonskim 10 .Objasni kako projektovan kvazi-eksperiment moze biti od koristi u navodjenju izrazenih ishoda odredjenih efektima razvoda. Objasni kako dodatak neekvivalentne kontrolisane grupe jednostavno prekinutoj vremenskoj seriji smanjuje prijetnje unutrasnjoj zakonitosti projekta.Identifikuj prijetnju unutrasnjoj zakonitosti koja je kontrolisana u ovoj studiji koja se ne bi mogla kontrolisati da su samo testirani studenti koji su slusali multimedijalno predavanje.Jednoj sekciji predavac je koristio multimedijalna upustva.Sadrzajni test se moze smatrati vjerodostojnim testom i moze se iskoristiti za uporedjivanje efektivnosti instrukcija u dvijema sekcijama.zene i djecu.Studenti nisu znali kada su se prijavljivali za kurs da li ce biti koristen multimedijalni opisi. A Kakva projekcija kvazi-eksperimenta je koriscena u studiji? B Objasni zasto je projektovan kvazi-eksperiment upotrebljen od strane predavaca efikasniji nego da je samo testirao studente koji su slusali multimedijalno predavanje. Pitanja 1 Kvazi-eksperiment je upotrebljen za odlucivanje da li je multimedijalno upustvo koristno.Samo 10% razvedenih porodica.Kalifornija (bogate suburbane oblasti u kojoj zive najvecim djelom dobro obrazovani ljudi).

izmjenama.Bilo koji od ovih drugih dogadjaja mogli su izazvati smanjenje napretka.Program je projektovan tako da jedan semestar ucesnici imaju tri jednocasovne sesije nedeljno.i koja bi pomogla da se evaluacija ishoda interpretira na najbolji moguci nacin? C Objasni na koji bi nacin testirao efektivnost predlozenog programa ukoliko nije moguce da se sprovede pravi eksperiment.ova prijetnja je manje vjerovatna.U ovoj studiji. 11 . 3 Testirana prijetnja se pojavljuje kada prva primjena testa utice na potonje testiranje. 4 Mali studentski koledz sa novim fitnis centrom je odlucio da predstavi program unapredjivanja zdravlja studenata i osoblja.probali biljne dodatke.napredovanje ucesnika moze prirodno reflektovati smanjenje potistenosti tokom vremena. 2 Sazrijevanje se pojavljuje kada se ucesnici prirodno mijenjaju tokom vremena.Kako se isti set pitanja upotrebljava i za pretest i posttest.kada je program vec u toku.objasni kako bi njena odluka bila drugacija da je samo dvadeset cinovnika zavrsilo oba programa(od pocetnih 30 po programu) i da postoji prednostna razlika Programa A.pricali sa prijateljima ili pastorima.Na primjer.Ona je odlucila da odradi pravi eksperiment i odabrala je 60 cinovnika i nasumicno ih raspodjelila u programa na period od pola godine.Stoga. ucesnici su mozda procitali selfhelp knjige.prije nego efekti postupka. A Kakvu ulogu procjena potreba moze imati u planiranju programa? B Koja pitanja o procesu programa bi bila koristna.Posle pola godine svi cinovnici koji su uspjesno prosli obuku u svom programu podvrgnuti su finalnom testu radi provjere znanja iz prava.Dvadeset cinovnika koji su zavrsili Program A pokazali su vece rezultate na ovom testu od 28 kolega koji su zavrsili Program B. Daj odgovor na sledeca pitanja koja se ticu programske evaluacije. Answers to the Stretching Exercise 1 Razvoj je prijetnja kada dogadjaj izuzev postupka objasnjava napredovanje ucesnika.Jedna stvar koju znamo o potistenosti je ta da vremenom jaca.biraju odgovore koji oznacavaju manju mjeru potistenosti na posttestu(iako se ne osjecaju manje potisteni).Koristeci samo zabiljezene rezultate objasni zasto je donijela takvu odluku.i vjerovatno u zelji da demonstriraju svoj napredak.ili dozivjeli bilo koji broj potencijalno koristnih „postupaka“.Prosvjetljeni administrator ove sluzbe je odlucio da oba pristupa testira u ovoj istrazivackoj studiji.Sledece.Administrator je postupio mudro ne prihvatajuci rezultate kao odlucujuc dokaz efikasnosti ova dva programa.ucesnici su mozda zapamtili njihove ranije reakcije o mjeri potistenosti.prije nego tretman psihologa.

studentima obicno (barem se nadamo tako) povecava znanje iz uvodne psihologije do kraja kursa koji prate iako za njih nije koristeno multimedijalno predavanje.ucesnici su odabrani jer su pokazali veliki nivo depresije.4 Statisticka regresija je moguca kada su ucesnici odabrani na osnovu njihovog odlicnog rezultata ne pretestu.To je zato sto se odnosi kao prema pre-eksperimentalnoj projekciji ili losem eksperimentu. DVANAESTO POGLAVLJE Analiza i Interpretacija Podataka: Deo I.Jedna od mogucih prijetnji ovoj studiji je sazrijevanje.Postoji nekoliko prijetnji unutrasnjoj zakonitosti projektovane pre-post test projekcije za jednu grupu. Odgovori na Challenge Questions 1 A Projektovana neekvivalentno kontrolisana grupa je upotrebljena u ovoj studiji.jer.projekcija studije bi bila samo pre-post projektovano testiranje jedne grupe. Opisivanje Podataka.Pouzdani Intervali.Veci porast od pre do post-testa grupe koja je dobila multimedijalno predavanje moze biti objasnjeno efektom samog predavanja.Uzajamna veza Sadrzaj Poglavlja Opsti pregled Prica o Analizi Pomoc Racunara u Analizi Podataka Ilustracija:Analiza Podataka u svrsi Uporedjivanja Eksperimenata Faza1:Upoznavanje sa Podacima Faza2:Sazimanje Podataka Faza3:Upotrebljavanje Pouzdanih Intervala za Potvrdjivanje onog sta Podaci Pokazuju Ilustracija:Analiza Podataka u svrsi Studije Uzajamne Veze Faza1:Upoznavanje sa Podacima Faza2:Sazimanje Podataka Faza3:Pravljenje Pouzdanih Intervala za Sazimanje Uzajamne Veze Opsti pregled 12 .U ovoj studiji.Projektovana neekvivalentna kontrolisana grupa koja je ucestvovala u ovoj studiji upravlja ovom prijetnjom jer bilo koje povecanje znanja ce biti isto za obje grupe. B Da su samo studenti koji su primili multimedijalno predavanje bili testirani.

Podaci.Primarni cilj analize podataka je da se odredi da li nase opazanje potvrdjuje tvrdnju o ponasanju (Abelson.Prema tome.i potvrdjivanje onog sta podaci pokazuju.postoje vazne razlike i opisat cemo ih prvo odvojeno i onda cemo pokazati kako informacije iz oba pristupa mogu biti kombinovane u finalnoj analitickoj prici.nas slusaj mora biti spremljen sa velikom paznjom posvecenoj kvalitetu dokaza i nacinu na koji ce biti prezentovan.i procjene statisticke moci.ili npr.ne dolaze sami od sebe.Drugi se oslanja na testiranju hipoteze bez ikakve vrijednosti(NHST).prve dvije faze analize podataka su iste.ipak.trazimo podatke iz „dobre“ istrazivacke studije.koja je unatrasnje i spoljasnje validna.Tvrdnja moze biti npr. da je program namijenjen smanjenju depresije uspjesan.potvrdjivanje onog sta podaci pokazuju. eksperiment)Ukoliko su ozbiljne greske napravljene u fazi prikupljanja podataka.mozemo pretpostaviti da su rezultati steceni upotrebom odredjenog istrazivackog metoda (npr. da djeca majki ovisnih o drogama prikazuju vecu kolicinu poteskoca pri ucenju od one djece cije su majke strejt .Jedan pristup je upotreba pouzdanih intervala za obezbjedjivanje dokaza za siroku i preciznu procjenu populacijskih parametara.Kao sto smo rekli.I naravno zelimo da budemo sigurni da su podaci prikupljeni na nacin koji umanjuje doprinos trazenih karakteristika.Kada je studija o kvantitativnom istrazivanju sprovedena.ali srodne faze analize podataka:upo znavanje sa podacima.osjetljivlja i vjerodostojna.Sta god bila tvrdnja.kako da sazmemo tu informaciju. sta sledece radimo?Postoje tri odvojene. Postoje razliciti.1995).naravno. TRI FAZE ANALIZE PODATAKA Tri glavne faze analize podataka mogu biti opisane na sledeci nacin: 13 .sazimanje podataka.treba da znamo sta trazimo u podacima.Bilo voditi observacionu studiju ili eksperiment zasnovane na kvantitativnim podacima.anketa.ali dopunski.pristupi trecoj fazi analizi.Da bi se pripremio ubjedljiv argument.Ukratko.primarni dokaz su numericki podaci koje smo prikupili.i kako najbolje da evaluiramo tu informaciju.ovi pristupi su povezani.moramo osigurati da podaci za analizu budu prikupljeni posle pazljivo razmotrene konstatacije istrazivacke hipoteze i izbora odgovarajuceg istrazivackog metoda za testiranje te hipoteze.Vjerujuci da smo obezbjedili podatke zasnovane na valjanoj istrazivackoj studiji. posmatranje.predubjedjenja eksperimentatora ili drugih artifakata istrazivacke situacije. onda mozda ne postoji nista sta mozemo uciniti da „sacuvamo“ podatke i najbolje je da se pocne izpocetka.

vec i da te cinjenice utka u koherentnu i logicnu 14 .Informacija dobijena iz svake faze analize podataka doprinosi ovom potvrdnom procesu.Testiranje bez hipoteze.da-ne presude.1977).Nalazenje ubjedljivih argumenata za tvrdnje o ponasanju zahtijeva vise od jednostavne analize podataka.Pitanja koja postavljamo ukljucuju.Ovo obezbjedjuje povratnu spregu koja pomaze potvrdjivanju nase hipoteze.Pravni zastupnik.Upotreba opisne statistike i kreacija grafickih prikaza je veoma vazna u ovoj fazi.Nasa evaluacija podataka.kako neki kazu da postanemo prijatelji sa podacima (Hoaglin.Nasa tvrdnja o ponasanju moze biti zasnovana na evaluaciji vjerodostojnog opsega efekata promjenljive interesa.Sta ce se desiti kada je ova promenljiva prisutna?Pouzdani intervali su obicno preporuceni za ovakvu vrstu evaluacije. Proces potvrdjivanja pocinje sa prvom.koja se suprostavlja protivrjecnim interpretacijama.Drugim rijecima ne treba da pokusavamo dati definitivni sud o „istini“ rezultata.je primjenjeno u ovoj fazi analize.Sta se desava u ovom numerickom setu?Postoje li greske u podacima?Da li podaci imaju smisla?Na sta podaci lice?Tek kada ispunimo te uslove mozemo preci na sledecu fazu.medjutim.da bi dobio slucaj.i djelamo kao sudija i porota u donosenju presude. II Sazimanje podataka:U drugoj fazi pokusavamo da sazmemo podatke na razumljiv nacin.Kako bi podaci trebali da budu uredjeni?Koji nacini opisivanja i sazimanja podataka su najinformativniji?Kakve tendencije i obrasce vidimo?Kada su podaci prikladno sazeti prelazimo na sledecu fazu.Da li imamo dokaze za presudu?Da ili ne:Da li je efekat stvaran?U ovoj fazi mozemo koristiti razne statisticke metode za pobijanje argumenata da su nasi rezultati dobijeni uslijed slucajnosti.Ispitujemo podatke pazljivo.kada je prikladno.I Upoznavanje sa podacima:U prvoj fazi zelimo da ’pridjemo’ podacimo.Dobar argument zahtijeva dobru pricu.Da li podaci potvrdjuju nase pretpostavljene tvrdnje izrecene na pocetku studije?Sta mozemo tvrditi na osnovu dokaza?Ponekad trazimo kategoricne. Prica o Analizi • Kada je analiza podataka zavrsena.kada razvijamo osjecaj kakvi su podaci.i opravdava nase zakljucke.ili cak.ne vodi nas uvijek ka kategoricnom sudu istih.moramo sastaviti skladnu pricu koja objasnjava nase zakljucke.istrazivackom fazom.Ovo je istrazivacka faza(Tukey.hvatamo osjecaj za njih.Dok ispitujemo generalne osobine podataka pocinjemo da procjenjujemo sta smo zapravo otkrili. III Potvrda onog sta podaci govore:U trecoj fazi odlucujemo sta nam podaci govore o ponasanju.mora ne samo da privuce paznju porote na cinjenice slucaja.U fazi sumiranja saznajemo vise o smjerovima i obrascima utvrdjenih posmatranjem.Mosteller i Tukey 1991).

Stoga. Sprovodjenje statistickih podataka uz pomoc kompjuterskog softvera zahtijeva od istrazivaca dobro znanje istrazivackih projekcija i statistike.i opravdava nase zakljucke.Sposobnost da se spremi i odradi analiza upotrebom statistickog softvera i da se interpretira ishod su esencijalne vjestine koje moraju biti savladane od strane istrazivaca.Na kraju. Sprovodjenje statistickih podataka uz pomoc kompjuterskog softvera zahtijeva od istrazivaca dobro znanje istrazivackih projekcija i statistike.Kompjuter ce brzo i efikasno prikazati neophodne proracune za upotrebljive opisne i deduktivne statistike.Ovo znanje je esencijalno ukoliko zelite da koristite kompjuterski pomognuto analiziranje. Vecina istrazivaca ima pristup kompjuterima koji sadrze odgovarajuci softver za sprovodjenje statistickih analiza setova podataka. tip projekcije koja je upotrebljena.kad kompjuter obavi proracune. moramo sastaviti skladnu pricu koja objasnjava nase zakljucke.Neki od najpopularnijih softvera poznati po skracenicama:BMDP.i STATA.morate mu dati karakteristicna uputstva koja se ticu statistickog testa koji zelite da odradi i koji ce se podaci upotrebljavati za proracunavanje testa.koja se suprostavlja protivrjecnim interpretacijama.pricu.Ukoliko dokazi ukazuju na batlera.SPSS.broj nivoa svake nezavisne promenljive.Da biste koristili kompjuterski pomognuto analiziranje.onda zelimo da znamo „zasto“ je batler(a ne kuvar) to uradio.Morate takodje biti sposobni da jasno predstavite svoju istrazivacku hipotezu i da isplanirate odgovarajuce statisticke testove za svoju hipotezu.Da bi se kompjuter maksimalno iskoristio kao istrazivacko orudje .morate biti sposobni da ispravno interpretirate rezultate analize.morate unijeti informaciju kao sto je npr. Kompjuterski Pomognuta Analiza Podataka • • Istrazivaci obicno koriste kompjuter za sprovodjenje statistickih analiza podataka. Ilustracija: Analiza Podataka u svrsi Uporedjivanja Eksperimenata 15 .SAS.

I naravno procjena vokabularnog znanja zavisi od nacina na koji je znanje testirano.Na primjer.ukljucujuci npr. brojevi izvan dometa date skale).Problemi se odmah pojavljuju.ali procjenjivanje vokabulara neke osobe je veoma zahtjevan postupak..bilje.ili sa imenom vaseg psa?Jedan donekle jasniji pristup je da se postavi pitanje koliko rijeci osoba zna iz Engleskog recnika. • • • • • Faza 1:Upoznavanje sa podacima Pocinjemo analizu podataka ispitivanjem opstih karakteristika podataka i uredit ili „ocistit“ cemo ih ukoliko bude neophodno.Nasumicno je odabrao 191 rijec (po abecednom redu) iz recnika skromne velicine.sala.uljudnost.Testom sa visestrukim izborom odgovora (test na zaokruzivanje) ce se bolje pokazati znanje nego sa testom koji zahtijeva esejski odgovor. Podaci mogu biti uspjesno sazeti numericki.glumiti.played.igra.Iznenedjujuce.Na osnovu prethodnih studija.i stoga ce rezultati varirati u zavisnosti od vrste recnika koji je upotrebljena za ’uzorak’ rijeci. Vazno je da se pazljivo provjeri da li ima gresaka kao sto su izgubljene ili nemoguce vrijednosti (npr.. b.slikovito. e.hrabrost.na primjer.Onda je spremio test sa visestrukim izborom odgovora.po pet odgovora za jednu rijec.)jedna ili tri rijeci?Kada smo zainteresovani za tehnicke ili naucne rijeci.raskalasnost. kolika je velicina tvog vokabulara?Mozda ste postavili sebi ovo pitanje kada ste pripremali prijemne ispite kao sto su SAT ili ACT. Sazet prikaz je veoma upotrebljiv za vizualizaciju opstih karakteristika seta podataka.Ali cak se i ovdje nailazi na poteskoce jer recnici variraju u velicini i polju rada.dobar opis podataka ucestalo koristi sva tri modela.Tacno znacenje rijeci se nalazilo pored cetiri mamca stavljenih u test da bi razlikovanje sa tacnom definicijom bilo sto teze. d..Rijeci su bile predstavljene u knjizici datoj 26 studenata (srednja godina 18.ocekivalo se od starijih ucesnika da pokazu boloje znanje od mladjih.ili vam je pak proslo kroz glavu kada ste razmisljali o spremanju za ispite profesionalne skole kao sto su LSAT ili GRE. Koristeci podatke dobijene ovom studijom cemo iskoristiti za ilustraciju tri faze analize podataka.usmeno. Jedan od autora vaseg udzbenika je bio zainteresovan pitanjem vokabularne velicine studenata i starije populacije stoga je sproveo studiju koja bi mu pruzila odgovor na pitanje.rijec je bila “vitestvo“ a odgovori: a.Koliko rijeci znas?Tj.playing“(igrati se. c.Da li je „play.posto svi ovi ispiti naglasavaju vokabularno znanje.ratovanje. sesto-slozne nazive hemijskih komponenti?A sta sa izmisljenim rijecima.5) i 26 starijih ljudi (srednja godina 76).svirati.kad pocnemo da razmisljamo o tome sta znaci „rijec“. 16 .

Prednost kompjuterski pomognute analize je ta da mozemo brze i lakse skicirati podatke upotrebom razlicitih prikaznih opcija.ukoliko je to moguce.000 ms u setu podataka se moze smatrati outliner-om.Nazalost.Outlier je ekstremmna vrijednost u matrici.Kada radimo studiju o trajanju reakcije. greskom u redosledu vaznosti) ili zato sto je neko unosenjem podataka u kompjuter izostavio cifru ili unio pogresnu.jednostavno se cini da se ne slaze sa glavnim tijelom cak iako moze biti u domenu mogucih vrijednosti.Ciscenje Podataka Pocinjemo analizu podataka ispitivanjem opstih karakteristika podataka i uredit ili „ocistit“ cemo ih ukoliko bude neophodno.Transformacija podataka je proces „re-izrazavanja“.vrijednost od 4.ili kad pogresno pomisli da je skup podataka u zastoju i pocne da odustaje. Ipak. kada ucesnik kine.istrazivac mora prijaviti njihovo otklanjanje iz analize podataka i objasniti. Kada se anomalija pojavi u setu podataka moramo odluciti da li da je iskljucimo iz dalje analize.mozemo se iznenaditi da je vrijeme reakcije 4..na primjer.500 ms.000 ms. • 17 .500 ms. Najbolji nacin da se dobije osjecaj za setove podataka je da se napravi slika istih.ali.Pazljivo cemo provjeriti da li ima gresaka kao sto su izgubljene ili nemoguce vrijednosti (npr.anomalija se pokazuje ukoliko se pojavi cifra 8 u skali od 0 do 7.Ukoliko skoro sve druge vrijednosti u velikom setu podataka su manje od 1..Druge anomalije su outliers.nesvjesno makne pogled sa grafika.Primjeri relativno jednostavnih transformacija ukljucuju one kao sto su izrazavanje inca u stope.gdje ocekujemo da reagovanje bude manje od 1.takve vrijednosti su moguce u studiji o trajanju reakcije npr. brojevi izvan dometa date skale).istrazivaci se ne oslanjaju na jednu definiciju outliera.zasto se anomalija pojavila.Na sta lici rasejavanje(promjenljivost)?Da li su podaci iskrivljeni ili su relativno normalno raspodjeljeni?Jedan od ciljeva prve faze analize je da se odredi da li podaci zahtijevaju transformaciju prije postupka.kelvina u celzijuse.Greske mogu iskrsnuti losim postupkom u „skaliranju“ ucesnika (npr.Ipak u ispravljanju gresaka ne mozemo se potpuno osloniti na racunar tako da istrazivac mora sam ocistiti greske.kada se to desi.U prvoj fazi analize podataka takodje zelimo da nadjemo nacine da opisemo jasno raspodjelu rezultata.Kao sto smo vidjeli.One anomalije koje se mogu jasno odrediti kao greske trebale bi da budu ispravljene ili odbacene iz seta podataka. Od velike je vaznosti detekcija anomalija i gresaka.

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->