You are on page 1of 21

Procjena Programa (Programska Evaluacija)

 Evaluacija programa se upotrebljava za procjenu djelotvornosti javnih


organizacija i obezbjedjuje povratnu spregu administratorima o
njihovim uslugama.
 Organizatori programa procjenjuju sta je neophodno,procjenjuju
postupke,ishod,i efikastnost drustvenih usluga.
 Odnos izmedju osnovnog istrazivanja i primjenjenog istrazivanja je
reciprocan.
 Uprkos drustvenom protivljenju upotrebe eksperimenata,pravi
eksperimenti i kvazi-eksperimenti mogu obezbijediti izvrstne pristupe
za procjenu drustvenih reformi.

Organizacije koje proizvode dobra imaju konfekcijski indeks uspjeha.Ukoliko je


kompanija spremna da proizvodi mikroprocesore,njen uspjeh je konacno odre-
djen profitom od prodaje mikroprocesora.Barem teoretski,efikasnost
organizacije se moze lako procjeniti ispitivanjem njene knjige salda.Medjutim
sve je vise organizacija drugog tipa koje igraju kljucnu ulogu u nasem
drustvu.Posto ove organizacije obicno obezbjedjuju usluge (radna mjesta) a
ne dobra,Posavak I Keri (2003) ih opisuju kao javne
organizacije(sluzbe).Na primjer,bolnice,skole,po-
licija,vladine agencije a koje obezbjedjuju mnostvo usluga od lijecenja do
inspekcija za sprecavanje pozara.Posto pravljenje profita nije njihov cilj,neki
drugi metod mora biti pronadjen za razlikovanje efektivnih I neefektivnih
agencija (sluzbi).Jedan veoma koristan pristup u procjenjivanju efektivnosti
javnih organizacije je procjena programa.
Posavak I Keri su definisali procjenu programa kao:

. . . skup metoda,znanja, i prihvatljivosti neophodnih za odredjivanje potrebnosti


javne sluzbe,da li je dovoljno jaka da se izbori sa neocekivanim potrebama i da li

1
sluzba zapravo pomaze ljudima kojima je potrebna usluga po razumnoj cijeni bez
neprihvatljivih nuspojava.

Definicija procjene programa ukljucuje nekoliko komponenata;redom cemo ih


razmatrati.Posavak i Keri naglasavaju da je glavni cilj procjene programa
obezbjedjivanje povratne sprege u pogledu na aktivnost javne
sluzbe.Procjene programa su namjenjene obezbijedjivanju informacija
administratorima javnih sluzbi kako bi im pomogle u odlucivanju koje usluge
da namjene kojoj ciljnoj grupi,I kako da te usluge budu na visokom
nivou.Procjena programa predstavlja integraciju discipline koja se crpi iz
politicke nauke,sociologije,ekonomije,obrazovanja,i psihologije.Diskutujemo
procjenu programa na kraju ovog poglavlja na osnovu istrazivanja realnih
okvira jer pretstavlja mozda najobimniji opseg primjena principa I metoda
koje opisujemo do kraja ove knjige.
Posavak I Keri (2003) su identifikovali cetiri pitanja koja se postavljaju
pri procjeni programa od strane evaluatora.Ova pitanja su o
potrebama,postupku,ishodu,i produktivnosti.

Vrsta potreba koje bi neka agencija trebala da pruzi zahtijeva


utvrdjivanje opsega samih potreba ciljne grupe.Razmotrimo,na
primjer,gradska vlada je dobila predlog da ustanovi program rekreacionih
aktivnosti za starije gradjane zajednice.Gradska vlada ce prvo da utvrdi da li
stariji gradjani stvarno zele takav program.Ukoliko starija populacija zeli
takav program,’grad’ ce dalje zeleti da zna kakav program bi im bio
najprimamljiviji.Metodi anketnog istrazivanja se znatno upotrebljavaju u
studijama namijenjenim procjenjivanju potreba.Administratori mogu
upotrebljavati informacije dobijene iz procjena potreba radi lakseg
prezentovanja programa.
Kada je program jednom ’pusten u rad’,evaluatori mogu postavljati
pitanja o
procesu koji je utvrdjen programom.Metodi pracenja su cesto koristni u
procjenjivanju toka programa.Programi nisu uvijek implementirani na nacin

2
kojim su isplanirani,i od velike je vaznosti da se zna sta je zapravo uradjeno
po sprovodjenju programa.Ukoliko isplanirane aktivnosti rekreacionog
programa nisu odradjene od strane starije populacije,najvjerovatnije je da
program nije adekvatno sproveden.Evaluacija koja obezbjedjuje odgovore na
pitanja o postupku,je zapravo ta koja kazuje na koji nacin je program
izvrsen,i dozvoljava administratorima da donose izmjene u isporuci usluga da
bi pojacali postojeci program (Posavak i Keri,2003).
Sledeci set pitanja koje postavlja evaluator programa obuhvata ishod
samog programa.Da li je program bio efektivan u ispunjavanju odredjenih
ciljeva?Na primjer,da li stariji gradjani sada imaju pristup vecem broju
rekreacionih aktivnosti,i da li su zadovoljni sa tim aktivnostima?Ishod
programa o nadgledanju zajednice koji ima svrhu da suzbije kriminal moze
biti evaluiran procjenjivanjem stope provala i nasilja koje prati
implementacija samog programa.Moguce je da se koriste arhivski podaci kao
sto su oni opisani u Poglavlju 6 za sprovodjenje evaluacije ishoda.Na
primjer,ispitivanjem policijskih zapisnika u svrhu dokumentovanja frekfencije
raznih zlocina je jedan od nacina da se procijeni efektivnost programa
nadgledanja zajednice.Evaulacije ishoda mogu takodje obuhvatiti kako
eksperimentalne i kvazi-eksperimentalne metode za istrazivanje realnih
okvira.
Krajnja pitanja koja evaluatori mogu postaviti su o djelotvornosti
programa.Najcesce,pitanja o efikasnosti se ticu cijene programa.Izbori cesto
trebaju da budu izmedju mogucih usluga koje vlada ili druga institucija mogu
da pruze.Informacija o tome koliko je uspjesan program (evaulacija ishoda) i
informacija o cijeni programa (produktivna evaluacija) su neophodne ukoliko
zelimo da aviziramo odluke o nastavljanju programa,kako da ga
poboljsamo,da li da probamo alternativni program.
Ranije u ovom poglavlju i 2. poglavlju smo opisali razlike izmedju
osnovnog i primijenjenog istrazivanja.Programska evaluacija je vrlo vjerovatno
ekstremni slucaj primijenjenog istrazivanja.Svrha Programske evaluacije
(P.E.) je prakticna a ne teoretska.Pisanje u International Journal of
Psychology,Salomon(1987) tvrdi da svaki domen istrazivanja koristi drugom
u stalno kruznom toku.Salomonov model je ilustrovan slikom 1*.

3
Posebno,Salomon istice da osnovno istrazivanje obezbjedjuje izvjestne
apstrakcije koje izrazavaju odredjene pravilnosti u prirodi.Kada se ovi
principi ispitaju u kompleksnom i ’prljavom’ svijetu gdje su toboze
primjenjene,nove slozenosti su prepoznate i nove hipoteze se potezu.Ove
nove komplikacije su onda testirane i procijenjene u labaratoriji prije nego
sto se isprobaju u stvarnom svijetu.
Salomon ukazuje na rad Elene Langer kao konkretni primjer ovog kruznog
odnosa.Ona je identifikovala pogorsanje zdravlja starijih ljudi koji su
smjesteni u staracke domove.Ova naturalisticka posmatranja su je vodila ka
razvijanju teorije o mindfulness*,koju je testirala pod kontrolisanim
eksperimentalnim uslovima i koja sa sobom povlaci jos neke generalnije
teorije o ponasajnom razvitku kao i o obrazovanju.

Slika 1. Model ilustrira reciprocan odnos osnovnog i primijenjenog


istrazivanja

Primijenjeno Ljudski i Socijalni


Istrazivanje Svijet

Deduktivna Osnovno
Teorija Istrazivanje

4
Teorija omogucava vodic za njen primjenjen rad—konstruisuci nove modele
starackih domova.Provjeravanje prakticnih efekata promjena u njezi u
starackim domovima na zdravlje i blagostanje ce bez sumnje voditi ka
modifikaciji njene teorije mindfulness*.(*--promisljenost,svjestnost)
Prema Kempbelu (1969),za javne zvanicnike umijesane u socijalne
eksperimente je vazno da naglase vaznost problema prije nego vaznost
resenja.Umjesto sto ’guraju’ jedno resenje za sve (koje,u vecini slucajeva,ima
male sanse za uspijeh),zvanicnici moraju biti spremni da izvrse reforme na
nacin koji dozvoljava najjasniju evaluaciju i moraju biti spremni da isprobaju
druga resenja ukoliko prvo zataji.Javni zvanicnici moraju,drugim rijecima,da
budu spremni da koriste eksperimentalne metode da identifikuju drustvene
probleme i da odrede efektivna resenja.
Kempbelova (1969) ideja da spajanje socijalnih reformi i
eksperimentalnih metoda moze imati jak uticaj na rad javnih sluzbenika, ali
jos uvijek nije primijenjena.Razlozi su jedni od onih koji su vec identifikovani
od strane Kempbela.Kako god,bez socijalnog eksperimentisanja,posebno onog
koje je koristno u opsegu nasumicno odabranih eksperimenata,javni sluzbenici
i drustvena vecina vjeruju da postupak funkcionise iako je ustvari
suprotno.Takve neispravne odluke vode raspodjeli novca i resursa na
neefektivne programe.
Prije nekoliko godina,televizijski sou “Scared Straight“ je emitovan na
nacionalnoj televiziji.Opisivao je program maloljetnicke edukacije u –Rahway
State Prison u New Jersey-u(Kazneno Popravni Dom).Program je
ukljucivao mlade prestupnike i upoznavao ih sa odabranim starijim
osudjenicima .Cilj je bio da se mladi prestupnici informisu o realnosti
zatvorskog zivota,u vezi sa tim,vodje programa su se nadale da ce ih
odvratiti od daljih nelegalnih aktivnosti.Nezvanicna procjena je napravljena
za efektivnost ovog programa i pokazala je veoma dobre rezultate cak od
80% do 90%.Rahway program je samo jedan od par slicnih programa
sprovedenih sirom zemlje.Al da li ovakvi programi stvarno funkcionisu?
Nekoliko evaluacionih studija o izlaganju zatvorskim uslovima dale su
izmijesane rezultate,ukljucujuci pozitivne zakljucke,zakljucke da nema razlike
izmedju kontrolisanih i eksperimentalnih ucesnika,kao i rezultati koji sugerisu

5
da je program uvecao broj maloljetnickih prekrsaja odredjenog tipa
delikvenata.Postoji i mogucnost da manje ocvrsnuti maloljetni prestupnici
povecaju svoje kriminalisticke aktivnosti po upoznavanju sa
osudjenicima.Nagovijesteno je da ovi manje moralno formirani prestupnici
pocinju da vode kriminalni stil zivota u kojem se prepoznaju i za koji su
ohrabreni od strane ’mentora’ koje su upoznali u zatvoru.Sa druge
strane,ucestali mladi prestupnici,koji su dostigli neki statustni nivo kod
njihovih ’mentora’ strahuju da da ce ga izgubiti ukoliko se promjene.
BOX 11.3

OTKLANJANJE „PLASTA NEZNANJA“ SA DRUSTVENIH


EKSPERIMENATA

Najvjerovatnije je da najveca razlika izmedju Kampbel je unaprijed argumentovao


osnovnog istrazivanja i programske evaluacije Sjedinjene Americke Drzave i druge moderne
lezi u politickim i socijalnim stvarnostima koje . nacije bi trebale da budu spremne za
ekspe
okruzuju programsku evaluaciju.Vlade kako rimentalni pristup socijalnim
reformama,i pri
na lokalnom tako i na drzavnom nivou redovno stupu u kojem bi isprobavale druge
programe,
predlazu,planiraju i izvrsavaju razlicite tipo- iz kojih ucimo jesu li ili nisu
efektivni,i iz ko-
ve reformi.Programi poreskih olaksica,stimu- jih zadrzavamo,podrzavamo ili
mijenjamo
lacija na poslu,edukacionih reformi,reformi ili ih odbacamo na osnovu jasne
efektivnosti
policije,medicinske njege za starije gradjane mnogostrukih nesavrsenih pristupnih
kriterija.
su samo od nekih tipova programa socijalnih Sociolozi trebaju da ubijede
administratore
reformi koje vlada moze da pokrene.Nazalost da upotrebljavaju prave
eksperimente,ukoliko
,Donald Kampbel bivsi predsjednik Americke je to mogucno,ili pak kvazi-
eksperimente,kada
Asocijacije Psihologa je istakao da ishod ovih donose nove drustvene programe.Na
primjer,
Socijalnih reformi ne moze biti adekvatno evalu- nasumice odabrana procedura

6
zasnovana na
iran.Da li je promjena policijskih tehnika smanji- na principu javne lutrije,moze biti
upotrijebljena
la stopu kriminala?Da li program stumulansa za odabir ciljne grupe na kojoj bi bio
sproveden
radnicima poboljsava njihov rad?Odgovor na pilot program ili koja bi imala pristup
oskudnim
takva pitanja cesto je nemoguce pronaci,kaze sredstvima.Grupa nad kojom ne bi bio
sprove-
Kempbel,jer je vecina socijalnih reformi ustano- den program sluzila bi za
poredjenje.Onda bi
vljena za vrijeme politike koja nije spremna da efekat socijalnog ’tretmana’ mogao
biti evalu-
ih evaluira kako treba iz straha da se nebi shva- iran.Trenutno,odluka ko sta dobija je
cesto do-
tilo da je njih zapravo briga za reforme koje drustvo nesena pod uticajem odredjenih
interesnih gr
kao cijelina zeli.Takodje veliki broj reformi je upa—kao razeltat intezivnog
lobiranja,na pri-
zapocet jer se unaprijed znalo da ce uspijeti. mjer—ili donesena na osnovu
politickih oprede-
Inace zasto trositi sav taj novac od poreza? nja.
Za mnoge javne administratore koristnije je da
javnost ostave u nedoumici prije nego da se
suoce sa istinom sa onim sta se zaista dogodilo.

Pokusaji da se evaluira efikasnost ovog vaznog socijalnog programa


obezbjedjuje dobre primjere teskoca prisutnih u evalucionom
istrazivanju:teskoca u nasumicnom biranju ucesnika,u pridobijanju
administratora koji bi saradjivali u eksperimentalnim procedurama,i u
izlazenju na kraj sa gubitkom ucesnika tokom evaluacije.Ipak,programska
evaluacija zasnovana na pouzdanim eksperimenta-

7
lnim metodama nudi donosiocima odluka na svim nivoima (ustanova,zajedni-
ca,gradova,drzava...) informacije koje im mogu pomoci u pripremi resenja za
mo-guce socijalne problema.Posto resursi (novac) nisu neograniceni,od velike
je vaznosti da budu upotrebljeni na sto bolji nacin.

Nadamo se da ce vam vase znanje o istrazivackim metodama omoguciti da


ga prenesete dalje i mozda pak konstruktivno doprinesete debati koja se
tice uloge eksperimentisanja u drustvu.

Eksperimentisanje u stvarnom svijetu razlikuje se na mnoge nacine od


eksperi-
mentisanja u ’psiholoskim labaratorijama’.Razlozi za izvodjenje
eksperimenata u prirodnim uslovima,ukljucuju testiranje zakonitosti i
procjena donesenih u labara-
toriji,doprinose poboljsanju uslova pod kojim ljudi rade i zive.
Kempbel i drugi su raspravljali o tome da drustvo mora da bude spremno
da pri-hvati eksperimentalni pristup socijalnoj reformi—takvoj koja ce
dozvoliti najjasniju evaluaciju efektivnosti novog programa.U mnogim
situacijama (na primjer,kada su raspoloziva sredstva premala) ,pravi
eksperimenti koji ukljucuju pojedince preporucljivo je da budu odabrani
nasumicno il za eksperimentalne ili neeksperimentalne uslove .Ukoliko pravi
eksperiment nije izvodljiv,kvazi-eksperimentalne procedure su sledeci najbolji
pristup.Kada odredjene pretnje unutarnjim vrijednostima eksperimenta nisu
kontrolisane,onda eksperimentator,logicnim ispitivanjem situacije i
prikupljanjem dodatnih dokaza,mora pronaci nacin da njima upravlja.
Posebno jaka kvazi-eksperimentalna procedura je neekvivalentno
kontrolisanje pojedinaca grupe.((?)).Ova procedura uglavnom vazi za sve
vece prijetnje internoj vrijednosti izuzev onih vezanih za dodatne stvari 1.
selekcija i razvoj 2.selekcija i sazrijevanje 3.selekcija i
posredovanje(instrumentation) 4.prijetnje prema diferencijalnoj statistickoj

8
regresiji.Kao dodatak velikom broju prijetnji unutrasnjim
zakonitostima,eksperimentator mora biti spreman za infektivno djelovanje
koje nastaje iz komunikacije medju ucesnicima iz razlicitih grupa.Problem—
ocekivanje eksperimentatora(tzv. posmatracka neravnoteza);pitanje
spoljasnje validnosti;efekti noviteta,ukljucujuci Hawthorn-ov efekat,su
potencijalni problemi u svim eksperimentima,bilo da su sprovedeni u
labaratoriji ili na ’terenu’.
Kada je moguce posmatrati promjene u zavistnoj mjeri prije i posle
primjene postupka,moze se lako sprijeciti anomalija u projektovanoj
vremenskoj seriji.Istrazivac koristeci ovaj projektovan pogled trazi nenadanu
promjenu u vremenskoj seriji koja se podudara sa uvodom postupka.Najveca
prijetnja unutrasnjoj vrijednosti ove projekcije je razvoj—neki dogadjaj koji
nije sastavni dio postupka moze biti odgovoran za promjenu u vremenskoj
seriji.Posredovanje takodje moze biti problem,posebno kada postupak
pretstavlja tip socijalne reforme koja moze voditi promjenama na vec
zabiljezen nacin.Ukljucujuci kontrolisanu grupu koja je slicna koliko je to
moguce eksperimentalnoj,moze se ojacati unutrasnja vrijednost projektovane
vremenske linije.Vremenske serije sa neekvivalentnom kontrolisanom
grupom,na primjer,kontrolisu sto je vise moguce prethodne prijetnje.
Narocito vazan cilj istrazivanja u prirodnim ulovima je programska
evaluacija.Zvanicnici izuzev psihologa(kao sto su edukatori,politicki naucnici i
sociolozi) su cesto umijesani u ove procese.Tipovi programske evaluacije
ukljucuju procjenu potreba,procesa,ishoda i efikasnosti.Najvjerovatnije najvece
prepreke programske evaluacije su politicke i socijalne stvarnosti koje nas
okruzuju.Nevoljnost javnih zvanicnika da traze evaluaciju socijalnih reformi je
cesto prepreka koja nadvlada.I pored toga,sociolozi pozivaju programske
evaluatorte da budu na raspolaganju javnim organizacijama.Odgovorom na
ovakav poziv,mozemo pomoci u mijenjaju drustva na nacin koji ce donijeti
efektivnije usluge onima kojima su najpotrebnije.

Kljucni principi

9
prijetnje unutrasnjoj vrijednosti kvazi-eksperimenti
razvoj proracun
jednostavno prekinute vremenske linije
zrelost
vremenske linije sa neekvivalentnim kontrolnim
testiranje
grupama
posredovanje programska
evaluacija
regresija
selekcija
kontaminacija
noviteti

Revizija
1. Identifikuj dva razloga zbog kojih je vazno realizovati
eksperimente pod prirodnim uslovima?
2. Objasni kako se labaratorijski eksperimenti i oni pod prirodnim
uslovima razlikuju u kontroli,unutrasnjim vrijednostima,ciljevima
i posledicama.
3. Opisi tri karakteristike kojim se odlikuje pravi eksperiment,i
identifikuj kako nezavisne promjenjljive mogu biti definisane
prema ovim karakteristikama.
4. Kakve poteskoce istrazivaci treba da savladaju pri sprovodjenju
eksperimenata u prirodnim uslovima?
5. Identifikuj dvije procedure koje dozvoljavaju istrazivacima da
dodjele uslove nasumicno odabranim ucesnicima eksperimenta

10
dok u isto vrijeme daju svim ucesnicima pristup
eksperimentalnom postupku.
6. Opisi i objasni posledice tri nacina u kojim ucesnici u
kontrolisanoj grupi mogu reagovati kada se pojavi
’kontaminacija’(uticaj od strane druge grupe ucesnika
eksperimenta)
7. Objasni kako noviteti,ukljucujuci Hawthornov efekat,mogu
uticati na istrazivacevu interpretaciju efektivnosti
eksperimentalnog postupka.
8. Sta Kuk i Kampbel(1979) podrazumijevaju za najbolji test
spoljasnje zakonitosti?
9. Objasni zasto je esencijalno upotrebljavati prethodan test u
projektovanoj neekvivalentnoj kontrolisanoj grupi.
10.Objasni kako se jedna prijetnja unutrasnjoj zakonitosti
kontrolise u projektovanoj neekvivalentnoj kontrolisanoj grupi,i
opisi prijetnju unutrasnjoj zakonitosti koja nije kontrolisana u
ovoj projekciji.
11. Objasni razliku izmedju razvojne prijetnje unutrasnjoj
zakonitosti i onog sto nazivamo „lokalna razvojna prijetnja“ u
projektovanoj neekvivalentoj kontrolisanoj grupi.
12.Sta je najveci dokaz za dejstvo postupka u jednostavno
prekinutoj vremenskoj liniji, i koje su to najvece prijetnje
unutrasnjoj zakonitosti projekta.;
13.Objasni kako dodatak neekvivalentne kontrolisane grupe
jednostavno prekinutoj vremenskoj seriji smanjuje prijetnje
unutrasnjoj zakonitosti projekta.
14.Opisi koji tip informacija je najtrazeniji kada evaluatori traze
odgovor na cetiri pitanja koja su tipicna u programskoj
evaluaciji.

Pitanja

11
1 Kvazi-eksperiment je upotrebljen za odlucivanje da li je multimedijalno
upustvo koristno.Dvije oblasti uvodne psihologije su objasnjenje od istog
predavaca u ranom prijepodnevu.Jednoj sekciji predavac je koristio
multimedijalna upustva.Dok je drugoj sekciji isti materijal iznio bez
multimedijalnog opisa.Studenti nisu znali kada su se prijavljivali za kurs da li
ce biti koristen multimedijalni opisi,ali studenti nisu nasumicno razvrstani
po sekcijama.Znanje studenata o materijalu kursa je procijenjeno upotrebom
dvije vrste sadrzajnih testova.Sadrzajni test se moze smatrati
vjerodostojnim testom i moze se iskoristiti za uporedjivanje efektivnosti
instrukcija u dvijema sekcijama.Studenti iz obje sekcije su testirani drugog
dana predavanja (pre test) i na kraju(post test).Razlicite forme testa su
koriscene za pretest i posttest.
A Kakva projekcija kvazi-eksperimenta je koriscena u studiji?
B Objasni zasto je projektovan kvazi-eksperiment upotrebljen od strane
predavaca efikasniji nego da je samo testirao studente koji su slusali
multimedijalno predavanje.Identifikuj prijetnju unutrasnjoj zakonitosti koja je
kontrolisana u ovoj studiji koja se ne bi mogla kontrolisati da su samo
testirani studenti koji su slusali multimedijalno predavanje.
2 Psiholog je objavio knjigu koja opisuje uticaj razvoda na muskarce,zene i
djecu.Zanimali su je efekti koji se pojavljuju deset godina nakon
razvoda.Otkrila je da cak posle deset godina nakon razvoda polovina zenskih
ispitanika je jos ljuta dok je sa druge strane to trecina muskaraca.Mada
polovina muskaraca i zena su se izjasnili srecnim,25% zena i 20% muskaraca
jos uvijek su nemocne “da se vrate u zivot“.Samo 10% razvedenih
porodica,kako muskaraci i zene imaju srecan i zadovoljavajuc zivot deceniju
nakon razvoda.Na kraju,vise od polovina djece je uslo u zrelo doba kao
neizgradjeni i samokriticni muskarci i zene.Ovi zakljucci su zasnovani na
petnaestogodisnjoj studiji 60 razvedenih parova i 135-oro njihovo djece iz
Marin Okruga,Kaliforni-
ja (bogate suburbane oblasti u kojoj zive najvecim djelom dobro obrazovani
ljudi).Objasni kako projektovan kvazi-eksperiment moze biti od koristi u
navodjenju izrazenih ishoda odredjenih efektima razvoda.

12
3 Policijska snaga jednog velikog grada treba da se odluci izmedju dva
razlicita pristupa kojim bi cinovnike odrzali informisanim o zakonskim
izmjenama.Prosvjetljeni administrator ove sluzbe je odlucio da oba pristupa
testira u ovoj istrazivackoj studiji.Ona je odlucila da odradi pravi
eksperiment i odabrala je 60 cinovnika i nasumicno ih raspodjelila u
programa na period od pola godine.Posle pola godine svi cinovnici koji su
uspjesno prosli obuku u svom programu podvrgnuti su finalnom testu radi
provjere znanja iz prava.Dvadeset cinovnika koji su zavrsili Program A
pokazali su vece rezultate na ovom testu od 28 kolega koji su zavrsili
Program B.Administrator je postupio mudro ne prihvatajuci rezultate kao
odlucujuc dokaz efikasnosti ova dva progr-ama.Koristeci samo zabiljezene
rezultate objasni zasto je donijela takvu odluku.Sledece,objasni kako bi njena
odluka bila drugacija da je samo dvadeset cinovnika zavrsilo oba programa(od
pocetnih 30 po programu) i da postoji prednostna razlika Programa A.
4 Mali studentski koledz sa novim fitnis centrom je odlucio da predstavi
program unapredjivanja zdravlja studenata i osoblja.Program je projektovan
tako da jedan semestar ucesnici imaju tri jednocasovne sesije nedeljno.
Daj odgovor na sledeca pitanja koja se ticu programske evaluacije.
A Kakvu ulogu procjena potreba moze imati u planiranju programa?
B Koja pitanja o procesu programa bi bila koristna,kada je program vec u
toku,i koja bi pomogla da se evaluacija ishoda interpretira na najbolji moguci
nacin?
C Objasni na koji bi nacin testirao efektivnost predlozenog programa ukoliko
nije moguce da se sprovede pravi eksperiment.

Answers to the Stretching Exercise

1 Razvoj je prijetnja kada dogadjaj izuzev postupka objasnjava napredovanje


ucesnika.Na primjer, ucesnici su mozda procitali self-help knjige,probali
biljne dodatke,pricali sa prijateljima ili pastorima,ili dozivjeli bilo koji broj
potencijalno koristnih „postupaka“.Bilo koji od ovih drugih dogadjaja mogli
su izazvati smanjenje napretka,prije nego tretman psihologa.

13
2 Sazrijevanje se pojavljuje kada se ucesnici prirodno mijenjaju tokom
vremena.Jedna stvar koju znamo o potistenosti je ta da vremenom
jaca.Stoga,napredovanje ucesnika moze prirodno reflektovati smanjenje
potistenosti tokom vremena,prije nego efekti postupka.
3 Testirana prijetnja se pojavljuje kada prva primjena testa utice na
potonje testiranje.U ovoj studiji,ucesnici su mozda zapamtili njihove ranije
reakcije o mjeri potistenosti,i vjerovatno u zelji da demonstriraju svoj
napredak,biraju odgovore koji oznacavaju manju mjeru potistenosti na
posttestu(iako se ne osjecaju manje potisteni).Kako se isti set pitanja
upotrebljava i za pretest i posttest,ova prijetnja je manje vjerovatna.
4 Statisticka regresija je moguca kada su ucesnici odabrani na osnovu
njihovog odlicnog rezultata ne pretestu.U ovoj studiji,ucesnici su odabrani
jer su pokazali veliki nivo depresije.

Odgovori na Challenge Questions 1

A Projektovana neekvivalentno kontrolisana grupa je upotrebljena u ovoj


studiji.
B Da su samo studenti koji su primili multimedijalno predavanje bili
testirani,projekcija studije bi bila samo pre-post projektovano testiranje
jedne grupe.Postoji nekoliko prijetnji unutrasnjoj zakonitosti projektovane
pre-post test projekcije za jednu grupu.To je zato sto se odnosi kao prema
pre-eksperimentalnoj projekciji ili losem eksperimentu.Jedna od mogucih
prijetnji ovoj studiji je sazrijevanje;jer,studentima obicno (barem se nadamo
tako) povecava znanje iz uvodne psihologije do kraja kursa koji prate iako
za njih nije koristeno multimedijalno predavanje.Projektovana neekvivalentna
kontrolisana grupa koja je ucestvovala u ovoj studiji upravlja ovom
prijetnjom jer bilo koje povecanje znanja ce biti isto za obje grupe.Veci
porast od pre do post-testa grupe koja je dobila multimedijalno predavanje
moze biti objasnjeno efektom samog predavanja.

14
DVANAESTO POGLAVLJE
Analiza i Interpretacija Podataka:
Deo I. Opisivanje Podataka,Pouzdani Intervali,Uzajamna veza

Sadrzaj Poglavlja
Opsti pregled
Prica o Analizi
Pomoc Racunara u Analizi Podataka
Ilustracija:Analiza Podataka u svrsi Uporedjivanja Eksperimenata
Faza1:Upoznavanje sa Podacima
Faza2:Sazimanje Podataka
Faza3:Upotrebljavanje Pouzdanih Intervala za Potvrdjivanje onog sta Podaci
Pokazuju
Ilustracija:Analiza Podataka u svrsi Studije Uzajamne Veze
Faza1:Upoznavanje sa Podacima
Faza2:Sazimanje Podataka
Faza3:Pravljenje Pouzdanih Intervala za Sazimanje Uzajamne Veze

Opsti pregled

Primarni cilj analize podataka je da se odredi da li


nase opazanje potvrdjuje tvrdnju o ponasanju (Abelson,1995).Tvrdnja moze
biti npr. da djeca majki ovisnih o drogama prikazuju vecu kolicinu poteskoca
pri ucenju od one djece cije su majke strejt ,ili npr. da je program
namijenjen smanjenju depresije uspjesan.Sta god bila tvrdnja,nas slusaj mora
biti spremljen sa velikom paznjom posvecenoj kvalitetu dokaza i nacinu na
koji ce biti prezentovan.Kada je studija o kvantitativnom istrazivanju
sprovedena,primarni dokaz su numericki podaci koje smo prikupili.Da bi se
pripremio ubjedljiv argument,treba da znamo sta trazimo u podacima,kako
da sazmemo tu informaciju,i kako najbolje da evaluiramo tu informaciju.

15
Podaci,naravno,ne dolaze sami od sebe;mozemo pretpostaviti da su
rezultati steceni upotrebom odredjenog istrazivackog metoda (npr.
posmatranje,anketa,
eksperiment)Ukoliko su ozbiljne greske napravljene u fazi prikupljanja
podataka,
onda mozda ne postoji nista sta mozemo uciniti da „sacuvamo“ podatke i
najbolje je da se pocne izpocetka.Prema tome,moramo osigurati da podaci
za analizu budu prikupljeni posle pazljivo razmotrene konstatacije
istrazivacke hipoteze i izbora odgovarajuceg istrazivackog metoda za
testiranje te hipoteze,i procjene statisticke moci.I naravno zelimo da
budemo sigurni da su podaci prikupljeni na nacin koji umanjuje doprinos
trazenih karakteristika,predubjedjenja eksperiment-
atora ili drugih artifakata istrazivacke situacije.Ukratko,trazimo podatke iz
„dobre“ istrazivacke studije,koja je unatrasnje i spoljasnje validna,osjetljivlja
i vjerodostojna.Vjerujuci da smo obezbjedili podatke zasnovane na valjanoj
istrazivackoj studiji, sta sledece radimo?Postoje tri odvojene,ali srodne faze
analize podataka:upo znavanje sa podacima,sazimanje podataka,i
potvrdjivanje onog sta podaci pokazuju.Bilo voditi observacionu studiju ili
eksperiment zasnovane na kvantitativnim podacima,prve dvije faze analize
podataka su iste.
Postoje razliciti,ali dopunski,pristupi trecoj fazi analizi, potvrdjivanje onog
sta podaci pokazuju.Jedan pristup je upotreba pouzdanih intervala za
obezbjedjiva-
nje dokaza za siroku i preciznu procjenu populacijskih parametara.Drugi se
oslanja na testiranju hipoteze bez ikakve vrijednosti(NHST).Kao sto smo
rekli,ovi pristupi su povezani;ipak,postoje vazne razlike i opisat cemo ih
prvo odvojeno i onda cemo pokazati kako informacije iz oba pristupa mogu
biti kombinovane u finalnoj analitickoj prici.

TRI FAZE ANALIZE PODATAKA


Tri glavne faze analize podataka mogu biti opisane na sledeci nacin:

16
I Upoznavanje sa podacima:U prvoj fazi zelimo da ’pridjemo’ podacimo.Ovo
je istrazivacka faza(Tukey,1977).Ispitujemo podatke pazljivo,hvatamo osjecaj
za njih,ili cak,kako neki kazu da postanemo prijatelji sa podacima
(Hoaglin,Mosteller i Tukey 1991).Pitanja koja postavljamo ukljucuju,Sta se
desava u ovom numerickom setu?Postoje li greske u podacima?Da li podaci
imaju smisla?Na sta podaci lice?Tek kada ispunimo te uslove mozemo preci
na sledecu fazu.
II Sazimanje podataka:U drugoj fazi pokusavamo da sazmemo podatke na
razumljiv nacin.Upotreba opisne statistike i kreacija grafickih prikaza je
veoma vazna u ovoj fazi.Kako bi podaci trebali da budu uredjeni?Koji nacini
opisivanja i sazimanja podataka su najinformativniji?Kakve tendencije i
obrasce vidimo?Kada su podaci prikladno sazeti prelazimo na sledecu fazu.
III Potvrda onog sta podaci govore:U trecoj fazi odlucujemo sta nam podaci
govore o ponasanju.Da li podaci potvrdjuju nase pretpostavljene tvrdnje
izrecene na pocetku studije?Sta mozemo tvrditi na osnovu dokaza?Ponekad
trazimo kategoricne,da-ne presude,i djelamo kao sudija i porota u donosenju
presude.Da li imamo dokaze za presudu?Da ili ne:Da li je efekat stvaran?U
ovoj fazi mozemo koristiti razne statisticke metode za pobijanje
argumenata da su nasi rezultati dobijeni uslijed slucajnosti.Testiranje bez
hipoteze,kada je prikladno,je primjenjeno u ovoj fazi analize.Nasa evaluacija
podataka,medjutim,ne vodi nas uvijek ka kategoricnom sudu istih.Drugim
rijecima ne treba da pokusavamo dati definitivni sud o „istini“
rezultata.Nasa tvrdnja o ponasanju moze biti zasnovana na evaluaciji
vjerodostojnog opsega efekata promjenljive interesa.Sta ce se desiti kada je
ova promenljiva prisutna?Pouzdani intervali su obicno preporuceni za ovakvu
vrstu evaluacije.
Proces potvrdjivanja pocinje sa prvom,istrazivackom fazom,kada razvijamo
osjecaj kakvi su podaci.Dok ispitujemo generalne osobine podataka pocinjemo
da procjenjujemo sta smo zapravo otkrili.U fazi sumiranja saznajemo vise o
smjerovima i obrascima utvrdjenih posmatranjem.Ovo obezbjedjuje povratnu
spregu koja pomaze potvrdjivanju nase hipoteze.Informacija dobijena iz svake
faze analize podataka doprinosi ovom potvrdnom procesu.

17
Prica o Analizi
 Kada je analiza podataka zavrsena,moramo sastaviti skladnu pricu koja
objasnjava nase zakljucke,koja se suprostavlja protivrjecnim
interpretacijama,i opravdava nase zakljucke.Nalazenje ubjedljivih
argumenata za tvrdnje o ponasanju zahtijeva vise od jednostavne
analize podataka.Dobar argument zahtijeva dobru pricu.Pravni
zastupnik,da bi dobio slucaj,mora ne samo da privuce paznju porote
na cinjenice slucaja,vec i da te cinjenice utka u koherentnu i logicnu
pricu.Ukoliko dokazi ukazuju na batlera,onda zelimo da znamo
„zasto“ je batler(a ne kuvar) to uradio.

Stoga, moramo sastaviti skladnu pricu koja objasnjava nase zakljucke,koja se


suprostavlja protivrjecnim interpretacijama,i opravdava nase zakljucke.

Kompjuterski Pomognuta Analiza Podataka

 Istrazivaci obicno koriste kompjuter za sprovodjenje statistickih


analiza podataka.
 Sprovodjenje statistickih podataka uz pomoc kompjuterskog softvera
zahtijeva od istrazivaca dobro znanje istrazivackih projekcija i
statistike.

Vecina istrazivaca ima pristup kompjuterima koji sadrze odgovarajuci softver


za sprovodjenje statistickih analiza setova podataka.Sposobnost da se
spremi i odradi analiza upotrebom statistickog softvera i da se interpretira
ishod su esencijalne vjestine koje moraju biti savladane od strane
istrazivaca.Neki od najpopularnijih softvera poznati po
skracenicama:BMDP,SAS,SPSS,i STATA.

18
Sprovodjenje statistickih podataka uz pomoc kompjuterskog softvera
zahtijeva od istrazivaca dobro znanje istrazivackih projekcija i statistike.Ovo
znanje je esencijalno ukoliko zelite da koristite kompjuterski pomognuto
analiziranje.Da biste koristili kompjuterski pomognuto analiziranje,morate
unijeti informaciju kao sto je npr. tip projekcije koja je upotrebljena;broj
nivoa svake nezavisne promenljive.Morate takodje biti sposobni da jasno
predstavite svoju istrazivacku hipotezu i da isplanirate odgovarajuce
statisticke testove za svoju hipotezu.Kompjuter ce brzo i efikasno prikazati
neophodne proracune za upotrebljive opisne i deduktivne statistike.Da bi se
kompjuter maksimalno iskoristio kao istrazivacko orudje ,morate mu dati
karakteristicna uputstva koja se ticu statistickog testa koji zelite da odradi
i koji ce se podaci upotrebljavati za proracunavanje testa.Na kraju,kad
kompjuter obavi proracune,morate biti sposobni da ispravno interpretirate
rezultate analize.

Ilustracija: Analiza Podataka u svrsi Uporedjivanja Eksperimenata

Koliko rijeci znas?Tj. kolika je velicina tvog vokabulara?Mozda ste postavili


sebi ovo pitanje kada ste pripremali prijemne ispite kao sto su SAT ili
ACT,ili vam je pak proslo kroz glavu kada ste razmisljali o spremanju za
ispite profesionalne skole kao sto su LSAT ili GRE,posto svi ovi ispiti
naglasavaju vokabularno znanje.Iznenedjujuce,ali procjenjivanje vokabulara neke
osobe je veoma zahtjevan postupak.Problemi se odmah pojavljuju,na
primjer,kad pocnemo da razmisljamo o tome sta znaci „rijec“.Da li je
„play,played,playing“(igrati se,svirati,igra,sala,glumiti....)jedna ili tri rijeci?
Kada smo zainteresovani za tehnicke ili naucne rijeci,ukljucujuci npr. sesto-
slozne nazive hemijskih komponenti?A sta sa izmisljenim rijecima,ili sa
imenom vaseg psa?Jedan donekle jasniji pristup je da se postavi pitanje
koliko rijeci osoba zna iz Engleskog recnika.Ali cak se i ovdje nailazi na
poteskoce jer recnici variraju u velicini i polju rada,i stoga ce rezultati
varirati u zavisnosti od vrste recnika koji je upotrebljena za ’uzorak’ rijeci.I
naravno procjena vokabularnog znanja zavisi od nacina na koji je znanje

19
testirano.Testom sa visestrukim izborom odgovora (test na zaokruzivanje)
ce se bolje pokazati znanje nego sa testom koji zahtijeva esejski odgovor.
Jedan od autora vaseg udzbenika je bio zainteresovan pitanjem
vokabularne velicine studenata i starije populacije stoga je sproveo studiju
koja bi mu pruzila odgovor na pitanje.Nasumicno je odabrao 191 rijec (po
abecednom redu) iz recnika skromne velicine.Onda je spremio test sa
visestrukim izborom odgovora,po pet odgovora za jednu rijec.Tacno znacenje
rijeci se nalazilo pored cetiri mamca stavljenih u test da bi razlikovanje sa
tacnom definicijom bilo sto teze.Na primjer,rijec je bila “vitestvo“ a
odgovori: a.ratovanje, b.bilje, c.hrabrost, d.raskalasnost, e.uljudnost.Rijeci
su bile predstavljene u knjizici datoj 26 studenata (srednja godina 18.5) i
26 starijih ljudi (srednja godina 76).Na osnovu prethodnih studija,ocekivalo
se od starijih ucesnika da pokazu boloje znanje od mladjih.
Koristeci podatke dobijene ovom studijom cemo iskoristiti za ilustraciju
tri faze analize podataka.

 Faza 1:Upoznavanje sa podacima


 Pocinjemo analizu podataka ispitivanjem opstih karakteristika
podataka i uredit ili „ocistit“ cemo ih ukoliko bude neophodno.
 Vazno je da se pazljivo provjeri da li ima gresaka kao sto su
izgubljene ili nemoguce vrijednosti (npr. brojevi izvan dometa date
skale).
 Sazet prikaz je veoma upotrebljiv za vizualizaciju opstih
karakteristika seta podataka.
 Podaci mogu biti uspjesno sazeti numericki,slikovito,usmeno;dobar
opis podataka ucestalo koristi sva tri modela.

 Ciscenje Podataka Pocinjemo analizu podataka ispitivanjem opstih


karakteristika podataka i uredit ili „ocistit“ cemo ih ukoliko bude
neophodno.Pazljivo cemo provjeriti da li ima gresaka kao sto su
izgubljene ili nemoguce vrijednosti (npr. brojevi izvan dometa date
skale).Greske mogu iskrsnuti losim postupkom u „skaliranju“ ucesnika
(npr. greskom u redosledu vaznosti) ili zato sto je neko unosenjem

20
podataka u kompjuter izostavio cifru ili unio pogresnu.Ipak u
ispravljanju gresaka ne mozemo se potpuno osloniti na racunar tako
da istrazivac mora sam ocistiti greske.
Od velike je vaznosti detekcija anomalija i gresaka.Kao sto smo
vidjeli,anomalija se pokazuje ukoliko se pojavi cifra 8 u skali od 0 do
7.Druge anomalije su outliers.Outlier je ekstremmna vrijednost u
matrici;jednostavno se cini da se ne slaze sa glavnim tijelom cak iako moze
biti u domenu mogucih vrijednosti.Kada radimo studiju o trajanju reakcije,na
primjer,gdje ocekujemo da reagovanje bude manje od 1,500 ms,mozemo se
iznenaditi da je vrijeme reakcije 4,000 ms.Ukoliko skoro sve druge
vrijednosti u velikom setu podataka su manje od 1,500 ms,vrijednost od
4,000 ms u setu podataka se moze smatrati outliner-om.
Ipak,takve vrijednosti su moguce u studiji o trajanju reakcije npr. kada
ucesnik kine,nesvjesno makne pogled sa grafika,ili kad pogresno pomisli da je
skup podataka u zastoju i pocne da odustaje.Nazalost,istrazivaci se ne
oslanjaju na jednu definiciju outlier-a.
Kada se anomalija pojavi u setu podataka moramo odluciti da li da je
iskljucimo iz dalje analize.One anomalije koje se mogu jasno odrediti kao
greske trebale bi da budu ispravljene ili odbacene iz seta podataka,ali,kada
se to desi,istrazivac mora prijaviti njihovo otklanjanje iz analize podataka i
objasniti,ukoliko je to moguce,zasto se anomalija pojavila.U prvoj fazi analize
podataka takodje zelimo da nadjemo nacine da opisemo jasno raspodjelu
rezultata.Na sta lici rasejavanje(promjenljivost)?Da li su podaci iskrivljeni ili
su relativno normalno raspodjeljeni?Jedan od ciljeva prve faze analize je da
se odredi da li podaci zahtijevaju transformaciju prije
postupka.Transformacija podataka je proces „re-izrazavanja“.Primjeri
relativno jednostavnih transformacija ukljucuju one kao sto su izrazavanje
inca u stope,kelvina u celzijuse...
Najbolji nacin da se dobije osjecaj za setove podataka je da se napravi
slika istih.Prednost kompjuterski pomognute analize je ta da mozemo brze
i lakse skicirati podatke upotrebom razlicitih prikaznih opcija.

21

You might also like