An empirical study on implementation quality in prevention programs

• Main Author: Novak, Miranda
• Other Authors: Hosman, Clemens, Domitrovich, Celene
• Format: Doctoral or Postdoctoral Thesis
• Language: English
• Published: Sveučilište u Zagrebu. Edukacijsko-rehabilitacijski fakultet. 2013
• Subjects: DRUŠTVENE ZNANOSTI. Edukacijsko-rehabilitacijske znanosti; SOCIAL SCIENCES. Education/Rehabilitation Sciences; Obrazovanje posebnih skupina osoba. Specijalne škole; Education; teaching; training of special groups of persons. Special schools; info:eu-repo/classification/udc/376(043.3); mental health promotion and prevention; implementation research; implementation factors; indicators of implementation quality; implementation outcomes; promocija mentalnog zdravlja i prevencija; implementacijska istraživanja; implementacijski faktori; indikatori kvalitete implementacije; ishodi implementacije; sami
• Online Access: https://dr.nsk.hr/islandora/object/erf:206; https://urn.nsk.hr/urn:nbn:hr:158:306689; https://repozitorij.unizg.hr/islandora/object/erf:206; https://repozitorij.unizg.hr/islandora/object/erf:206/datastream/PDF

This doctoral research examines the issue of implementation quality in mental health promotion and prevention programs that are being delivered in the community settings in the Region of Istria, taking into account the programs’ characteristics and the support system surrounding them. The general aim of this doctoral research was to study implementation processes and their outcomes in prevention programs in Croatia. In order to answer above stated aim, this doctoral research was conducted through pre-research concerning the construction of implementation scales and two studies, 1) study on implementation quality and 2) study of the impact of Training for Prevention. Sample of the study of implementation quality included managers, implementers and participants from the cohort of 24 community-based mental health promotion and prevention programs in Istria. Data for each of 24 included programs were collected from 24 managers and 55 program implementers. Altogether 434 program participants gave their report about the implementation quality at mid-intervention while 744 participants gave their report at post-test implementation assessment. In general, results have shown that implementation factors are consistently rated lower than indicators of implementation quality. Managers report upon lower levels of implementation factors than implementers and those results could indicate possibilities for future investments. On the general level, average results per indicators of implementation quality support the conclusion that implementation quality in the studied mental health and prevention programs in the County of Istria are satisfactory to high in the perception of implementers and participants. The study on the impact of the Training for Prevention examined if the newly designed Training for Prevention has affected implementation factors and implementation quality in the experimental group. Analyses have shown that program managers and implementers don’t report about improved implementation. Post-test differences have shown that program participants report upon the higher level of two indicators of implementation quality, quality of delivery and responsiveness than participants in the control conditions. Regarding the intervention Training for Prevention effectiveness and its implications on the level of implementation quality, it could be concluded that Training seems promising but its impact still has to be further researched. Kroz dugogodišnju i plodnu suradnju Istarske županije s Edukacijsko-rehabilitacijskim fakultetom te međunarodnim istraživačkim centrima, čelnici unutar Upravnog odjela za zdravstvo i socijalnu skrb koji je zadužen za prevenciju problema u ponašanju i promociju mentalnog zdravlja, postupno razvijaju temelje za prevencijsku praksu utemeljenu na dokazima. Prema trenutnom stanju u području, upravo zahvaljujući naporima spomenutog Upravnog odjela, može se zaključiti da je Istarska županija otišla najdalje u ulaganjima u znanstveno utemeljenu prevenciju. Upravni odjel za zdravstvo i socijalnu skrb Istarske županije provodi procjenu potreba, ima svoje preventivne prioritete te jasno usmjerena ulaganja, povezan je s domaćim i internacionalnim istraživačkim centrima te primjerima dobre prakse, zainteresiran je za evaluaciju učinkovitosti programa te kontinuirano ulaže u kvalitetu prevencijske prakse. Zbog potrebe za donošenjem novog Plana za zdravlje građana Istarske županije, županijska uprava trebala je osigurati transparentnu dodjelu sredstava tj. financiranje onih programa koji poštuju kriterije kvalitete i učinkovitosti. Pokretu za razvoj jasno definiranih kriterija kvalitete pridonijele su i nove znanstvene spoznaje o prediktorima učinkovitosti kao i veća senzibiliziranost provoditelja programa i voditelja organizacija na povratne informacije koje su dobivali kod ocjena projektnih prijava. Sukladno navedenome, dugogodišnja suradnja Upravnog odjela za zdravstvo i socijalnu skrb Istarske županije s Edukacijsko-rehabilitacijskim fakultetom, Sveučilišta u Zagrebu u okviru projekta Zajednice koje brinu nastavljena je i kroz istraživački podprojekt pod nazivom »Preffi - osiguranje kvalitete u Istarskoj županiji«. Ulaganje u kvalitetu i učinkovitost tj. u implementacijske i programske ishode bilo je planirano kroz primjenu Preffi 2.0 instrumenta u hrvatskim uvjetima te provedbu novo osmišljene intervencije Trening za prevenciju. Preffi 2.0 je mjera za upravljanje učincima promocije zdravlja koja je osmišljena u Nizozemskoj a koristi se za procjenu učinkovitosti i razvoj kvalitete preventivnih programa (Molleman, 2005; Molleman i suradnici, 2005). Instrument se temelji na poduzimanju teorijski utemeljenih koraka te izbora koji trebaju biti slijeđeni tijekom dizajna i primjene programa kako bi se povećala krajnja učinkovitost preventivnih intervencija. S obzirom da su voditelji organizacija i provoditelji programa različitog profesionalnog porijekla, s obzirom na to da je prevencijska znanost nova disciplina koja raspolaže jasnim znanstveno utemeljenim preporukama a da se upravo trening i stručno osposobljavanje provoditelja intervencija najčešće napominje kao način na koji se može utjecati na kvalitetu programa, Trening za prevenciju osmišljen je kao konkretna metoda ulaganja u kvalitetu. Dugoročni cilj projekta bio je smanjiti mentalne i ponašajne probleme djece i mladih na području Istre kroz osnaživanje prevencijske prakse koja je utemeljena na dokazima. Da bi se postigao ovaj krajnji ishod, kratkoročniji ciljevi projekta bili su: 1. Kroz provedbu intervencije "Trening za prevenciju" poboljšati znanja o načelima znanstveno utemeljene prevencijske prakse kod onih voditelja organizacija, autora i provoditelja preventivnih aktivnosti koji su financirani od strane Istarske županije; 2. Poboljšati kvalitetu prijavnih prijedloga organizacija koje se javljaju za sufinanciranje pri Odjelu za zdravstvo i socijalnu skrb Istarske županije; 3. Poboljšati implementacijske i programske ishode onih promotivnih i preventivnih programa koji su financirani od strane Odjela za zdravstvo i socijalnu skrb Istarske županije; 4. Utemeljiti jasne znanstvene kriterije kvalitete koji će služiti za financiranje preventivnih programa u Istarskoj županiji. Glavna pretpostavka projekta bila je da je ugradnja principa znanstvene utemeljenosti, tzv. prediktora učinkovitosti, ključna za poboljšanje kvalitete i učinkovitosti programa koji se bave djecom, mladima i obiteljima u Istarskoj županiji. Ovo doktorsko istraživanje bavi se empirijskom studijom kvalitete implementacije preventivnih programa koji se provode na području Istarske županije, uzimajući u obzir karakteristike sustava te obilježja podrške koja ih okružuje. Opći cilj ovog doktorskog rada bio je proučiti procese implementacije i njihove ishode u preventivnim programima na uzorku programa koji se bave prevencijom problema u ponašanju i promocije mentalnog zdravlja u Istarskoj županiji. Kako bi odgovorilo na navedeni cilj, ovo doktorsko istraživanje je provedeno u tri koraka: 1) predistraživanje za konstrukciju instrumenata za mjerenje implementacije; 2) studija kvalitete implementacije te 3) studija utjecaja Treninga za prevenciju na kvalitetu implementacije. U svrhu ovog doktorskog istraživanja, na temelju pregleda literature i dosadašnjih teorija implementacije, osmišljen je konceptualni model implementacije koji u odnos stavlja implementacijske faktore te indikatore kvalitete implementacije. Sukladno konceptualnom modelu, konstruirane su i nove mjere koje obuhvaćaju sve aspekte implementacije u modelu. Ovaj model objedinjuje ekološke, individualne i intervencijske faktore potrebne da bi proces implementacije bio uspješan, a opisani su u radu Fixsen i suradnika (2005, 2009), Domitrovich i suradnika (2008), u radu autora Durlaka i Duprea (2010) te Durlaka (2010). Ovaj konceptualni model implementacije uključuje implementacijske faktore sa dviju razina. Prva razina odnosi se na kapacitet same organizacije da osigura podršku implementaciji programa: osiguravanje adekvatnog treninga i osposobljavanja provoditelja; podrška pojedincima koji provode program; stavovi prema intervenciji te praćenje procesa implementacije programa. Druga razina odnosi se na sam program te obuhvaća čimbenike poput vještina provoditelja programa; stavova provoditelja prema intervenciji te standardizacije programa. Upravo su ovi implementacijski faktori odabrani od cijelog niza faktora prezentiranih u literaturi kao oni koji su najzastupljeniji u svim pregledima jer su povezani s programskim ishodima. Isto tako, prema iskustvu istraživača, ovi su se faktori činili najrelevantnijima za hrvatski kontekst. Kvaliteta implementacije, primarni ishod prezentiranog konceptualnog modela, zastupljena je kroz pet indikatora kvalitete implementacije o kojima su informacije prikupljane i od provoditelja programa i od samih sudionika intervencije. Četiri od pet tih dimenzija su definirali Durlak i Dupre (2008): vjernost (fidelity), kvaliteta provedbe programa (quality of delivery), doziranje (dosage) te reakcije sudionika programa (participants' responsiveness). Mjere koje se odnose na reakcije sudionika programa uključivale su reakcije sudionika na samu intervenciju, reakcije sudionika na provoditelja programa te čestinu pohađanja programa. Uz te četiri već poznate dimenzije implementacije, odlučeno je da će se od provoditelja i sudionika intervencija prikupiti i indirektna mjera kvalitete implementacije, informacije o percepciji učinka samog programa na njihov život (perceived program impact). Ova se dimenzija temelji na pretpostavci da ukoliko provoditelji ili sudionici programa izvještavaju o utjecaju intervencije na njihovo ponašanje, vrlo je vjerojatno da je implementacija programa bila uspješna. Osnovna pretpostavka modela odnosi se na povezanost i međuzavisnost implementacijskih faktora i indikatora kvalitete implementacije što je i bio predmet studija u ovom doktorskom radu. Uzorak ove doktorske disertacije bio je slojevit: činila ga je kohorta od 24 programa prevencije problema u ponašanju i promocije mentalnog zdravlja tj. ukupan uzorak činili su voditelji uključenih organizacija, provoditelji programa i sami sudionici intervencija koje su se provodile. Ovi su programi odabrani iz skupine programa koje financira Upravni odjel za zdravstvo i socijalnu skrb Istarske županije. Uključeni programi podijeljeni su na kontrolnu i eksperimentalnu skupinu programa metodom putem rezultata na Preffi 2.0 instrumentu te metodom izjednačavanja parova prema karakteristikama programa, broju i tipu sudionika te dužini provedbe. U prikupljanju podataka sudjelovalo je 24 voditelja organizacija te 55 provoditelja programa, iako se broj sudionika mijenjao ovisno o točci mjerenja. Implementacijski faktori i indikatori kvalitete implementacije mjereni su sa četiri novokonstruirana upitnika. Trening za prevenciju u trajanju od 32 sata uz 3 sata individualnih konzultacija proveden je sa voditeljima i provoditeljima 12 programa koji su bili u eksperimentalnoj skupini. U Treningu su bile obuhvaćene sve teme relevantne za učinkovitu implementaciju i postizanje ishoda programa: analiza problema, procjena potreba, važnost teorijske utemeljenosti, izrada logičkog modela, postavljanje ciljeva i rezultata, značaj interaktivnih metoda rada sa korisnicima, važnost standardizacije programa, evaluacija učinaka te metode zagovaranja i osiguravanja podrške. Kako bi se prikupile informacije i o kvaliteti procesa implementacije te o utjecaju i učinku intervencije Trening za prevenciju, organizirana su mjerenja u dvije vremenske točke. S obzirom na to da program već mora biti u primjeni kako bismo mjerili implementaciju, odlučeno je da prva točka mjerenja bude nakon prve trećine/prve polovice implementacije programa dok je druga točka mjerenja bila nakon same provedbe programa. S obzirom na heterogenost programa u proučavanoj kohorti, posebice razlike u trajanju programa, za neke programe nije bilo moguće organizirati dva mjerenja već samo jedno mjerenje na samom kraju provedbe intervencije. Upravo je stoga nakon prve trećine implementacije u istraživanju sudjelovalo 434 sudionika dok je uzorak sudionika intervencija na kraju provedbe činilo 744 ispitanika. S obzirom na vrstu programa, sudionici intervencija pa i istraživanja bili su i odrasli i djeca. Od 434 sudionika u prvom mjerenju, 297 ih je bilo djece i tinejdžera dok je u drugom mjerenju od 744 sudionika istraživanja 513 djece i tinejdžera. Kako bi se odgovorilo na sve istraživačke probleme, provedena je analiza pouzdanosti i faktorska analiza za odgovor na prvi istraživački problem, deskriptivna analiza za drugi istraživački problem, korelacijska analiza te multipla regresija provedena je za treći i četvrti istraživački problem dok je na peti problem odgovoreno uz pomoć hijerarhijskog linearnog modeliranja. Preliminarno istraživanje metrijskih karakteristika instrumenata je pokazalo da su četiri novokonstruirane mjere visoke unutarnje konzistencije te da pokazuju dobru konstruktnu valjanost. Rezultati studije kvalitete implementacije su pokazali da su u promatranoj kohorti programa iz Istarske županije implementacijski faktori kontinuirano procijenjivani niže od indikatora kvalitete implementacije. Voditelji organizacija su bili posebno kritični prema implementacijskim faktorima, te su se posebno kritično osvrnuli na ulaganja u trening i znanja provoditelja programa, standardizaciju samih programa te ulaganja u sustav praćenja. Provoditelji programa implementacijske faktore vide slično kao i voditelji, ali su nešto blaži u ocjenama. Generalno govoreći, prosječni rezultati za indikatore kvalitete implementacije koji su dobiveni iskazom provoditelja i sudionika programa ukazuju na zaključak da je kvaliteta implementacije programa koji su u fokusu ove disertacije zadovoljavajuća. Studija učinka Treninga za prevenciju na kvalitetu implementacije ispitivala je da li intervencija ima utjecaja na razinu implementacijskih faktora i indikatore kvalitete implementacije. Hijerarhijsko linearno modeliranje pokazalo je da voditelji organizacija i provoditelji programa ne izvještavaju o poboljšanju implementacijskih faktora tj. i kod voditelja organizacija i kod provoditelja programa vidljiv je trend viših rezultata kod kontrolne skupine već u prvoj točci mjerenja. S obzirom da je Trening za prevenciju kojem je bila izložena eksperimentalna skupina sadržavao teme koje su se odnosile upravo na implementacijske faktore, jedna od mogućnosti je da je eksperimentalna skupina upravo zbog Treninga bila senzibiliziranija i kritičnija prema organizacijskim i kontekstualnim faktorima unutar svojih programa. Što se tiče indikatora kvalitete implementacije za koje su samoiskaz davali i provoditelji i ispitanici, analize nisu pokazale utjecaj Treninga na indikatore kvalitete implementacije viđene iz perspektive provoditelja programa. Kada je riječ o samim sudionicima programa, na post-testu su sudionici programa iz eksperimentalne skupine izvještavali pozitivnije o sva četiri ispitivana indikatora kvalitete implementacije. Statistički značajne razlike su pronađene kod dva od četiri indikatora kvalitete implementacije: sudionici iz eksperimentalne skupine izvještavaju o višoj kvaliteti provedbe programa (quality of delivery) i većim reakcijama na intervenciju te provoditelja (participants' responsiveness). Isto tako, uz pomoć hijerarhijskog linearnog modeliranja provedene su analize moderatora kako bi se provjerilo da li su neki moderatori utjecali na učinak Treninga za prevenciju. Testiran je utjecaj aktivnosti voditelja, dužine programa, tipa ispitanika (djeca, tinejdžeri, odrasli) te tipa programa (roditeljski program, program promocije mentalnog zdravlja te program prevencije ovisnosti). Rezultati su pokazali da su aktivnost voditelja organizacije i dužina programa značajni moderatori učinka Treninga za prevenciju na iskaze od strane ispitanika. Čini se da Trening za prevenciju ima veći učinak na kraće programe: gledano iz perspektive sudionika intervencija, kraći programi iz eksperimentalne skupine čiji su voditelji i provoditelji sudjelovali u Treningu za prevenciju pokazali su veću kvalitetu implementacije u usporedbi s kontrolnom skupinom programa. Analize moderatora su također pokazale da Trening za prevenciju ima veću učinak na one programe kod kojih je voditelj uključen samo formalno, bez neke istinske podrške provedbi. Kada se takvi programi koji nemaju pravu podršku voditelja organizacije usporede međusobno, programi iz eksperimentalne skupine imali su veću kvalitetu provedbe i bolje reakcije od strane sudionika u usporedbi s kontrolnom skupinom programa. Ova doktorska disertacija prvi je i jedinstven primjer istraživanja kvalitete implementacije preventivnih programa u Hrvatskoj. S obzirom da je riječ o novom području i u svjetskim okvirima, pregled svih istraživanja također je značajan za područje promocije mentalnog zdravlja i prevencije problema u ponašanju. Znanstveni doprinos predstavlja i konstrukcija četiri instrumenta za mjerenje implementacije te osmišljavanje intervencije koja ima potencijal utjecati na kvalitetu rada praktičara tj. na prevencijsku praksu. Učinkovitost Treninga za prevenciju još treba biti dodatno istražena u novim istraživanjima. Zadnje poglavlje ove disertacije nudi analizu svih manjkavosti i ograda studije te donosi neke preporuke za praksu i buduća istraživanja.