Ewaluacja – co to jest? I jak to się robi?

Ewaluacja jest procesem o charakterze praktycznym, którego zadaniem jest ustalenie, czy dany projekt osiągnął zakładane cele. Warto więc pamiętać o tym, by po zrealizowanym przedsięwzięciu (a czasem nawet w trakcie jego trwania) przeprowadzić ewaluację, bo jest ona oceną wartości projektu. Najczęściej ewaluacja jest rozumiana jako:

  • ocena wartości projektu/programu poprzez porównanie rezultatów projektu ze wstępnymi zamierzeniami, celami. Czyniona za pomocą analizy, syntezy, generalizacji, wnioskowania.
  • proces systematycznego zbierania i analizowania informacji (ilościowo lub jakościowo) – (przez niektórych autorów uznawana za narzędzie ewaluacji – monitoring) (Sekutowicz 2006, s. 60).

ARAA2013 Ewaluacja - co to jest?Ewaluacja może być przeprowadzona na każdym etapie projektu. Ewaluacja ex-ante – przeprowadzana przed działaniem, ma ocenić trafność zamierzonych przedsięwzięć zgodnie z celami projektu. Ewaluacja mid-term – podczas trwania projektu ocenia osiągnięte etapy, produkty i rezultaty. Daje możliwość modyfikacji działania tak, aby lepiej spełniało zamierzone cele. Ewaluacja ex-post – najpopularniejsza. Przeprowadzana po zakończeniu programu, ma na celu zbadanie długotrwałych rezultatów, a także ocenia realizację poszczególnych etapów, oraz stopień realizacji zakładanych celów.

ARAA2013 Ewaluacja - jak to się robi?PRZEBIEG EWALUACJI

Aby ewaluacja przyniosła adekwatne odpowiedzi i rzetelną wiedzę, powinna być sumiennie przeprowadzona. Poniżej podano etapy ewaluacji:

1. PLANOWANIE – opracowanie koncepcji badań

Pierwszym etapem przebiegu ewaluacji jest zastanowienie się nad jej celami oraz właściwym sposobem przeprowadzenia. Pomocnicze pytania, na które warto odpowiedzieć to:

  • CO? – przedmiot badań (projekt, pewien aspekt działań itp.)

Na początku trzeba wybrać przedmiot badań ewaluacji, czyli co chcemy ewaluować. Co trzeba przeanalizować, aby otrzymać niezbędne informacje do ewaluacji? Pomocne może być rozważenie zakładanych celów projektu oraz skutków, jakie miały one przynieść. Realizacje celów ogólnych można badać poprzez ogólne oddziaływanie projektu. Cele szczegółowe poprzez uzyskane rezultaty, a operacyjne poprzez otrzymane produkty (Sekutowicz 2006, s. 65). Na przykład, skuteczność promocji można badać poprzez: analizę zastosowanych form promocji, kanałów dystrybucyjnych, treści materiałów promocyjnych itp.

  • JAK? – sposób dokonania ewaluacji

Jeśli wiemy już, co chcemy badać, czas się zastanowić, w jaki sposób badanie zostanie przeprowadzone. Jaką metodę badawczą wybierzemy jako narzędzie ewaluacji, a zarazem jakie przyjmiemy kryteria oceny.

Podstawowe kryteria oceny:

    • Trafność – dopasowanie treści, metodologii, formy projektu do oczekiwań i możliwości edukacyjnych uczestników.
    • Efektywność – badanie stopnia użytych zasobów w stosunku do osiągniętych celów (np. koszty na przekładane rezultaty).
    • Skuteczność – badanie stopnia realizacji założonych celów programowych (np. ile inicjatyw zrealizowała młodzież biorąca udział w szkoleniu).
    • Użyteczność – możliwości zastosowania nabytej wiedzy i umiejętności w praktyce.
    • Trwałość – czy wprowadzone zmiany poprzez projekt będą trwałe? (Sekutowicz 2006, s. 67; Ciężka 2005, s. 17).
  • KTO? – wykonawcą, adresatem, jaka grupa badana

Dla kogo przeprowadzana jest ewaluacja?

    • Czy będzie to wewnętrzna ewaluacja na użytek organizacji? Czy dla grantodawcy?
    • Kto przeprowadzi ewaluację?
    • Ewaluator wewnętrzny (z danej organizacji) czy ewaluator zewnętrzny (np. ze strony grantodawcy)?

Kto zostanie objęty badaniem? – Wszyscy uczestnicy czy wybrane osoby (zależnie od przyjętej metody badawczej)?

  • ILE? – potrzebne zasoby do dokonania ewaluacji.

Ostatnią kwestią do rozważenia na etapie planowania są potrzebne zasoby do dokonania ewaluacji: czasowe, kadrowe (eksperci) czy finansowe (potrzebne środki) (Sekutowicz 2006, s. 66).

2. REALIZACJA BADANIA – zbieranie informacji

Istnieje wiele metod zbierania danych potrzebnych do dokonania ewaluacji. Pierwszym źródłem informacji jest analiza dokumentów (tzw. informacje zastane). Tabele, zestawienia, raporty najczęściej służą do analizy ilościowej, a opisy projektów, raporty merytoryczne są stosowane do badań jakościowych.

Kolejną metodą jest pozyskanie informacji od uczestników projektu. Najczęściej poprzez zastosowanie ankiety. Zawiera zamknięte, ustandaryzowane pytania, dzięki czemu jest łatwa do analizy. Za to jej minusem jest mała elastyczność odpowiedzi. Wywiady indywidualne służą do zebrania informacji jakościowych, opinii osób zaangażowanych w projekt. Zogniskowane wywiady grupowe (focus groups) to ustrukturyzowana dyskusja, prowadzona przez moderatora (najczęściej ewaluatora). Popularnością cieszy się także obserwacja, czyniona poprzez bezpośredni udział w działaniach podejmowanych w ramach projektu (Sekutowicz 2006, s. 69; Rudolf 2005, s. 9-10).

3. ZESTAWIENIE I ANALIZA DANYCH

Analizę danych dokonuje się na dwa sposoby: ilościowy albo jakościowy. Ilościowa analiza najczęściej dokonywana jest za pomocą analizy statystycznej. Opracowane wyniki ukazują prawidłowości, korelacje pomiędzy danymi, co pozwala na wyciągnięcie wniosków. Umożliwia uzyskanie odpowiedzi na pytania: Ile? Jaki procent? Jaka zależność?

Analiza jakościowa dotyczy opisu, poznania i zrozumienia badanych zjawisk. Wyodrębnia czynniki odpowiedzialne za dane zachowanie bądź rezultat. Jest konsekwencją myślenia przyczynowo- skutkowego. Daje odpowiedź na pytanie: dlaczego? (Rudolf 2005, s. 11).

Poniżej przedstawiono najpopularniejsze metody analiz:

  • Analiza kosztów i korzyści – ukazuje zależność pomiędzy odniesionymi korzyściami a poniesionymi kosztami.
  • Analiza efektywności – prezentuje zależność pomiędzy oddziaływaniem długofalowym a zainwestowanymi środkami. Pomaga odpowiedzieć na pytania: Czy przy użyciu tych samych środków można było uzyskać lepsze efekty? Czy te same efekty działań można było uzyskać przy mniejszych kosztach (koszt usługi, koszt wyprodukowania jednego produktu)?
  • Analiza słabych i mocnych stron (SWOT) – zestawienie silnych i słabych stron projektu; szans i zagrożeń dla przedsięwzięcia (czynniki zewnętrzne). Rezultatem tej analizy może być formułowanie wniosków dotyczących przyszłości danego projektu.
  • Benchmarking – porównywanie między sobą projektów oraz organizacji działających w tej samej tematyce. W ten sposób następuje uczenie się od siebie – wymiana doświadczeń, zastosowanych rozwiązań.

4. RAPORTOWANIE

Raportowanie odbywa się poprzez interpretację oraz syntezę zebranych informacji. Rezultatem jest powstanie raportu ewaluacyjnego, uogólnienie zebranych wniosków, stworzenie modelu działań na przyszłość.

Raport ewaluacji powinien zawierać wszystkie etapy ewaluacji. Począwszy od przedmiotu badań i kontekstu ewaluacji (co i jak badane, w jakich okolicznościach) przez procedury badawcze (jak i jakimi metodami), wyniki badań (zebrane dane, interpretacje danych, wyników), po wnioski z ewaluacji (ukazanie specyfiki obszaru badań – zalety i słabości) i rekomendacje (zalecenia i sugestie ułatwiające podejmowanie decyzji) (Sekutowicz 2006, s. 73).

5. UPOWSZECHNIANIE I ZASTOSOWANIE WYNIKÓW EWALUACJI

To nic innego, jak zapoznanie się osób odpowiedzialnych za projekt z wynikami ewaluacji, wyciągnięcie wniosków, podjęcie słusznych decyzji na przyszłość. Ma się przyczynić do powtórzenia sukcesu, rozwoju (Sekutowicz 2006).

ARAA2013 Ewaluacja - po co?KORZYŚCI Z EWALUACJI:

Według Sekutowicz, zdobyte informacje z ewaluacji można zastosować w co najmniej trzech obszarach działania organizacji:

1. Realizacja potrzeb/rozwiązywanie problemów grup, na rzecz których działa organizacja.

Dzięki ewaluacji można zdobyć informacje o potrzebach odbiorcy, o ocenie jakości usług odbiorców oferowanych przez organizację.

2. Zarządzanie.

Informacje uzyskane w procesie ewaluacji mogą potwierdzić słuszność lub zakwestionować obraną strategię organizacji, usprawnić planowanie, zidentyfikować błędy i stworzyć płaszczyznę na ich poprawę. Wpływać na integrację zespołu poprzez wspólne świętowanie sukcesów, pochwały realizatorów projektu czy wspólną analizę problemów, poszukiwanie nowych rozwiązań.

3. Promocja i zdobywanie funduszy.

Wyniki ewaluacji mają za zadanie budować wiarygodność organizacji i przyczynić się do uzyskania wsparcia od partnerów i sponsorów. Świadczą o jakości usług, ukazują celowość podjętych działań (Sekutowicz, 2006, s. 73). Ewaluacja jest procesem, dzięki któremu można sprawdzić na ile zamierzone rezultaty stały się realnością. Dobrze wykorzystana może służyć do nabywania wiedzy i umiejętności, wymiany informacji, poznawania skutecznych rozwiązań. Umożliwia rozpoznanie mocnych stron projektu, jak również wychwycenie wad i błędów, co z kolei przyczynia się do doskonalenia w projektowaniu i realizacji działań tak, aby coraz lepiej odpowiadały zakładanym rezultatom.

Anna Koc

Bibliografia:
Ciężka B., Pojęcie ewaluacji i jej rodzaje, [w:] Ewaluacja – kwestie ogólne, Warszawa 2005
Rudolf A., Podstawowe metody badań ewaluacyjnych [w:] Ewaluacja – kwestie ogólne, Warszawa 2005
Sekutowicz K., Monitorowanie i ewaluacja, [w:] (red.) Dorota Głażewska, Zarządzanie, planowanie i ocena własnych działań, Warszawa 2006

Artykuł pochodzi z publikacji ARAA wydanej w ramach projektu Akademia Rozwoju Animacyjnej Aktywności – ARAA 2013. Bezpłatną publikację można pobrać tutaj.
logotypy_araa_wszytkie
AKADEMIA ROZWOJU ANIMACYJNEJ AKTYWNOŚCI – ARAA 2013
Projekt realizowany przez Stowarzyszenie „Pracownia Etnograficzna” im. Witolda Dynowskiego.
Partnerem projektu jest Instytut Etnologii i Antropologii Kulturowej UW.
Patronat medialny nad projektem objął portal internetowy Platforma Kultury.
Honorowy patronat nad projektem objął Marszałek Woj. Mazowieckiego Pan Adam Struzik.
Projekt dofinansowano ze środków Ministra Kultury i Dziedzictwa Narodowego.
Projekt współfinansuje m.st. Warszawa.