Kultura informacji zwrotnej jest nieocenionym narzędziem w wielu organizacjach. Na ogół feedback kojarzony jest z komunikacją i relacjami interpersonalnymi, co jest jak najbardziej słusznym tokiem myślenia – spójrzmy jednak na ten temat troszkę szerzej, czyli przez pryzmat otoczenia projektowego oraz projektu jako całości. Informacja zwrotna w tym przypadku to nic innego jak ewaluacja.
Jest to pewnego rodzaju uproszczenie, jednak bardzo dobrze obrazuje zasadność oceniania projektów. Proces ewaluacji, w odróżnieniu od feedbacku, jest bardziej ustandaryzowany i ma swój czas oraz miejsce w cyklu życia projektu. Istnieją nawet organizacje, takie jak Polskie Towarzystwo Ewaluacyjne, które swoje aktywności w całości poświęcają tematyce ewaluacji. Na razie skupmy się jednak na podstawach.
Dlaczego?
Ewaluacja nie jest tylko sztuką dla sztuki – niesie ona ze sobą realną wartość i jest cenną informacją zwrotną dla całego otoczenia projektowego. Osoba dokonująca ewaluacji może skupić się na analizie bieżących działań i procesów – mówimy wtedy o tak zwanej ewaluacji formatywnej.Kolejną możliwą ścieżką jest koncentracja na wynikach i projekcie jako całości, mamy wtedy do czynienia z ewaluacją konkluzywną.Bez względu na rodzaj oceny, nadrzędnym celem jest dostarczenie informacji, która pozwoli podnieść wartość aktualnych i przyszłych projektów.
Kiedy?
Mogłoby się wydawać, że ocena projektu rozpoczyna się w momencie jego zakończenia i dostarczenia wyników. W wielu przypadkach jest to jak najbardziej prawdziwe, jednak nie wyczerpuje całkowicie dostępnych opcji.
Wyobraźmy sobie, że znajdujemy się w fazie przedprojektowej, projekt jeszcze nie wystartował, a cała uwaga skupia się na podjęciu decyzji, czy realizować dane przedsięwzięcie, czy też nie. Jest to idealny moment na wykonanie ewaluacji ex-ante, zwanej też systemową. Ma ona na celu ustalenie, w jakim stopniu podejmowany projekt będzie zgodny z przyjętymi założeniami oraz czy będzie w stanie dostarczyć oczekiwanych korzyści w perspektywie długoterminowej. Ocena nie musi być odrębnym, ani skomplikowanym działaniem. Informacji, które pozwolą skutecznie dokonać ewaluacji warto poszukać w istniejącej już dokumentacji, takiej jak na przykład matryca logiczna projektu.
Stało się – projekt wystartował, przygotowano idealny plan, zadania zostały przydzielone, a wykresy Gantta skrupulatnie obrazują harmonogram prac. Wszystko byłoby idealne, gdyby nie fakt, że zadania znajdujące się na ścieżce krytycznej są znacząco opóźnione. Krótko mówiąc, pojawia się pewna przeszkoda, która musi zostać usunięta. Rozwiązywanie problemu, jeśli nie wymaga doraźnego działania, zazwyczaj rozpoczyna się od poszukiwania jego przyczyny, a następnie wygenerowania pomysłów na rozwiązanie – w tym konkretnym przypadku na przykład poprzez zmianę podziału zasobów. Zaskakujący może być fakt, że takie działanie, mające na celu wykrycie i wyeliminowanie istotnych problemów jest również ewaluacją – tym razem mowa o ewaluacji on-going, znanej też jako ewaluacja bieżąca. Ten rodzaj oceny nie ma sztywno określonych ram czasowych. Ewaluacja bieżąca jest zazwyczaj związana z odnotowaniem problemów.
Ewaluacja projektów w cyklu życia projektu.
Źródło: opracowanie własne Sukces – wyniki zostały dostarczone i czas powoli przejść w fazę zamykania projektu. Obok obowiązkowych punktów i formalności zazwyczaj na tym etapie dokumentuje się wszystkie lessons learned.Proces ten dla wielu Project Managerów jest naturalnym etapem cyklu życia projektu, nie wszyscy zdają sobie jednak sprawę, że dokonują wtedy ewaluacji końcowej, której celem jest zebranie wniosków i doświadczeń, które pomogą lepiej realizować projekty w przyszłości. Ocena ta wykonywana jest jeszcze przed ostatecznym zamknięciem projektu.
Projekt zakończył się kilka miesięcy temu, zespół projektowy został rozwiązany, a wyniki projektu stały się częścią zwykłej działalności operacyjnej – innymi słowy: wszyscy zapomnieli już o naszym wspaniałym projekcie, który przecież i tak zakończył się sukcesem. Ale czy na pewno? Z odpowiedzią na to pytanie przychodzi nam ewaluacja ex-post, czyli badanie sprawdzające długoterminowe korzyści wynikające z projektu. Oceniany jest między innymi stopień realizacji celów, efektywność kosztowa oraz trwałość efektów, zwłaszcza po zakończeniu finansowania. Krótko mówiąc, ten rodzaj ewaluacji odpowiada na pytanie, czy projekt miał sens.
Jak?
Wiemy już dlaczego i kiedy dokonywać ewaluacji projektów. Czas postawić kolejne, zasadnicze pytanie: Jakie są jej podstawowe kryteria oceny? Oprócz tego, że kryteria powinny być skonstruowane w sposób jasny i zrozumiały, muszą być one zbieżne z kluczowymi pytaniami zadanymi w procesie ewaluacji.
Wyobraźmy sobie projekt wdrożenia systemu informatycznego, który ma skrócić czas oczekiwania na połączenie z konsultantem podczas kontaktu telefonicznego z infolinią, co ma się przełożyć na zwiększenie poziomu satysfakcji klientów. W pewnym momencie zostaniemy zapewne zapytani w jakim stopniu zaproponowany cel projektu (wdrożenie systemu IT) odpowiada zidentyfikowanemu problemowi (niski poziom satysfakcji klienta). Odpowiadając na takie pytanie określamy trafność (ang. relevance), inaczej mówiąc sprawdzamy czy system informatyczny jest odpowiednio dobranym rozwiązaniem dla naszego problemu – wysoka liczba niezadowolonych klientów. Warto przy tej okazji wspomnieć o innej mierze, czyli o skuteczności (ang. effectiveness), która pozwoli określić stopień zrealizowania celów projektowych – odpowie na pytanie, na ile nasz system przyczynił się do faktycznego wzrostu satysfakcji.
Jak wiadomo projekty generują pewne koszty, których wielkość zależy od jego skali. Uruchomienie i obsługa systemu informatycznego z naszego przykładu generuje niewątpliwie pewne wydatki. Miara efektywności (ang. efficiency) pozwoli nam ocenić jaki jest stosunek poniesionych nakładów do uzyskanych rezultatów – krótko mówiąc, czy projekt był dla nas opłacalny. Należy przy tym pamiętać, że nie mówimy tylko o środkach finansowych, ale również o zasobach ludzkich.
Po kilku tygodniach od uruchomienia systemu IT odnotowano wzrost pozytywnych ocen otrzymanych od klientów. Jest to niewątpliwie miara sukcesu projektu, warto jednak spojrzeć na te wyniki w dłużej perspektywie czasowej, szczególnie na okres operacyjności. Długoterminowa obserwacja korzyści pozwoli ocenić trwałość efektów (ang. sustainability), czyli kolejnej z rekomendowanych miar ewaluacji. Załóżmy, że zlecono odpowiednie badania, a wynik potwierdził wzrost satysfakcji klientów oraz utrzymanie się wskaźnika satysfakcji na stabilnym poziomie przez ostatnie kilka miesięcy. Analizy te ujawniły również inną ciekawą zależność – ustabilizowanie wskaźnika zadowolenia spowodowało wzrost liczby klientów. Rodzi się pytanie – czy wdrożenie systemu obsługi klientów miało realny wpływ na pozyskanie nowych klientów? Warto przy tej okazji przyjrzeć się metryce o nazwie wpływ (ang. impact) – jest to kryterium, które ocenia zależność pomiędzy celem projektu, a celami ogólnymi organizacji. Warto tu również sprawdzić, czy osiągnięte korzyści poniesione przez docelowych beneficjentów (niezadowoleni klienci) mają wpływ na szerszą liczbę osób (potencjalni klienci).
Powyższe miary to wytyczne Polskiego Towarzystwa Ewaluacyjnego, należy jednak pamiętać, że kryteria powinny być dobrane do specyfiki projektu, tak aby uzyskane odpowiedzi niosły realną wartość dla naszego przedsięwzięcia, a odpowiedni ich dobór jest zadaniem dla osoby zlecającej ocenę.
Skutecznie przeprowadzana ewaluacja jest niewątpliwie źródłem informacji o projekcie. Odpowiednia interpretacja wyników pozwoli natomiast zorientować się w jakim kierunku zmierza projekt – upewni nas, że obraliśmy kurs w kierunku „sukces” lub uświadomi, że zboczyliśmy z obranej wcześniej ścieżki i konieczne jest podjęcie działań, które pozwolą wrócić projektowi na odpowiednie tory.
A graduate of the Lodz University of Technology and the Postgraduates at Warsaw School Of Economics. In his 10+ year career, he has taken on a variety of roles – building skills as a developer, Product Owner and Project Manager. His experience has been expanded in ICT and Digital Payments, supportng the development of global telecom and mobile payment systems. He began his career with Commerzbank DTC Poland in the role of Senior Project Manager. Since 2019, he has been the Big Data Manager & Product Owner.