Część 1: Czy zdobycie w teście kompetencji sprzedażowych 12 punktów na 15 możliwych to dobra wiadomość? Aby wydobyć wartościową informację biznesową z wyniku niezbędne jest posiadanie norm, czyli właściwego punktu odniesienia.

Testy i kwestionariusze cieszą się w praktyce HR dość dużą popularnością. Dzieje się tak głównie ze względu na ich wysoką skuteczność, rentowność oraz łatwość użycia. Wyniki uzyskane w testach stanowią często podstawę dla istotnych decyzji biznesowych w wielu sferach, jak np. selekcja pracowników czy też planowanie ścieżek rozwojowych. Od uzyskanego przez danego pracownika wyniku w teście może zależeć bardzo wiele. Dlatego też kluczowe znaczenie ma właściwe zinterpretowanie wyniku i przetłumaczenie surowych danych liczbowych na wartościową informację biznesową. Jest to możliwe dzięki tzw. normalizacji wyników testu.

Normalizacja oznacza określenie kontekstu dla wyników uzyskiwanych w danym teście. Mówiąc nieco prościej: warto wiedzieć czy nasz Piotr jest porównywany z najlepszymi handlowcami w całej firmie czy może tylko w swoim regionie.

Niektóre testy posiadają opracowane normy, choć nie jest to częstą praktyką. Zazwyczaj umożliwiają one porównanie danego wyniku z wynikami ogólnokrajowymi lub wynikami zebranymi w danym obszarze geograficznym (np. Europa, Ameryka). Jednakże w praktyce biznesowej dużo bardziej użyteczne np. dla testów kompetencji są normy opracowane dla danej organizacji. Opracowaniem norm zwykle zajmuje się wykwalifikowany psycholog. Można również zlecić ich stworzenie firmie świadczącej profesjonalne usługi z zakresu psychometrii i metodologii badań.

Kontekst oceny czyli tzw. normę, tworzy się prowadząc badania na odpowiednio dużych grupach w zależności od tego jaki zakres obejmuje dana norma (krajowy, branżowy czy dla konkretnej firmy). Dzięki poddaniu zebranych wyników odpowiednim analizom statystycznym można określić, co dany wynik w teście konkretnie oznacza na tle pozostałych wyników. Tak więc praktycznym aspektem tworzenia norm jest uzyskanie informacji poniżej jakiej liczby punktów można uznać dany wynik za niski, powyżej jakiej wartości – za wysoki, a także w jakim przedziale punktowym mieszczą się wyniki przeciętne.

Dla zobrazowania idei normalizacji wyobraźmy sobie test kompetencji, w którym można zdobyć od 0 do 15 punktów. Jak zatem zinterpretować wynik naszego Piotra, który to zdobył 12 na 15 punktów, czyli 80% wszystkich możliwych punktów?
Intuicyjnie może się wydawać, że jest to całkiem niezły wynik. Na rysunku 1 widać jednak, jak zmienia się znaczenie tej liczby po dodaniu właściwego kontekstu.

gratulacje1

Normalizacja ujawnia, iż uzyskany przez Piotra wynik 12 punktów na 15 punktów możliwych mieści się w kategorii wyników przeciętnych. Osobie która zdobyła 12 punktów poszło zatem średnio, podobnie jak 67% uczestników testu (procent osób w przedziale od 9 pkt do 12 pkt).

Jeśli zatem potrzebujemy podjąć decyzję biznesową nt. osiągnięć Piotra w teście kompetencji, to mając informację o grupie odniesienia, możemy stwierdzić, iż osiągnięty przez niego wynik testu oznacza przeciętny poziom danej kompetencji.

Posiadanie przez test odpowiednich norm stanowi jeden z podstawowych wyznaczników jego jakości. Jak bowiem twierdzi dr Krzysztof Fronczyk z Instytutu Analiz im. Karola Gaussa – przetłumaczenie wyniku punktowego na wynik znormalizowany pozwala na wydobycie wartościowej informacji biznesowej z surowych liczb. Dalszym krokiem jest interpretacja wyniku znormalizowanego zgodnie z zasadami określonymi dla danego testu kompetencji czy testu osobowości.

Bez odniesienia wyniku do norm jesteśmy zatem skazani na zgadywanie, czy tytułowe 12 punktów to naszym zdaniem dużo, czy też mało. Mimo użycia profesjonalnego narzędzia – testu, podstawą podejmowanych decyzji kadrowych nadal pozostają przeczucia i intuicja.

Podsumowując, odniesienie wyniku testowego do adekwatnych norm stanowi warunek właściwego zrozumienia dostarczanej przez test informacji. Normalizacja pozwala właściwie zinterpretować uzyskany wynik liczbowy i ocenić, czy świadczy on o niskim, średnim czy wysokim poziomie danej cechy lub kompetencji. Opracowanie norm skutkuje szybszą i trafniejszą interpretacją wyników testu, co ma bezpośrednie przełożenie na zwiększenie efektywności procesów selekcji jak i działań rozwojowych. Zwykle inwestycja w opracowanie norm dla danej organizacji zwraca się po przebadaniu ok. 30 osób. Decydując się na zastosowanie testów w swojej firmie należy więc upewnić się, czy posiadają one odpowiednie normy i czy ich wyniki da się prawidłowo zinterpretować i efektywnie wykorzystać w praktyce.

Zapraszamy do lektury II części niniejszego cyklu artykułów, w której omówione i porównane zostaną podstawowe rodzaje norm.

 

Część 2: Czy wiesz jak łatwo popełnić błąd podczas diagnozy realizowanej za pomocą testu? Używając niewłaściwych norm możesz aż 50% kandydatów ocenić błędnie!

Pierwsza notatka z zakresu norm poświęcona została wstępnemu wyjaśnieniu pojęcia normalizacji wyników testowych. Mówiąc skrótowo, normalizacja polega na zestawieniu wyniku danego pracownika/kandydata z normami, czyli wynikami zebranymi od wcześniej zbadanych pracowników/kandydatów. Dzięki tej metodzie można ocenić, czy wynik tytułowego Piotra uzyskany np. w teście kompetencji jest niski, wysoki czy też średni w odniesieniu do wyników innych osób.

Normy tworzone są zazwyczaj przez samych autorów, lub wydawców testów. W razie ich braku, normalizację narzędzia można zlecić zewnętrznym ekspertom, specjalizującym się w psychometrii i metodologii pomiaru. Warto poświęcić tej kwestii należytą uwagę. Jeśli bowiem decydujemy się zastosować profesjonalne narzędzie psychometryczne, ale nie dysponujemy odpowiednimi normami, to dalej skazani jesteśmy na domysły i intuicje przy interpretowaniu wyników oceny.

Obrazuje to sytuacja, gdy widzimy kandydata który zdecydowanie, pozytywnie wyróżnia się na tle grupy pozostałych – twierdzi Dariusz Ambroziak z Instytutu Analiz im. Karola Gaussa. Jednakże po podjęciu decyzji o zatrudnieniu następuje rozczarowanie, ponieważ osoba ta, mimo iż ponadprzeciętna wśród kandydatów, na tle pracowników już zatrudnionych w naszej firmie okazuje się wypadać bardzo słabo.

Gdy upewnimy się że test posiada opracowane normy, w następnej kolejności należy sprawdzić czy normy zostały opracowane dla odpowiedniej próby normalizacyjnej. Przez próbę normalizacyjną rozumiemy odpowiednio liczną grupę osób, które poddano badaniu danym testem. Następnie, na podstawie analiz statystycznych na zebranych danych oszacowano jaki wynik można uznać za niski, średni lub wysoki w danej populacji. Należy więc odpowiedzieć na pytanie: „czy grupa odniesienia na tle której będą oceniane wyniki tytułowego Piotra jest adekwatna do założonego celu biznesowego?” Poniżej przedstawiono 4 podstawowe typy prób normalizacyjnych, występujących w praktyce biznesowej:

Próba międzynarodowa – normy dla prób międzynarodowych stanowią przykład norm dla prób ogólnych. Są one często dostępne w przypadku narzędzi niedawno sprowadzonych z zagranicy. Tworzy się je badając bardzo duże grupy losowo dobranych osób, pomijając zazwyczaj ich narodowość, kontekst kulturowy, czy też wykonywany zawód. Zestawienie wyników tytułowego Piotra z wynikami próby międzynarodowej pozwala ocenić, jak wypada on na tle tej szerokiej i różnorodnej grupy osób.

Próba krajowa – normy stworzone dla próby krajowej również stanowią przykład norm ogólnych. Są one najczęściej spotykanym rodzajem norm, przede wszystkim przy narzędziach ogólnego zastosowania: testach osobowości, inteligencji itp. Tworzy się je badając duże grupy losowo dobranych osób z danego kraju. Dzięki nim można ocenić wynik tytułowego Piotra w odniesieniu do wyników jakie uzyskała „grupa przeciętnych Polaków”.

Próba branżowa – normy opracowane dla pracowników danej branży stanowią przykład norm specyficznych, czyli tworzonych z myślą o potrzebach biznesu. Są one zdecydowanie rzadziej dostępne, niż normy krajowe. Tworzy się je na podstawie badań nad osobami reprezentującymi daną branżę. Dzięki normom tym można ocenić czy i w jaki sposób tytułowy Piotr wyróżnia się na tle innych przedstawicieli handlowych.

Próba/populacja organizacyjna – normy szyte na miarę na potrzeby danej organizacji także stanowią przykład norm specyficznych. Tworzy się je na podstawie wyników zebranych podczas badania odpowiednio dużej liczby pracowników danej firmy. Zawierają precyzyjną informację biznesową, dzięki której można ocenić handlowca Piotra na tle jego firmowych współpracowników. Warto zaznaczyć, że w odróżnieniu od innych rodzajów norm, które przedstawiają wyniki jedynie fragmentu danej populacji (np. polskich handlowców), normy organizacyjne ukazują rozkład wyników wszystkich osób z danej populacji. Nie są zatem przybliżeniem stanu faktycznego, a jego rzeczywistym zobrazowaniem.

Na wykresie zaprezentowano przykładowe wyniki grupy kandydatów, rozwiązujących test zdolności analitycznych. Można zauważyć jak duże różnice w interpretacji wyników mogą zaistnieć w zależności od norm jakie zostaną zastosowane.

gratulacje2

Analiza wykresów wskazuje, iż odsetek kandydatów posiadających wyniki wysokie dramatycznie się zmienia w zależności od punktu odniesienia tj. normy. Z perspektywy kraju prawie połowa kandydatów (48%) uzyskała wyniki wysokie w teście zdolności analitycznych. Jednakże po uwzględnieniu perspektywy konkretnej organizacji wyniki, które można uznać za wysokie otrzymuje jedynie 10,4% kandydatów. Do dalszych, bardziej kosztownych etapów selekcji (np. wywiadów bezpośrednich) przeszłoby zatem nie 120, a jedynie 26 osób. Jakie są przyczyny wystąpienia tak dużych różnic?

O tym, co w danej populacji jest wynikiem ponadprzeciętnym, decyduje się na podstawie proporcji osób, które taki wynik uzyskują – twierdzi Dariusz Ambroziak z Instytutu Analiz im. Karola Gaussa. Jak można było przypuszczać, osoby pracujące już na docelowym stanowisku osiągają istotnie wyższe wyniki w teście, niż „przeciętni Polacy”, dla których najczęściej tworzą normy producenci testów. Zestawienie wyniku kandydata z wynikami potencjalnych, przyszłych współpracowników podwyższa zatem poprzeczkę selekcji, jednocześnie zwiększając jej trafność.

Podsumowując, bez zastosowania właściwego rodzaju norm mamy do dyspozycji jedynie wynik liczbowy, pozbawiony nadającego mu sens kontekstu. Jeśli organizacja sama nie potrafi stworzyć odpowiednich norm to warto się zgłosić do specjalistów z dziedziny psychometrii. Inwestycja w opracowanie norma zwraca się bardzo szybko, gdyż w znaczący sposób redukuje koszty selekcji (mierniki finansowe) jak i pozwala na trafniejsze dobieranie kandydatów (mierniki finansowe i niefinansowe) pod względem najbardziej pożądanych cech.

Autor: Grzegorz Rajca