평가 방법을 고를 때 흔히 무엇을 볼 것인가부터 정한다. 그런데 그보다 먼저 확인해야 할 것이 있다. 그 도구가 제대로 재고 있는가.
이를 판단하는 기준이 둘이다.
신뢰도는 같은 대상을 재면 같은 결과가 나오는가다. 누가 재든, 언제 재든, 어떤 문항으로 재든 결과가 일관되어야 한다. 평가자가 바뀌면 점수가 달라지는 도구는 재고 있는 것이 대상이 아니라 평가자다.
타당도는 재려던 것을 재고 있는가다. 숫자가 나온다고 그 숫자가 알고자 한 것을 가리키는 것은 아니다. 역량을 잰다고 하면서 실제로는 말솜씨를 재고 있을 수 있다.
이 둘을 확인하지 않은 도구가 적지 않다. 그럴듯한 이름을 붙이고 항목을 정교하게 나누어도, 그 항목들이 실제 성과와 어떤 관계인지 검증되지 않았다면 정교함은 겉모습에 그친다. 나는 어떤 진단 도구를 소개하는 자리에서 그 검증 결과를 물은 적이 있는데 답을 듣지 못했다. 교재에도 없었다.
검증이 없으면 남는 것은 평가자의 권위다. 그 사람이 그렇게 봤으니 그런 것이라는 논리인데, 이건 평가가 아니라 판정에 가깝다. 판정은 결과에 승복할 이유를 만들지 못한다.
공공기관 평가에서도 마찬가지다. 지표를 새로 만들 때 이 지표로 잰 값이 실제 성과와 관련이 있는가를 확인해야 한다. 확인 없이 도입한 지표는 몇 해가 지나면 아무도 그 의미를 설명하지 못한 채 관행으로 남는다. 그리고 평가자 간 편차가 크게 나는 지표는 그 지표가 무엇을 재는지 합의되지 않았다는 신호다.
← 자료실 목록으로