평가에서 생기는 문제는 대개 무엇을 가려내려는지 정하지 않은 채 방법부터 고른 데서 옵니다. 목적과 수단이 어긋나면 아무리 정교하게 설계해도 원하는 결과를 얻기 어렵습니다.
1. 공정을 목적으로 할 때 — 단일 기준
공정 자체가 목적이라면 평가는 최대한 단순해져야 합니다. 항목을 줄이고 기준을 객관화하고, 판단이 갈리면 합의로 좁힙니다. 한 요리 경연 프로그램의 초반 대결이 그렇습니다. 심사위원의 눈을 가려 만든 사람도 이력도 보지 않고 오직 맛으로만 판단합니다.
대입을 수능 하나로 보자는 주장도 같은 자리에 있습니다. 창의성이나 다양성을 부정해서가 아니라, 평가에 재량이 들어오는 순간 그 재량이 공정하게 쓰였는지 확인할 방법이 없다는 불신에서 나옵니다. 이 목적에서는 다양한 요소를 본다는 것 자체가 위험 요인이 됩니다.
공공기관 평가에서도 계량지표가 그 역할을 합니다. 숫자로 떨어지고 다툼의 여지가 적습니다. 다만 계량으로 잴 수 있는 것만 재게 되므로, 무엇을 못 재고 있는지는 따로 확인해야 합니다. 그리고 사실 계량지표는 숫자로 보이기 때문에 직관적이지만 지표 선정, 산식, 목표 설정 등에서 이러저러한 이해가 개입될 여지가 많습니다.
2. 수월성을 목적으로 할 때 — 다면 평가
뛰어난 사람을 가려내는 것이 목적이라면 반대로 갑니다. 여러 요소를 여러 번에 걸쳐 봅니다. 프로그램의 마지막 라운드가 그렇습니다. 하나의 재료로 여러 접시를 만들게 하면서 맛과 창의성, 지구력, 설명하는 능력까지 두루 확인합니다. 대기업이 경력직을 뽑을 때 여러 단계를 두는 이유이고, 대입에서 내신과 학생부, 수능을 함께 보는 방식도 여기에 해당합니다. 다만 일부 평가에 평가자의 주관이 개입할 여지가 크고, 이는 입시 부정으로 비화될 여지를 낳기도 합니다.
그리고 다면평가 중에는 협업 역량을 보려고 팀 단위 과제를 넣기도 합니다. 다만 여기서 판단이 필요합니다. 협업 역량을 보려는 것인지 팀의 결과를 보려는 것인지를 정하지 않으면, 뛰어난 요리사가 재료 손질만 하다 탈락하는 일이 벌어지기도 합니다.
결론적으로 다양한 평가를 하는 것은 좋지만, 평가자 주관에 따른 편차를 적절히 줄이지 못하고 목적에 맞게 항목별 평가 기준을 구성하지 않는다면 우수한 인재가 선발되지 못하는 위험(베타 위험)이 발생합니다.
3. 개선을 목적으로 할 때 — 진단형 평가
세 번째 목적은 서열을 매기는 것이 아니라 무엇을 고쳐야 하는지 아는 것입니다. 이때 중요한 것은 등급이 아니라 지표별 편차와 그 원인입니다. 요리 경연으로 치면 점수가 아니라 심사평이 그에 해당합니다. 「이 부분이 아쉬웠다」는 말이 다음 라운드에서의 요리에 반영되려면 무엇이 왜 아쉬웠는지가 구체적으로 제시되어야 합니다.
공공기관의 내부경영평가가 형식적으로 돌아가는 경우가 많은데, 그 이유는 대개 여기에 있습니다. 개선이 주된 목적이고 서열 나누기가 부차적이어야 하는데 현실은 서열 매기기가 주 목적이 됩니다. 그러다 보니 부서별 등급을 내고 성과급을 배분하는 데까지는 작동하지만, 다음 해에 무엇을 다르게 할지는 남지 않습니다. 개선이 목적이라면 지표 수를 늘리기보다 지적사항이 다음 해 계획으로 이어지는 환류가 중요합니다.
4. 평가자 간 편차가 크면 평가의 신뢰를 해칩니다
같은 프로그램의 결승에서 에드워드 리에 대한 심사위원 점수가 크게 갈린 적이 있습니다. 누가 옳았는지를 따지기 쉽지만, 그것은 다른 문제입니다.
점수가 크게 갈렸다면 기준이 그 상황을 담지 못한 것입니다. 평가자마다 다른 것을 보고 있었다는 뜻이고, 그것은 설계가 미리 정하지 않았기 때문입니다. 또는 캘리브레이션을 통해 사전에 시각의 차이를 줄이는 노력이 필요했습니다.
평가제도를 손볼 때 가장 먼저 물어야 할 것은 지표를 몇 개로 할지가 아닙니다. 이 평가로 무엇을 가려내려 하는가입니다. 그 답이 정해지면 몇 개를 볼지, 몇 번에 걸쳐 볼지, 누가 볼지는 따라옵니다. 순서가 바뀌면 정교한 제도를 만들고도 원하지 않는 결과를 얻을 가능성이 높습니다.
정리하면
단일 기준은 잘못 뽑는 위험을 줄입니다. 기준이 단순하면 부적격자가 재량을 파고들 틈이 없습니다. 대신 기준 밖의 강점을 가진 사람은 걸러집니다.
다면 평가는 반대로 놓치는 위험을 줄입니다. 여러 각도로 보면 한 가지 잣대로는 안 보이던 사람이 남습니다. 대신 판단이 개입하는 만큼 잘못 뽑을 여지도 커지고, 부정이 개입할 여지도 높습니다.
두 위험을 동시에 줄일 수는 없습니다. 어느 쪽을 더 감수할 것인지가 곧 평가 목적입니다.