결과타당도 증거

1. 정의

 결과타당도(consequential validity)란 평가결과에 기초한 증거를 의미하며, 검사나 평가방법이 학생, 교사, 학부모, 학교, 교육기관, 그리고 사회에 미치는 영향에 관련된 증거를 수집하는 과정을 말한다(AERA, APA, NCME, 1999). 또한 평가결과의 긍정적 또는 부정적 결과, 실제적 또는 잠재적 효과, 그리고 의도한 결과와 의도하지 않은 결과를 분석한다.

 검사의 결과타당도를 고려하면 검사 제작, 실시, 수집, 분석, 해석, 활용까지 체계적으로 검사를 운영하며, 검사가 사회에 미치는 영향까지 고려하기 때문에 양질의 검사를 제작하게 된다. 검사결과에 기초한 증거는 검사결과가 검사의 목적과 얼마나 부합하는가, 즉 의도한 결과를 얼마나 달성하였으며, 의도하지 않은 어떤 결과가 나타났는지에 대한 검증이다. 다른 집단에 검사목적과 다른 결과가 관찰되는 것은 심각한 문제로서 검사의 타당화와 사회정책간의 괴리에 기인한다고 볼 수 있다(AERA, APA, NCME, 1999). 예컨대 채용시험에서 검사제작자가 검사 사용이 직원 채용을 위한 경비절감, 작업효율성 증진, 그리고 다른 혜택을 가져왔다면 결과타당도가 있다고 할 수 있다.

2. 추정 방법

 결과타당도를 추정하는 방법은 아직 체계적으로 정리되지 않고 있다. 다만 평가의 결과를 분석할 경우에 고려해야 할 사항과 분석하는 절차를 제시하는 것으로 정리할 수 있다. 평가나 검사의 결과는 의도된 결과, 의도되지 않은 결과, 긍정적 결과, 부정적 결과, 실제적 결과, 잠재적 결과 등을 포괄적으로 고려해야 한다. 가령 검사가 의도하는 기능을 제대로 수행하지 못하거나 부정적인 영향을 미친다면 타당도에 대한 부정적인 증거가 된다. 결과타당도를 검토하는 기준은 다음과 같다(권대훈, 2008).

① 평가가 실제로 교수학습 과정을 개선시키고 있는가?

② 교수학습 과정을 개선시키고 있다면 어느 정도 영향을 주고 있는가?

③ 평가결과 활용의 부정적 영향이나 예기치 못한 영향은 무엇인가?

 교사가 평가의 영향을 분석할 때는 다음과 같은 사항을 체계적으로 고려해야 한다(Linn & Gronlund, 2000).

① 평가과제가 중요한 학습목표에 부합되는가?

② 학생들이 시험공부를 열심히 하고 있는가?

③ 평가활동이 학생들의 학습활동을 인위적으로 한정시키지 않는가?

④ 평가활동이 학생들의 창의적 사고와 표현을 조장(혹은 위축)하고 있는가?

3. 장단점

 결과타당도를 타당도의 한 유형으로 포함시킨 것은 몇 가지 장점이 있다. 먼저 결과타당도는 검사제작자에게 검사가 미치는 여러 가지 영향을 고려하도록 함으로써 양질의 검사를 제작할 수 있는 기초를 마련한다. 검사가 의도하지 않은 결과까지 책임져야 하므로 부정적 영향과 부작용에 대한 검증을 실시하여 검사목적에 맞게 수정할 수 있는 계기를 마련할 수 있다.

 그러나 결과타당도의 개념이 모호하여 현장교사나 학교행정가들에게 혼란을 야기하고 검사결과의 불합리한 활용에 관심을 갖도록 하기 때문에 시회적 결과에 대한 확인은 타당도와 분리되어야 한다(Popham, 1997). 또한 Mehrens(1997)은 검사결과를 검토할 필요가 있지만, 긍정적 결과 혹은 부정적 결과의 분석은 검사의 구인에 대한 추론의 정확성에 대한 타당도보다는 검사결과에 대한 처리, 그리고 사회적 허용성 등을 강조하고 때로는 정치적 가치판단을 포함하게 되므로 결과타당도는 타당도의 종류에 포함되지 않는 것이 바람직하다고 주장한다(성태제, 2009).

4. 참고문헌

김진규(2009). 교육평가의 탐구 이야기. 동문사.