평가의 양호도

1. 신뢰도(reliability)의 의미

 신뢰도란 한 검사가 측정하고자 하는 내용을 어느 정도 일관성 있게 측정하고 있는지를 말해주는 검사의 정확성을 뜻한다(문수백, 2004). 즉 측정의 오차(measurement error)가 얼마나 적은가 하는 정도를 의미한다(백순근, 2004). 결국 신뢰도란 검사도구가 측정하려는 것을 얼마나 안정적으로 정확하게, 즉 오차 없이 일관성 있게 측정하느냐의 문제이다(성태제, 2003).

 신뢰도를 제대로 파악하기 위해서는 다양한 방법으로 가능한 한 많은 정보를 수집해야 한다. 도구의 신뢰성을 확보할 수 있는 증거는 많으면 많을수록 좋으며, 증거의 양도 중요하지만 증거의 질도 더욱 중요하다.

2. 신뢰도의 유형 및 산출방법

 ⑴ 재검사 신뢰도(retest reliability)

 재검사 신뢰도란 동일한 검사를 동일한 피험자 집단에게 일정한 시간 간격(2~4주)을 두고 두 번 실시하여 얻은 두 검사점수간의 상관계수에 의하여 신뢰도를 검증하는 방법이다(성태제, 2003). 이것은 또 두 번 실시한 점수가 일치하는 정도를 뜻하기 때문에 흔히 안정성 계수(coefficient of stability )라고도 부른다(문수백, 2004).

 재검사 신뢰도를 추정하기 위해 첫째, 측정내용의 성질 그 자체는 일정 시간의 경과에도 불구하고 잘 변하지 않는다는 가정을 할 수 있어야 하며 둘째, 동일한 피험자에게 두 번 실시되지만 처음 받은 검사 경험이 다음 검사의 득점에 영향을 미치지 않는다는 확신이 있어야 한다. 셋째, 동일한 검사를 되풀이해서 받는 동안 그 사이에 두 번째 검사 득점에 영향을 줄만한 학습활동이 없어야 하기 때문에 그러한 학습이 없었다는 가정이 필요하다. 이와 같이 세 가지 조건이 충족될 때 비로소 한 검사의 안정성 계수를 추정할 수 있다. 재검사 신뢰도를 구하려면 어떤 검사를 처음 실시했을 때 피험자들이 받은 점수를 X로 하고, 일정한 기간이 경과한 다음 피험자들이 받은 점수를 Y로 하여 다음 공식을 시용하여 Pearson의 적률상관계수를 구하면 된다(문수백, 2004).

 ⑵ 동형검사 신뢰도(equivalent-form reliability)

 동형검사 신뢰도는 두 개의 동형검사를 제작한 뒤 동일 피험자 집단에게 검사를 실시하여 두 검사 점수의 상관계수로 신뢰도를 추정하는 방법이다(성태제, 2003). 동형검사 신뢰도는 두 검사가 평행선과 같이 동등하다는 의미를 살리기 위해 평형검사(parallel-form test)라고도 한다. 이는 재검사 신뢰도의 한계를 해결하기 위한 방법이긴 하지만 동형검사를 제작하기 위한 방법이나 절차는 매우 까다롭다(백순근, 2004).

 ⑶ 반분 신뢰도(split-half reliability)

 반분신뢰도란 한 개의 검사(혹은 측정) 도구를 같은 피험자 집단에게 실시한 다음 그 검사에 포함된 문항들을 가능한 한 동형검사에 가깝도록 두 부분으로 나눈 다음, 각 부분을 독립된 하나의 동형검사 인 것처럼 생각하여 반분된 검사의 점수들간 상관계수를 산출한다(백순근, 2004). 상관계수를 산출한한 후 Spearman-Brown 공식을 사용하여 교정한다. 그 공식은 아래와 같다(성태제, 2004).

 반분신뢰도는 재검사신뢰도나 동형검사신뢰도와는 달리 검사를 두 번 시행하지 않고 신뢰도를 추정할 수 있는 장점이 있는 반면 검사를 양분하는 방법에 따라 반분검사 신뢰도가 달라질 수 있다.

 ⑷ 문항내적 일치도(inetr-item consistency)

 문항내적 합치도는 한 검사 내에 있는 문항 하나하나를 독립된 별개의 검사로 간주하여 문항들 간의 유사성과 일관성 및 합치성을 신뢰도로 규정한 것이다. 문항내적 합치도를 추정하는 방법에는 Kuder-Richardson 계수와 Cronbach α계수가 있다(문수백, 2004). Cronbach α계수는 신뢰도 계산공식의 유도과정과 개념이 보다 간단하기 때문에 신뢰도 추정에 널리 쓰인다(성태제, 2004). Cronbach α계수를 추정하는 방법은 변량이란 통계적 방법을 이용한 것으로 피검사자들의 검사 득점의 변량이 크고 문항 간 득점이 유사할수록, 한 검사를 구성하고 있는 문항들이 서로 동질적이면 동질적일수록 Cronbach α계수는 커지게 된다(문수백, 2004). Cronbach α계수를 구하는 공식은 아래와 같다(성태제, 2003).

참고문헌

문수백(2004). 연구방법의 실제. 서울:학지사.

백순근(2004). 교육연구 및 통계분석. 서울:교육과학사.

성태제(2003). 교육연구방법의 이해. 서울:학지사.