평가에서의 타당도

1. 타당도(validity)의 의미

 검사(혹은 측정) 도구의 타당도란 검사 도구가 측정하고자 의도했던 구체적인 목표나 내용을 제대로 측정하고 있는가를 나타내는 정도를 의미한다(백순근, 2004). 어떤 측정 도구를 사용하여 얻어진 자료가 얼마나 일관성을 가지고 있느냐도 중요하지만 검사가 과연 무엇을 일관성 있게 측정하고 있느냐는 바로 검사결과의 해석의 타당성과 관련된다. 따라서 타당도란 주어진 검사가 어떤 목적으로 얼마나 적절하게 사용될 수 있는 유용한 검사인지를 말해 주는 정도라고 할 수 있다. 어떤 검사가 검사의 개발 목적과 부합되게 기능하는 정도를 타당도라 부르고 그것은 검사의 목적과 관련된 근거(evidences)에 의해 평가된다. 따라서 어떤 검사를 단순히 “타당도가 있다.” 또는 “타당도가 없다.”라고 평가하는 것은 잘못된 것이며, 타당도 근거에 따라 구체적으로 검사가 측정하고자 하는 특정한 목적에 비추어 “○○타당도가 높다.” 또는 “○○타당도가 낮다.”와 같이 평가하는 것이 정확한 표현이다(문수백, 2004).

2. 타당도의 종류

 ⑴ 내용타당도(content validity)

 내용타당도란 내용과 관련된 타당도의 근거(content-related evidence of validity)로서(성태제, 2003) 측정하고자 하는 내용이 검사 도구에 제대로 반영되었는지를 연역적․논리적으로 검토하는 것으로, 도구가 측정하고자 의도한 목표나 내용을 모두 포괄할 수 있는 대표성을 가지고 있는지, 측정 요소들이 적절하게 구성되어 있는지 등을 검토하는 것이다(백순근, 2004). 내용타당도는 한 검사를 구성하고 있는 검사문항들이 문항 모집단(item universe)을 대표할 수 있도록 문항들이 표집 되어 있는 정도를 말한다(문수백, 2004).

 내용타당도는 주관적 판단에 의존하므로 객관적 자료를 사용하지 않으며 타당도를 객관적인 수치로 제공하지 않기 때문에 검사내용 전문가에 의해 내용타당도가 있다 혹은 없다로 표현할 수 있을 뿐이다. 기초연구나 새로운 연구에서 사용하는 검사도구의 타당성은 일반적으로 내용타당도에 의존한다. 특히 연구대상의 수가 적거나 관찰에 의한 연구일 경우에는 내용타당도에 의존하는 경우가 많다. 그러나 정의에 대한 통일된 인식이 없는 정의적 행동특성을 측정할 때 전문가마다 각기 다른 견해를 가지는 경우가 많으므로 내용타당도에 대해 각기 다른 검증 결과가 나올 수 있다. 내용타당도가 이런 단점을 지니고 있음에도 불구하고 많은 연구에서 사용되고 있는 것은 타당도에 대한 기초 정보를 제공하며, 자료수집이 어려운 경우에 검사나 측정도구의 타당도를 검증하는 방법이기 때문이다(성태제, 2003).  

 ⑵ 예언(豫言)타당도(prediction validity)

 예언타당도는 예측과 관련된 타당도의 근거(predictive-related evidence of validity)로서 제작된 검사에서 얻은 점수와 미래의 어떤 행위를 얼마나 잘 예측하느냐와 관련된 타당도이며(성태제, 2003), 예언타당도는 검사점수를 이용해서 일정한 시간이 경과한 후 피검사자의 행동수준 또는 성과를 예언할 수 있는 정도를 의미한다(문수백, 2004).

 일반적으로 예언타당도는 적성검사에서 중요시되는 경향이 있으며, 임상심리에서 사용되는 심리검사에도 자주 사용되며, 특히 선발, 채용, 배치 등의 목적으로 사용된다. 그러나 예언타당도는 일정한 시간 뒤에 측정한 행위와 검사점수 간의 상관계수에 의하여 타당도를 검증하기 때문에 연구를 위하여 제작한 검사도구의 예언타당도를 검증하기가 때로는 불가능하다(성태제, 2003).

 ⑶ 공인(共因)타당도(concurrent validity)

 공인타당도는 예언타당도와 마찬가지로 준거타당도(검사도구에 의한 점수와 어떤 준거 간의 상관계수에 의하여 검사도구의 타당도를 검증하는 방법)의 한 종류로서 검사점수와 기존에 타당성을 입증 받고 있는 검사로부터 얻은 점수와의 관계에 의하여 검증되는 타당도이다(성태제, 2003). 공인타당도는 이미 널리 사용하고 있는(타당성을 보장 받고 있는) 검사도구와 그것과 비슷한 내용을 측정한다고 상정하는, 새롭게 제작된 도구와의 상호관련성(유사성)을 검토함으로써, 새롭게 제작한 도구의 타당성을 검토하는 것이다(백순근, 2004; 성태제, 2003).

 공인타당도는 계량화되어 타당도에 대한 객관적인 정보를 제공할 수 있으며 타당도의 정도를 나타낼 수 있다. 반면에 타당성을 입증 받은 기존의 검사가 없을 경우 공인타당도를 추정할 수 없으며, 타당성을 입증 받은 기존의 검사가 있다하더라도 그 검사와의 관계에 의하여 공인타당도가 입증되므로 타당성을 입증 받은 기존의 검사에 의존하게 되는 단점도 있다(성태제, 2003). 

 ⑷ 구인(構因)타당도(construct validity)

 구인이란 어떤 개념이나 특성을 구성한다고 생각할 수 있는 가상적인 하위개념, 하위특성 혹은 심리적 요인이라 할 수 있다(백순근, 2004). 창의력 검사의 예에서 민감성, 이해성, 도전성, 개방성, 자발성, 자신감 등을 구인이라 할 수 있다. 구인타당도란 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 구인으로 분석하여 조작적 정의를 내린 후 검사점수가 조작적 정의에서 규명된 심리적 구인들을 제대로 측정하였는가를 검증하는 방법이다. 구인타당도를 검증하는 통계적 방법은 상관계수법, 실험설계법, 요인분석 등이 있다.

 구인타당도는 응답자료를 기초로 한 계량적 방법에 의하여 검증되므로 과학적이고 객관적이라고 할 수 있다. 또한 모르는 심리적 특성에 부여한 조작적 정의의 타당성을 밝혀주므로 많은 연구의 기초가 된다. 반면에 요인분석을 실시할 경우 변수 혹은 문항들 간의 보다 안정적인 상관계수를 얻기 위해 많은 연구대상이 필요하다(성태제, 2003).  

 ⑸ 요인타당도(factorial validity)

 요인 타당도란 요인분석(factor analysis복잡하고 정의되지 않은 많은 변수들 간의 상호관계를 분석하여 상관이 높은 변수들을 모아 규명하고 그 요인의 의미를 부여하는 통계적 방법)이라는 통계적 조작을 통해 한 검사가 어떤 요인(factor)을 측정하고 있는지를 분해해서 밝히는 방법이다(교육학사전편찬위원회 편, 1980). 또 이것은 하위검사의 독립성 또는 독특성의 정도를 의미하는 것으로 요인분석에 의해 결정된 검사의 요인부하량(factor loading- 각 변인과 요인 간의 상관관계)이 클수록 그 요인을 잘 측정하는 변인이다.

 요인분석에 의해 결정된 검사의 요인부하량은 검사가 무엇을 얼마나 재고 있느냐를 실험적으로 검증해 준다. 즉 이 검사의 요인 A(예를 들어 지각속도)의 타당도는 .10, 요인 B(예를 들어 언어능력)의 타당도는 .40과 같은 판단을 할 수 있게 해 주는데 이것이 한 검사의 요인타당도이다. 이것은 예언타당도처럼 직접 예언에 사용되는 실용적 지표는 될 수 없으나 이론적 연구와 동시에 한 검사의 실용적 타당의 세련을 위한 제작에 큰 도움이 된다(송인섭 외, 2000).

참고문헌

교육학사전편찬위원회 편(1980). 교육학 대사전. 교육출판공사.

문수백(2004). 연구방법의 실제. 서울: 학지사.

백순근(2004). 교육연구 및 통계분석. 서울:교육과학사.

성태제(2003). 교육연구방법의 이해. 서울:학지사.

송인섭 외(2000). 교육심리학용어사전. 서울 : 학지사.