신뢰도와 타당도

(1) 신뢰도

측정하고자 하는 현상을 얼마나 일관성 있게 측정했는가 하는 정도로서, 동일한 개념에 대하여 측정을 반복했을 때 동일한 측정값을 얻는 가능성을 말한다.

 

1. 고전적 검증이론

심리 및 정신적 검증과 더불어 능력과 성격을 측정할 수 있는 방법과 측정 결과에 대한 해석에 대한 단초를 제시해 준 초기 이론

 

관찰값(observed score) = 참값(true score) + 측정오류(measurement error)

 

여기서 관찰값은 특정한 개념이나 변에 대한 속성을 측정도구로 실제 측정한 값이다. 우리는 이 관찰값을 통해 세상사를 이해한다. 참값은 특정한 개념이나 변인에 대한 개인의 고유한 속성을 말하는 것으로 신만이 알 수 있는 값이다. 우리는 참값을 알고자 하지만 아무리 우수한 측정도구를 사용하여도 내재적 한계로 인해 오류 또는 소음이 발생할 수 밖에 없기 때문에 참값에 가까운 관찰값을 얻는다. 이것을 우리는 측정오류라고 한다.

2. 측정오류

측정오류는 2가지 종류로 되어있다. ‘무작위 오류(random error)’와 ‘체계적 오류(systematic error)’로 구성되어 있다. 

<그림> 무작위 오류와 X 분포

<출처: Research methods knowledge base (Trochim, 2012)>   

무작위 오류는 표본에 변인 측정에 무작위로 영향을 주는 어떤 요인에 의해 발생하며, 표본에 속한 각 개별적인 구성원의 속성에 의해 발생한다.

 

예) 체중계를 이용하여 몸무게를 잴 때, 체중을 잰 순간마다 내 고유의 몸무게가 존재함에도 불구하고 측정한 수치는 조금씩 변했을 것이다. 내가 알 수 없는 내 고유의 몸무게(참값)이 60kg이라고 가정하고 체중계에 나타난 값(관찰값)이 59.8kg, 60.1kg, 60kg으로 나왔다면 체중계는 각각 -0.2kg, +0.1kg, .00kg의 측정오류가 발생했다. 체중계 위에서 몸의 위치나 자세의 차이에 의해 무작위 오류가 발생한 것임을 추측해 볼 수 있다. 

<그림> 체계적 오류와 X 분포

<출처: Research methods knowledge base (Trochim, 2012)>

 

체계적 오류는 무작위 오류처럼 표본에 속한 각 구성원의 속성에 의해 발생하는 것이 아니라, 표본에 속한 모든 구성원 전체에게 일관적으로 발생하는 오류이다.

 

예) 대학생 참여자들이 측정에 참여하는 순간에 갑자기 외부로부터 소음이 들린다면 이는 참여자들 전체의 측정 수행능력에 영향을 미칠 수 있다. 무작위 오류처럼 참여자 일부에겐 긍정적으로 다른 일부는 부정적으로 영향을 받는 것이 아니라 전체적으로 일관성 있게 참여자 전체에게 긍정 또는 부정적으로 영향을 주는 것이다.

 

고전적 검증이론은 측정의 신뢰도에 대한 개념과 원리를 설명하는데 유용한 이론이지만 현실적으로 참값을 알 수 있는 방법이 없기 때문에 무용지물에 가깝다. 그렇기 때문에 현실적으로 신뢰도를 평가할 수 있는 방법들을 살펴볼 필요가 있다. 대표적인 방법으로 검증-재검증 신뢰도 추정(test-retest reliability estimate)과 복수 양식법(multiple form technique), 반분법(split-half method), 그리고 내적 일관성 분석법(internal consistency analysis)의 네 가지가 있다.

 

3. 검증-재검증 신뢰도 추정 (재검사법)

조사시행 후 일정 기간이 경과한 후에 동일 도구로 동일 대상에게 재조사를 실시하고 두 결과간의 상관관계를 검토하는 방법이다. 동일한 조사의 반복으로써 시간과 비용의 문제와 응답자에게 불쾌감을 조성할 가능성이 있다.

 

4. 복수 양식법 (평행 양식법, 대안 양식법)

동일한 개념에 대해 2개 이상의 상이한 측정도구를 개발하고 각각의 측정치들 간의 일치 여부를 검증하는 방법이다. 척도 간 동등성 확보가 어렵다.

 

5. 반분법

용어 그대로 동일한 구성을 측정하도록 의도된 하나의 측정도구를 임의로, 다시 말해 무작위 방식으로 절반으로 나눠 독립적인 두 세트의 측정도구를 만든 뒤 동일한 대상에게 모두 응답하게 한 후, 각 측정도구에서 도출한 총 점수 간에 상관관계를 통해 측정도구의 신뢰도를 추정하는 방법이다.

 

6. 내적 일관성 분석법

단일의 신뢰도 계수를 계산할 수 없는 반분법의 단점을 보완한 것으로써, 가능한 모든 반분신뢰도를 계산하여 그 평균값을 신뢰도로 추정하는 방법이다. Cronbach에 의해 수학적 계산이 가능해졌으며, 현실적으로 가장 많이 사용되는 방법이다. 일반적으로 크론바흐 알파값이 .70 이상이면 측정문항들 간 내적 일관성이 있다고 판단한다.

 

(2) 타당도

측정하고자 하는 개념이나 속성을 얼마나 정확히 측정했는가에 관한 것으로서 측정의 개념적 오류(conceptual error)를 평가한 것이다. 타당도는 신뢰도와 달리 수치로 표현하는 것이 거의 불가능하기 때문에 학위 논문을 제외한 일반 학술 논문에서는 자주 언급하지 않는 것이 일반적이다.

측정도구의 타당도는 크게 4가지 종류로 나누어진다. 표면 타당도(face validity), 내용 타당도(content validity), 기준-관련 타당도(criterion-related validity), 구성 타당도(construct validity)로 나누어진다.

 

1. 표면 타당도 (액면 타당도, 외관적 타당도)

측정도구를 보고서 “얼핏 보기에 맞는 것 같다” 또는 “측정 항목이 측정하고자 하는 것을 측정하는 것처럼 보인다”와 같이 측정문항을 보고서 즉각적인 느낌이나 판단에 의존하는 타당도이다.

 

2. 내용 타당도

측정 문항들이 측정하고자 하는 내용을 얼마나 잘 반영하고 있는지를 말한다. 예를 들어 책 한 권을 가지고 2명이 설명한다고 가정한다면 A군은 책의 겉모습만 보고 책을 설명하고 B군은 책의 전체적인 내용도 살펴본 뒤 책을 설명한다면 B군은 A군보다 내용 타당도가 더 높다고 할 수 있다.

 

3. 기준-관련 타당도

사용하고자 하는 측정도구의 타당도를 평가할 때 외부에 있는 다른 측정도구를 기준으로 설정한 후, 사용하고자 하는 측정도구와 외부 측정도구와의 관계를 확인함으로써 타당도를 판단하는 방법이다. 외부 특정한 기준과의 연관성을 확인하기 때문에 표면이나 내용 타당도보다 좀 더 객관적이라고 할 수 있다. 기준-관련 타당도는 크게 두 가지로 나뉘는데 일치 타당도와 예측 타당도이다. 일치 타당도는 측정도구 A에 대한 응답 결과가 기존의 다른 측정도구의 응답결과와 높은 상관관계를 타나낸다면 측정도구 A는 타당도가 높다고 할 수 있다. 두 번째로는 예측 타당도이다. 예측 타당도는 사용하고자 하는 측정도구가 어떤 결과를 정확하게 예측할 수 있는지를 평가하는 것이다. 예측한 것과 실제 측정도구를 통해 나온 결과가 같거나 비슷하다면 예측 타당도가 높다고 할 수 있다.

 

4. 구성 타당도 (개념 타당도)

앞서 제시한 표면, 내용, 기준-관련 타당도를 모두 만족시킬 경우 구성 타당도를 갖고 있다고 판단한다. 연구자가 측정하고자 하는 구성을 측정도구가 실제로 측정한다는 느낌이 드는지, 구성의 다양한 속성을 측정도구가 거의 완벽하게 측정하고 있는지, 그리고 구성을 측정하는 측정도구 점수는 다른 구성을 측정하는 측정도구 점수들 간에 상관관계가 높은지를 만족시킨다면 측정도구는 구성 타당도가 있다고 판단한다. 측정도구의 구성 타당도는 각 구성 간의 상관성이나 인과성이 이미 검증된 이론을 근거하여 주로 평가한다.

 

5. 신뢰도와 타당도 간 관계

 

타당도가 높으면 신뢰도는 항상 높으며, 신뢰도가 낮으면 타당도는 항상 낮다.

타당도가 낮으면 신뢰도는 높을 수도 있고 낮을 수도 있으며 신뢰도가 높으면 타당도는 높을 수도 있고 낮을 수도 있다.

 

 

<그림> 체계적 오류와 X 분포

<출처: 위키피디아(http://en.wikipedia.org/wiki/File:Reliability_and_validity.svg)>

참고문헌

 

류성진. 커뮤니케이션 통계방법 핵심개념(미발표 보고서)

이종환(2010). 『조사방법론 및 SPSS 통계분석』. 경기도 고양: 공동체.

최창현(2011). 『조사방법론 SPSS UCINET 활용』. 경기도 파주: 학현사.

Hayes, A. F.(2005). Statistical methods for communication science. 류성진 옮김

(2011). 『커뮤니케이션 통계방법론』. 서울: 커뮤니케이션북스.

Trochim,W.M.K.(2012).Research methods knowledge base. available: http://www.socia lresearchmethods.net/kb/index.php

Wikipedia(2012). http://en.wikipedia.org/wiki/File:Reliability_and_validity.svg