출처: 한국방송광고공사 - 광고연구
질문지 순서효과에 관한 연구
- 지방자치단체장 선거의 후보지지율을 중심으로 -김원용(성균관대학교 신문방송학과 교수, 성균관대학교 신방송학과 졸업, 美, 텍사스 주립대학교 커뮤니케이션학 석·박사)
질문지 순서효과(order effect)에 대한 대부분의 연구 관심들은 조사에서 어떤 내용에 대한 응답이 의식적 혹은 무의식적으로 이전 질문의 영향을 받는 상황(내용 순서를 바꾸거나, 어떤 질문을 하거나, 하지 않은 경우에 이후의 응답이 다를 수가 있는 상황)에 관한 것이었다. 본 연구는 이러한 질문의 순서효과(question order effect)에 대한 개념과 관련연구를 살펴보았다.
1. 서 론
경험실증적 연구에서 흔히 사용되는 조사에 있어서, 그 오차를 줄이는 것은 모든 연구자의 주요 관심사이다. 특히 자료수집 과정에서 발생하는 체계적인 오차를 줄이는 것은 연구의 타당도와 신뢰도를 제고하는 데 핵심적인 관건이다. 연구자들은 그 동안 주로 체계적인 오차 중에서 표집오차에 많은 관심을 기울인 반면, 설문지의 형태와 문장구성에 따르는 오차의 발생에 대해서는 상대적으로 연구가 미진한 편이었다.
이론적인 검증을 주목적으로 한 연구에서, 설문지 작성에 따른 부분적인 오차는 연구결과의 타당성과 신뢰성이 손상당하지 않는 한 문제시 되는 경우가 거의 없다. 반면 후보자지지도 측정과 같이 예측을 요구하는 조사에서는 실제 선거결과 자체가 준거타당도를 제공해 주기 때문에 설문지 순서에 따른 오차에 연구자들이 주목하지 않을 수 없다. 선거전에 조사한 후보자지지도와 선거 후에 나타난 결과 사이에 오차가 발생할 경우, 여러가지 요인이 이 오차의 원인으로 지적될 수 있으며 그 중에서 설문지 순서의 차이도 한 원인이 될 수 있을 것이다.
연구자가 설문지를 구성하는 것은 다양한 요인을 동시에 고려해야 하는 복잡한 문제이다. 연구자는 질문의 순서를 신중히 결정함으로써 응답자의 관심을 끌어내고 주의를 집중시키는 한편 응답자가 계속해서 응답에 집중하도록 할 수 있다. 또한 질문지 순서에 따라 응답자가 사전에 조사와 관련된 지식과 정보를 제공받아 질문순서에 따른 왜곡현상이 발생할 수도 있다.
질문지 순서효과와 관련하여 가장 흔히 논의되는 것이 응답자 개인생활에 관한 정보, 특히 수입이나 교육수준과 같이 응답자의 수치심을 유발할 수 있는 내용들이다. 이런 질문은 대개의 경우 질문지 말미에 두는 것이 보통이다. 이는 질문의 끝에 가면 응답자들은 어느 정도 설문에 대해 긍정적 자세를 가지게 되고 질문에 의해 기분이 상하거나 편견이 발생하였다고 해도 다른 질문에 영향을 미치지 못하기 때문이다. 따라서 질문들의 순서에 관한 적절한 조정은 연구내용의 질적 향상을 도모할 수 있는 긍정적 요인일 뿐만 아니라 궁극적으로 연구결과 의 타당성 제고에 기여하게 된다.
우리나라에서 대통령의 국정수행능력에 관한 지지도나 국회의원선거 혹은 지방자치단체장 선거기간 중 후보자지지도(혹은 선호도)에 관한 질문을 할 경우, 이 질문을 인터뷰초반에 하는 것이 응답자들의 보다 솔직한 의견을 이끌어내는 데 도움이 되는지, 아니면 설문지 중반 혹은 후반부에 이에 관한 문항을 배치하는 것이 보다 정확한 지지도를 끌어내는 데 도움이 되는지는, 사회조사 현장에 종사하는 조사자들이 조사의 정확도를 높이기 위해 반드시 검증을 거쳐야 할 연구과제로 남아있다.
일부 상업적 조사기관에서는 선거결과 예측의 정확도를 자랑하고 있으나 이는 예측에 따른 오차의 요인에 대해 엄밀한 검증을 거치지 않은 비과학적인 태도가 아닌가 생각된다. 조사에는 반드시 오차가 따르게 마련이다. 그 오차를 발생시키는 원인을 규명함으로써 예측의 정확도를 제고할 수 있다. 본 연구는 이러한 오차의 한 원인이 되는 질문지 순서효과를 검증하여 향후 선거결과를 예측할 경우 그 정확도를 높이는 데 기여하고자 한다.
2. 문헌연구
질문지 순서효과에 관한 초기 연구는 이미 1930년대부터 시작되었다. Sayer(1939)는 라디오 광고에 관한 태도 조사연구에서 응답자들은 특정 소비내용에 관한 일련의 질문들에 이어 라디오 광고에 대한 의견을 질문 받은 경우 보다 긍정적 응답을 한 것으로 나타난다고 지적하였다. 이어 1944년 시행된 Cantril의 외국 군대 징집허가에 관한 의견조사에서도 질문순서의 영향을 발견하였다.
그러나 1970년대까지 대부분의 사회조사 혹은 마케팅조사에서는, 질문지 순서에 따르는 문제점들을 무시하거나(Smith et al., 1976 ; Weiburg & Bowen, 1977), 입증되지 않은 상식적인 질문지 순서 방법을 이용하였다(Backstrom & Hursh, 1963 : Miller,1970 : Moser & Kelson, 1974 ; Thomas et al., 1975 ; Kornhauster & Sheatsley, 1976 ; Dillman, 1978 ; Bradbum & Sudman, 1979). 즉 1970년대 이전까지는 질문지 순서효과에 관한 체계적인 연구가 매우 드물었고, 그 이후의 연구결과 역시 일관성이 없어 질문지 순서효과에 관한 방법론상의 진전이 거의 없었다.
1970년대 중반에 들어, 과거에 비해 보다 체계적인 사회조사가 시작되면서 질문지 순서효과에 관한 방법론상의 개선을 위한 연구가 본격적으로 시행되었다. 1976년 미국 NORC(Nation-al Opinion Research Center) 조사에서는 11개 분야에서 연방정부지출평가에 대해 먼저 응답을 하게 한 경우, 그 효과로 인해 연방정부의 세입에 대해 정당하다는 응답을 한 경우가 많았다는 것을 발견하였다(Turner & Krauss, 1978). 그러나 그 이후 시행된 NORC조사에서는 예측된 질문지 순서효과를 입증하지 못했다(Sudman & Bradburn, 1974).
Bradburn과 Mason은 순서효과가 발생하는 요인으로서 질문내용에 따른 현저성(saliency), 장황함(redundancy), 일관성(consistency), 피로도(fatigue)를 제시하였으나 실증적 검증을 통해 이를 입증하지는 못했다(Bradurn & Mason, 1964). 또한 Delamater과 Maccorquodale(1975)은 성적 행위에 대한 일련의 질문에 대한 응답들은 질문의 위치에 영향을 받지 않는다는 것을 발견하였다. 반면 Turner와 Krauss(1978)는 다른 여러 조사에서 발견된 미국의 지도자에 대한 일반국민들의 신뢰도 차이는 조사문항들의 상이한 전후관계 문맥(context) 때문이라고 주장하면서 질문지 효과의 중요성을 지적하였다.
질문지 순서효과에 관한 1970년대의 연구에서 밝혀진 사실은 사회조사에 있어서 일반적 평가질문은 그것보다 더 특수한 부분에 관한 질문에 우선해야 한다는 것이다(Kornhauser & Sheatsley, 1976). 이는 특정한 질문이 일반적 질문에 비해 일련의 틀을 제시하거나 현저성을 제고하는 반면, 일반적 질문들은 특정 하위문제에 영향을 미치지는 않을 것이라는 가정에 근거한 것이다. 이 가정은 그 이후 대부분의 조사에서 기본명제로 수용되어왔다. 그러나 이 명제는 엄밀한 이론적 혹은 개념적 논거에서 도출된 것이 아니라 연구자의 상식에 근거한 것인 만큼 가설의 검증 결과도 대체로 일관성이 없었고 순서효과에 관한 개념도출과 명확한 연구방법의 제시는 미흡한 상태에 머물러 있었다.
1980년대 이후, 사회조사 연구자들은 여론조사에 있어 질문지의 어법과 순서효과의 중요성에 점점 관심을 가지게 되었다. 질문지의 어법과 관련된 대표적인 연구로 Schuman과 Presser의 연구를 들 수 있는데, 이들은 어법의 미묘한 변화가 상이한 응답 결과를 가져올 수 있다는 사실을 발견하였다(Schuman & Presser. 1981).
질문지 순서효과와 관련되어 가장 많이 연구된 부분이 바로 정당정체성(party identity)이다. 실제로, 정당정체성의 상이한 차원이 정치문화, 정치 기구 혹은 정당체계의 차이로부터 발생하는 것인지 아니면 단순히 자료수집방법의 차이로 인해 발생되는 것인지에 관하여 1980년대 이전부터 연구가 진행 되어 왔다. Butler와 Stoke는 1969년 영국과 미국 유권자의 행위차이에 관한 연구를 하였고(Butler & Stoke, 1969), Kasse는 설문유형에 따른 정당 정체성과 실제 정당정체성의 차이에 관한 비교연구를 시도하였다(Kasse, 1976). 그리고 Norpoth는 Kasse의 연구결과를 바탕으로 정당정체성 개념을 독일어로 적합하게 표현한 질문을 찾아내기 위한 연구를 하였다(Norpoth, 1978). 이와 동일한 내용으로 Charnock는 호주에서 조사방법에 따른 정당정체성의 비교연구를 하였다(Charnock, 1992) 최근에 Heath와 Pierce는 Butler와 Stoke가 발견한 차이가 질문순서의 인위적 구조에 따른 것이라고 연구결과를 통해 주장하였다(Heath & Pierce, 1992). 그 외에도 설문문항의 순서는 응답자의 사고틀을 변경함으로써 반응을 변화시킬 수 있다는 연구 결과도 있다(Bishop,01dendick & Tuchfarber, 1984).
이러한 연구들은 설문문항의 전후문맥이 응답자들에게 두 가지 차원에서 잠재적 영향을 미친다고 보고 있다. 첫째, 전후문맥은 응답의 차원에 영향을 미친다. 즉 단변량효과(univari-ate effect)를 발생시킨다는 것이다. 예를 들어 질문지의 문맥에 따라 응답자는 실제 상황보다 강조된 혹은 무시된 응답결과를 보인다는 것이다. 둘째, 문맥은 두가지 변수간의 관계를 강화시킬 것이다. 즉 쌍변량효과(bivariate effect)를 보일 것이다. 예를 들어 설문지의 문맥에 따라 정당정체성과 투표행위간의 관계를 강화시킬 수도 있는 경우가 발생한다는 점을 지적한다.
국내에서도 관련된 문항의 순서에 따라 응답의 결과에 영향을 미친다는 조사결과가 있다. 김호영과 김진국(1995)의 연구에 의하면 자동차 고객만족도 평가에서 전체만족도 평가문항을 측면별 만족도 평가문항들 앞에 위치한 질문과 뒤에 위치한 질문사이에 통계적으로 유의한 차이가 있음이 발견되었다.
지금까지의 연구결과들이 보인 연구설계상의 가장 두드러진 특징은 질문지 순서효과에서 앞의 문항이 뒤의 문항에 미치는 효과와 같이 단순한 상관관계의 검증에 그쳤다는 점이다.
이러한 한계를 극복하기 위해선 관련 문항간에 발생할 수 있는 다양한 조건을 가정하여 이들 조건 속에서 나타나는 다양한 관계(경로)를 통계적으로 검증할 필요성이 있다.
이러한 연구는 국내외를 통틀어 거의 시도된 바가 없었기 때문에, 문항간의 다양한 관계를 통계적으로 검증하는 것은 향후 질문지 순서효과에 관한 연구 결과의 일반화를 시도하는 데 기여할 것으로 보인다. 이 연구는 이러한 학문적 기여를 목적으로 수행되었다.
3. 연구방법
1) 연구설계와 가설
본 연구와 관련된 문항은 전부 네가지이다. 정당을 기준으로 한 후보선호율, 후보자 개인을 기준으로 한 후보선호율, 전체적인 후보선호율, 그리고 후보지 지율의 네가지 문항이었다. 여기서 후보지지율이 어디에 위치하는냐에 따라 후보지지율에 차이가 나는지를 검증해 보고자 한다. 즉 정당기준 선호율 인물기준 선호율, 전체적인 선호율, 후보지지율이란 4문항의 배열에 따라 후보지지율이 어떻게 영향을 받는가를 검증하는 것이다(설문내용은 부록 참조).
이를 위해 다음과 같은 가설적인 모형을 설정하였다.
즉 문항의 위치상 후보지지율 문항을 제일 뒤에 놓았을 경우 <그림 1>는 후보지지율 문항이 제일 앞<그림 3>이나 중간<그림 2>에 위치했을 때보다 순서 효과 때문에 더 큰 영향을 받을 것이다. 따라서 다음과 같은 가설이 가능하다.
가설 1 : 순서효과에 관계없이 , 모든 경로계수는 유의한 크기를 가질 것이다.
가설 2 : 순서효과가 있다면, 조건 3의 경로계수 at, b1 , c1은 조건 1, 2의 동일 경로계수보다 적을 것이다.
가설 3 : 순서효과가 있다면, 조건 3의 경로계수 al은 조건 2의 동일 경로 계수보다 적을 것이다.
가설 4 : 순서효과가 있다면, 조건 1, 2, 3 사이에 후보지지도의 차이가 있을 것이다.
가설 5 : 순서효과가 있다면, 정당기준선호도, 인물기준선호도, 전체선호도를 공분산(con-variate)으로 할 때, 후보지지도에서 조건 1, 2 3사이에 유의한 차이가 있을 것이다.
2) 조사설계
조사대상은 부산지역에 거주하는 20세 이상의 성인남녀 1,324명이었다. 조건 1에 802명, 조건 2에 272명, 그리고 조건 3에 250명을 각각 독립적으로 표본추출을 하였다. 표본시점은 우리나라에서는 처음으로 실시되는 광역지방자치단체장 선거가 실시되기 1개월 전이었다. 각 표본의 추출은 전화번호부를 이용한 계통표집(systematic sampling)을 하였으며, 최종응답자 선정은 모집단의 지역(구)별, 성별, 연령별 구성비에 맞추어서 할당추출을 하였다. 조사방법은 구조화된 설문지에 의한 전화면접을 하였으며, 조사시기는 1995년 5월 27일에서 5월 29일 사이에 실시하였다.
지방자치단체장 선거를 1개월 앞둔 시점의 부산지역은 민주자유당의 문정수 후보와 민주당의 노무현 후보간에 상당히 근접한 지지율을 확보하고 있는 것으로 언론은 보도하였다. 법정 선거공고일인 1995년 6월 14일 이전까지 언론에 보도된 여론조사 결과는 초기에는 노무현 후보가 다소 앞섰으나 6월 14 일에 가까워지면서는 양자간에 거의 차이가 없는 것으로 나타났다. 이러한 선거환경은 본 연구를 실시하는 데 가장 이상적이라고 할 수 있다. 왜냐하면 후보지지율에 있어 양자간에 큰 차이가 날 경우 질문지 순서에 관계없이 특정후보자의 지지율이 계속 높게 나와 질문지의 순서효과를 파악하기 힘든 반면, 후보자간의 지지율이 비슷한 경우에는 질문지 순서효과에 따라 지지율이 뒤바뀌는 것을 보다 용이하게 찾아낼 수 있을 것이기 때문이다.
가설 1, 2, 3을 검증하기 위해, <그림 1>에 기초한 경로분석을 하였으며, 가설 4와 5를 검증하기 위해, 가변수(dummy variable)를 이용한 공분산분석을 하였다.
경로분석(path analysis)과 공분산분석(analysis of covariance)을 위해, 관련 내용을 <표 1>과 같이 가변수(dummy variable)화하여 분석하였다.
4. 결 과
1) 집단별 응답자 특성
조사별로 성별, 연령별, 지역별 구성비에서 차이가 없어야 본 연구의 목적을 충족시키기 때문에 이를 검증하였다. 우선 각 조사(집단별)에 따라 성별 구성비가 차이가 있는지를 검증하였으나 거의 차이가 없는 것으로 나타났다(p=082). 또한 연령 구성비도 집단별로 유의미한 차이가 나지 않았으며(p=0.20), 본 연구의 목적에 따라 구분한 행정구역에 따라서도 집단별 차이가 나지 않았다(p=099).
따라서 조사시점이 다른 세 조건집단이 서로 동질적인 집단이라는 가정에 통계적으로 문제가 없는 것으로 보인다.
2) 집단별 후보지지율
각 집단별로 후보지지율에는 통계적으로 유의한 차이가 없었다. 그러나 사실상 집단 1과 집단 2와 집단 3사이에는 거의 유의미할 정도로 후보지지율에 있어 차이를 보였다. 집단 1의 경우, 문정수 후보에 대한 지지율이 상대적으로 낮게 나타났는데 이는 조사 당시 무응답 비율이 높게 나타난 데 기인한 것으로 보이며, 이 집단은 그 이후 조사에서 문정수후보를 지지하여 집단 2와 집단 3의 결과가 나타난 것으로 추정된다.
따라서 집단간에는 다소간의 지지율 차이는 있지만 본 연구의 목적을 위해서는 큰 문제가 되지 않을 정도로 조사별로 후보지지율은 동질성을 계속 유지한 것으로 보인다.
3) 경로분석
앞서 설정한 모형을 기초로 집단별 경로분석을 한 결과, 각 집단별 경로계수는 다음과 같다.
경로분석 결과, 후보지지도에 영향을 주는 경로계수가 집단별로 유의한 차이를 보이지 않았다. 다만, 집단 1의 경로 a1과 b1이 집단 2와 집단 3에 비해 근소하게 낮게 나타났다. 다시 말해 후보지지 문항을 뒤에 놓은 집단(집단 1)의 경우는 중간이나 뒤에 놓은 집단(집단 2, 3)에 비해 인물기준 선호도나 정당기준 선호도가 후보지지도에 미치는 직접적인 영향력이 상대적으로 적은 것으로 나타났다.
이런 현상은 인물기준 선호도나 정당기준 선호도가 뒤에 나오는 것이 오히려 후보지지도에 보다 많은 영향을 줄 수 있음을 시사한다. 그러나 경로 b1의 경우 집단 3과 집단 2와의 차이(0.014)가 집단 2와 집단 1과의 차이(0.127)보다 적다는 점은 이런 가능성을 부인해 준다.
즉 경로 b1의 경우 집단3과 집단2 모두 이미 후보지지도보다 나중에 제시되었기 때문에 순서효과는 차이가 없어야 한다. 따라서 이런 결과는 집단 3의 사례수가 상대적으로 적어서 나타나는 비체계적 특성(오류)에 기인할 가능성을 고려해 볼 수 있다. 이를 보다 정교하게 검증하기 위해 공분산분석을 시도하였다.
4) 공분산분석
후보지지도에 영향을 주는 관련변수의 영향력을 배제했을 때도 집단간에 후보지지도의 차이가 나타나지 않는지를 검증해 보기 위해 공분산분석을 시도해 보았다((표 5, 6) 참조).
분석결과, 후보지지도점수는 집단간에 통계적으로 유의한 차이가 없는 것으로 나타났다. 즉 문항들의 순서를 달리 해도 후보지지점수에 차이가 나타나지 않았다. 이를 보다 확실하게 하기 위해,후보지지점수와 관련된 정당기준 선호도, 인물기준 선호도, 그리고 전체적인 선 호도들을 공분산으로 설정해서 공분산분석을 해 본 결과, 집단간에 유의한 차이를 보이지 않았다. 따라서 본 조사의 결과를 토대로 볼 때, 후보지지도 관련변수들의 배열 순서에 따라 후보지지도가 영향을 받는다는 결론을 내리기가 힘들다.
5. 결론 및 논의
본 연구에서는 설문문항의 제시순서에 따라 후보지지에 관한 문항이 관련문항의 영향을 얼마나 받는지를 검증하는 데 그 목적이 있었다. 자료분석 결과, 후보 지지문항이 관련문항들보다 앞에 제시되거나 뒤에 제시되거나 유의한 차이가 없는 것으로 나타났다. 이상의 결과만을 토대로 볼 때, 적어도 문항의 제시 순서에 따라 후보지지 응답에 차이가 있을 것이라는 결론을 내리기는 힘들다.
비록 이 연구에서는 후보지지도에 대한 응답에 있어서 문항의 제시 순서에 따른 차이가 없는 것으로 결론이 났지만, 아직 단정적으로 후보지지와 같은 선거조사에서 질문지 순서효과가 없다고 단정하기에는 많은 연구가 요구된다. 선거상황과 같은 외적 요인과 후보자의 개인적 특성, 질문 어법에 따른 응답자의 미묘한 감정유발 등에 따라, 지지와 관련된 문항 전후의 응답이 영향을 받을 가능성은 얼마든지 있다. 문항의 제시 순서에 따라 응답의 차이가 거의 없다는 점은 우리나라의 응답자들이 후보지지와 관련하여 응답할 경우, 상당수의 응답자들이 문맥에 따라 좌지우지되기보다는 후보지지에 대해 명백한 생각을 가지고 응답한다는 점을 시사해주는 것 같다. 이러한 연구 결과가 더욱 의미를 지니기 위해선 향후에 있을 국회의원선거, 대통령선거에서도 동일한 조사설계로 검증되어야 할 것이다. 만약 향후의 연구에서도 후보지지에 질문지의 순서효과가 없다는 결론이 도출된다면 이러한 연구결과는 일반화가 가능할 것이다.
본 연구결과와 관련하여 몇가지 제한점이 있다. 우선 각 집단별로 사례수에 차이가 있으며,특히 집단 2와 집단 3의 경우 사례수가 300사례 미만이기 때문에 결론을 일반화시키기에는 미약하다. 둘째로는 질문의 구성에서 엄격한 통제가 되지 못했다는 점이다. 그런 점에서 다른 요인의 혼입효과에 대한 가능성이 존재한다. 하지만 이런 제한점들에도 불구하고 본 연구는 국내에서 드물게 설문조사의 방법론적 문제들을 경험적으로 검증하려고 했다는 점에서 그 의의를 찾을 수 있다.
부록:설문내용
