<김동률의 Deep Read>文대통령 지지율 조사결과 들쭉날쭉… 왜 ?

클릭하시면 더 큰이미지를 보실 수 있습니다 여론조사 기관에 따라 대통령 국정 지지도가 춤을 춘다. 한국갤럽과 리얼미터가 내놓은 10월 3주차 조사 결과는 국정 지지 찬반 여론 흐름이 상반된 방향으로 가는 것을 보여주고 있다.

ARS, 핵심지지층만 적극 응답… 표본 편향·의뢰인 성향도 영향
비용 낮지만 응답자 ‘마음읽기’엔 한계… ‘조국 사태’로 돌아선 중도층 민심 반영 못해
거짓 응답해도 원천적으로 가려낼 방법 없어… 美 CNN, 앞으론 ARS조사 인용보도 금지

클릭하시면 더 큰이미지를 보실 수 있습니다

이른바 ‘조국 사태’ 이후 가장 큰 관심거리는 대통령 국정 지지도다. 지지하는 사람은 올라가기를, 싫어하는 사람은 내려가기를 기대한다. 문제는 조사업체에 따라 지지도가 받아들이기 어려울 만큼 큰 차이를 보인다는 것이다. 심지어 음모론까지 등장하며 말들이 많다. 그러나 이 글을 조금만 찬찬히 읽어보면 그 의문은 생각보다 쉽게 풀린다. 결론부터 말하자면 자동응답 시스템인 ARS 방식은 전화조사원 인터뷰 즉 ‘CATI’에 비해 비용은 낮지만, 표본 편향성이 크고 조사과정의 번거로움으로 특정 정파의 핵심지지층 외에는 적극적인 답변을 얻기 힘들다. 응답자의 ‘마음 읽기’에 근본적 한계를 갖는다는 뜻이다. 의뢰기관인 고객의 성향이 조사에도 영향을 끼칠 가능성이 있다. ‘소금 먹은 개가 강가로 가는’ 법이기 때문이다.

한국갤럽이 지난 18일 발표한 조사에서 문재인 대통령 국정 지지도(긍정평가)가 전주보다 3%포인트 하락한 39%로, 취임 후 처음으로 30%대로 떨어졌다. 지난 15∼17일 유권자 1004명을 대상으로 한 조사는 신뢰 수준 95%에 표본오차는 ±3.1%포인트다. 이른바 콘크리트 층의 붕괴를 알리는 조짐으로 주목받았다. 문제는 불과 며칠 뒤인 21일 발표된 리얼미터 조사에서 긍정평가가 전주보다 3.6%포인트 오른 45.0%로, 오히려 반등한 것으로 집계된 것이다. YTN 의뢰로 지난 14∼18일 유권자 2505명을 대상으로 진행된 조사는 95% 신뢰 수준에 표본오차 ±2.0%포인트다. 지지층에는 반가운 수치지만 반대층에는 충격을 준 수치다.

조사업체에 따라 어느 정도 차이가 있을 수 있겠지만 이처럼 극명하게 달라진 결과는 이례적이다. 이제부터 차근차근 원인을 분석해 보자. 우선 가장 큰 원인은 조사방식에 있다. 방법이 다르면 결과도 달라진다. CATI와 ARS의 차이 탓이다. 어제오늘 일이 아니지만, 그동안 언론이나 정치권에서 자신들이 바라던 결과를 선택적으로 인용한 탓에 두드러지지 않았을 뿐이다. 따라서 조사 결과에 흥분하기보다는 방법의 근본적인 차이에 주목해야 한다. 한국갤럽은 면접조사원이 전화를 걸어 직접 묻고 응답하는 CATI 방식으로 진행하고 있고, 리얼미터는 ARS 방식이다. 이처럼 다른 방식을 사용하는 가장 큰 이유는 조사 경비에 있다. ARS가 CATI에 비해 훨씬 비용이 적게 든다.

리얼미터 측은 이번 조사결과에 대해 “조국 전 법무부 장관 사퇴로 인해 바뀐 국정 수행에 대한 평가를 무기명투표 방식의 ARS에서는 비교적 솔직하게 표현하지만, 기명투표 방식의 CATI에서는 제대로 표현하지 않았을 가능성이 있다”고 주장한다. 그러나 리얼미터의 주장은 상당히 자기방어적이다. ARS 방식이 CATI 에 비해 응답자의 마음을 읽어내기에는 오히려 더 큰 한계가 존재한다. 조사방법 특성상 표본의 편향성이 크기 때문이다.

왜 그럴까. 우선 ARS 조사는 기계음을 듣고 번호를 누르는 방식으로 진행된다. 스팸이나 텔레마케팅으로 오인하는 경우가 많고 응답 과정이 번거로워 응답률이 CATI 조사에 비해 눈에 띄게 낮다. 기계음이 나오더라도 인내심을 갖고 참는 사람은 누구이겠는가. 당연히 정치에 관심이 있고 자기 생각을 주장하고 싶은 적극적인 사람이다. 현재 지지하는 정당이 없는 사람보다는 특정 정당을 지지하는 사람들이다. 보통의 사람들은 대개 기계로 걸려온 전화는 끊게 된다. 사람이 육성으로 부탁하는 게 아니어서 거부하는 데 큰 부담이 없다. 따라서 중도층보다는 보수·진보 양 진영의 콘크리트 지지층이 주로 ARS 조사에 참여하게 된다. 이미 검증된 사실이다. 리얼미터는 조국 사태를 거치며 돌아선 중도층 여론을 제대로 반영하지 못해 국정 지지도 상승이라는 결과를 내놓았지만, 한국갤럽은 이 민심을 충분히 반영해 지지도 하락이라는 결과를 내놓았다는 해석이 가능하다.

구체적인 수치를 들어 이 같은 주장을 살펴보면 이해가 더 쉽다. ARS 조사 결과에서 당혹스러울 정도로 현실과 괴리가 있어 보이는 부분은 호남 지역의 자유한국당 지지도를 예로 들 수 있겠다. 호남 지역 한국당 지지도를 보면 10월 2주 한국갤럽 5%-리얼미터 16.6%, 10월 3주 한국갤럽 6%-리얼미터 13.6%로 나타났다. 문제는 역대 선거에서 호남 지역의 보수 정당 득표율은 10%를 넘은 적이 없다는 것이다. 그럼에도 불구하고 예를 든 수치에서 보다시피 리얼미터를 비롯한 ARS 조사들의 호남 지역 한국당 지지도는 10% 중후반에 이르는 경우가 잦다. 상당히 유의미한 증거가 된다.

ARS 조사가 갖는 한계는 또 있다. CATI 방식과는 달리 조사과정의 모니터링이 원천적으로 불가능하다. 설사 거짓으로 응답하더라도 확인할 방법이 없다. 남성이 여성으로 답하거나 60대가 20대라고 해도 가려낼 수단이 없다. 응답자가 번호를 잘못 눌렀을 때 역시 수정할 수 없다. ARS 조사 방식이 지니는 근본적인 한계가 이번과 같은 조사 결과를 낳게 된 것이다. 더 큰 문제는 ARS 조사의 결과를 두고 일반화하는 데 있다. 따라서 ARS 조사 결과에 대해 언론이 무분별하게 인용하는 것은 지양해야 한다는 주장이 커지고 있다. 이 대목에서 CNN이 2020년 대선부터 ARS 여론조사(Robocall) 결과를 아예 인용 보도하지 않기로 결정한 것은 의미심장하다.

이 같은 태생적인 한계에도 불구하고 여전히 ARS 조사방식이 곧잘 쓰이고 또 언론기관이 의뢰하는 이유는 무엇일까. 앞서 지적했지만 역시 비용 문제다. 이 밖에 조사 시차, 조사 방법, 표본 추출 등의 차이로 인해 다른 결과가 나올 수도 있다. 질문지도 영향을 미친다. 조사 업체에 대해서는 미안한 얘기지만 정교한 조작이 가능하다. 어떻게 묻느냐에 따라 큰 차이가 있다. “What you get is what you ask”란 말이 있을 만큼 질문지의 영향을 받는다. 예를 들어 “KBS 수신료는 지난 30년간 단 한 번도 인상되지 않았습니다. 수신료 인상에 대해 어떻게 생각하십니까.” 질문이 이쯤 되면 누구라도 기대하는 답이 무엇인지 알게 된다. 목적이 숨어 있는 이른바 ‘유도성(leading)’ 질문이다. “아직도 담배를 피우십니까”와 같은 질문도 문제가 된다. 이런 유의 질문은 일종의 심리적인 위협을 가함으로써 의도된 답변을 유도하고 있다. 일종의 ‘이중구속(double-bind)’ 질문으로, 여론조사에서는 절대 피해야 한다.

고객인 조사 의뢰기관의 기대치도 무시할 수 없다. 의뢰기관의 정치·사회적인 성향에 따라 조사 결과가 영향을 받을 수 있다. 그런 점에서 한국갤럽의 정기조사는 눈여겨 볼만하다. 클라이언트 없이 매주 적지 않은 돈을 써가며 자체적으로 진행해 발표하고 있기 때문이다. 의뢰기관이 뒤에 버티고 있는 조사에 비해 상대적으로 객관적인 결과가 나올 수밖에 없지 않을까 짐작된다. 그럼에도 불구하고 ARS든 CATI든 조사 결과에 지나치게 민감할 필요는 없다. 지금처럼 가변성이 큰 경우가 문제지만 “민심은 천심”이라는 옛말처럼 언젠가는 같은 결과가 나오기 때문이다. 여론조사는 조사 그 순간의 추세를 보는 것이다.

서강대 MOT 대학원 교수


■ 세줄 요약

리얼미터와 한국갤럽 조사 왜 다른가 : 자동응답시스템(ARS)이냐, 전화조사원 인터뷰냐에 따라 표본의 편향성이 생김. 클라이언트, 즉 조사 의뢰기관의 정치·사회적인 성향도 조사 결과에 영향 미칠 수 있어.

ARS 조사의 근본적 한계 : 응답 과정의 번거로움으로 응답률이 낮고, 정치적 견해 표출에 적극적이지 않은 중도층 여론 제대로 반영 못 해. 조사과정의 모니터링도 원천적으로 불가능. 미 CNN, ARS 조사 결과 인용 보도하지 않기로.

정교한 조작과 ‘이중구속’ 질문 : 어떻게 묻느냐에 따라 정교한 조작이 가능하며 이것이 결과의 차이를 발생시켜. 응답자에게 심리적인 위협을 가함으로써 의도된 답변을 유도하는 이중구속 질문도 문제로.


■ 용어 설명

CATI : CATI는 ‘Computer Aided Telephone Interview’의 약어로 컴퓨터를 활용한 조사원 전화 인터뷰를 뜻한다. 여론조사에 활용되며 컴퓨터의 도움으로 표본추출을 정교하게 할 수 있다.

ARS 여론조사(Robocall) : Robocall은 컴퓨터에서 무작위로 전화를 걸어 미리 녹음된 음성 내용을 내보내는 전화. 여론조사에서 자동응답시스템, 즉 ARS와 같은 의미로 쓰인다. 미 CNN은 2020년부터 이 방식에 의한 여론조사를 인용 보도하지 않기로 했다.