여론조사의 오류가 우리나라에서만 발생하는 것은 아니다. 지난해 영국 총선을 앞두고 여론조사는 대부분 노동당과 보수당이 비슷한 의석을 차지할 것으로 예측했지만, 결과는 보수당 압승이었다. 이스라엘 선거에서도 여론조사는 네타냐후 총리와 반대파가 경합을 벌일 것으로 예측했지만 결과는 네타냐후 총리의 압승. 한마디로 여론조사의 위기는 전 세계적 현상이다. 여론조사 전문기관의 대명사 격인 갤럽 역시 2012년 미국 대통령선거(대선) 결과를 잘못 예측한 적이 있다.
패널조사는 만능이 아니다
여론조사가 부실하다는 여론이 비등하자, 아예 20대 국회에서는 공직선거법을 개정해 신뢰도가 낮은 여론조사는 공표를 금지하겠다는 방안이 떠올랐다. 그렇지만 우리는 과연 어떤 여론조사가 부정확한 결과를 생산하는지 알고는 있는 것일까. 하나하나 따져보자.먼저 응답률. 현재 우리나라 여론조사 응답률은 10%에도 미치지 못하는 경우가 많다. 신우용 중앙선거관리위원회 법제과장은 “미국은 여론조사협회에서 응답률이 30%를 넘지 않으면 자율적으로 발표하지 못하도록 하고 있다”고 말했다. 더민주당 우상호 원내대표는 2012년 여론조사 응답률이 10% 미만인 결과는 공표하지 못하게 하는 법안을 발의한 바 있다. 낮은 응답률이 부정확한 조사의 원인이라는 진단이다.
하지만 미국에서 가장 신뢰받는 조사기관 가운데 하나인 퓨리서치(Pew Research)의 응답률은 평균 9%에 불과하다. 전화조사 평균 응답률이 30%를 넘은 것은 20년 전 일이다. 전 세계적으로 전화 여론조사 응답률이 30% 선을 유지하는 조사기관은 한 곳도 없다 해도 과언이 아니다.
실제로 수년 전 퓨리서치는 평소대로 응답률이 9%에 불과한 여론조사와 비용을 훨씬 많이 써 응답률이 22%를 기록한 여론조사를 비교한 바 있다. 결과는 유의미한 차이가 없다는 것. 심지어 한 연구에 따르면 설문지를 줄이고 응답자에게 금전적 보상을 제공하는 등 다양한 방법으로 응답률을 90%까지 높인 후의 여론조사 결과와 응답률이 30% 이하였던 여론조사 결과 사이에도 차이가 없는 것으로 나타났다. 조사 방법론에 관한 연구는 대부분 응답률이 낮은 조사와 높은 조사 사이에 큰 결과 차이가 없다고 결론 내리고 있다. 한국만 예외가 될 만한 특별한 이유가 있는 것일까.
응답률 30%인 여론조사가 응답률 10%인 여론조사보다 반드시 좋은 것은 아니다. 응답률이 아무리 낮아도 무응답이 무작위로 이뤄지기만 한다면 결과는 정확히 나온다. 응답률이 여론조사의 오류와 밀접한 관계가 있다는 증거 없이 법률로 높은 응답률을 강제하는 것은, 비유하자면 제품 품질 개선 없이 가격만 올리는 일과 흡사하다.
다음으로 응답자의 연령별 비율 문제. 예컨대 20, 30대 응답자의 할당치를 채우지 못하는 게 오류의 원인일까. 대부분의 언론이 이 부분을 핵심 문제점으로 지적하지만, 이 역시 증거가 없기는 마찬가지다. 조사 방법별로 결과를 비교한 국내 한 연구에 따르면 분명 집 유선전화 조사에서는 60대 이상 높은 연령층이, 반대로 휴대전화 조사에서는 20, 30대 젊은 층이 과대 대표됐다. 하지만 두 조사 결과에 지역, 성, 연령에 따른 인구수 가중치를 줘 계산하면 최종 결과에는 아무런 차이가 없었다.
가중치는 지역, 성, 연령별 모집단 수라는 사전정보를 이용해 이 세 가지 변수에 따른 편향을 제거하는 방법이다. 조사 방법에 따라 성·연령별로 응답률이 다를 수 있다. 그러나 인구수 가중치를 주면 20, 30대 응답자 할당치를 채우지 못해 생기는 오류는 교정된다. 표본수가 작아도 주어진 표본 내에서 20, 30대 여론만 정확히 측정하면 된다. 비록 지난 수년간 20, 30대 표본에 적용하는 가중치가 커진 것은 맞지만, 이렇게 해서 바뀐 것은 지지율 추정치 자체가 아니라 지지율 추정치의 오차범위다. 이는 조사 방법론과 통계학의 상식에 해당한다. 젊은 층 할당치를 채우지 못했다는 것 역시 부정확한 여론조사의 원인은 아니라는 뜻이다.
일각에서는 패널을 구축해 이들을 추적 조사하면 오류를 줄일 수 있다고 말한다. 하지만 지난해 이스라엘 선거의 오류는 패널 자료에 의존한 결과였다. 패널 자료는 통계적으로 ‘패널 조건화의 오류(Panel Conditioning Error)’를 보인다. 정치 여론조사에 자주 응답한 사람은 현안에 대한 관심과 지식이 늘어나 중도로 이념적 쏠림 현상을 보이곤 한다. 따라서 선거가 박빙일 때는 결과를 정확히 예측하게 해주지만, 한쪽이 압도적 승리를 거둘 때는 오류를 낳을 공산이 크다.
원인도 모르고 대책 세워서야
그렇다면 여론조사가 오류를 보이는 원인은 무엇일까. 사실 필자도 정확한 답을 알지 못한다. 연구를 거듭해도 모두가 동의하는 명확한 원인을 밝히기는 어려울 것이다. 하지만 전화 여론조사와 출구조사, 정당에서 안심번호를 이용해 실시한 조사의 결과를 모아 교차 분석하면 오류 원인을 몇 가지로 좁힐 수 있다.무엇보다 전화 여론조사와 출구조사의 격차가 특정 연령층에 한정되는지, 아니면 전체 연령층에서 관찰되는지 확인해야 한다. 현 전화 여론조사는 성·연령별 대표성만 확보되면 집 전화 응답자와 비응답자의 정치적 성향에 차이가 없다고 가정한다. 하지만 집 전화 응답자가 비응답자보다 연령과 무관하게 더 보수적인 성향을 띨 가능성을 배제할 수 없다.
집 전화 응답자는 상대적으로 대외활동이 뜸하고, 종합편성채널을 통해 정치 정보를 접할 개연성이 높다고 추측할 수 있다. 집 전화 여론조사는 이 계층을 과대 대표하므로 보수 편향을 낳을 수 있다는 의미다. 이 경우 집 전화조사 응답률을 높이거나 젊은 층 할당치를 채운다고 오류가 시정되지는 않는다. 휴대전화 안심번호를 공유함으로써 여론조사가 유권자 모집단을 대표하도록 표본 프레임을 확보하는 것만이 유일한 해결책이다.
성·연령별로 투표 의사를 밝힌 층과 실제 성·연령별 투표율에 차이가 있는지도 확인할 필요가 있다. 야당 지지자가 더 적극적으로 투표하고 여당 지지자가 투표를 포기한다면 여론조사에서 여당 후보 지지율이 높아도 선거 결과는 다를 수 있다. 이 경우 여론조사 전문기관의 자체 가중치 개발을 금지하는 현 규정은 오히려 정확한 여론조사를 방해한다. 보수정부가 조성한 공안 분위기가 유권자의 솔직한 응답을 막는 선망편향을 낳은 건 아닌지도 살펴야 한다.
여론조사를 개선하기 위해 가장 먼저 해야 할 일은 오류 원인을 찾는 체계적인 연구다. 원인도 모르면서 대책을 세울 수는 없지 않은가. 이는 공청회를 반복한다고 해결될 문제가 아니다. 구체적인 분석 없는 공청회는 똑같은 졸속 진단을 반복할 뿐이다. 중앙선거여론조사공정심의위원회와 여론조사 전문기관들이 비용을 대고 자료를 모아 구체적인 진단을 마련해야 한다. 비용 지불 없이 세울 수 있는 대책은 없다.
