인터넷 포털사이트 검색란에 ‘여론조사’라고 입력하면 연관 검색어로 뜨는 단어 1위는 ‘20대 총선’이고 2위는 ‘리얼미터’, 3위는 ‘중앙선거여론조사공정심의위원회’, 4위가 바로 ‘문제점’이다(4월 21일 기준).
여론조사에 ‘문제점’이 있다고 보는 누리꾼이 그만큼 많다는 얘기일 텐데, 특히 이번 20대 총선 여론조사는 ‘비참하고 끔찍한 일’이라는 뜻의 참사(慘事)로 표현되기도 한다. 영어로는 ‘disaster’. 여론조사기관이나 그것을 인용 보도한 언론사 모두에게 ‘비참하고 끔찍한 일’이 아닐 수 없었던 이유는 공표 금지 기간 전 발표한 전화 여론조사 내용과 총선 결과가 달라도 너무 달랐기 때문이다.
국내 여론조사 참사의 기원은 2010년 전국동시지방선거(지방선거)였다.
2010년 6·2 지방선거 서울시장 선거에서 당시 오세훈 후보와 한명숙 후보가 20%p 안팎의 격차를 보인 여론조사와 다르게 개표 결과는 오 후보가 0.6%p 격차로 신승하면서 여론조사 무용론이 제기되기 시작했다.
참사 원인은 유권자의 절반에 가까운 ‘전화번호부 비등재 가구’를 여론조사에 포함하지 않아서 발생한 포함오차(coverage error)다. 그 후부터 여론조사업계가 RDD (Random Digit Dialing) 방식, 즉 전화번호를 무작위 생성해 조사하는 방식으로 조사하면서 여론조사는 다시 신뢰를 얻기 시작했으나 1차 여론조사 참사 이후 6년 만인 2016년 총선에서 2차 여론조사 참사가 일어난 것이다.
이번 역시 ‘문제점’의 원인은 포함오차였다. 즉 휴대전화 이용자를 여론조사에 포함하지 못하는 것이 문제였다. 전국 조사에서는 RDD 방식으로 번호를 생성해 휴대전화 여론조사를 하고 있지만, 지역구 조사에서는 그럴 수 없는 법적 제도 때문이다.
휴대전화번호 체계의 경우 유선전화 국번과 달리 지역 정보가 담기지 않기 때문에 이동통신사의 협조가 필수적이나, 안심번호 형태의 휴대전화번호 제공이 정당 경선과 정당 정책 조사에서만 의무화돼 있다. 이 때문에 패널 형태 조사가 아니라면 대체로 유선전화로만 여론조사를 시행할 수밖에 없는 것이다.
통상적으로 휴대전화 포함 여부에 따라 야당 지지층의 반영 비율이 달라진다. 가령 휴대전화 데이터베이스를 많이 반영할수록 숨은 야당 표심을 잘 반영해 야당 후보의 지지율이 높게 나타난다. 그렇다고 휴대전화를 100% 반영하는 것도 역으로 휴대전화 없이 유선전화만 사용하는 유권자들을 포함하지 않는 포함오차를 유발하기 때문에 주의가 필요하다.
이번 선거를 통해 언론사 여론조사에도 이동통신사의 휴대전화 안심번호 제공을 허용하는 법적 보완이 필요하다는 의견이 나온다. 중앙선거관리위원회가 당장 언론에 보도된 문제점 등을 종합해 조만간 공직선거법 개정의견 논의에 착수할 계획이라고 밝힌 만큼 2년 후 지방선거에서는 이 문제가 해결될 것으로 기대된다.
다음으로 지적하고 싶은 것은 여론조사기관의 통계 보정 과정이다. 지금까지 일반 유선전화 여론조사는 물론, 방송사 출구조사에서조차 광범위한 여당 과대표집 현상 때문에 단 한 번도 원내 1당과 여야 의석 범위를 동시에 맞춘 적이 없다. 이 때문에 리얼미터를 비롯한 일부 여론조사기관은 기존 성·연령·지역별 인구통계 가중 외에 ‘선거통계’의 추가 보정을 도입하기 시작했다.
기존 성·연령·지역별 인구센서스 변인만 통계 보정하는 것이 아니라, 중앙선거관리위원회가 공식 집계한 직전 선거 결과를 추가로 보정하는 방식이 그것인데, 2014년 지방선거 때는 허용되던 것이 돌연 20대 총선 막바지에 중앙선거관리위원회에 의해 금지됐다. 중앙선거관리위원회가 집계한 공식 데이터를 중앙선거관리위원회가 통계 보정에 사용하지 말라고 하는 행정처분을 내린 것이다.
법적으로는 선거여론조사기준 제14조에 허용된 방식이지만, 여론조사기관들에 자세한 설명 없이 돌연 적용하지 못하게 했고, 적용한 여론조사기관들에게는 과태료 수천만 원을 부과해 사실상 선거 통계를 여론조사 보정 과정에 적용할 수 없게 됐다.
한국 정치선거 여론조사에서 정치성향별 표집 현황은 지역에 따라 편차가 있지만 여권성향의 과대표집, 야권성향의 과소표집으로 요약할 수 있다. 좀 더 구체적으로는 수도권에서 특히 여권성향이 과대표집되는 반면, 야권성향은 과소표집되고 있으며, 호남권에서는 이와 반대 현상이 나타나고 있다.
그 밖에 공표 금지 기간을 줄이거나 없애야 한다. 선거 직전 엿새 동안 하루가 다르게 여론이 변하는 데다, 해외에서는 대부분 공표 금지 기간이 없거나 선거 1~2일 전으로 제한하는데, 우리는 그 기간이 엿새로 길어도 너무 길다.
실제 급변하는 여론지형으로 볼 때 휴대전화번호를 포함하지 못한 여론조사가 상당 부분 잘못 수행됐다고 할 수도 있지만, 일부 지역은 전략적 투표, 교차투표에 의해 여론이 실제 엿새 사이 크게 변했을 수도 있는 것이다.
필자가 페이스북을 통해 여론조사업계를 대신해 공개사과를 했지만, 손발을 묶어놓고 여론조사기관만 탓할 수는 없는 노릇이다. 이제 법제도 개선을 통해 손톱 밑 가시를 빼줘야 한다. 그래야 제3의 참사를 막을 수 있다.
여론조사에 ‘문제점’이 있다고 보는 누리꾼이 그만큼 많다는 얘기일 텐데, 특히 이번 20대 총선 여론조사는 ‘비참하고 끔찍한 일’이라는 뜻의 참사(慘事)로 표현되기도 한다. 영어로는 ‘disaster’. 여론조사기관이나 그것을 인용 보도한 언론사 모두에게 ‘비참하고 끔찍한 일’이 아닐 수 없었던 이유는 공표 금지 기간 전 발표한 전화 여론조사 내용과 총선 결과가 달라도 너무 달랐기 때문이다.
국내 여론조사 참사의 기원은 2010년 전국동시지방선거(지방선거)였다.
참사 원인은 유권자의 절반에 가까운 ‘전화번호부 비등재 가구’를 여론조사에 포함하지 않아서 발생한 포함오차(coverage error)다. 그 후부터 여론조사업계가 RDD (Random Digit Dialing) 방식, 즉 전화번호를 무작위 생성해 조사하는 방식으로 조사하면서 여론조사는 다시 신뢰를 얻기 시작했으나 1차 여론조사 참사 이후 6년 만인 2016년 총선에서 2차 여론조사 참사가 일어난 것이다.
2차 여론조사 참사
휴대전화번호 체계의 경우 유선전화 국번과 달리 지역 정보가 담기지 않기 때문에 이동통신사의 협조가 필수적이나, 안심번호 형태의 휴대전화번호 제공이 정당 경선과 정당 정책 조사에서만 의무화돼 있다. 이 때문에 패널 형태 조사가 아니라면 대체로 유선전화로만 여론조사를 시행할 수밖에 없는 것이다.
통상적으로 휴대전화 포함 여부에 따라 야당 지지층의 반영 비율이 달라진다. 가령 휴대전화 데이터베이스를 많이 반영할수록 숨은 야당 표심을 잘 반영해 야당 후보의 지지율이 높게 나타난다. 그렇다고 휴대전화를 100% 반영하는 것도 역으로 휴대전화 없이 유선전화만 사용하는 유권자들을 포함하지 않는 포함오차를 유발하기 때문에 주의가 필요하다.
이번 선거를 통해 언론사 여론조사에도 이동통신사의 휴대전화 안심번호 제공을 허용하는 법적 보완이 필요하다는 의견이 나온다. 중앙선거관리위원회가 당장 언론에 보도된 문제점 등을 종합해 조만간 공직선거법 개정의견 논의에 착수할 계획이라고 밝힌 만큼 2년 후 지방선거에서는 이 문제가 해결될 것으로 기대된다.
다음으로 지적하고 싶은 것은 여론조사기관의 통계 보정 과정이다. 지금까지 일반 유선전화 여론조사는 물론, 방송사 출구조사에서조차 광범위한 여당 과대표집 현상 때문에 단 한 번도 원내 1당과 여야 의석 범위를 동시에 맞춘 적이 없다. 이 때문에 리얼미터를 비롯한 일부 여론조사기관은 기존 성·연령·지역별 인구통계 가중 외에 ‘선거통계’의 추가 보정을 도입하기 시작했다.
기존 성·연령·지역별 인구센서스 변인만 통계 보정하는 것이 아니라, 중앙선거관리위원회가 공식 집계한 직전 선거 결과를 추가로 보정하는 방식이 그것인데, 2014년 지방선거 때는 허용되던 것이 돌연 20대 총선 막바지에 중앙선거관리위원회에 의해 금지됐다. 중앙선거관리위원회가 집계한 공식 데이터를 중앙선거관리위원회가 통계 보정에 사용하지 말라고 하는 행정처분을 내린 것이다.
법적으로는 선거여론조사기준 제14조에 허용된 방식이지만, 여론조사기관들에 자세한 설명 없이 돌연 적용하지 못하게 했고, 적용한 여론조사기관들에게는 과태료 수천만 원을 부과해 사실상 선거 통계를 여론조사 보정 과정에 적용할 수 없게 됐다.
한국 정치선거 여론조사에서 정치성향별 표집 현황은 지역에 따라 편차가 있지만 여권성향의 과대표집, 야권성향의 과소표집으로 요약할 수 있다. 좀 더 구체적으로는 수도권에서 특히 여권성향이 과대표집되는 반면, 야권성향은 과소표집되고 있으며, 호남권에서는 이와 반대 현상이 나타나고 있다.
여권성향 과대표집, 야권성향 과소표집
이는 휴대전화번호를 사용할 수 있는 전국 조사와 유선전화만 사용하는 지역구 조사를 비교하면 명확히 눈에 띄는 현상으로, 기존 성·연령·지역별 인구통계 가중만으로는 표본의 대표성 확보를 위한 통계 보정에 심각한 결함이 생긴다는 점이 이번 선거에서 입증된 것이다. 따라서 ‘선거통계’를 활용한 추가 통계 보정을 허용하는 선거여론조사기준 제14조 2, 3항에 의거해 정치성향별 과대 또는 과소표집의 문제는 무조건 보정돼야 한다.그 밖에 공표 금지 기간을 줄이거나 없애야 한다. 선거 직전 엿새 동안 하루가 다르게 여론이 변하는 데다, 해외에서는 대부분 공표 금지 기간이 없거나 선거 1~2일 전으로 제한하는데, 우리는 그 기간이 엿새로 길어도 너무 길다.
실제 급변하는 여론지형으로 볼 때 휴대전화번호를 포함하지 못한 여론조사가 상당 부분 잘못 수행됐다고 할 수도 있지만, 일부 지역은 전략적 투표, 교차투표에 의해 여론이 실제 엿새 사이 크게 변했을 수도 있는 것이다.
필자가 페이스북을 통해 여론조사업계를 대신해 공개사과를 했지만, 손발을 묶어놓고 여론조사기관만 탓할 수는 없는 노릇이다. 이제 법제도 개선을 통해 손톱 밑 가시를 빼줘야 한다. 그래야 제3의 참사를 막을 수 있다.
