잘못된 여론조사는 잘못된 전략을 만든다. 유권자가 어떤 후보와 정책을 지지하고, 어떤 정치적 의견을 갖고 있는지 정확히 알아야 제대로 된 전략을 내놓을 수 있다. 그러려면 여론조사 결과 뒤에 숨어 있는 ‘배경’을 제대로 알아야 한다. 일반인이 놓치기 쉬운 여론조사의 함정 네 가지를 소개한다.
# 과잉 대표 문제
여론을 정확히 조사하려면 여론(모집단)을 대표하는 ‘표본(sample)’이 대표성을 가져야 한다. 선거 조사에선 표본 추출을 할 때 해당 지역의 성별, 연령, 지역 구성비를 맞춘다. 표본이 특정 연령과 지역에 과잉되면 당연히 결과도 왜곡된다. 예컨대 서울 남녀 비율이 51대 49라면 표본도 무작위 추출에 의해 51대 49에 맞춰야 한다. 만약 남녀 비율을 60대 40으로 했다면, 남성 지지가 높은 서울시장 후보에게 유리한 결과가 나오게 된다.
1월 6일자 S신문에서 발표한 부산시장 관련 조사를 보자. 여야 후보를 모두 넣어 조사한 차기 부산시장 후보 지지도 조사에서 ‘가’ 후보 20.5%, ‘나’ 후보 17.3%, ‘다’ 후보 12.4%(오차범위 ±4.29%p)로 조사됐다. 그런데 같은 날 B신문에서는 ‘나’ 후보 13.5%, ‘다’ 후보 11.7%, ‘가’ 후보 10.0%(오차범위 ±3.1%p)로 나왔다.
표본 크기가 다른 조사라 똑같이 비교할 수는 없다. 문제는 S신문의 조사 방법이다. S신문의 경우 부산시민 523명을 상대로 ‘자동응답 시스템에 의한 임의걸기(ACS RDD)’ 방식으로 조사하면서 표본 추출에서 가장 중요한 ‘지역인구 비례 할당’을 하지 않았다. 응답자 523명을 부산 각 지역 인구 구성비에 관계없이 명 수만 맞춘 것이다. 이런 조사의 경우 특정 지역 응답자가 과잉됐을 공산이 크다.
예를 들어 ‘가’ 후보가 서울 종로가 지역구인 국회의원이라면, 종로구민 응답자는 ‘가’ 후보를 지지할 개연성이 높다. 더구나 ‘가’ 후보의 경우 비슷한 시기 여러 조사에서 공통적으로 ‘다’ 후보보다 지지율이 높지 않았다. 지역인구 비례를 제대로 지키지 않은 여론조사는 조사로서의 의미가 없는 것이다.
과잉 대표 문제는 20~30대 조사결과에서도 나타난다. 일반적으로 20~30대는 낮에 집에 머무는 경우가 거의 없어 20~30대 표본 수가 늘 모자란다. 물론 요즘은 휴대전화 조사를 통해 20~30대 과잉 대표 오류가 많이 줄어들긴 했지만, 이 경우 대부분 전국 조사에만 적용된다. 휴대전화 조사는 특정 국번을 두고 전화번호 뒷자리를 조합하는 ‘임의걸기(RDD)’ 방식을 사용하기 때문에 지역번호가 존재하지 않는 휴대전화번호 특성상 지역 조사에서는 효율성이 떨어지게 마련이다. 그래서 20~30대는 통상적으로 20~30대 인구 분포에 맞게 가중치를 적용해 비례를 맞추게 된다. 적당한 샘플 수가 있는 상황에서 가중치는 효율적인 결과를 만들지만, 샘플 수가 너무 적은 경우엔 현실과 전혀 다른 결과를 낼 수 있다.
표본 크기도 따져봐야 한다. 대체적으로 표본이 커지면 당연히 신뢰도도 높아진다. 문제는 일반 시민이 표본 크기와 신뢰구간에 대해 잘 알지 못할뿐더러, 이를 잘 보지 않는다는 점이다. B리서치는 지난해 12월 3일 안철수 신당 관련 조사를 했다. 새누리당 40%, 안철수 신당 26.9%, 민주당 13.8%의 전국 정당지지율을 발표하면서 호남의 경우 안철수 신당 50.4%, 새누리당 26%, 민주당 17%라는 다소 ‘놀라운’ 결과를 함께 발표했다.
이 조사가 있기 이틀 전 한국갤럽은 안철수 신당 35%, 민주당 28%라고 발표해 B리서치 조사 결과와 큰 차이를 보였다. 문제는 B리서치 조사의 표본 크기였다. 전국 1000명을 대상으로 조사했는데, 이 중 호남(광주, 전남북) 표본 수가 103명이었다. 표본 100샘플의 여론조사 신뢰도는 95% 신뢰구간에서 표본오차는 ±9.8%p. 약 20% 오차가 생길 수 있다는 얘기다. 이런 조사 결과는 의미가 없다.
# 특정 후보 누락
2012년 12월 18일 18대 대통령선거를 하루 앞두고 박근혜 새누리당 후보가 마지막으로 한 표를 호소하고 있다.
역시 부산시장 선거 관련 조사를 보자. ‘라’ 후보는 자체 여론조사를 통해 자신이 17.8%로 17.1%를 얻은 ‘가’ 후보를 제치고 당내 후보 1위로 올라섰다고 발표했고, 이 조사는 부산의 한 언론에 게재됐다. 하지만 이 조사는 지지 기반이 비슷하고 여러 조사에서 1, 2위를 다투는, 지지율이 상대적으로 높은 ‘다’ 후보를 빼고 한 조사였다. 비슷한 시기 각 언론사와 후보 자체 조사에서 ‘다’ 후보까지 넣었더니 ‘라’ 후보는 4~6% 수준으로 현격히 떨어졌다. ‘라’ 후보 자체 조사 응답률이 조금 높았던 점을 감안해도, 다른 조사에 비해 배 이상 많이 나온 것은 특정 후보를 뺀 효과를 톡톡히 봤다고 볼 수밖에 없다.
일반적으로 특정 후보 누락은 후보 지지율 왜곡뿐 아니라 조사를 통한 인지도 상승 효과, 선거 구도 왜곡 효과, 특정 후보 불출마설을 유포하는 효과를 노리는 경우다. 후보가 결정되지 않은 시점에서 특정 후보를 뺀 조사 결과를 언론에 보도하는 것은 여론을 왜곡하기에 충분하다.
# 조사 문항의 문제
일반적으로 특정 후보 이름을 맨 앞에 배치하면 3~5%가 더 많이 나온다. 필자 경험도 그렇다. 지금 같은 선거 초기에는 후보의 인지도가 부족하고 지지율도 낮아 3~5%는 큰 의미가 있는 수치다. 지난해 12월 필자가 의뢰한 한 조사에서 똑같은 질문을 ‘가나다’순과 역순으로 각각 500샘플을 조사한 적이 있다. 가나다순이었을 때는 ‘가’ 후보 16.1%, 나’ 후보 8.2%, ‘다’ 후보 11.2%, ‘라’ 후보 7.1%였던 것이 역순으로 돌려보자 ‘라’ 후보 7.1%, ‘다’ 후보 3.7%, ‘나’ 후보 11.8%, ‘가’ 후보 11.2%로 차이를 보였다. 물론 오차범위가 ±4.5%p이기 때문에 큰 의미가 없다고 볼 수 있지만, 일대일 맞대결 조사에서도 이런 경향은 그대로 나타난다. 가나다순으로 조사했을 때 ‘가’ 후보 36%, ‘나’ 후보 19.2%였던 것이 역순으로 하자 ‘나’ 후보 28.4%, ‘가’ 후보 23.4%로 오히려 역전됐다. 특히 상대적으로 인지도가 높은 후보 이름을 맨 앞에 배치하면 더 유리한 결과를 낳는다.
이런 결과는 질문 순서에서도 나타난다. 예컨대 특정 후보와 연관된 부정적인 내용의 문항을 질문한 뒤 후보 지지도를 물으면 그 특정 후보의 지지도에 영향을 미치게 마련. 따라서 조사 결과를 볼 때는 후보 지지도뿐 아니라 전체 조사 문항과 결과도 함께 봐야 한다.
# 프로필 왜곡
2012년 12월 18일 18대 대통령선거를 하루 앞두고 문재인 민주통합당 후보가 서울역 광장에서 가진 집중유세에서 투표 참여와 지지를 호소하고 있다.
예컨대 조사를 의뢰한 당사자는 가장 돋보이는 프로필을 이름 앞에 넣고, 경쟁자는 상대적으로 약한 프로필을 넣는다. 선거 초반 유권자는 광역권이 아니라면 언론에 보도되지 않은 후보 이름을 잘 모른다. 그렇기 때문에 후보가 어떠한 사람인지를 나타내는 프로필은 유권자가 후보를 판단하는 주요 기준이 된다. 더구나 지금같이 유권자가 선거에 무관심한 초기의 경우 프로필은 지지도에 큰 영향을 미친다.
언론사 자체 조사에서는 주로 후보의 대표 경력을 넣거나 프로필 수를 제한하기 때문에 이런 왜곡 현상이 많이 나타나지 않지만, 후보 진영의 자체 조사라면 충분히 의심해볼 만한 왜곡 요소다.
이렇듯 여론조사 왜곡의 문제는 주로 후보 쪽에 있지만, 이런 왜곡된 조사를 걸러내거나 배경 설명 없이 보도하는 언론에도 책임이 있다. 어떤 이슈가 발생했는지에 따라 지지율에 현격한 변화가 일어나기 때문에 조사를 인용 보도할 때는 조사 시기를 명확히 밝혀야 한다. 또한 후보 이름의 질문 순서도 밝혀야 한다. 그리고 전국 조사나 광역권 조사 때는 표본 크기가 적어진 지역의 조사 결과를 함께 보도하는 것도 지양해야 한다.
끝으로 흔히 ‘응답률’에 대해 조사 결과의 객관성과 신뢰성에 의문을 제기하지만, 응답률 자체는 여론조사 결과에 큰 영향을 미치지 않는다. 실제 여론조사를 해보면 전화면접 방식의 경우 15~20%, ARS의 경우 5~10%가 나온다. 이는 선거가 임박해질수록 여론조사가 빈발해 응답률이 다소 떨어지기 때문이다. 대통령선거 같은 큰 선거에서는 응답률이 5~10% 높아진다.
응답률은 전화했을 때 조사에 응한 사람의 비율을 말하는 것이므로, 응답률과 조사 신뢰성은 별상관이 없다. 응답률이 5%라고 신뢰가 떨어지는 것이 아니라, 모집단 특성에 맞는 표본 추출의 비례성과 표본 대표성이 얼마나 담보돼 있는지에 조사 신뢰성이 달렸다. 1000명 표본 조사에서 응답률 30%와 응답률 5%는 결국 표본 추출을 위해 전화를 더 많이 돌렸다는 것 외에 차별점이 없다. 똑같이 1000명을 조사했기 때문에 지역 특성에 맞는 성별, 지역별, 연령별 비례 할당만 정확히 적용해 표집했다면 조사 결과는 동일하게 나온다. 응답률이 조사 신뢰성 기준은 아니란 얘기다. 자신이 지지하는 후보나 정당의 지지율이 낮게 나온다고 ‘응답률’ 문제를 제기하는 것은 괜한 시비에 불과하다.
