빅데이터는 그 이름에서 보이듯 엄청난 데이터 크기로 주목받지만, 가장 어려운 측면 또한 그 데이터를 구조화하기에는 부족한 점이 많다는 데 있다. 빅데이터 대부분이 표에 쉽게 정리할 수 없는 문서, 즉 게시물, 동영상, 사진, 음악 등 비정형 데이터이기 때문이다.
그중에도 매일 수억 건이 오가는 카카오톡 등의 문자메시지와 페이스북, 트위터 같은 소셜네트워크서비스(SNS) 게시 글은 개인의 생각을 고스란히 담고 있기에 사람 마음을 읽거나 여론 흐름을 파악하는 데 매우 중요하다. 빅데이터 분석의 여러 영역 가운데 소셜미디어 분석이 크게 주목 받는 것도 그 때문이다.
최근 한 데이터 분석 전문가가 자신이 남편과 주고받은 문자메시지를 분석한 뒤 결혼 전후 내용이 어떻게 변했는지를 비교해 큰 화제를 모았는데, 이 사례는 소셜 빅데이터 분석이 갖는 장점과 극복해야 할 과제를 잘 나타내고 있다.
미국 인터넷 자동차 판매 포털 카스닷컴(www.cars.com)에서 데이터 분석가로 일하는 앨리스 자오(Alice Zhao)는 2008년 10월 남자친구(현재 남편)와 첫 데이트를 시작했다. 그의 남자친구는 두 사람이 사귄 지 일주년을 기념해 그동안 둘이서 주고받은 모든 문자메시지를 정리해 워드(Word) 파일로 선물했다. 데이트를 시작한 지 6년 만인 올해 결혼에 골인한 자오는 기념으로 남편에게 분석 전문가로서 더 흥미로운 선물을 하기로 했다.
자오는 신혼부부가 된 이후 최근 1년간 주고받은 문자메시지 내용을 6년 전 처음 연애하던 1년 동안의 문자메시지와 비교해 ‘연애에서 결혼까지 문자메시지가 어떻게 변화하는가’라는 제목의 글을 자신의 인터넷 블로그(adashofdata.com)에 올렸다. 두 사람 관계가 연인에서 부부로 발전함에 따라 문자메시지를 통한 소통이 어떻게 변했는지를 보여주는 이 글은 누리꾼의 폭발적 관심을 이끌며, 게재하고 첫 주 만에 65만 여 건의 조회수를 기록했다.
자오는 먼저 문자메시지에 나타난 특정 단어와 그 빈도 차이를 분석했다. 그는 연애할 때 상대를 부르는 애칭으로 “헤이(Hey), 무슨 일이야?”를 많이 썼지만 결혼 후에는 그 말을 거의 쓰지 않는 대신 남편이 보낸 문자메시지 대부분에 동의한다는 뜻의 “그래(OK), 좋은데”를 많이 썼다. 또한 서로 이름을 부르거나 사랑한다는 내용을 보내는 경우가 크게 줄었다. ‘집’이나 ‘식사’ 같은 단어는 빈도가 비슷했지만, 사용 맥락에서는 크게 차이가 났다. 예를 들어 연애할 때는 “집에 안전하게 가고 잘 자”였는데, 결혼 후엔 “집에서 봐”로 바뀐 것. 마찬가지로 “헤이, 월요일 저녁에 식사할 수 있어?”가 “오늘 저녁식사는 뭐야?”로 변했다.
문자메시지를 주고받은 시간을 보면 연애 시절에는 주로 오후 3시부터 새벽 3시 사이였지만, 결혼 후에는 “일 끝나면 데리러 와줄래?”같은 내용으로 모두 낮 시간이었으며 밤에는 전혀 없었다. 자오는 둘 사이 관계가 발전하고 함께 보내는 시간이 많아질수록 서로 충돌하는 사항은 대화로 풀기 때문에 문자메시지가 더욱 예측 가능하게 됐다고 결론을 내린다. 또한 문자메시지로 “사랑해”라고 더는 얘기하지 않는 이유는 이제는 돌아누워 품 안으로 파고들며 귀에다 속삭일 수 있기 때문이라고 한다.
빅데이터 분석에 꼭 필요한 통찰력
물론 자오의 문자메시지 분석은 빅데이터 시대의 데이터 마이닝 시각에서 볼 때 지극히 적은 데이터를 대상으로 한 사적 연구에 지나지 않는다. 하지만 그의 연구는 소셜 분석의 목적, 즉 분석을 통해 텍스트에 내재한 일관적인 패턴을 파악하는 목적을 잘 달성했다. 이 연구는 두 사람 간 문자메시지를 통한 소통이 로맨틱함에서 어떻게 현실적으로 변했는지를 잘 나타낸다.
하지만 이 사례와 달리 대부분 소셜 분석은 ‘사실(fact)’은 상대적으로 쉽게 파악할 수 있지만 그 사실이 일어난 원인을 규명하는 데 큰 어려움을 겪는다. 만약 자오의 데이터를 두 사람의 관계 변화를 모르는 제삼자가 분석한다면, 특정 단어 빈도가 어떻게 변했는지는 파악할 수 있어도 왜 그런 변화가 일어났는지에 대한 추정은 다를 수 있는 것이다. 예를 들어 집과 식사에 대한 언급은 달라지지 않았지만 애칭과 사랑한다는 내용이 크게 줄었고 문자메시지도 주로 낮에만 보내기 때문에 이제 두 사람 사이가 마치 015B의 노래 ‘아주 오래된 연인들’의 가사처럼 습관과 의무감만 남은 연인이 됐다고 추정할 개연성이 더 높다. 하지만 이는 실제와 정반대 추론일 뿐이다.
수많은 사람이 애용하는 소셜미디어는 텍스트, 사진, 오디오, 비디오 등 다양한 콘텐츠가 아주 빠르게 확산되는 특징을 갖고 있다. 소셜미디어에서 생산되는 엄청난 양의 데이터는 기업에서 발생하는 빅데이터에 비해 상대적으로 접근하기가 쉽다. 또한 개인의 솔직한 생각이 고스란히 담겨 있어 기업이 사회적 트렌드의 변화를 파악하거나 고객 마음을 읽는 데도 매우 유용하게 활용할 수 있다.
하지만 소셜 분석의 가치는 트렌드의 변화를 나타내는 ‘사실’을 찾아내는 것을 넘어 왜 그런 변화가 일어났는지 과학적으로 추정하는 데 있을 것이다. 통찰력의 핵심은 정견(正見)과 정사유(正思惟), 즉 문제를 올바르게 인식하고 왜 그런 문제가 일어나는지를 올바로 판단하는 것이다. 소셜 분석이 단순한 단어 집계의 수준을 넘어, 통찰력을 제공하는 분석으로 확장돼 잠재력을 최대로 발휘할 수 있기를 기대한다.
그중에도 매일 수억 건이 오가는 카카오톡 등의 문자메시지와 페이스북, 트위터 같은 소셜네트워크서비스(SNS) 게시 글은 개인의 생각을 고스란히 담고 있기에 사람 마음을 읽거나 여론 흐름을 파악하는 데 매우 중요하다. 빅데이터 분석의 여러 영역 가운데 소셜미디어 분석이 크게 주목 받는 것도 그 때문이다.
최근 한 데이터 분석 전문가가 자신이 남편과 주고받은 문자메시지를 분석한 뒤 결혼 전후 내용이 어떻게 변했는지를 비교해 큰 화제를 모았는데, 이 사례는 소셜 빅데이터 분석이 갖는 장점과 극복해야 할 과제를 잘 나타내고 있다.
미국 인터넷 자동차 판매 포털 카스닷컴(www.cars.com)에서 데이터 분석가로 일하는 앨리스 자오(Alice Zhao)는 2008년 10월 남자친구(현재 남편)와 첫 데이트를 시작했다. 그의 남자친구는 두 사람이 사귄 지 일주년을 기념해 그동안 둘이서 주고받은 모든 문자메시지를 정리해 워드(Word) 파일로 선물했다. 데이트를 시작한 지 6년 만인 올해 결혼에 골인한 자오는 기념으로 남편에게 분석 전문가로서 더 흥미로운 선물을 하기로 했다.
자오는 신혼부부가 된 이후 최근 1년간 주고받은 문자메시지 내용을 6년 전 처음 연애하던 1년 동안의 문자메시지와 비교해 ‘연애에서 결혼까지 문자메시지가 어떻게 변화하는가’라는 제목의 글을 자신의 인터넷 블로그(adashofdata.com)에 올렸다. 두 사람 관계가 연인에서 부부로 발전함에 따라 문자메시지를 통한 소통이 어떻게 변했는지를 보여주는 이 글은 누리꾼의 폭발적 관심을 이끌며, 게재하고 첫 주 만에 65만 여 건의 조회수를 기록했다.
데이터 분석 전문가 앨리스 자오는 최근 남편과 1년간 주고받은 문자메시지 내용을 6년 전 처음 연애하던 1년 동안 주고받은 문자메시지와 비교한 자료를 자신의 인터넷 블로그에 올려 큰 호응을 얻었다.
문자메시지를 주고받은 시간을 보면 연애 시절에는 주로 오후 3시부터 새벽 3시 사이였지만, 결혼 후에는 “일 끝나면 데리러 와줄래?”같은 내용으로 모두 낮 시간이었으며 밤에는 전혀 없었다. 자오는 둘 사이 관계가 발전하고 함께 보내는 시간이 많아질수록 서로 충돌하는 사항은 대화로 풀기 때문에 문자메시지가 더욱 예측 가능하게 됐다고 결론을 내린다. 또한 문자메시지로 “사랑해”라고 더는 얘기하지 않는 이유는 이제는 돌아누워 품 안으로 파고들며 귀에다 속삭일 수 있기 때문이라고 한다.
빅데이터 분석에 꼭 필요한 통찰력
물론 자오의 문자메시지 분석은 빅데이터 시대의 데이터 마이닝 시각에서 볼 때 지극히 적은 데이터를 대상으로 한 사적 연구에 지나지 않는다. 하지만 그의 연구는 소셜 분석의 목적, 즉 분석을 통해 텍스트에 내재한 일관적인 패턴을 파악하는 목적을 잘 달성했다. 이 연구는 두 사람 간 문자메시지를 통한 소통이 로맨틱함에서 어떻게 현실적으로 변했는지를 잘 나타낸다.
하지만 이 사례와 달리 대부분 소셜 분석은 ‘사실(fact)’은 상대적으로 쉽게 파악할 수 있지만 그 사실이 일어난 원인을 규명하는 데 큰 어려움을 겪는다. 만약 자오의 데이터를 두 사람의 관계 변화를 모르는 제삼자가 분석한다면, 특정 단어 빈도가 어떻게 변했는지는 파악할 수 있어도 왜 그런 변화가 일어났는지에 대한 추정은 다를 수 있는 것이다. 예를 들어 집과 식사에 대한 언급은 달라지지 않았지만 애칭과 사랑한다는 내용이 크게 줄었고 문자메시지도 주로 낮에만 보내기 때문에 이제 두 사람 사이가 마치 015B의 노래 ‘아주 오래된 연인들’의 가사처럼 습관과 의무감만 남은 연인이 됐다고 추정할 개연성이 더 높다. 하지만 이는 실제와 정반대 추론일 뿐이다.
수많은 사람이 애용하는 소셜미디어는 텍스트, 사진, 오디오, 비디오 등 다양한 콘텐츠가 아주 빠르게 확산되는 특징을 갖고 있다. 소셜미디어에서 생산되는 엄청난 양의 데이터는 기업에서 발생하는 빅데이터에 비해 상대적으로 접근하기가 쉽다. 또한 개인의 솔직한 생각이 고스란히 담겨 있어 기업이 사회적 트렌드의 변화를 파악하거나 고객 마음을 읽는 데도 매우 유용하게 활용할 수 있다.
하지만 소셜 분석의 가치는 트렌드의 변화를 나타내는 ‘사실’을 찾아내는 것을 넘어 왜 그런 변화가 일어났는지 과학적으로 추정하는 데 있을 것이다. 통찰력의 핵심은 정견(正見)과 정사유(正思惟), 즉 문제를 올바르게 인식하고 왜 그런 문제가 일어나는지를 올바로 판단하는 것이다. 소셜 분석이 단순한 단어 집계의 수준을 넘어, 통찰력을 제공하는 분석으로 확장돼 잠재력을 최대로 발휘할 수 있기를 기대한다.
