<키워드로 읽는 책>하루 250경 바이트 정보… ‘칼날 분석’이 핵심

클릭하시면 더 큰이미지를 보실 수 있습니다

신호와 소음 / 네이트 실버 지음, 이경식 옮김 / 더 퀘스트

2012년 미국 대선 당시 버락 오바마 대통령의 승리는 물론 50개주의 결과까지 정확하게 예측해 ‘데이터계의 슈퍼 스타’로 떠오른 네이트 실버. 그의 솜씨는 12살 때 자기만의 통계법을 개발, 자신이 응원하던 디트로이트 타이거스의 승리를 예측할 때부터 범상치 않았다. 시카고대에서 경제학을 전공한 그의 진가는 2002년 회계 컨설팅회사에 입사해 엉뚱한 일을 벌이면서 세상에 드러났다. 당시 혈기왕성한 24살의 청년이었던 실버는 적정가격을 계산하는 지루한 업무에 몸을 비틀다가 자기가 좋아하는 메이저리그 야구 선수들의 성적을 예측하는 페코타 시스템을 개발했다. 재미 삼아 개발한 시스템이 놀라운 적중률을 올리자, 그는 이번에는 통계확률기법을 카지노에 적용했다. 단번에 1만5000달러를 따자 그는 회사를 그만두고 포커판으로 달려가 수십만 달러를 벌어들였다. 드디어 2008년 당시까지 쌓은 통계학과 예측 노하우를 활용해 정치예측 블로그 ‘파이브서티에이트’를 개설했다. 그 결과는 말 그대로 대박이었다. 2008년, 2012년 두 차례 미국 대선과 총선 결과를 정확하게 예측해내면서 일약 정치권의 스타로 떠올랐다.

‘신호와 소음’은 실버가 2012년 대선을 앞두고 자신의 통계학과 예측 철학을 담아낸 것이다. 어떻게 하면 미국 대선전에서 완벽한 성취를 거둔 자기처럼 미래를 정확하게 예측하느냐가 핵심이다. 그는 책을 쓰기 위해 4년간 10개가 훨씬 넘는 분야 종사자들을 100명 넘게 만났고, 엄청난 분량의 논문과 책을 읽으며 라스베이거스부터 코펜하겐까지 바쁘게 돌아다녔다. 그 과정에서 저자는 중요한 사실을 깨닫게 된다. 방대한 데이터를 정확하게 조작하면 정확한 결과를 알 수 있다는 믿음이 신앙처럼 퍼져 있는 빅데이터 시대에 예측이 그다지 잘 맞지 않는다는 사실이었다.

이 지점에서 ‘신호와 소음’은 최근 쏟아지고 있는 ‘빅데이터’를 다룬 책들과 다소 구별된다. 최근 한 달간만 해도 ‘비즈니스를 위한 데이터 과학’(한빛 미디어), ‘ 공공정책을 위한 빅데이터 전략지도’(더 숲), 빅데이터 마케팅(더난) 등 10여 권이 나왔다. 이들은 대부분 ‘빅데이터 만능론’에 입각한 분야별 실용 마케팅서들이다. 반면 저자에 따르면 세계적으로 매일 늘어나는 정보는 2.5퀸틸리언(250경) 바이트. 하지만 유용한 정보의 양은 그렇게 빠른 속도로 증가하지 않는다. 대부분은 의미 없는 것들이다. 즉 유용한 ‘신호’와 필요 없는 ‘소음’이 뒤섞여 있고, 데이터의 폭증과 함께 신호에 대한 소음의 비율도 갈수록 높아지고 있다는 것이다. 또 정보의 양이 기하급수적으로 늘어나는 것과 함께 엄정하게 검증해야 할 가설 역시 그만큼 많아질 수밖에 없다.

이런 맥락에서 저자는 10대 때부터 골몰했던 야구, 정치, 경제, 주식, 기상, 지진, 전염병, 지구온난화, 테러는 물론 체스, 포커까지 다양한 분야를 대상으로 이제까지 예측이 왜 제대로 이뤄지지 않았는지에 대해 살펴보고 정확한 예측 가능성을 모색한다. 경제학자들이 왜 2008년 세계 경제 위기를 예측하지 못했는지, 일본 후쿠시마(福島) 원전 사고는 왜 예측범위를 넘었는지를 통계학적으로 분석하고, 정치판에서는 사람들이 흔히 지지하는 당에 유리한 정보에만 귀를 기울이다 정확한 예측에 실패하는 반면, 9·11테러는 사건을 예고하는 여러 ‘신호’가 ‘소음’으로 무시됐기 때문에 제대로 대처할 수 없었다고 설명한다.

이렇게 빅데이터 시대에 다소 거리를 두고 있지만 저자는 기본적으로 정확한 데이터를 축적하면 정확한 예측이 가능하다는 데이터주의자인 동시에 우리 삶을 통계학적으로 예측할 수 있다고 믿는 ‘통계확률주의자’이다.

최현미 기자 chm@munhwa.com