<지식카페>독일軍 암호 깬 ‘생각하는 기계’… 인공지능 시작이 되다

박형주의 수학 이야기 - 7 영화 ‘이미테이션 게임’의 수학

‘이미테이션 게임’은 올 초에 국내에 개봉된 영화의 제목이다. 영화 셜록의 주인공으로 국내에도 잘 알려진 베네딕트 컴버배치와 비긴어게인의 키이라 나이틀 리가 주연을 맡았다. 작년에 대성공을 거둔 과학영화‘인터스텔라’ 정도는 아니지만, 전쟁을 끝내는데 기여한 한 천재의 비극적 인생을 통해 여러 이슈를 만들었다.

이 영화는 위대한 수학자 앨런 튜링에 대한 영화다. 영국 출신의 수학자인 튜링은 ‘현대 컴퓨터 과학의 아버지’라고도 불린다. 대학에서 전산학 입문이나 이산수학 입문과목을 수강하면 반드시 배우는 튜링머신이라는 개념이 바로 이 분의 이름을 딴 것이다. 기계가 인간의 뇌를 흉내내게 할 수 있는가의 문제에 답한 첫 사람으로 문명사에 기록될 사람이다. 영화는 2차 세계대전이라는 긴박한 상황을 배경으로 튜링의 젊은 시절에 많은 장면을 할애한다. 수학자 튜링이, 독일군의 유보트 관련 암호를 해독해내서 2차 세계대전의 방향을 바꾸고 연합군의 승리를 이끌어 냈음을 보여주면서, 수학이 인류에게 중대한 영향을 끼친 사례 하나를 묘사해낸다. 영국 총리이던 윈스턴 처칠은 말하길, “연합군의 승리에 가장 심대한 영향을 끼친 한 사람을 고르라면 그건 앨런 튜링이다”라고 했다.

영화 제목인 이미테이션 게임은 모방게임이라는 뜻인데, 이 표현은 튜링이 1950년에 쓴 논문에 나오는 표현이다. ‘기계도 생각할 수 있는가’라는 질문을 다루는 논문인데, 인공지능 개념을 공상의 세계에서 과학의 영역으로 가져온 논문이다.

‘기계가 생각할 수 있는가’라는 질문을 하려면, ‘생각한다는 게 무엇인가’, ‘도대체 어느 정도 되면 생각할 수 있다고 볼 것인가’라는 질문에 마주친다. 이게 기준도 없고 영 과학적이지 않으니까. 튜링은 인공지능 여부의 측정법을 제시했는데 그게 이미테이션 게임이다. 생각할 수 있다는 게 무엇인가를 수학적으로 정의한 것인데 전문 용어로는 튜링 테스트라고도 불린다. 즉 이 테스트를 통과하는 기계는 생각할 수 있는 기계라고 하자라고 약속한 것이다.

영화에서는 2차 세계대전을 배경으로 독일군과 연합군의 암호전이 다루어지고 있다. 당시 독일군이 사용하던 난공불락의 암호기계인 에니그마로 암호화된 메시지를 해독하기 위해 분투하는 수학자 튜링의 모습이 전쟁의 긴박함과 함께 묘사된다. 그러니까 영화는 에니그마와 앨런튜링의 대결에 관한 것인데, 더불어서 튜링의 인간적인 측면도 다루고 있다. 동성애자로 핍박받은 것 등 논란이 될 수 있는 부분까지 담담하게 다루고 있다.

최근 국내에서도 카카오톡 감청이 문제되면서 사이버 망명사태가 있었다. 서버를 외국에 두었을 뿐 아니라 높은 수준의 암호 알고리즘을 사용하는 텔레그램 같은 메시지앱이 관심을 받은 것이다. 개인정보의 보호라거나 사이버 보안에 대한 관심은 이제 인류의 보편적 문제로 바뀌고 있는데, 수학이 왜 이런 문제와 관련 있는 걸까? 고대 문명에서도 중요한 정보를 지키려고 하고 알아내려고 하는 보이지 않는 정보전이 있었고, 수학은 이런 정보전의 역사 도처에 등장한다.

이런 암호화는 대부분 상당히 높은 수준의 수학을 사용하는데, 역사적으로는 기원전 5세기경 그리스와 페르시아 사이의 전쟁에서 사용된 기록이 있다. 로마의 줄리어스 시저도 암호를 애용했는데, 이 암호는 암호론 교과서의 도입부에 ‘시저 암호’라는 이름으로 소개되곤 한다. 알파벳의 자릿수를 몇 자리 이동하는 초보적인 방식이라서, 해커가 횡횡하는 오늘날에는 사용되지 않는다. 미국의 남북전쟁 중에도 남부연합은 사이퍼 디스크라는 방식의 암호를 사용했다.

1918년 독일의 아르투르 쉐르비우스가 만든 에니그마라는 암호화 기계는 역사상 최강의 보안성을 자랑했는데, 튜링의 해독 이전에는 정말 난공불락으로 여겨졌다. 오늘날에는 인터넷 상거래 과정이나 교통카드 등에 공개키암호 방식이 광범위하게 쓰인다. 이는 RSA 암호라거나 타원곡선암호 같은 대단히 수학적인 이론에 기반하고 있다.

얼마 전에 일본의 아베 신조(安倍晋三) 총리가 2020년에는 틀림없이 무인자동차가 도쿄(東京) 거리를 주행할 거라고 공개적으로 약속하면서, 무인자동차 상용화는 국가 간 자존심 전쟁의 양상을 띠게 됐다. 무인자동차가 길거리에 나가기 전에 해결해야 할 마지막 과제가 해킹에 대한 대비이다. 이를 위해 기존 수학적 암호론의 다양한 방식이 도입될 수밖에 없다. 그러니 전쟁의 향방뿐 아니라, 인터넷 시대의 필수요소가 된 정보보호에도 수학이 깊이 들어가 있는 것이다.

현대 암호에서 자주 사용되는 타원곡선은 특정한 모양의 3차 방정식으로 표현되는 평면 곡선을 말하는데, 특이하게도 이 곡선에 연산을 잘 정의하면 점들을 곱하고 나누는 게 가능하다. 이런 성질을 갖는 집합을 군(group)이라고 한다. 불세출의 천재인 프랑스 수학자 갈로와에 의해 도입되었고, 물리학이나 화학에서도 자연의 대칭성을 표현하는 도구로 널리 쓰인다. 타원곡선이 군이 된다는 사실을 이용하면, 점 a를 몇 제곱하면 점 b가 되는가 라는 문제를 풀 수 있다. 이 미지의 수 x를 찾는 문제는 마치 로그를 계산하는 문제와 같아서 이산로그문제라고 불린다. 바로 이 문제 푸는 게 어렵다는 사실을 이용해서 만든 암호가 타원곡선암호인데, 우리나라에서도 교통카드의 보안을 위해서 사용되는 등 인터넷 상거래의 보호를 위해서 널리 쓰인다.

군론의 역사에 중요 기여자로 등장하는 한국인 수학자도 있다. 현대수학의 중요 영역과 성취를 소개하고 주요 기여자를 적은 책인 듀도네의 ‘현대수학의 파노라마’라는 책에서 한국인은 ‘group theory’ 분야의 이림학 교수가 유일하다. 20세기를 풍미한 최고 수학자의 대열에 끼어 있다고 단언할 수 있고, 최근 광복 70주년을 기념하여 정부가 선정한 과학기술 70선에 선정되기도 했다. 유한체 상에서의 Lie 군의 특정 유형이라고 볼 수 있는 Ree 군 이론을 창안했다.

이림학 교수는 캐나다에서 주로 활동했지만 정치적 신념 때문에 국내에는 잘 알려지지 않았다. 오랜 망명생활 끝에 1985년 서울대를 방문해서 특강을 했는데 당시 강의실 칠판에 큼직하게 ‘Langlands program’이라고 쓰고는 필기 없이 거의 말로만 강의한 게 이채로웠다. 본인이 학부 지도교수를 맡았던 랑그랭즈라는 학생이 프린스턴 교수가 되어 불세출의 수학자가 된 것에 대한 기쁨을 피력하면서 국내 학생들도 자잘한 수학 하지 말고, 이런 중심문제, 난해한 문제들에 뛰어들어야 한다는 강연 내용은 지금의 학생들에게도 들려주고 싶은 말이다.

청년 이림학이 미군정 시절에 남대문 시장에서 우연히 구한 수학잡지에 실린 수학자 막스 초른(Max Zorn)의 논문을 읽고 그가 제기한 문제를 풀었다는 것은 지금도 한국 수학계의 전설로 회자된다. 당시 그는 투고 절차도 몰랐고 그런 생각도 안 했기 때문에, 초른에게 편지를 보내서 자기가 그의 문제를 풀었다고 알렸다. 학문적 윤리의식이 분명했던 초른이 이걸 정리해서 이림학이라는 저자명으로 저널에 투고 해서 한국인 최초로 국제저널에 게재된 수학논문이 탄생했다. 이림학 교수의 천재성이나 초른의 학자로서의 윤리성 모두 대단하다는 생각이 든다.

튜링의 일생에서 가장 중요했던 한 가지를 든다면, 아마도 생명현상에 대한 끝없는 호기심일 것이다. 기계가 인간의 사고를 흉내 낼 수 있을까라는 질문에 답하기 위해, 아직 컴퓨터라는 게 없던 시절에, 이미 튜링머신이라는 개념으로 컴퓨터를 수학적으로 정의했다. 그 기저에는 인간의 뇌에 대한 관심이 깔려있었다. 독일군의 에니그마 암호를 깬 것이 인공지능과 무슨 관련이 있을까? 튜링은 암호를 깨는 수학적 방식을 만든 뒤에, 그 사고의 과정을 수행하는 기계를 만들어서 깼다. 이 기계는 인간의 사고를 모방하는 게임, 즉 이미테이션 게임을 수행한 것이다. 튜링의 정의에 의하면 생각하는 기계였던 것이다.

튜링은 생명현상의 모든 영역에 지적 호기심이 커서, 말년에는 동물 표피의 무늬에도 관심을 기울이기도 했다. 치타는 점무늬를 가지고 있는데, 얼룩말은 줄무늬를 가지고 있다. 코끼리처럼 무늬가 없는 경우도 있다. 왜 이런 차이가 생길까? 튜링은 미분방정식을 만들어서 동물 표피 무늬의 다양성을 일관되게 설명하는데 성공했다.

산불이 난 걸 상상해 보자. 바람이 분다면 산불을 확대시키겠지만, 소방 헬기가 뿌린 소화제는 이를 억제한다. 확산제와 억제제가 상호작용하며 싸운다. 산불이 진화된 뒤에 산을 보면 불에 그슬린 자국이 줄무늬를 이루고 있는 게 보인다. 이 상호작용을 미분방정식으로 표현하고 풀면 줄무늬가 나온다. 동물 표피의 색을 만드는 게 멜라닌 색소인데, 이 색소를 만들어내는 화학물질이 있고 또 이걸 억제하는 화학물질이 있다. 산불 후의 그슬린 자국처럼, 태아시기에 이 두 화학물질의 상호작용으로 무늬가 생긴다. 그 상호작용을 수학 방정식으로 표현하면, 하나의 방정식으로 모든 동물의 무늬를 설명할 수 있다. 이 방정식에 태아의 크기라거나 태아 시기의 기간 같은 요소를 넣어주면 어떤 경우는 점무늬가 나오고 어떤 경우는 줄무늬가 나온다.

그럼 튜링 이전에는 동물 표피 무늬의 다양성을 설명하려는 시도는 없었을까? 전혀 다른 진화론의 관점이 있었다. 다윈이 약 150년 전에 소개한 자연선택은, 특정 유전자 집단 혹은 개별적 유전자들이 다른 유전자들에 비해 더 오래 생존하고 더 많이 번식하는 것을 말한다. 식물이든 동물이든 무리를 형성하는 계층의 특성이 있기 마련이다. 필연적으로 더 오래 살아남고 더 번식을 잘하는 계층이 살아남게 되고, 전체 무리에서의 그들의 비율이 커지게 된다. 적자생존이다. 치타의 점무늬가 몸을 숨겨주는 역할을 한다거나, 얼룩말의 줄무늬가 자기들끼리 확인하기 쉽게 해서 모여 다닐 수 있다거나 하는 등의 설명을 할 수 있다.

진화론은 생존의 필요에 따라 나타나는 결과를 거시적으로 설명하지만, 그러한 결과를 실제로 어떻게 구현해내는가는 수학이 설명한다고 볼 수 있다. 왜 치타의 태아 크기는 특정 사이즈인가라는 질문도, 점무늬를 만들기 위해서는 그런 태아 크기를 가져야 수학방정식에서 점무늬가 답으로 나오니까라고 말할 수도 있는 것이다. 수학과 생명과학의 융합이 시대의 새로운 흐름이 될 거라고 한다. 이 천재는 시대의 변화를 미리 본 것일까?(문화일보 10월 7일자 26면 6회 참조)

국가수리과학연구소장 아주대 석좌교수