<파워인터뷰>“O 아니면 X… 수학은 완벽·영원한 진실 추구 게임”

클릭하시면 더 큰이미지를 보실 수 있습니다 세르 교수가 지난 10일 경북 포항의 포스텍 교수 휴게실에서 수학의 본질을 묻는 질문을 받은 후 허공을 바라보며 잠시 생각에 잠겨 있다. 곽성호 기자 tray92@

20세기 최고의 수학자 장피에르 세르 佛 콜레주드프랑스 명예교수

“수학은 전 세계인들이 싫어하는 학문이죠. 하지만 유용성을 학생들에게 일깨워줘 흥미를 유발하는 게 중요합니다. 수학은 증명하는 일이고, 앞으로도 개척해야 할 부분이 많이 남아 학문적으로 접근할 무수한 영역을 지니고 있어요. 그 영역을 개척하는 이를 찾는 곳도 세계 각국의 금융회사, 군대 등 다양하기 때문에 글로벌 기업으로 진출하기도 유리합니다.”

‘20세기 최고의 수학자’로 불리는 프랑스의 장피에르 세르(88) 콜레주드프랑스 명예교수는 지난 10일 오후 2시 경북 포항시 효자동에 위치한 포스텍 수리과학관 3층 교수 휴게실에서 ‘수학이 우리에게 왜 필요한가’를 묻는 첫 질문에 이같이 대답했다. 그는 4일부터 13일 사이에 예정된 5차례의 포항 포스텍 학생 및 교수 상대의 수학 강의를 위해 한국을 방문 중이었다. 프랑스는 ‘수학계의 노벨상’이라 불리는 필즈상(Fields Medal) 수상자를 11명이나 배출한 수학 강국이다. 현대 수학을 대수적, 공리적으로 재구축했다는 평을 듣고 있는 세르 교수는 1954년 일약 27세의 나이에 필즈상을 수상한 이후, 2000년에 최고 권위의 울프상을, 그리고 2003년에는 노르웨이 국왕이 100만 달러의 상금과 함께 수여하는 아벨상을 받았다. 이 3개의 상을 석권한 ‘그랜드슬램’ 수학자는 세르 교수와 미국 플로리다대 존 톰슨 교수 등 지금까지 전 세계에 4명뿐이다.

우리나라 나이로 90세를 바라보는 이 노(老)교수는 기초학문 연구에 평생을 바친 학자답게 엄밀한 단호함으로, 때로는 멋과 여유를 아는 프랑스인답게 유머와 위트로 3시간가량의 인터뷰를 압도해 나갔다. 열띤 설명에 신이 나면 자리를 박차고 칠판 앞으로 나가 교육자 특유의 강의 모드로 수(數)의 아름다움과 신비를 더듬거리는 목소리로 풀어나갔다. 인문학도인 인터뷰어의 ‘무식한’ 질문에는 인상을 찌푸린 채 2~3분 말없이 생각에 잠겼다가 다시 일어나 손짓, 몸짓을 섞어가며 자신이 파악한 진리를 한 조각이라도 나눠주려 애를 썼다. 질문과 답변은 세르 교수를 초청한 최영주 포스텍 교수의 통역 도움을 받아 주로 영어로 진행됐다. 파워 인터뷰란 이름에 걸맞게 공격적으로 물어보기 시작했다.

―연구업적 중 딱 하나만 골라 천재 학생 말고 어린 손자, 손녀도 알아들을 수 있게 쉽게 설명해주실 수 있나요.

“(잠시 생각에 잠긴 후 살짝 웃으며) 그건 불가능합니다. 수학을 전공해서 어느 정도 레벨에 올라가야 합니다. 솔직히 그런 설명은 안 됩니다. 그건 말이죠, 탑 꼭대기에 올라간 사람더러 저 아래 땅에 서 있는 사람에게 무엇을 전해주라는 이야기와 같습니다. 전해줄 방법이 없어요. 제 연구는 아이들이 이해할 만큼 쉬운 이론이 아닙니다. 수학에선 ‘정의(Definition)’로 불리는 특정개념을 설명할 도구를 발전시키는 데 시간이 필요합니다. 제 분야의 내용을 잘 아는 수학자들이라면 2~3시간 안에 이론을 설명할 수 있어요. 이 인터뷰를 마친 후 포스텍 학생들을 상대로 한 강연이 예정돼 있는데, 내 강연내용은 대부분 청중에게 익숙지 않은 것들이기 때문에 아이디어, 직관을 동원해 설명해야 하는데 잘 될까 모르겠습니다.”

세르 교수의 전공은 정수론과 대수기하학이다. 정수론(整數論·Number Theory)은 수론(數論)이라고도 불리며, 소수(素數)·완전수(完全數) 등 수의 성질을 연구하는 기초정수론부터 시작해, 19세기부터 복소(複素)해석학·군론(群論)·갈루아 이론 등을 포함한 현대 수론으로 발전했다. 대수기하학(代數幾何學·Algebraic Geometry)은 대수적 방정식으로 정의될 수 있는 도형 및 이들 사이의 관계를 연구하는 수학 분야다. 가장 기초적인 예를 들면 x²+y²+z²-1=0을 만족시키는 점의 집합은 2차원 원(圓)이 된다. 다시, 이 방정식과 x+y+z=0을 동시에 만족시키는 점들의 집합은 3차원 구(球)가 된다. 이처럼 초기의 대수기하학은 수직으로 교차하는 좌표 위에서 유한개의 대수방정식들을 만족하는 해들의 자취로 표현되는, 이른바 대수다양체를 연구하는 기하학의 한 분야였다. 그러나 19세기 들어 비(非)유클리드 기하학과 아벨 함수의 발견으로 인해 대수적 기법들이 다시 중요해졌다. 세르 교수와 동료 연구자 알렉산더 그로텐디크는 1950~1960년대 층(層) 이론을 이용해 대수기하학의 기초를 재정의했다. 스킴 이론과 호몰로지 대수학을 사용해 대수적 수론을 대수기하학의 일부로 흡수한 것이다. 이 분야는 현대 수학의 여러 갈래 중 가장 복잡하고 발달된 이론으로 꼽힌다.

―‘세상은 수로 이루어져 있다’는 고대 그리스 철학자 피타고라스의 말에 동의하십니까.

“수학은 언어입니다. 내게 큰 영향을 줬던 고등학교 때 철학 선생님이 수로 세계를 설명할 수 있다고 하셨지요. 그땐 ‘너무 강한 표현이 아닐까’하고 생각했었는데, 연구를 거듭할수록 점점 더 그게 사실인 것 같습니다. 예를 들어, 물리나 화학은 수학 없이 설명이 불가능하죠. 생물과 생명공학은 조금 덜하고, 어쩌면 감성적인 음악 말고는 수로 다 설명할 수 있을지…잘 모르겠습니다. 하지만 수학자는 다른 과학자나 일반인들에게 완벽한 진실을 줄 수 있는 유일한 사람입니다. 다른 과학은 대충의 진실을 묘사할 뿐이지, 진짜 진실을 주지는 않아요. 수학은 진리, 진실(‘Truth’라는 표현을 썼다)을 추구하는 게임입니다. 게임은 ○ 아니면 ×잖아요? 맞거나 틀리거나, 둘 중 하나죠. 수학이란 게임에는 ‘오직 진실만을 말하라(What you do should be true)’는 단 하나의 법칙만 있습니다. 완벽하고 영원한 진실 말입니다.”

세르 교수는 동료 수학자들의 강의를 듣거나 토론할 때 잘못을 ‘냉철하게’ 지적하는 걸로도 정평이 높다. 그는 다른 학자들의 논문과 강연 중 모순과 오류를 발견하면 마치 ‘오염 물질’처럼 느껴진다고 한다. 깨끗하게 하고 싶다는 욕망이 솟아난다는 것이다. 하나의 수학 문제는 여러 가지 방법으로 풀 수 있지만, 각각의 방법은 정확한 과정을 담아야 한다는 게 그의 주장이다. 아무리 작아도 출발부터 오류가 있다면 전체가 잘못으로 귀결되는 것이 수학이란 학문이라고 그는 설파했다.

―교수님은 평생 수학의 즐거움, 학문(공부)하는 기쁨에 빠져 있었죠. 후회는 없나요? 수학자가 안 됐으면 어떤 인생을 살았을까요.

“내가 굉장히 좋아했던 선배 수학자가 있었어요. 지금은 돌아가셨죠. 그분은 라틴어와 그리스어 등 언어에 굉장히 뛰어났습니다. 그만큼 재능이 풍부했지만 본인은 수학 외엔 다른 일을 안 하셨어요. 나보다 스무 살 위의 앙드레 베유 같은 이는 뛰어난 수학적 재능을 타고 태어났습니다. 하지만 나는 수학적 재능은 없는 대신 호기심이 많았습니다. 누가 써놓은 걸 이해하려 하기보다 새로운 걸 발견하는 데 관심이 있었죠. 남이 이미 해놓은 것에는 별로 흥미가 없었어요. 수학 논문들도 재미있어 보이는 것만 골라서 읽었으니까요.”

―다시 여쭤보겠습니다. 사랑에 비유하면 일생 동안 수학이란 한 여자하고만 백년해로하신 셈인데요, 한눈판 적은 단 한 번도 없나요.

“(처음으로 껄껄 소리를 내서 웃으며) 수학에도 여러 분야가 있어요. 한 수학하고만 결혼한 게 아니라, 여러 분야의 다른 수학들과도 애인(통역자는 정확하게는 ‘정부(情婦)’라고 풀이해줬다) 관계입니다. 수학을 공부하다가 염증을 느낀 적은 딱 한 번 있었는데, 별로 오래가지도 않았고 너무 옛날 일이라 기억이 잘 안 나네요. 학생들에게 이런 말을 해주고 싶어요. ‘정말 자기가 좋아하는 주제란 확신이 들 때 그에 관해 연구를 하라(Work on a topic only when you really like it)’고요. 나는 한 번도 계획을 세워서 공부를 해 본 적은 없어요. 그냥 궁금하고 재미있는 분야를 만나면 계속 그 끈을 따라가는 거죠. 예상치 못한 이론들이 계획하고 기대했던 이론보다 훨씬 더 흥미진진하니까요. 앞으로도 내가 증명했지만 아직 발표하지 않은 이론들을 정리하고 싶습니다.”

―다른 인터뷰에서 하셨던 말씀 중에 깜짝 놀랄 이야기가 있더라고요, ‘난 아직 수학을 잘 모르겠다’고 하셨던데.

“앞서 단 한 명의 여자하고만 결혼한 게 아니라고 주장한 것은 수학에 여러 분야가 있기 때문입니다. 과학 중에 아마 수학만이 분야를 자유롭게 바꿀 수 있을 겁니다. 다른 과학은 비싼 돈이 드는 연구실을 맘대로 바꿀 수 없잖아요? 머릿속으로 생각하는 수학자이기 때문에 여러 애인(찡긋 윙크를 하며)을 거느릴 수 있는 거지요. 그런데 전문가라고 불릴 자격이 있으려면 자세한 내용을 학생들한테 설명할 수 있어야 합니다. 나는 수학 안에서 여러 가지 다른 분야에 많은 관심을 가졌지만 디테일하게는 관심이 없었어요. 그러니 내가 수학을 잘 안다고 할 수는 없겠지요.”

―좀 엉뚱한 질문을 드리겠습니다. 컴퓨터가 모바일 스마트폰으로 소형화, 고성능화하는 동시에 인공지능, 기계학습을 통해 사람과 비슷해지고 있습니다. 컴퓨터 사이언스의 발달에 따른 현상인데요, 생각하는 기계가 인간의 직업을 빼앗을 것이란 미국 매사추세츠공대(MIT) 교수의 최신 주장에 대해 어떻게 생각하시나요.

“(제법 오래 인상을 찌푸리다가) 기계는 여전히 사람이 만드는 겁니다. 요즘은 순수 수학에서도 컴퓨터로 어떤 정의를 증명했다고들 하는데, 이건 문제가 있습니다. 컴퓨터가 풀었다는 게 완전히 증명되지 않습니다. 증명은 사람이 직접 하는 것이지요. 컴퓨터 증명이란, 예를 들어 중간에 잘못된 전제가 들어가면 확인하기가 불가능합니다. 일단 사람이 증명하고 그것이 맞다는 걸 재확인하기 위해 기계를 동원할 순 있겠죠. 하지만 요즘엔 불행히도 컴퓨터가 맞다고 재확인한 이론을 우리가 갖다 쓰는 것도 생겨나고 있습니다.”

―20대에 최연소 필즈상 수상자가 된 후 선생님의 이론이 현대수학에 많은 영향을 준 것으로 압니다. 현대 수학계의 흐름 중 컴퓨터 증명을 포함해 마음에 안 드는 부분은 없나요.

“현대 수학은 매우 빨리 발전하고, 젊은 수학자들의 수준도 아주 높습니다. 난 그들이 뭘 하는지 대부분 잘 모릅니다. 이해하지 못하는 부분도 있고, 사실 흥미도 없습니다. 난 내가 하는 작업에 더 관심이 있죠. 아마도 오래된 옛 질문들을 소장학자들이 풀어내기 때문에 그들이 잘하고 있는 걸로 보입니다. 그러나 아무리 시간이 가도 수학은 진실돼야 한다는 사실이 변하진 않아요. (이 대목에서 그는 다시 벌떡 일어나 칠판으로 다가갔다. ) 완전수(完全數·Perfect Number)란 게 있어요. 자신을 제외한 양의 약수들의 합으로 표시되는 수를 말합니다. 가령 6=1+2+3으로 표현되죠. 그런데 홀수가 완전수가 아니라는 걸 아직 증명하지 못했어요. 다시 말해, 모든 완전수는 짝수여야 한다는 사실은 증명되지 않은 미해결 문제입니다.”

―학문이란 과거의 거인들로부터 받은 선물을 미래의 아이들에게 전달하는 일이라고 누군가 이야기했습니다. 이 비유에 대해 어떻게 생각하세요.

“아니요, 학자의 첫 번째 임무는 새로운 것을 발견하려는 진리의 추구입니다. 전달(교육)은 그다음이죠. 우리는 발견한 진리를 혼자만 알고 있을 게 아니라, 출판(publish, 넓은 의미의 ‘보급’에 해당하는 원로학자의 비유)해서 퍼트릴 의무는 갖고 있습니다. 학생을 교실에서 직접 가르치는 일이 학자로서의 첫 번째 의무는 아닙니다.”

우리나라가 연구중심 대학을 외치며 연구교수제 등 대학의 연구경쟁력 강화 유행을 탄 게 1990년대 초 김영삼 정권 시절이었다. 이후 대학이 정부의 연구과제 예산 따내기에 급급하다 보니 연구 자체의 질이 낮아지고, 대학의 교수(敎授) 기능도 약해졌다는 반성이 대두됐다. 오락가락 교육정책에 바람 앞 촛불처럼 흔들리는 대한민국의 상아탑 안에서 학문의 자유, 학자의 독립성, 지식의 순결성을 추호의 의심 없이 그대로 믿고 평생 실천해온 서구의 석학으로부터 어찌 보면 뻔한 원리원칙을 다시 한 번 육성으로 확인받고 보니 부러움인지, 부끄러움인지 모를 묘한 감정이 스멀스멀 피어올랐다.

―프랑스는 수학, 화학 등 기초과학에 강한 전통을 갖고 있는 나라로 압니다. 자신이 프랑스인이라는 정체성에 자부심을 느끼나요.

“(장난스러운 미소를 지으며) 수학 말고도 맛있는 요리가 있잖아요! 물론 프랑스인이라서 행복합니다. 수학을 공부하며 정부에서 큰 지원을 받았죠. 물론 교육기관에 들어가기 전에는 치열한 경쟁을 거쳤습니다. 일단 국립고등사범학교에 들어가서는 자연스럽게 기초과학을 장려하는 정부로부터 알게 모르게 많은 지원을 받았지요. 그 외에는 특별하게 내가 프랑스란 나라에서 태어났다는 사실을 심각하게 인식한 일은 없는 것 같군요.”

세르 교수는 고등학교 때 추천교사의 권유에 따라 수학경시대회에 나가 1등을 차지한 후 파리의 고등사범학교에서 수학했다. 그곳에서 수학적 재능을 인정받은 그는 소르본 대학의 박사를 거쳐 교수로 자리 잡기에 이르렀다.

―심각한 질문은 그만하죠. 수학을 안 할 때는 무엇을 하시나요, 수학이 직업이니까 뭐 취미랄까요.

“영화를 제일 좋아합니다. 쿠엔틴 타란티노, 코엔 형제, 미야자키 하야오(宮崎駿) 감독 작품을 즐겨보고요. 음악은 별로 안 들어요, 바흐는 듣지만. 영화로는 모차르트에 관한 아마데우스란 음악 영화가 괜찮았어요. 아마데우스는 굉장히 어린애 같지만 아름다운 작품을 남깁니다. 무라카미 하루키(村上春樹), 그림 형제 동화 같은 책도 찾아봅니다. 참, 체스도 봅니다. 두는 것보다 컴퓨터로 관전하는 걸 즐기지요. 그게 조합 이론, 확률 게임이기 때문이죠.”

―인간 체스 챔피언을 격파한 IBM의 왓슨이란 컴퓨터를 아시나요.

“알죠. 게리 카스파로프란 러시아 챔피언이었죠. 그런데 그분이 지고 난 뒤 한 판 더 붙자고 했는데, IBM 측에서 프로그램을 지워버렸다며 응하지 않아 성사가 안 됐어요. 인간이 재대결을 원했지만 IBM은 그저 한번 이겼다는 사실을 증명한 뒤라서 재대결에 응하지 않은 거죠. 체스 챔피언은 집에서도 말을 어디로 둘지 생각합니다. 컴퓨터 챔피언 안에 심어진 체스 프로그램이란 결국 인간 챔피언의 머리를 빌린 겁니다.”

―마지막으로 수학을 포함해 학문의 세계로 들어오고자 하는 후배들한테 해주고 싶은 말은.

“뭐든지 좋아해야 오래갑니다. 수학을 하려면 진짜 좋아해야 해요. 그런데 수학을 정리(출판)하는 일은요, 진짜 고통스럽습니다. 즐겁게 공부한다고 하지만 진짜 음악처럼 즐겁진 않지요. 아이디어를 성숙시켜 출판하는 일은 출산의 고통에 비할 만하지요.”

인터뷰 = 노성열 전국부장 nosr@munhwa.com