1월 영국의 전설적인 수학자 마이클 아티야가 90세 나이로 사망했다. 매우 어려운 수학계의 난제를 증명했다고 밝히고 4개월도 채 지나지 않은 어느 평범한 날이었다. 그가 마지막 순간까지 풀려고 노력했던 난제는 바로 리만 가설이었다. 도대체 리만 가설이 무엇이기에 노학자가 죽음 직전까지 손에서 놓을 수 없게 그를 몰아붙였을까. 

20세기를 대표하는 천재 수학자를 한 명 꼽으라 한다면, 마이클 아티야를 빼놓을 수 없다. 그는 37세 나이에 수학계의 노벨상으로 불리는 필즈상을 받았고, 런던 수학회와 영국왕립학회 회장직을 역임했으며, 말년에는 수학자로서 평생의 업적을 기리는 아벨상까지 수상했다. 위상수학과 미분기하학, 대수기하학의 눈부신 발전을 선도해온 수학계의 ‘슈퍼히어로’라고나 할까. 빈틈없는 정의에 대한 철학으로 자신을 무장했던 ‘어벤져스’의 수장처럼, 그는 흠잡을 데 없는 완벽한 논리 전개로 많은 동료 수학자에게 귀감이 됐다. 

지난해 9월 말 독일 하이델베르크 수상자 포럼(HLF 2018)에서 횡설수설해 공개적으로 망신을 당했지만, 리만 가설 증명에 실패했다는 오점은 그가 인류에게 펼쳐낸 수많은 경이로움에 비하면 작은 해프닝에 불과했다. 그렇지만 리만 가설은 그를 포함한 수많은 슈퍼히어로의 희생에도 여전히 난공불락이라는 점에서 수학계의 타노스, 그 이상의 존재로 남아 있다

세상에서 가장 어려운 수학문제

리만 가설은 160년 전 독일 천재 수학자 베른하르트 리만이 세운 가설이다. 가설이란 타당한 진리로 가기 위해 어떠한 사실을 설정한 가정을 말한다. 리만 가설의 가정을 수식 없이 풀어쓴다면 ‘제타함수의 비자명한 모든 영점의 실수부는 2분의 1’이라고 할 수 있다. 대중의 언어로 바꿔봐도 ‘제타함수의 정해지지 않은 모든 영점은 일직선 위에 있다’ 정도로 순화될 뿐이다. 수학, 정확하게는 정수론을 전공하지 않은 이상 제타함수가 무엇인지, 영점은 무슨 의미인지 알 필요까지는 없을 것이다. 간단히 말하면 이건 소수에 대한 이야기다. 

소수는 1과 자기 자신 외에는 더는 나눌 수 없는 자연수를 말하는 것으로, 우리가 흔히 소수점과 함께 적는 0보다 크고 1보다 작은 실수를 말하는 건 아니다. 더는 나눌 수 없다는 것은 의미심장한 특징인데, 이와 비슷한 성질을 가진 것을 물리학에서는 원자라고 부른다. 



20세기 유명한 물리학자 리처드 파인먼에게 누군가 질문했다. “핵전쟁으로 모든 것이 파괴된 세상에서 살아남은 다음 세대 아이들에게 문명을 재건하기 위해 도움이 되는 딱 한 문장만을 남겨야 한다면 어떤 말을 남겨야 합니까.” 이는 진리에 근접한 과학적 사실에 대한 개인적인 우선순위를 묻는 질문으로, 파인먼은 다음과 같이 답했다. “모든 물질은 원자로 이뤄져 있다.” 그만큼 물리학에서는 원자가 중요하다는 뜻이다. 수학의 소수도 마찬가지다. 그리고 이러한 사실을 일찍이 깨달은 수학자들이 있었다. 

18세기 초 스위스를 대표하는 천재 수학자 레온하르트 오일러는 2, 3, 5, 7, 11, 13 등 불규칙해 보이는 소수들 사이에 뭔가 일정한 규칙이 있을 것이라고 생각했다. 작은 숫자들 사이에서는 그 패턴이 보이지 않았기 때문에 그는 계속해서 더 큰 소수를 찾아내기 시작했다. 하지만 44159, 52543, 55051 등 아무리 큰 숫자의 소수에서도 눈에 띄는 패턴은 발견되지 않았다. 사람들의 비웃음에 지쳐갈 무렵, 그가 발견한 건 소수만으로 이뤄진 수식이었다.

‘소수의 비밀’에 도전했던 슈퍼히어로들

소수가 만약 의미 없는 숫자의 모임이라면 오직 소수의 곱으로만 표현된 식도 역시 의미 없는 형태여야 정상이다. 그런데 놀랍게도 오일러가 찾아낸 식은 원의 둘레와 지름의 비를 구하는 식과 비슷했다. 무질서하다고 믿어지던 소수들이 우주에서 가장 아름다운 형태인 원을 나타내고 있는 것이었다. 이 발견은 당대 수학자들에게 큰 충격을 줬고, 소수에 무언가 숨겨진 비밀이 있다는 것을 확신하게 만들었다. 

19세기에는 인류 역사상 가장 위대한 수학자로 불리는 카를 프리드리히 가우스가 오일러의 유지를 이어받았다. 이미 열다섯이라는 어린 나이에 300만까지 존재하는 모든 소수를 구해냈고, 이 결과를 바탕으로 그는 어떤 수보다 작은 소수의 개수가 몇 개인지를 알려주는 소수정리를 찾아냈다. 역사적인 발견이었지만, 이를 증명해내지는 못했다. 그래서 드디어 오늘의 주인공인 리만이 등장하게 된다. 

가우스의 제자였던 리만은 50년째 증명되지 못하고 있는 소수정리를 해결하고자 제타함수를 만들었다. 쉽게 말해 제타함수는 소수만으로 이뤄진 식을 무한한 공간의 영역으로 확장할 수 있는 아이디어였다. 이제 가상의 숫자를 대입해보는 수준을 넘어 소수로 그래프를 그릴 수 있게 된 것이었다. 여기서 리만은 제타함수의 높이가 0이 되는 지점, 즉 영점들을 하나씩 찾기 시작했고 놀라운 비밀을 발견하게 됐다. 

소수로만 이뤄졌기 때문에 매우 불규칙할 것으로 예상된 제타함수의 영점들이 완벽하게 한 줄로 나열돼 있다는 것이었다. 드디어 가능성을 찾았다. ‘소수들이 의미 있는 규칙을 갖고 있는가’라는 다소 추상적인 질문이 ‘모든 영점은 일직선상에 있는가’라는 새로운 문제로 바뀌는 순간이었다.

소수와 원자의 놀라운 싱크로율

당초 소수정리를 증명하려고 리만 가설을 만들었지만, 1896년 소수정리가 리만 가설의 도움 없이 프랑스 자크 아다마르와 벨기에 샤를장 드 라 발레푸생에 의해 증명돼버리고 만다. 이제 리만 가설만이 소수의 비밀을 밝히는 열쇠로 남아 있게 됐다. 

영화 ‘뷰티풀 마인드’(2002)의 실제 모델이자 게임이론의 내시균형을 만든 미국 수학자 존 내시는 리만 가설을 증명하다 정신분열증까지 앓게 됐다. 그 외에도 수많은 수학자가 분노조절장애를 앓았고, 심지어 자살하거나 인생을 망치는 경우도 생겼다. 이렇게 리만 가설은 저주받은 다이아몬드처럼 손을 대는 모든 사람을 서서히 불행하게 만들었다. 과연 이대로 끝일까. 

1972년 미국 프린스턴대에서 리만 가설을 연구하던 휴 몽고메리 박사는 문득 새로운 아이디어가 떠올랐다. 영점이 일직선 위에 있는 것보다 중요한 건 혹시 영점들 사이의 간격이 아닐까. 소수의 간격은 불규칙하지만, 제타함수가 만들어낸 영점의 간격은 놀랍게도 비교적 일정했다. 그리고 꾸준히 연구한 끝에 이 간격을 나타내는 수식을 찾아냈다. 

재미있는 건 이 수식이 양자역학에서 적용되는 미시세계의 운동을 표현하는 수식과 완벽하게 일치했다는 점이다. 수학과 양자역학이라는 전혀 다른 두 분야에서 찾아낸 각각의 패턴이 하나로 연결돼 있었다. 아무 의미 없는 불규칙한 숫자라고 생각했던 소수가 이 세계를 구성하는 아주 작은 단위와 공통점을 갖고 있었다니. 물리학에서의 원자와 수학에서의 소수는 결국 다시 밀접한 관계를 갖고 있음이 밝혀진 것이다. 

결정적인 실마리를 찾아냈지만, 여전히 이 역사적인 난제는 160년 동안 풀리지 않는 미스터리로 남아 있다. 그리고 지금도 다양한 분야의 연구자들이 리만 가설을 증명하고자 협력하고 있다. 만약 누군가 돌아가면서 어려운 문제를 출제하는 내기를 하자고 제안한다면 주저 말고 리만 가설을 꺼내라. 상대가 해결한다면 인류는 우주를 이해할 수 있는 새로운 기회를 얻게 될지도 모르며, 그렇지 않다면 무조건 내기에서 승리할 수 있다. 

세상엔 이렇게 영원히 풀리지 않을 만큼 어려운 문제가 존재한다. 물론 가까운 미래에 모두가 수학자가 돼 리만 가설을 증명하길 원하는 것은 결코 아니다. 이 희대의 난제를 보면서 지금 당신 앞을 가로막고 있는 문제가 어떤 것이든 상대적으로 쉽게 느껴져 극복해낼 수 있기를 간절히 소망할 뿐이다.


_{궤도_ 연세대 천문우주학과 학부 및 대학원을 졸업한 후 한국천문연구원 우주감시센터와 연세대 우주비행제어연구실에서 근무했다. ‘궤도’라는 예명으로 ‘팟캐스트 과장창’ ‘유튜브 안될과학’을 진행하고 있으며, 저서로는 ‘궤도의 과학 허세’가 있다.}