수학사상 최고의 난제였던 ‘페르마의 마지막 정리’를 남긴 피에르 드 페르마(Pierre De Fermat)는 프로 수학자가 아니었다. 그는 1600년경 프랑스에서 태어났으며, 법률가로 활동했다. 재판소에 근무하는 유능한 지방공무원인 그에게 수학은 그저 취미에 불과했다. 

하지만 아마추어 수학자였던 그가 진정한 천재라는 점은 수많은 일화를 통해 알 수 있다. 상위권 세특 기록 가운데 30%에는 반드시 등장하는 ‘페르마의 마지막 정리.’ 무려 357년 동안이나 세계의 수학자들을 곤란하게 만들었던 페르마의 마지막 정리와, 거만해 보일 정도로 엄청난 업적을 일구었던 그의 일화들. 

이를 읽어보고 세특에 어떻게 기록되도록 활동하면 좋을지 생각해 보자. 

페르마의 위대한 업적 
1. 확률론의 창설 
페르마는 사람들과 접촉하는 것을 싫어했다. 그런 그가 특별히 호감을 느끼던 인물이 천재 파스칼이다. 파스칼은 수학에 따른 확률론의 창시자로 ‘확률론의 아버지’라고 불린다. 그런데 사실 그것들은 전부 페르마와의 의사소통 과정에서 태어났다. 즉 확률론의 반은 페르마의 공적이라 할 수 있다. 

2. 미적분의 발견 
수학의 미분, 적분은 뉴턴이 발명했다고 하지만 실은 그 아이디어에 가까운 것은 페르마의 머릿속에서 나왔다. 

뉴턴이나 라이프니츠가 태어나기 10여 년 전 이러한 성과를 얻었으며, 무엇보다 뉴턴 스스로 ‘페르마한테서 아이디어를 얻었다’고 서간에 남긴 것을 보면 더욱 분명하다. 이러한 일화만 보더라도 페르마가 아마추어이면서 수학 천재였던 것에 의심의 여지는 없다. 

3. 해석기하학의 수립 
페르마는 그리스의 3대 수학자 아폴로니오스의 [원뿔곡선론]을 공부하며 기하학에 대수학을 접목시킨 해석기하학을 발명했다. 

페르마의 원고에 따르면 그의 해석기하학은 해석기하학의 창시자로 알려져 있는 데카르트의 것과는 별개이고, 그보다 먼저 해석기하학을 발명했다는 것을 알 수 있다. 또한 페르마의 좌표계는 데카르트의 것보다 오늘날의 좌표계에 훨씬 더 가깝다. 

4. 근대 정수론의 구축 
페르마의 업적 가운데 가장 뛰어난 부분은 정수론이다. 

그는 평소 저명한 수학 이론서를 즐겨 읽으며 생각나는 것들을 책 귀퉁이 여백에 적어 놓는 습관이 있었다. 특히 그는 그리스의 수학자 디오판토스의 [산술(아리스메티카, Arithmetica)]을 연구하면서 ‘페르마의 소정리’, ‘페르마의 마지막(대) 정리’ 등의 메모를 남겼다. 이를 증명하기 위해 많은 수학자들이 애쓰면서 정수론이 발전됐다. 

프로 수학자들 도발한 페르마 

그런데 페르마에게는 매우 짓궂은 버릇이 있었다. 그는 수학의 새로운 사실을 발견하고도 그 증명의 아름다움에 만족하면 증명 방법을 써 붙였던 메모들을 죄다 쓰레기통에 처박아 버렸다. 

그는 수학을 본업으로 연구하지 않았기 때문에 수학계의 공헌이나 명예 따위는 어떻게 돼도 상관없었다. 아름다운 수학의 세계를 조용히 감상하는 것으로 충분했던 그는 증명을 기록으로 남기는 법이 없었다. 

게다가 페르마의 고약한 버릇은 하나 더 있었다. 바로 자신의 수학적 성과를 바다 건너 영국의 프로 수학자들에게 편지로 보내는 것이었다. ‘나는 이러이러한 수학의 명제를 증명했다’라는 편지에는 그냥 증명했다는 내용뿐, 결코 그 방법을 써놓지는 않았다. 

이렇게 페르마는 하늘같은 수학 선생들에게 새로 발견한 수학의 정리를 보내, 당돌한 도발을 자행했다. 

그의 이런 도발 행위에 프로 수학자들은 펄쩍 뛰었다. ‘아마추어 주제에 이런 건방을 떨다니!’라며 그들은 페르마가 보내온 정리의 증명에 도전했다. 그런데 이것이 결코 만만치 않아 그 당시의 최신 수학 기법을 총동원해도 전혀 증명의 아이디어를 찾아낼 수 없었다. 

급기야 프로 수학자들조차 두 손을 들었다. ‘아~ 도무지 모르겠다. 아마추어가 이런 증명을 할 수 있었다니 그건 순전히 거짓말이야! 그럼, 그렇고말고.’ 이렇게 그들이 증명을 내던지려고 할 때마다 페르마는 조금씩 힌트를 던졌다. 

평소의 페르마는 논쟁을 벌이거나 발끈하고 나서는 것을 싫어하며, 식물처럼 평온하고 조용한 삶을 좋아하는 사람이었다. 그런 그가 마치 딴사람이라도 된 것처럼 바다 하나를 끼고 멀리 떨어진 나라의, 얼굴도 모르는 상대를 조롱하며 즐기는 행동은  지금의 인터넷 사정과 아주 흡사한 것 같기도 하다. 

현대에도 아마추어 연구자들이 새로운 발견이라며 프로 수학자들에게 편지를 보내는 일은 부지기수이다. 그런 경우는 대개 오류투성이여서 명제가 성립하지 않는 것이 대부분이다. 그러나 페르마는 달랐다. 그의 수학적 능력은 프로 수학자를 완전히 능가하는 것이었다. 

그런데 앞서 말한 대로 페르마는 자신의 수학적 성과를 논문으로 정리하거나 공표하지 않았다. 그래서 결국 당시 수학계로부터 주목 받는 일도 없이 원하던 대로 평온하고 조용하게 생애를 마치게 된다. 물론 그것뿐이었다면 페르마는 누구에게도 알려지지 못한 채 역사 속에 고스란히 잠들었을 것이다. 

하지만 그가 메모로 끼적거려 놓았던 내용을 사후에 그의 아들 클레망 사뮈엘 페르마가 정리해 출판하면서 페르마는 세상 사람들로부터 주목을 받게 되었다. 아들이 출판한 책에는 이런 문장이 실려 있었다. 

보통은 진짜로 증명했는지 알 수도 없는 정리 따위는 쓸데없는 이야기로 치부돼 아무도 믿지 않았을 것이다. 하지만, 그것을 남긴 것은 다름 아닌 (일부 수학자들 사이에서 악명 높은) 페르마였다. 

그는 지금까지 수많은 수학자들에게 아리송한 문제를 던져주고 조롱하며 즐겼는데, 단 한 번도 거짓 정리를 보낸 적은 없었다. 프로 수학자들조차 증명하지 못한 정리도 그가 ‘증명했다’고 하면 그것은 분명히 진실이었던 것이다. 즉 페르마의 인격은 제쳐놓고라도 수학적 재능에 있어서 그가 남긴 정리는 올바른 것일 가능성이 높았다. 

그리하여 잃어버린 증명 방법을 찾아내기 위해 내로라하는 수학자들이 앞다퉈 페르마가 남긴 정리의 증명에 도전장을 내밀었다. 하지만 그 도전은 곤란에 부딪혔다. 역사에 이름을 남긴 천재 수학자들도 어떤 하나의 정리를 증명하는 데 몇 년이나 걸렸던 것이다. 

예를 들어 페르마가 남긴 정리 중 하나인 ‘페르마의 소정리’는 지금도 널리 쓰이는 대표적인 공개키 암호 체계 ‘RSA 암호’ 제작에 쓰인다. 이런 정리가 페르마 사후 약 100년이 지난 1700년대, 천재 수학자인 오일러가 무려 7년의 세월을 들여 가까스로 발견했을 정도이니까 더 말할 필요도 없겠다. 

페르(악)마의 마지막 정리 
그래도 수학자들의 끈질긴 노력으로 페르마가 남긴 정리의 증명들이 하나하나 발견되었다. 하지만 아무리 노력해도 해결되지 못하고 반드시 남겨지는 한 가지가 있었다. 누구도 증명을 이끌어내지 못하는 정리. 

그것은 바로 페르마가 당시 읽었던 책의 한쪽 귀퉁이에 낙서처럼 적은, 당장에라도 증명할 수 있을 것처럼 보이는 간단한 정리였다. 그 정리에 대해 페르마가 남긴 메모는 다음과 같다. 

그렇다. 페르마의 마지막 정리는 단지 이러한 내용에 지나지 않는다. 매우 간단한 것처럼 보이는 페르마의 마지막 정리가 담고 있는 의미를 자세히 설명하면 다음과 같다. 

그런데 중학생도 이해할 수 있을 것 같은 이런 단순한 정리를 두고 막상 “정말 그렇게 되는 것을 증명할 수 있는가?”라고 묻는다면, 역사 속의 어떤 천재 수학자라도 서슴없이 칼을 뽑을 수 없을 정도로 무척 어려운 문제가 된다. 

그가 발견한 ‘정말 놀라운 증명 방법’이란 도대체 무엇이었을까? 소문이 소문을 낳아 어느 틈엔가 그것은 ‘페르마의 마지막 정리’ 혹은 ‘페르마의 대정리’라는 이름으로 불리게 된다. 그리고 이 정리는 무려 페르마 사후 357년 동안, 누구도 증명하지 못하고 수많은 수학자들을 미치게 만드는 악마 같은 존재가 된다. 

이후 1995년 영국의 수학자 앤드류 와일즈가 증명에 성공하면서, 수학사상 가장 길었던 증명의 대장정은 막을 내리게 된다. 

*자료 제공=지브레인 출판사

 *에듀진 기사 URL: http://www.edujin.co.kr/news/articleView.html?idxno=41250
기사 이동 시 본 기사 URL을 반드시 기재해 주시기 바랍니다.  

* 대입 성공의 길 알려주는 '나침반36.5' 매거진 정기구독 이벤트 [배너 클릭]