페르마의 마지막 정리

개요

수학자 피에르 드 페르마의 정리. 페르마의 대정리라고도 불린다. 페르마가 확실한 증명법을 남기지 않았기에 페르마의 마지막 추측이라고도 불린다.

"3 이상 지수의 거듭제곱수는 같은 지수의 두 거듭제곱수의 합으로 나타낼 수 없다"는 정리이다. 즉, a,b,c가 양의 정수이고, [math]\displaystyle{ n\ge3 }[/math]일 때 [math]\displaystyle{ x^n +y^n = z^n }[/math]를 만족하는 해(解)는 존재하지 않는다.

초등학생 수준에서 봐도 이해하기 쉬은 문제이다. 하지만 이 문제는 400여 년 동안 수많은 정수론 수학자들을 절망에 빠트렸으며, 이해하기는 쉬운데 막상 풀려면 어려운 문제이다.

페르마는 산수론의 라틴어 번역판 여백에 다움과 같이 남겼다.

“	Cubum autem in duos cubos, aut quadratoquadratum in duos quadratoquadratos, et generaliter nullam in infinitum ultra quadratum potestatem in duos eiusdem nominis fas est dividere cuius rei demonstrationem mirabilem sane detexi. Hanc marginis exiguitas non caperet. 임의의 세제곱수는 다른 두 세제곱수의 합으로 표현될 수 없고, 임의의 네제곱수 역시 다른 두 네제곱수의 합으로 표현될 수 없으며, 일반적으로 3 이상의 지수를 가진 정수는 이와 동일한 지수를 가진 다른 두 수의 합으로 표현될 수 없다. 나는 경이로운 방법으로 이것을 증명했다. (그러나) 이 책의 여백이 너무 좁아 여기 옮기지는 않겠다.	“
— 디오판토스의 《산수론, Arithmetica》(1621)의 여백

그런데 여기 옮기지는 않겠다라고 했으므로 책이 아니라 여백이 충분한 다른 공간에다 옮길 수도 있었다. 그런데 왜 그러지 않았는지는 의문이다.

8번 문제 밑에 Observatio domini Petri di Fermat로 달려 있는 주석.

이 정리가 페르마의 마지막 정리로 불리는 이유는 페르마가 제기한 문제들 가운데 이 정리 하나만 남겨두고 모두 해결이 되었었기 때문이다. 백괴사전에선 페르마의 말을 따와 여백 부족의 정리라 부른다.

1995년 앤드루 와일즈 교수에 의해 증명되었다. 따라서 페르마-와일즈의 정리라고도 불린다.

역사

기원

이 문제는 위에서 설명했듯이 디오판토스의 산수론 라틴어 번역판 여백에 적혀 있었다. 페르마가 죽은 후 그의 장남 클레멘트 사무엘(Clément-Samuel)이 페르마가 산수론에 남긴 주석들을 모아 책으로 만들어 출간하였다. 이렇게 페르마의 연구가 세상에 알려지게 된다. 산수론에는 주어진 제곱수를 2개의 제곱수로 나누라는 문제가 있는데 이것이 페르마에게 영감을 주었다. 바로 이 문제에 남긴 주석이 페르마의 마지막 정리이다.

[math]\displaystyle{ n=4 }[/math]일 때의 증명

페르마 자신은 [math]\displaystyle{ n=4 }[/math]에 대한 증명을 내놓았다. [math]\displaystyle{ x^4+y^4=z^4 }[/math]을 만족하는 정수해가 없음을 증명하려 페르마는 정수해가 있다는 가정을 한 후 여기서 생기는 논리적 모순을 찾았다. 개략적으로 설명하면, [math]\displaystyle{ x^4+y^4=z^4 }[/math]을 만족하는 정수가 있다 가정했으니 그 정수해를 [math]\displaystyle{ x=X_1, y=Y_1, z=Z_1 }[/math]로 놓는다. 이 세개의 정수해, 즉 [math]\displaystyle{ X_1, Y_1, Z_1 }[/math]의 성질을 잘 살펴보면 기존의 방정식을 만족하면서 이보다 작은 값을 갖는 또다른 정수해, 즉 [math]\displaystyle{ X_2, Y_2, Z_2 }[/math]가 반드시 존재해야 함을 무한강하법으로 증명할 수 있다. 또 새로 얻은 정수해에 같은 논리를 적용하면 이보다 작은 정수해, 즉 [math]\displaystyle{ X_3, Y_3, Z_3 }[/math]이 또 존재해야 하며 이는 수없이 반복된다.

이 과정은 이론상 무한히 반복될 수 있으므로 무한히 작은 정수해를 구할 수 있다는 결론이 내려진다. 하지만 [math]\displaystyle{ x, y, z }[/math]는 정수이다. 무한히 작은 정수가 존재할 리 없다. 그러니 이 반복과정은 언젠가 끝나야 한다. 근데 이 논리의 결과는 이 과정이 무한히 반복될 수 있다 했으니 이는 모순이다. 모순이 나온 이유는 단 한 가지. 바로 [math]\displaystyle{ x^4+y^4=z^4 }[/math]를 만족하는 정수해, 즉 [math]\displaystyle{ X_1, Y_1, Z_1 }[/math]는 존재하지 않는다는 것이다. 이렇게 페르마는 [math]\displaystyle{ n=4 }[/math]일 때 정수해가 존재하지 않는다는 것을 증명했다. 하지만 페르마는 분명히 3 이상의 모든 [math]\displaystyle{ n }[/math]값에 대해 증명을 했다 주장했다.

오일러의 [math]\displaystyle{ n=3 }[/math]일 때의 증명

페르마는 [math]\displaystyle{ n }[/math]이 3 이상일 때 성립하지 않는다 했으므로 레온하르트 오일러는 [math]\displaystyle{ n=3 }[/math]일 때의 증명을 먼저 증명하려 했다. 페르마가 증명한 [math]\displaystyle{ n=4 }[/math]일 때의 경우를 [math]\displaystyle{ n=3 }[/math]인 경우에 적용시키기 위해 오일러는 허수라는 개념을 사용했다. 오일러 이전에 다른 [math]\displaystyle{ n }[/math]값의 증명을 [math]\displaystyle{ n=4 }[/math]일 때 페르마가 사용한 귀류법으로 해결해보려 했지만 [math]\displaystyle{ n=4 }[/math]때는 전혀 나타나지 않은 논리적인 모순이 생겼다. 그런데 오일러는 허수 [math]\displaystyle{ i }[/math]를 사용해 논리적 허점을 보완함에 성공했고 귀류법으로 [math]\displaystyle{ n=3 }[/math]의 경우의 증명을 해냈다. 하지만 [math]\displaystyle{ n }[/math]이 5 이상인 경우에는 이것도 전혀 먹혀들지 못했다.

[math]\displaystyle{ n }[/math]이 합성수일 때

그로부터 한동안 오일러 이후 이 문제에 별다른 진전이 보이지 못했다. 그러나 잘 살펴보면 무언가 조금 쉬워 보인다. [math]\displaystyle{ n=4 }[/math]일 경우가 이미 증명되었으니 4의 배수인 8, 12,16, 20, 24, 28, …인 경우들도 증명된 것이다. 임의의 수의 8제곱, [math]\displaystyle{ X^8 }[/math]은 또다른 임의의 수의 4제곱인, [math]\displaystyle{ (X^2)^4 }[/math]로 나타낼 수 있기 때문이다. 그러니까 [math]\displaystyle{ n=4 }[/math], [math]\displaystyle{ n=3 }[/math]일 때가 증명되었으니 [math]\displaystyle{ n }[/math]이 3,4의 배수일 때도 증명된 것이다. 그러면 모든 수를 다 살펴볼 필요 없이 소수들에 대해서만 증명하면 되는 것이다. 그러나 소수의 개수는 무한하다.

소피 제르맹의 접근법

그리고 이 문제는 19세기까지 정수론 분야에서 풀리지 않는 문제로 수많은 수학자들을 절망시켰다. 그리고 점점 잊혀갔다. 그러다 프랑스 수학자 소피 제르맹이 새로운 실마리를 제공했다. 제르맹은 다음과 같은 소수들에 관심을 가졌다. [math]\displaystyle{ p }[/math]가 임의의 소수일 때 [math]\displaystyle{ 2p+1 }[/math]도 소수가 된다. 이때 [math]\displaystyle{ p }[/math]를 제르맹의 이름을 따서 제르맹 소수라 한다. 제르맹은 제르맹 소수에 속하는 모든 소수 [math]\displaystyle{ n }[/math]에 대해 [math]\displaystyle{ x^n+y^n=z^n }[/math]을 만족하는 [math]\displaystyle{ (x, y, z) }[/math]의 정수해가 존재하지 않는 것 같다는 논리를 전개시켰다. 제르맹이 증명한 바에 따라 제르맹 소수 [math]\displaystyle{ n }[/math]에 한해 정수해 [math]\displaystyle{ (x, y, z) }[/math]가 존재하려면 [math]\displaystyle{ x, y, z }[/math] 중 하나 이상은 무조건 [math]\displaystyle{ n }[/math]의 배수가 되어야 한다. 이 논리가 알려진 후 수학자들은 제르맹 소수 [math]\displaystyle{ n }[/math]에 대해 [math]\displaystyle{ n }[/math]의 배수로 표현되는 [math]\displaystyle{ (x, y, z) }[/math] 정수 집합으론 [math]\displaystyle{ x^n+y^n=z^n }[/math]이 성립치 않음을 증명하려 하였다.

이 방법을 이용해 1825년, 페테르 구스타프 르죈느 디리클레와 아드리앵 마리 르장드르가 [math]\displaystyle{ n=5 }[/math]일 때의 증명을 각각 혼자 해냈다. 그리고 1839년에는 가브리엘 라메가 [math]\displaystyle{ n=7 }[/math]일 때의 증명을 해냈다. 그런데..

쿰머의 아이디얼 이론

제르맹이 페르마의 마지막 정리를 풀 수도 있겠다는 희망을 준 후 프랑스 과학학술원은 페르마의 마지막 정리에 3000프랑의 상금을 걸었다. 그러다 1847년 3월, 파리 학술원에서 앞서 [math]\displaystyle{ n=7 }[/math]일 때의 증명을 해낸 가브리엘 라메가 자기가 이 문제를 풀었다 했다. 아직 완전치 않으나 최대한 빨리 증명을 완성하겠다 발표했다. 그런데 오귀스탱 루이 코시도 회의장에서 자기도 증명했다 하였다. 그로부터 한 달 후인 4월에 둘은 증명 결과를 냈다. 하지만 뭔가 좀 애매한 게 많았다. 5월에 결국 에른스트 쿰머가 둘 다 틀렸음을 증명했다.

코시와 라메는 소인수분해을 사용해 증명했다. 소인수분해를 이용하는 것까지는 나쁘지 않으나 그들의 증명에는 허수가 나온다는 것이다. 모든 실수는 소인수분해될 수 있으며 이를 하는 방법은 단 한 가지다. 하지만 허수로 인수 분해를 하면 어떤 임의의 수는 무한히 많은 방법으로 인수 분해될 수 있다. 인수 분해되는 방법이 한 가지가 아니면 둘의 증명에는 큰 문제가 있었다.

그 후 쿰머가 내놓은 방법은 [math]\displaystyle{ n }[/math]이 31 이하의 소수에는 잘 들어맞는 증명이었다. 하지만 [math]\displaystyle{ n }[/math]이 37, 59, 67 등의 경우가 문제였다. 이러한 짜증나는 소수들을 비정규 소수라고 한다. 매우 큰 소수들 중에서도 비정규 소수는 나온다. 쿰머는 정규 소수일 경우에 증명은 완성했지만 비정규 소수가 문제였다. 페르마의 마지막 정리를 증명하려면 [math]\displaystyle{ n }[/math]이 비정규 소수인 경우에 대해서만 증명하면 되는 것이다. 하지만 당시의 수학 수준으로는 증명이 불가능했기에 1857년 프랑스 학술원은 상금을 폐지했다.

볼프스켈 상

파울 볼프스켈이라는 사람이 한 여인에게 고백을 했는데 차였다. 큰 충격을 받은 볼프스켈은 자살을 결심한다. 자살할 날을 정해 놓고 마지막 편지를 다 쓰니 자살 예정 시각까지는 몇 시간이 남아 있었다. 아무 생각없이 서재에서 수학책들을 보며 시간을 보내다 쿰머의 논문을 읽게 된다. 그러다 쿰머의 논리에 숨어 있던 논리적 허점이 보인 것이다. 쿰머는 하나의 가정을 내세우고 논리를 전개했는데, 그 가정에 기초한 쿰머의 논리는 끝맺지 못했다. 쿰머가 잘못된 가정을 내세운 것이 아닐까라는 생각에 논문을 살펴보았다. 볼프스켈은 아침이 밝아올 때까지 쿰머의 논리를 뒤집지는 못하고 보완하는 결론을 내렸다. 볼프스켈은 유서를 찢고 페르마의 정리를 증명하는 사람에게 자신의 전재산, 10만 마르크를 상금으로 준다고 내걸었다. 현재의 화폐가치로 18억 원을 넘는 거금이다. 이 상금은 볼프스켈이 죽은 후 1908년 괴팅겐의 왕립과학원에 맡겨졌으며 볼프스켈 상이라 이름지어졌다.

타니야마-시무라 추론과 프레이의 논리

타니야마-시무라 추론은 모듈 형태의 M-급수와 타원 방정식의 E-급수가 완전하게 일치한다는 추론이다. 이 둘은 완전히 다른 수학 분야이나 모두 1:1 대응 일치한다. 이는 후에 앤드루 와일즈가 증명한 이후에는 모듈러성 정리라고 불리게 된다.

1984년에 게르하르트 프레이는 타니야마-시무라의 추론을 증명할 만한 실마리는 제공하지 못했지만 타니야마-시무라의 추론이 증명되면 페르마의 마지막 정리도 증명된다고 하였다. [math]\displaystyle{ x^n + y^n = z^n }[/math] (n은 3 이상의 정수) 에서 페르마가 주장하는 바는 이 방정식을 만족하는 정수해, [math]\displaystyle{ x, y, z }[/math]가 존재하지 않는다는 것이다. 프레이는 조금 생각을 바꾸어 페르마의 정리가 거짓인 경우를 생각했다. 그러러면 위의 방정식을 만족하는 정수해가 하나라도 나와야 한다. 프레이는 이 가상의 정수해가 무엇인지 모르므로 다음과 같이 바꾸었다. [math]\displaystyle{ A^n + B^n = C^n }[/math] 그후 몇 단계의 의미가 같은 지극히 정상적인 계산 후에 페르마의 방정식은 이렇게 바뀌었다. [math]\displaystyle{ y^2 = x^3 + (A^N - B^N)x^2 - A^N B^N }[/math] 이것은 페르마의 방정식에 정수해가 존재하면 무조건 성립해야 한다. 그런데 이 방정식은 바로 타원 방정식의 형태이다. 일반적으로 타원방정식은 다음과 같다. [math]\displaystyle{ y^2 = x^3 +ax^2 + bx + c }[/math] 여기서 [math]\displaystyle{ a = A^N - B^N, b = 0, c = -A^NB^N }[/math] 를 대입하면 앞서 프레이가 만든 방정식이 된다. 이로써 페르마의 방정식이 타원 방정식의 형태로 바뀌며 페르마의 마지막 정리와 타니야마-시무라 추론과 연결되었다. 그리고 프레이는 이 타원 방정식이 정상에서 벗어난 기형적인 방정식인 것에 주목했다. 타니야마-시무라의 추론에 의하면 모든 타원 방정식은 모듈적 성질을 갖고 있어야 한다. 그러면 타니야마-시무라의 추론은 틀리게 된다. 이를 반대로 하면 타니야마-시무라 추론이 맞다고 증명되면 페르마의 마지막 정리도 맞게 되는 것이다.

프레이의 오류와 켄 리벳

그런데 프레이는 페르마의 방정식으로 유도된 타원 방정식이 비정상적인 모습을 하고 있다 했는데 그것을 증명하지 못하는 오류를 범한다. 이는 기초 수학문제처럼 보여서 간단히 해결될 거 같았지만 생각보다 안풀리게 된다. 수학자들은 불변량을 찾으려고 하였다. 프레이의 타원 방정식을 서술할 수 있는 모종의 불변량을 발견하기만 하면 프레이의 타원 방정식이 모듈 형태로 변환할 수 없다는 것을 증명할 수 있다. 1986년 켄 리벳은 8개월동안 증명에 시간을 보내다 카페에서 마주르의 조언으로 (M)구조의 감마-제로를 끼워넣어 프레이의 타원방정식이 모듈 형태로 변환되지 않는다는 것을 증명해냈다. 이제 남은 것은 타니야마-시무라 추론의 증명뿐이었다.

앤드루 와일즈의 증명

앤드루 와일즈는 귀납법을 사용해 타니야마-시무라 추론을 증명하려 했다. 와일즈는 그 첫 단계로 에바리스트 갈루아의 군론을 사용했다. 수학자들은 E-급수와 M-급수가 서로 연관됨을 가장 간단한 경우에서 증명하고 그 다음의 경우로 넘어가는 방법을 사용했다. 그런데 무한히 많은데 그런 논리를 찾기란 어려웠다. 와일즈는 모든 E-급수의 한 원소와 모든 M-급수의 한 원소를 비교후 그 다음 원소로 넘어가는 방법을 시도했다. 사실 이 방법도 무한대이긴 하나 이 방법을 사용하면 분명한 순서가 정해져 있기에 귀납법을 사용할 수 있던 것이었다. 결국 모든 E-급수의 첫번째 원소들이 모든 M-급수의 첫 번째 원소들과 정확하게 일치한다는 결론을 내린다. 이제 남은 것은 모든 E-급수의 n번째 원소들과 모든 M-급수의 n번째 원소들이 서로 일치한다면 모든 E-급수의 n+1번째 원소들과 모든 M-급수의 n+1번째 원소들도 서로 일치함을 증명하면 타니야마-시무라의 추론은 증명되는 것이다.

그것을 증명하기 위해 와일즈는 콜리바긴-플라흐의 방법을 사용했다. 하나의 특정한 타원 방정식에 콜리바긴-플라흐의 방법이 적용된다면 그 방정식과 동일한 패턴을 가진 다른 타원 방정식에도 같은 논리가 적용될 수 있음을 알 수 있었다. 와일즈는 모든 패턴의 타원 방정식에 적용이 가능하도록 콜리바긴-플라흐의 방법을 강화해 나갔다. 증명이 거의 끝났을 때, 콜리바긴-플라흐의 방법을 응용하며 논리상 오류를 범했을 지도 몰랐기에 검증이 필요했다. 와일스는 이 방식에 익숙하지 않았기 때문에, 1993년 프린스턴 대학교 동료인 닉 카츠에게 자신의 연구 결과 검증을 부탁하였다.

페르마의 마지막 정리가 증명된 것을 기념하기 위해 체코에서 발행한 우표.

1993년에 와일즈는 '모듈러 형식, 타원곡선, 그리고 갈루아 표현(Modular Forms, Elliptic Curues and Galois Representation)이라는 제목으로 강연을 하였다. 세 번의 강연이 있었는데 첫 번째는 타니야마-시무라의 추론에 관한 기초적 내용만 다루었다. 두 번째는 타니야마-시무라의 추론을 증명하기 위한 중간 과정을 설명했다. 그리고 세 번째에 와일즈는 자신의 증명을 세상에 공개했다. 와일즈는 페르마의 마지막 정리를 칠판에 적은 후 다음과 같이 말했다.

“

이쯤에서 끝내겠습니다.

“

증명의 오류와 재증명

앞서 와일즈의 증명의 검토를 하였던 닉 카츠는 논문에서 아주 사소한 문제점 하나를 발견했고 이를 와일즈에게 보냈으나 제대로 해결되지 못했다. 와일즈는 이를 해결하려 제자 리처드 로런스 테일러와 함께 1년 동안 오류를 해결하려고 하였다. 그러다 콜리바긴-플라흐의 방법만 사용하면 어떻게는 해결이 되지 못함을 알 수 있었다. 그런데 콜리바긴-플라흐의 방법 이전에 귀납법의 두 번째 단계로 사용한 이와자와 이론을 디시 눈여겨 보았다. 콜리바긴-플라흐의 방법을 사용하며 얻은 내용이 이와자와 이론으로 귀납법을 완성하는 데 중요한 요소였다. 즉 이와자와 이론과 콜리바긴-플라흐의 방법을 같이 사용해서 문제를 해결했다. 이로써 페르마의 정리는 완전히 증명되었다.

증명을 보고 싶다면

여기서 보자.< 영어는 기본이요, 현대수학에 능통하지 않는다면 읽는 것을 포기하라. 총 109쪽의 엄청난 분량이다.

페르마 이자식은 어떻게 증명한거야

20세기 후반에야 당시 현대수학을 총동원해 풀린 이 문제를 과연 17세기의 아마추어 수학자 페르마가 풀었을까? 일부를 풀어놓고 전부를 푼 것으로 생각했다 라고 받아들이는 것이 가장 일반적이다. 앞에서 얘기한대로 페르마는 [math]\displaystyle{ n=4 }[/math]일 때의 증명을 해냈으며, 이를 이용해 3일 때도 증명할 수 있었다. 하지만 그뿐이었다. 그 이상 페르마의 방법으론 증명이 불가능했다. 아마추어 수학자인 페르마는 대충 일부만 풀어놓고 맞구나 하고 넘어갔을 가능성이 크다.

하지만 페르마가 400년 전의 수학수준으로 이를 증명할 수 있는 획기적인 방법을 생각했을 수도 있다.

내가 풀려고 했는데

와일즈가 페르마의 마지막 정리를 증명하자 이를 증명하려던 다른 사람들은 문제가 없어졌다고 좌절 그 자체에 빠졌다.

그래서 하버드 대학의 수학자들이 클레이 수학연구소란 단체에서 2000년에 밀레니엄 문제를 내놓았다. 여기서 나오는 일곱 가지 문제는 일단 풀면 유명인은 물론 필즈상에 100만 달러의 상금을 받게 된다. 밀레니엄 문제 중 하나인 푸앵카레 추측은 그리고리 페렐만에 의해 이미 풀렸다.