페르마의 마지막 정리와 수학적 도구들

서론 : 수학 역사상 가장 유명한 미해결 문제

나는 정말로 놀라운 증명을 발견했지만, 이 여백은 그것을 적기에는 너무 작다. - 피에르 드 페르마

1637년, 페르마는 디오판토스의 '산술' 여백에 이 문장을 남겼다. 이 짧은 메모는 수학 역사상 가장 오래된 난제 중 하나가 되어 하나의 출발점이 되었다. 이후 350년간 수많은 수학자들이 이 정리를 증명하기 위해 시도했지만, 정식으로 완성된 증명은 20세기 후반이 되어야만 세상에 나올 수 있었다.

이른바 페르마의 마지막 정리 (Fermat's Last Theorem) 는 다음과 같이 요약할 수 있다 :

정수 \(n > 2\)에 대하여, \(x^n + y^n = z^n\) 을 만족하는 정수해 \((x,y,z)\)는 존재하지 않는다.

이 간단한 방정식은 오랜 시간 동안 수학계의 집단 지성을 자극하면서, 수론, 기하학, 대수학의 경계를 넘나드는 깊이 있는 연구로 이어지도록 하였다.

정리의 구조와 고전적 접근들

n=2일 때, 우리는 잘 알려진 피타고라스 정리를 얻을 수 있다:

\[x^2 + y^2 = z^2 \]

이는 무수한 정수해 (예 : \(3^2 + 4^2 = 5^2\))를 가지지만, 페르마는 \(n > 2\)일 때에는 그러한 해가 없다고 주장하였다. 오일러는 n=3, 랑주는 n=5, 소피 제르맹은 특정한 소수에 대해 부분적 증명을 제시하는 데에 성공하지만, 보편적인 n에 대한 증명은 제시되지 못하고 있었다.

타원곡선과 모듈러 형식 : 전혀 다른 분야의 만남

타원곡선 (Elliptic Curves)

타원곡선은 다음의 형태를 가진 대수적 곡선이다.

\[y^2 = x^3 + ax + b \space (a,b \in \mathbb{Q}, \Delta \ne 0)\]

이때 판별식 \(\Delta = 4a^3 + 27b^2 \ne 0\) 조건은 곡선에 특이점이 없음을 보장하고 있고, 이 타원곡선은 군 구조를 가지며, 정수론, 암호학, 대수기하학 등에서 폭넓게 활용되고 있다.

모듈러 형식 (Modular Forms)

모듈러 형식은 상반평면 \(\mathbb{H}\) 위에서 정의되는 해석적 함수로, 다음의 변환 법칙을 따른다:

\[f\left(\frac{az+b}{cz+d}\right) = \left(cz+d\right)^k f(z)\]

여기서 \(\begin{pmatrix} a & b \\ c & d \end{pmatrix} \in SL_2 (\mathbb{Z})\) 이고, \(k\)는 정수 가중치이다. 이는 푸리에 급수 전개를 통해 다음과 같이 표현할 수 있다:

\[f(z) = \sum_{n=0}^{\infty}a_n e^{2\pi i n z}\]

타니야마-시무라-웨일 추측

타니야마와 시무라는 타원곡선과 모듈러 형식이 서로 대응될 것이라는 과감한 추측을 제안한다. 이는 "모든 유리수 계수의 타원곡선은 모듈러 형식에서 유도된다"는 것으로 요약되며, 후일 모듈러성 정리(Modularity Theorem)로 완전히 입증된다.

프라이 곡선, 리벳의 아이디어, 그리고 논리적 연결

게르하르트 프라이는 다음과 같은 타원곡선을 고안한다:

\[E_{a,b,n}: y^2 = x(x - a^n)(x + b^n)\]

이는 만약 \(a^n + b^n = c^n\)인 정수해가 존재한다면 정의될 수 있는 곡선이다. 그는 이 곡선이 모듈러하지 않을 것으로 추측했고, 만약 타니야마-시무라 추측이 참이라면 이 곡선은 모듈러 형식과 모순되므로, 본래의 방정식은 해를 가질 수 없다고 주장하였다.

켄 리벳은 1986년, 이 논리를 엄밀히 수학적으로 구성하여, 타니야마-시무라 추측이 참일 경우 페르마의 마지막 정리가 자동적으로 참이 됨을 증명하였다.

와일스의 증명과 현대 수학의 도구들

앤드루 와일스는 이 연결을 확장하고, 타니야마-시무라 추측의 특별한 경우(세미안정한 타원곡선에 대한 경우)를 증명함으로써 페르마의 마지막 정리를 완전히 해결하였다.

갈루아 표현 (Galois Representations)

타원곡선 \(E\)에 대해 다음과 같은 갈루아 표현이 존재한다:

\[\rho_{E,p} : \text{Gal}(\overline{\mathbb{Q}}/\mathbb{Q}) \rightarrow GL_2(\mathbb{F}_p)\]

와일스는 이 갈루아 표현이 모듈러 형식에서 유도되는 표현과 일치함을 보였다.

변형 이론 (Deformation Theory)

리처드 테일러와 함께, 와일스는 갈루아 표현들의 변형 공간을 구성하고, 조건을 만족하는 변형이 모듈러 형식으로부터 유도될 수 있음을 보였다. 이는 정리의 논리적 핵심 구조를 구성한다.

헤케 대수와 동형사상 구성

헤케 대수는 모듈러 형식에 작용하는 연산자들로 구성되며, 표현의 구조를 이해하는 데 중요한 역할을 한다. 와일스는 이 대수와 변형 이론 사이의 동형사상을 이용해 증명을 마무리하였다.

결론: 수학의 통합성

페르마의 마지막 정리는 단순한 정수 방정식에서 출발하여 현대 수학의 가장 정교한 구조들과 연결된다는 점에서 특별하다. 이 정리를 통해 우리는 다음과 같은 사실을 깨닫게 된다:

• 수학은 단절된 지식이 아니라 유기적으로 연결된 거대한 구조.
• 추상적인 개념과 이론도 현실의 문제 해결에 깊이 관여할 수 있음.
• 집념과 협업, 논리와 정밀성은 수학 발전의 핵심 동력.

이제 페르마의 마지막 정리는 단순한 정리를 넘어, 수학의 정신과 진보를 상징하는 위대한 이야기로 남게 되었다.