카테고리 이론

페북에 올라온 질문 중에 카테고리 이론(Category Theory)이 어떤 이유에서 만들어진 것인지 모르겠다는 질문이 올라왔다. 이 이론은 20세기 중반에 Homology 이론이 만들어지고 나서 우리가 수학에서 이론을 만든다는 것에 Homology 이론이 그 전범이 된다고 생각하여, 이렇게 한 가지 대상을 이해하기 위하여 우리가 잘 아는 다른 대상과 사이에 구조적인 동일형태관계를 맺고 그 두 번째 대상을 통하여 문제의 대상을 이해한다는 도식을 (메타)수학 이론으로 정리한 것이라고 생각할 수 있다.

20세기 전반부에는 수학을 이해하는 도구로는 집합론을 꼽을 수 있다. 이것은 수학의 이론이란 것은 모두 어떤 대상을 가지고 있는데 이 대상의 모임을 집합이라 부르고 각각의 대상은 이 집합의 원소로 보는 방법이다. 그러나 이런 대상을 이해하려면 집합만으로는 부족하며 이와 유사한 집합 사이의 관계를 파악함으로써만 가능하다는 사실을 곧바로 파악하여 두 집합 사이의 관계(relation) 특히 함수(function)을 써서 이해한다는 집합론을 만들었다.

그런데 호몰로지 이론이 나오기 이전까지 위상공간은 위상공간 사이의 문제만 생각했고 따라서 연속함수나 homeomorphism을 공부한 반면, 대수학에서는 군, 환, 체 등을 생각했고 그들 사이의 homomorphism이나 isomorphism만을 생각하면 된다고 생각했다. 그런데 새로이 호몰로지 이론이 개발되면서 위상공간마다 군이나 모듈(가군)을 대응시키고 continuous map마다 homomorphism을 대응시키는 생각을 하니 이전에는 알지 못했던 엄청난 것을 알 수 있다는 사실을 알았다.

이런 대응도 함수임에는 틀림 없지만 우리가 생각할 때는 위상공간 전체의 모임에서 군 전체의 모임으로 한꺼번에 대응시키므로 뭔가 새로운 말을 만들 필요가 있었다.(사실 이런 대상 전체의 모임이 집합이 되기에는 너무 크다는 것도 다른 용어의 필요성을 제기했다.) 그래서 이런 어떤 구조를 갖는 대상 전체의 모임 (위상공간의 모임, 군의 모임, 등등)을 category라고 부르고, 두 category 사이에 대응을 functor라고 부르기로 하였다. 그런데 homology 이론을 잘 들여다 보면 이 대응관계(functor)만 알면 이 이론의 결과를 얻게 된다는 것을 알 수 있었다. 즉 우리는 category의 여러 성질을 알아내는데 그 성질은 functor가 다 가지고 있다는 것이다. 여기서 집합론으로 돌아가 보아도 마찬가지 사실을 알 수 있다. 어떤 집합의 성질에 대하여 알고 싶은데 이 집합의 원소는 전혀 보지 않고 이 집합에서 나오고 들어가는 함수들 전체의 합성관계만 다 알면 이 집합의 집합으로서의 성질을 다 알 수 있다는 사실을 알게 되면서 집합과 원소의 성질을 결정하는 것은 원소 자신이 아니라 함수라는 새로운 사실이 중요한 사실로 대두되었다.

그래서 구체적인 category (위상공간의 category, 군의 category,...)에 대한 이야기 말고, 일반적인 category의 이론을 만들려면 (집합론처럼 무정의 술어를 써서 공리적으로 만들듯이) 이 개념의 핵심을 잡아야 하는데 결국 핵심은 우리가 대상(object)이라 잡는 category의 원소들은 중요하지 않고 이들 사이의 함수에 해당하는 사상(morphism)의 합성관계만이 필요하니까 object는 집합이라던가 하는 가정할 필요가 없어지게 되었다. 즉 object 자체는 원소를 가진다거나 하는 가정 없이 무정의 술어이고 morphism도 더이상 함수라던가 할 필요가 없지만 합성이라는 것은 할 수 있어서 이들이 어떤 식으로 합성되는지 그 작용소만 정의되었다고 해도, homology 이론에서 하던 것과 같은 모든 이야기를 할 수 있다. 그리고 마음만 먹으면 이 morphism에서부터 object에 어떤 원소가 있는지도 어느 정도 알아낼 수 있다는 생각을 하게 된 것이다.

그러니까 category 이론은 집합론의 meta 이론이고, 어떤 의미에서 집합론이 집합을 주 대상으로 하고 이로부터 함수가 파생되어 나온 구조를 가지고 있다면, category이론은 함수(morphism)이 주 대상이고 이로부터 object의 성질이 파생되어 나오는 것을 연구하는 소위 집합론에 dual한 형태의 이론으로 자리잡게 되었다.

초기에는 이런 새로운 방법론이 집합론이 다루지 못했던 새로운 문제를 해결하리라고 생각했지만 이런 일은 일어나기 힘들다는 것을 알게 되었고, 따라서 매우 효율적인 언어임에는 틀림 없지만 집합론을 하는 것보다 더 알려주는 것은 없다는 비판을 받게 된다. 그러나 이 언어는 현대 수학의 모든 부분에서 집합만을 다루는 것보다 훨씬 편리하고 직관적이어서 현대수학의 언어로 자리매김하였다.

그런데 이후 수십년이 지나면서 여러 다른 곳에서 이 개념을 가져다 쓰게 되었다. 우선 컴퓨터에서 네트워크를 연결할 때 그 연결 네트워크의 구조를 그쪽 이론에서 보통 topology라고 부르는데 이것이 컴퓨터의 내부와는 무관하므로 컴퓨터를 한 점이라고 보아 object라고 부르고 네트워크가 연결되면 morphism이 하나 있다는 식으로 사용하기 시작하여 category 이론의 정리들을 거기 적용하였다. 한편 훨씬 더 시간이 지나 최근에는 논리학에서 어떤 논리학을 category와 morphism으로 설명하고 이를 바탕으로 확장된 논리학을 만들어나가는 등의 이론이 새로 생겨 양자논리(?) 라는 등의 새로운 시도가 되고 있다. 이 이론은 sheaf(층)의 이론과 맞물려 논리학 자체가 또 다른 방향으로 매우 추상적인 수학으로 변모해 나가는 것을 보여준다.

역시 수학의 발전은 끝이 없다.