|
|
|
 단순성과 적합성
자연/통계학 |
2006/11/26 03:09
|
|
|
과학, 수학 그리고 모형
아래 그림을 보면 알 수 있지만 단순한 모형(왼쪽)보다 복잡한 모형(오른쪽)이 더 다양한 자료를 설명할 수 있다. 그래서 모형에서 단순성과 적합성은 교환된다. 바꿔말하면 모형이 복잡해질 수록 더 적합해진다.
누구를 진료하든지 "병에 걸렸거나 걸리지 않았습니다. 죽거나 사실 겁니다."라고 말하는 의사가 있다면 이 의사의 진단은 항상 정확할 것이다. 하지만 진단이 이런 식으로 정확해봤자 아무 쓸모가 없다. 마찬가지로 모형을 선택할 때 모형의 단순성을 포기한 대가로 늘어난 적합성은 필요없다. 따라서 모형을 선택할 때는 단순성과 적합성을 모두 고려해야 한다.
좀 더 수학적으로 설명해보면 이렇다(귀찮은 사람은 뛰어넘어도 좋다). 자료를 D, 모형을 M이라고 하면 자료가 주어졌을 때 모형의 조건부 확률은 P(M|D)이고, 베이즈 정리에 따라 아래와 같이 전개된다.
같은 자료를 가지고 서로 다른 모형들을 비교할려는 것이기 때문에 자료의 확률 P(D)는 고려할 필요가 없다. 따라서 다음의 관계식을 얻는다.
이제 양변에 -log를 씌우면 확률은 엔트로피가 된다.
따라서 "모형에 대한 자료의 엔트로피 + 모형의 엔트로피"가 최소인 모형, 다시 말해 적합성과 단순성의 합이 최대인 모형이 자료에 대해 가장 확률이 높다.
이상이 통계학에서 적합도 지수(fit index)의 바탕에 깔린 논리다. 나는 이 논리가 과학 활동의 핵심이라고 생각한다. 그러니까 관찰 대상이 자연이냐 사회냐 하는 것은 별로 중요하지 않다.
여기에 반전이 하나 있다. 위의 논리는 완벽하지만 치명적인 결함을 하나 숨기고 있다. 그 결함이 뭔지는 다음에..(다음 달에?)
|
|
|
| 이 글의 관련글(트랙백) 주소 :: http://mentalese.net/blog/trackback/498 |
Tracked from 세리자와 박사의 괴수퇴치연구실 2006/11/27 19:29 x
제목 : 단순성과 적합성
귤님의 글에 예제를 하나 더 붙여본다.
빨간점이 데이타이고 녹색선이 모델이라고 하면, A -> B -> C로 갈 수록 적합성은 늘어나지만 단순성은 줄어든다.
나도 베이지안 추론은 과학에서 .. |
|
|
|
|
|
과학, 수학 그리고 모형
자연/철학 |
2006/10/28 02:07
|
|
|
과학이라고 하면 보통 실험과 수학을 떠올리지만 이 두 가지가 핵심적인 기능을 하는 분야는 물리학 일부 외엔 없다. 이를테면 천문학에서 실험이나, 생물학에서 수학은 그렇게 핵심적인 위치를 차지하고 있진 않다. 그럼에도 사람들이 실험과 수학을 과학의 핵심 요소로 여기는 이유는 분명 물리학의 영향이 지대했다. 그리고 물리학이 과학의 정형이 된 것은 자연철학에서 이어지는 일종의 귀족적 요소와 뉴턴에서 아인슈타인까지 이어진 일련의 '혁명'들에 기인한다.
물리학이 거둔 성공의 배경에는 실험보다도 수학의 공헌이 더욱 컸다. 이것은 과학과 수학이 뗄레야 뗄 수 없는 요소이며, 수학 중에서도 물리학에서 사용되는 그러한 수학 기법이 어떤 학문의 과학성을 보증해주는 것처럼 착각하게 만들었다. 그러나 이것이 착각일 뿐이라는 사실은 20세기 중반을 지나서야 서서히 밝혀지게 되지만 아직도 그런 착각은 여전히 광범위하게 퍼져있다.
덧씌워진 신비로운 꺼풀을 걷어내고 보면 수학은 인공적인 언어에 지나지 않는다. 보통 사람이 쓰는 언어, 자연어는 음성에서 음운, 형태소, 단어, 문법 등의 여러 층으로 이뤄져있고 가장 깊은 곳에 의미가 자리잡고 있다. 그런데 수학에는 형태소와 문법의 두 층 밖에 없고, 문법이 가장 깊은 층이다. 수학에서 의미는 곧 문법이며, 문법적인 문장은 곧 의미있는 문장이 된다. 예를 들어 자연어에서는 "코끼리가 풍선을 죽이고, 강을 거슬러 살았다"처럼 문법에는 맞지만 무의미한 문장이 있지만 수학에는 문법이 맞고 무의미한 문장이 없다.(엄격히 따지면 꼭 그런 것만은 아니지만 당장은 무시하자.)
따라서 우리가 관찰하는 대상의 각 부분을 수학의 형태소에 대응시키고, 대상의 구조를 수학의 문법에 대응시켰을 때 우리가 대상에 대해 관찰하고자 하는 바를 남김없이 수학으로 대응시킬 수 있다면 대상 자체에 일일이 신경쓸 필요없이 수학적으로 올바른 문장을 작성하는 것만으로도 대상 자체를 직접 다루는 것과 동일한 결과를 얻게되며, 반대로 올바르게 작성된 수학의 문장에는 항상 그에 대응하는 현상이 현실에도 있다는 것을 보증할 수 있게 된다. 이런 관계를 동형적(isomorphic)이라고 한다. 물리학은 미분방정식을 비롯한 몇 가지 수학을 통해 자신의 관찰 대상을 완전히 기술할 수 있는 방법을 찾아냈다. 이런 학문은 물리학이 유일하다.
자신의 관찰 대상을 완전히 기술할 수 있는 수학을 찾지 못한 화학은 학문적 발전에서나 산업의 응용에서나 결코 물리학에 뒤지지 않지만 과학의 정형으로 대우받지 못했다. 하지만 화학은 화학식을 비롯해서 기존의 수학과 다른 고유한 언어를 만들어냈다. 화학의 언어는 물리학이 언어로 삼은 수학에 비해 우아함은 좀 떨어지지만 화학의 관찰 대상과 동형적이라는 점에서 역시 부족함은 없다. 실수를 형태소로 삼느냐 H,O,N 같은 기호를 형태소로 삼느냐 같은 지엽적이고 표면적인 차이는 사람들의 눈을 솎이기에 충분했다.
추상대수학이 충분히 발전하기 전까지는 이런 지엽적인 차이는 상당히 근본적인 것으로 여겨졌다. 어떤 사람들은 물리학의 수학이 유일한 수학이며, 사회과학 등에는 이런 수학 기법을 온전히 사용할 수 없으므로 사회과학이 과학이 될 수 없다고 믿었다. 반대로 어떤 사람들은 물리학에서 사용하는 수학 기법을 사용하는 것만으로도 자기 분과의 과학성이 저절로 보증되리라 믿었다. 그러나 이 모두는 그저 착각일 뿐이었다. 수학 자체는 그저 언어일 뿐이다. 언어는 아무 것도 보증하지 않는다. 오로지 관찰대상과 동형적인 언어만이 좋은 도구가 될 수 있을 뿐이다. 아무리 물리학에서 좋은 성과를 거두는 수학 기법이라도 다른 분과의 관찰 대상과 동형적이지 않다면 그 분과에선 아무 짝에도 쓸모가 없고, 조잡해보이는 표기법이라도 특정 분과의 관찰 대상과 동형적이라면 충분히 과학 연구의 도구가 될 수 있다.
과학 활동의 요체는 관찰 대상이 무엇이냐에 달려있는 것이 아니라 관찰 대상과 동형적인 언어를 찾아 그 언어로 관찰 대상의 양태와 변화를 설명하고 예측하는 적합하고도 단순한 모형을 만드는 것이다. 창조론은 이 조건을 만족시키지 않기 때문에 과학이 될 수 없다. 얼마 전 번역되 나온 "심판대의 다윈"이라는 책은 공작 수컷이 화려한 깃털을 가지게 된 이유를 신의 뜻이라고 주장한다. 공작 암컷이 수수한 깃털을 가지게 된 이유도 신의 뜻이므로 이 언어는 관찰 대상과 동형적이지 않다. 화려한 깃털도 신의 뜻, 수수한 깃털도 신의 뜻이면 관찰 대상에서 신의 뜻에 대응하는 것은 도대체 뭔가? 깃털? 게다가 전지전능한 신은 세계가 가질 수 있는 모든 상태와 더불어 세계가 가질 수 없는 상태들까지 자기 안에 가지고 있기 때문에 그 복잡도는 가능한 모든 세계의 복잡도와 불가능한 세계의 복잡도를 합한 것과 같다. 따라서 신의 뜻을 언어로 하는 모형은 존재할 수 있는 어떤 종류의 모형보다도 복잡하여 "적합하고도 단순한 모형"의 기준을 만족시키지 못한다. 진리 여부와 상관없이 창조론은 과학이 아니다.
갈릴레이가 피사의 사탑에서 돌을 떨어트린 이야기를 하며 중세 사람들의 무지를 비웃는 우리에게도 중력이라는 개념은 그렇게 와닿는 개념이 아니다. 뉴턴이 '프린키피아'를 발표했을 때, 당시의 기계론자들은 직접적인 접촉 없이 힘이 전달될 수 있다는 뉴턴의 중력 개념이 비과학적이라고 비판했다. 실제로는 기계론자들의 말이 옳았다. 뉴턴은 연금술 따위의 신비주의에 푹 빠져있었으며 세계가 인과율에 따라 움직인다는 기계론적 발상을 싫어한 독실한 기독교도였다. 중력처럼 먼 거리에서 영향을 미치는 신비한 힘이야 말로 연금술이나 기독교에 어울릴법한 발상이었다. 뉴턴이 만들어낸 혁명의 배후에는 비과학적이고 종교적인 동기가 숨어있었다. 역설적이지만 중력이 무엇인지 설명하라는 기계론자들의 요구에 대한 뉴턴의 응답은 그의 비뚤어진 동기에도 불구하고 '과학이란 무엇인가'에 대해 충분한 대답이 된다.
"우리로서는 중력이 존재하며 그것이 우리가 설명한 법칙에 따라 움직인다는 것, 그리고 천체와 바다의 모든 움직임을 설명하는 데 충분하다는 것. 그것으로 충분하다."
그것으로 충분하다.
|
|
|
| 이 글의 관련글(트랙백) 주소 :: http://mentalese.net/blog/trackback/494 |
Tracked from Homo-sapiens-sapiens.net 2006/10/28 16:29 x
제목 : 과학이란 무었일까?
과학과 수학 그리고 모형을 mantalese.net에서 읽고... 이 글은 내가 의문점을 가지고 있던것, '과학이란 무엇일까?' '어떤것을 과학이라고 부를수 있을까?'라고 생각하던것을 명쾌하게 해결해주는.. |
Tracked from 세리자와 박사의 괴수퇴치연구실 2006/10/29 18:49 x
제목 : 수학 과학 잡설
과학, 수학 그리고 모형
뭐 말할 거리는 많지만.
1. 오늘날 수학의 범위는 넓어서 어떤 대상을 다루는 체계적인 언어가 등장한다면, 그리고 (뭣보다 중요하게) 거기에 돈이 보인다면, 수학.. |
Tracked from a quarantine station 2006/10/31 07:07 x
제목 : 사회과학에 관한 논고
사회과학은 인간의 사회적 행위의 근원을 다룬다는 바로 이러한 이유 때문에 역사에 대하여 자연과학보다 더 직접적인 관계를 맺고 있다. 바로 이러한 까닭으로 인하여 사회과학에 대한 설명.. |
Tracked from mentalese 2006/11/26 03:11 x
제목 : 단순성과 적합성
과학, 수학 그리고 모형 아래 그림을 보면 알 수 있지만 단순한 모형(왼쪽)보다 복잡한 모형(오른쪽)이 더 다양한 자료를 설명할 수 있다. 그래서 모형에서 단순성과 적합성은 교환된다. 바꿔.. |
|
|
|
|
«
2008/11
»
| 일 |
월 |
화 |
수 |
목 |
금 |
토 |
| |
|
|
|
|
|
1 |
| 2 |
3 |
4 |
5 |
6 |
7 |
8 |
| 9 |
10 |
11 |
12 |
13 |
14 |
15 |
| 16 |
17 |
18 |
19 |
20 |
21 |
22 |
| 23 |
24 |
25 |
26 |
27 |
28 |
29 |
| 30 |
|
|
|
|
|
|
|
|
Total : 551670
Today : 176
Yesterday : 318 |
|
|
태그 : 
