미국의 수학자이자 컴퓨터 과학자로, 정보이론(information theory)의 아버지라고 불리는 클로드 섀넌(Claude Shannon)은 1948년에 정보이론의 시초라고 할 수 있는 <The Mathematical Theory of Communication>이라는 논문을 발표했다. 그는 송신기에서 수신기로 신호를 보내고 다른 쪽 끝에서 신호를 올바르게 디코딩하는 엔지니어링 문제에 관심이 있었는데, 그가 이 논문 등에 소개한 매우 일반적인 이론은 그 자체로 정보 이론이라고 하는 별도의 분야가 되었다. 섀논의 논문의 주요 특징은 신호의 정보 콘텐츠에 대한 새로운 척도를 도입한 것이다. 섀논은 폰 노이만(von Neumann)의 조언으로 이것이 통계 역학의 엔트로피와 매우 유사하다는 것을 깨달았다고 하는데, 유명한 일화에 따르면 노이만은 “아무도 엔트로피가 실제로 무엇인지 알지 못하기 때문에” 섀논의 방정식을 엔트로피라고 부르도록 격려했다고 한다. 섀논의 측정 H(measure H), 확률 이론 및 열역학적 엔트로피 사이의 관계에 대해서 논의하고자 한다.
[확률과 정보]
확률 이론은 종종 시도(trial)라고 하는 사건(event)이나 실험과 그에 따른 각각의 가능한 결과가 얼마나 확실하거나 불확실한지에 관한 것이다. 예를 들어, 동전 던지기는 편향(bias)을 가정할 이유가 없는 경우(즉 편향이 없는 또는 공정한) 동전이 앞면 또는 뒷면이 나오는 결과에 동일한 확률을 할당할 수 있는 시도이다(이 경우, 당연하게도, 이 상황은 앞면 또는 뒷면의 확률이 모두 1/2이다.). 일반적으로, 어떤 시도에 대한 결과의 확률은 0에서 1까지의 단위 없는 숫자일 것이다. 0은 불가능을 나타내고 1은 절대적인 확실성을 나타낸다. 확률 pi의 집합은 문제의 시행에서 가능한 모든 결과를 포함하는 경우 그 값의 합계가 정확히 1이 될 것이다. 그리고, 모든 pi 가 같으면 불확실성이 최대라고 할 수 있다. 왜냐하면, 매번 하나의 결과가 얻어지는 극단적인 경우 그 확률은 하나이고 다른 모든 결과는 불가능하기 때문이다.
두 개의 독립적인 사건이 발생할 확률은 개별 확률을 함께 곱하여 구할 수 있다. 예를 들어, 1에서 6까지의 숫자가 표시된 6면이 있는 일반 주사위(즉, 공정한 주사위)를 던질 경우 각 숫자가 나올 확률은 각각 1/6인데, 공정한 주사위를 던지고 공정한 동전을 던질 경우 6이라는 숫자와 뒷면이 나올 확률은 1/6 x 1/2 = 1/12이다. 그리고, 공정한 동전을 두 번 던져서 두 동전 모두 앞면이 나올 확률은 1/2 x 1/2 = 1/4이다.
한편, 확률 분포에 내재된 불확실성을 정확하게 측정하는 것은 많은 상황에서 매우 유용한데, 섀논은 특정한 양에 관한 식 H (p1, p1, · · · , pn) = − Σi n pi ln pi 이 그러한 척도로 특히 적절하게 사용될 수 있는 독특한 속성을 가지고 있음을 보여준 최초의 인물이었다. 이 식의 합은 n개의 확률에 대해 수행되는데, pi 가 1이면(즉, 이 외의 다른 모든 확률이 0이면) 이 식의 값은(즉, H의 값은) 0이 된다. 이 경우는 시도의 결과에 전혀 불확실성이 없음을 보여준다. 그리고, n번의 모든 시도에 대해 H는 각 pi 가 같을 경우에는 최대값인 1/n에 도달한다. 확률 분포는 시도가 발생하기 전에 어떤 결과에 대한 선호도를 나타내지 않기 때문에 이것은 또한 합리적이다. 완벽하게 공정한 주사위는 특정 면이 위로 향한 상태로 착지할 확률이 정확히 6분의 1이며, 이 경우 가장 불확실성이 크기 때문에, 주사위가 다른 확률 분포를 가질 경우에는 그 불확실성이 더 작아야 한다. 한편, 두 개의 독립적인 확률 분포 A와 B에 대해 결합된 확률 분포 H (AB)의 불확실성은 H (A) + H (B)임을 알 수 있다. 두 개의 독립적인 사건의 결합된 불확실성은 발생 순서에 관계없이 각 사건의 불확실성의 합과 같다고 기대하는 것이 합리적이기 때문이다. 두 개의 확률 분포가 독립적이지 않으면 첫 번째 시도가 두 번째 시도에서 무엇을 기대해야 하는지에 대한 단서를 제공하기 때문에 결합된 불확실성이 적을 것이다. 따라서 H (AB) ≤ H (A) + H (B) ( ‘=’은 두 확률 분포가 독립적인 경우에만 성립한다.)라고 할 수 있다. 이 관계식과 이전 글(과학, 알고싶다(209))에서 설명했던 깁스의 부등식(∫all phases · · · ∫ Pi ln Pi dp1 · · · dpn dq1 · · · dqn ≤ Σi [ci ∫all phases · · · ∫ Pi ln Pi dp1 · · · dpn dq1 · · · dqn])과의 연결은 명백하다.
H의 정의(위의 식 H (p1, p1, · · · , pn) = − Σi n pi ln pi)로부터, 임의의 밑을 사용하는 로그가 사용될 수 있음이 분명하며, 그 차이는 실제로 선택된 밑에 의존하는 요소일 뿐이다. 식의 마이너스 부호도 취향의 문제인데, 이는 불확실성이 0으로 떨어지지 않고 최소값이 아닌 최대값에 도달할 수 있도록 삽입되었기 때문이다. 그럼에도 불구하고, 섀넌 방정식은 H라는 값을 확률 분포로 표현되는 정보의 매우 귀중한 측정값으로 만든다. H가 0이면 절대적으로 확실하게 시행 결과를 예측할 수 있다는 의미이기 때문이다. 그런데 양의 측정(the measure of quantity)는 양(quantity) 그 자체와는 다르다는 점에 유의하는 것이 중요하다. 섀논의 정보 엔트로피는 확률 분포의 정보 내용과 동일한 의미를 가지는 것이 아니다. 그리고 여기에 사용된 “정보”라는 단어가 정보 이론에서 예상되는 의미를 의미하지 않을 수도 있다는 점을 이해하는 것도 중요하다. 메시지의 문자가 완전히 섞일 경우에도 섀논의 정보 엔트로피는 변경되지 않으므로 메시지의 “정보량”이라고 부르는 것은 “엔트로피”라고 부르는 것 만큼이나 오해의 소지가 있다는 것이다. 섀논의 관심은 특정 메시지에 저장된 내용이 아니라 얼마나 많은 정보가 통신 채널을 통해 전달될 수 있는지, 즉 정보를 전송할 수 있는 능력이었다. 통신 이론(communication theory)에서 “정보”라는 단어는 ‘말하는 것’보다 ‘말할 수 있는 것’을 반영한다. 위버(Weaver)는 “사실, 두 메시지 중 하나는 의미가 풍부한 메시지이고 다른 하나는 순전히 말도 안 되는 메시지일 경우에도, 두 메시지는 정보와 관련하여 현재의 관점에서 정확히 동일하다고 할 수 있다.”라고 언급한 바 있다. 즉, ‘지구는 달보다 크다.’라는 메시지와 ‘달은 지구보다 크다.’라는 메시지를 고려했을 때, H의 정의 관점에서 이 문장들은 동등한 가치를 가지고 있다고 볼 수 있다. 섀넌은 추상적 철학이 아니라 한 곳에서 다른 곳으로 신호를 정확하게 보내는 매우 실용적인 문제에 관심이 있었다.
[최대 엔트로피]
섀논의 정보 엔트로피는 특히 소위 최대 엔트로피라고 알려져 있는 원리 또는 방법을 통해 천문학에서 결정학에 이르기까지 매우 광범위한 분야에서 사용된다. 이 방법에 대해서 이번 글에서는 간략하게 살펴본다. 제인스(Jaynes)가 처음 제안한 기본 원칙은 “최대 무차별(maximum indifference)”이라고 알려져 있는 라플라스(Laplace)의 제안과 유사하다. 본질적으로, 알려진 데이터와 일치하지만 알려지지 않은 매개변수에 대한 제한이 가장 적은 확률 분포의 경우에 가장 큰 엔트로피를 가지며 어떤 형태의 편향 없이 정보를 적절하게 얻을 수 있는 분포로 간주된다는 것이다.
예를 들어 확률 변수 x가 하한 a와 상한 b 사이의 값을 갖는 것으로 알려져 있다고 가정해 보자. 최대 엔트로피 원리는 어떤 확률 분포 f(x)가 이 정보를 가장 잘 반영하는지 보여주기 위해 사용될 수 있다. 섀논의 H에 대한 정의에 따르면, 최대화할 엔트로피는 방정식 H = − ∫a b f(x) ln f(x) dx 를 따른다. 이 경우 확률의 합이 1이어야 하므로 확률 함수 f(x)도 그 합이 정확히 1이어야 한다. 따라서, ∫a b f(x) dx = 1이라는 제약 조건도 고려해야 한다. 이와 같은 제약 조건이 주어진 경우 H를 최대화하는 f(x) (또는 단순하게 f)의 형태는 라그랑주(Lagrange)의 미결정 승수 방법을 사용하여 찾을 수 있다(아래에서 보는 바와 같이, 두 번째 식에 상수 λ를 곱하고 첫 번째 식에 더한다. 그런 다음 f에 대한 도함수를 0으로 설정하여 H의 최대값을 제공하는 f의 형태를 찾는다.).
− d ( f ln f ) / df + λ df / df = 0
−1 − ln f + λ = 0
f = e (λ – 1)
그런데, λ가 일정하기 때문에 가능한 제한 값 a와 b 사이에서 확률 분포도 일정함을 보여준다. 따라서 최대 무차별의 원칙은 설정된 상한 및 하한 내에서 무작위 변수의 모든 값이 동일하게 발생할 것을 요구한다.
최대 엔트로피와 관련된 원리 중 중요한 한 가지는 새로운 정보가 확률 분포를 업데이트할 수 있도록 하는 베이즈 정리이다. 주어진 특정 모델이나 세계관에서 우리의 새로운 정보가 참일 확률을 likelihood라고 한다. 예를 들어 동전을 던질 때마다 앞면이 나올 것이라고 믿는다면 뒷면이 나올 확률은 0이고, 동전을 다섯 번 던질 때마다 앞면이 세 번 나온다고 믿는다면 뒷면이 나올 확률은 2/5이다. 베이즈의 정리는 새로운 정보를 얻은 후 이전 확률 함수에 새로운 정보의 likelihood를 곱하여 새로운 확률 함수를 찾는 것과 관련된다. 이것은 종종 사후 = 이전 × likelihood와 같이 간단하게 표현된다.
즉, 베이즈의 정리에 따르면, 동전을 추가로 던질 때마다 사후 확률 분포가 어떻게 변화하는지 알 수 있다. 더 많은 정보를 추가함에 따라 그 확률 분포는 코인에 대한 실제 예상 점수를 중심으로 정점을 형성하게 되는데, 몇 번만 던진 후에는 분포가 매우 넓게 유지되며 많이 던진 경우에만 가장 가능성 있는 점수를 중심으로 날카로운 피크가 나타나는 것을 볼 수 있다. 동전의 예상 점수가 0.5에 가깝다는 사전 기대(즉, 사전 확률 분포)로 시작했더라도 충분한 실험을 통해 편향된(즉, 공정하지 않은) 동전이 분명해질 수도 있다. 각 단계에서 사후 확률 분포를 계산하여 볼 수 있듯이 동전을 던질 때마다 그에 대한 정보가 추가된다. 한편, 베이지의 분석(Bayesian analysis)에 대한 비판은 그것이 실험자의 선택과 의견에 따라 달라질 수 있는 사전 확률 분포에 의존한다는 것이다. 그러나 동전 던지기의 예는 점점 더 많은 실험 데이터로 인해 사전 확률 분포의 효과가 점점 줄어들고 있음을 보여준다. 베이지의 방법은 각각의 동등한 실험이 동일한 가중치를 갖는 방식으로 새로운 데이터를 추가하며, 데이터가 수집되기 전의 기대는 결국 반복되는 실험에 의해 압도된다는 점에서 중요하다. 또다른 중요한 점은 사전 확률 분포가 우리가 선험적으로 가능성이 없다고 믿는 결과에 낮은 확률을 할당할 수 있더라도 어떤 가능성도 배제해서는 안 된다는 것이다. 어떤 증거도 처음부터 불가능하다고 간주되는 사건에 대해 0이 아닌 확률을 복원할 수 없으므로 사전 확률 분포는 합리적으로 가능한 한 포괄적이어야 한다. 증거가 축적된 후의 최종 확률 분포는 일반적으로 데이터보다 훨씬 적은 사전 확률 분포을 반영한다고 할 수 있다.
확률 이론은 본질적으로 지식에 대한 통계적 분석이며 통계 역학과 명확한 유사점을 보여준다. 그런데, 섀논 자신은 자신의 방정식이 볼츠만의 H-정리(H-theorem)와 동일한 형식을 가지고 있지만 열역학 및 정보 엔트로피의 정체성을 주장하지 않았다고 언급한 바 있다. 방정식 H (p1, p1, · · · , pn) = − Σi n pi ln pi 은 깁스의 엔트로피 방정식 SG = − k Σi Pi ln Pi 과 비교함으로써, 비록 깁스의 엔트로피 방정식에는 물리적 상수 k가 있지만, 섀논의 정보 엔트로피와 깁스의 엔트로피가 동일하다는 것을 보여주기 위해 많은 사람들이 상당한 노력을 기울였다. 섀논의 정보 엔트로피는 임의의 확률 분포에 대해 계산할 수 있으며 사용되는 곱셈 계수 또는 로그 밑이 무엇이든 관계없이 항상 위에서 설명한 속성을 갖는다. 두 식이 다른지 아니면 동일한지에 대한 논쟁은, 사실, 섀논의 핵심 논문이 등장하기 수십 년 전으로 거슬러 올라간다.
엔트로피와 정보 사이의 관련성은 개별 분자를 조작할 수 있는 존재의 개념을 도입한 맥스웰에 의해 언급된 바 있다. 맥스웰이 추측한 그러한 독립체(즉, 맥스웰의 악마)는 충분히 작은 구멍을 지나 빠르게 움직이는 가스 분자는 통과하게 할 수 있고 느린 분자는 그렇게 하는 것을 막을 수 있을 것이다. 그리고 그렇게 함으로써 에너지를 소비하지 않고도 맥스웰의 악마는 처음에는 균일한 온도의 기체 분포를 고온 구획과 저온 구획으로 분리하게 되는데 이런 과정을 통해 열역학 제2법칙을 위반할 수 있다는 것이었다. 감각이 극도로 예리한 상상 속의 존재는 이제 일반적으로 맥스웰의 악마로 알려져 있는데, 인터넷에서 찾아볼 수 있는 많은 그림에 뿔, 갈래 꼬리, 삼지창이 있는 캐릭터로 표현된다. 그런데 이 문제의 본질은 악마적인 영향이 필요하지 않고 단순한 기계 장치로도 꼬마 도깨비와 같은 역할을 한다고 상상할 수 있다는 점이다. 악마를 “쫓아내려는” 시도가 여러 번 있었지만 지금까지 모든 과학자를 완전히 만족시킨 것은 없었다. 브릴루인(Brillouin)은 배경 방사선(background radiation)에 대해 들어오는 분자를 비추기 위해 빛에 의존하는 경우에는 악마가 작동할 수 없음을 보여주었다. 악마에 의한 이 빛의 흡수는 더 빠른 분자가 작은 구멍을 통과하도록 선택적으로 허용함으로써 달성되는 엔트로피 감소보다 더 큰 엔트로피 증가를 야기할 것이기 때문이다. 에너지에 따라 분자가 통과할 수 있도록 작은 구멍의 문을 열어야 할 때를 알고 있으며, 지식과 엔트로피 사이의 이러한 연결은 여전히 논란의 여지가 있다. 아마도 맥스웰은 열역학 제2법칙이 절대적이지 않다는 것을 증명하기 위해 그의 악마를 발명했을 것이다. 그의 개인적인 편지에는 볼츠만이나 클라우지우스보다 먼저 시간에 따른 엔트로피의 불가피한 증가에 대한 기계적 근거를 증명하는 것이 불가능할 수도 있음을 깨달았음을 시사하는 표현이 있다. 이전의 글들에 보았듯이 볼츠만은 결국 열역학 제2법칙이 통계적이라는 사실을 인정하지 않을 수 없었다. 그런데, 이러한 통계적 해석은 우리 지식의 불완전성을 나타내는 것일까, 아니면 더 근본적인 것일까? 에너지 소실(dissipation of energy)은 우리 지식의 정도에 달려 있고 사물 자체의 속성이 아니라는 견해는 많은 경우에 물질의 거동이 분명히 관찰자에게 의존하지 않는다는 근거에서 강하게 비판받아 왔다. 포퍼(Popper)가 자주 인용했던 바와 같이, 우리는 초기 조건을 모르기 때문에 동전이 떨어지거나 분자가 임의의 방식으로 충돌한다고 믿는 것은 분명히 터무니없고 어떤 악마가 자신의 비밀을 다른 사람에게 알려주면 그렇지 않을 것이다. 이와 같은 견해도 다른 사람들이 섀논의 정보 엔트로피와 열역학적 엔트로피가 유사한 수학적 형식 이상을 공유한다는 생각을 발전시키는 것을 막지는 못했다. 잘 알려진 바와 같이, 맥스웰의 악마는 모든 과학에서 가장 오래 지속되고 논쟁의 여지가 있는 사고 실험 중 하나가 되었으며, 이와 관련된 방대한 논문들이 존재한다.
정보와 엔트로피 사이의 형식적 동일성에 대한 첫 번째 제안은 질라드(Szilard)가 1929년에 발표한 논문이다. 이 논문에서 그는 움직일 수 있는 피스톤이 있는 용기에 둘러싸인 단분자 기체에 대해 논의했다. 이 용기에서 단일 분자는 처음에는 용기 전체에서 자유롭게 이동할 수 있다. 그런 다음 칸막이를 삽입하게 되면 분자가 용기의 한쪽 또는 다른 쪽으로 제한되며 이 과정은 에너지 비용 없이 수행될 수 있다. 칸막이를 분자가 없는 쪽으로 원활하게 이동하도록 허용할 경우, 분자는 다시 원래 부피에 해당하는 공간에 존재하도록 할 수 있다. 또는, 칸막이의 어느 쪽에서 분자가 존재하는지 결정된다면 분자가 칸막이를 밀도록 허용함으로써(즉, 분자가 칸막이에 부딪힘으로써 칸막이를 움직일 수 있으므로) 비슷하게 유용한 작업을 수행할 수 있다. 이러한 방식으로 질라드는 열역학 제2법칙을 위반하여 유용한 작업을 무료로 얻을 수 있다고 제안했다. 이와 같은 딜레마에 대한 그의 해결책은 분자가 장벽의 어느 쪽에 갇혀 있는지를 확인하는(또는 보여주는) 측정 비용을 가정하는 것이었다. 섀논의 정보 엔트로피에 kT를 곱한 것과 동일한 이 에너지는 가능한 자유 에너지라는 획득과 정확하게 균형을 이루므로 열역학 제2법칙을 위반하지 않는다는 것이다. 맥스웰의 악마에 대한 질라드의 해석은 브릴루인과 같은 여러 과학자들에 의해 다시금 확인되었다.
처음에는 정보 엔트로피와 열역학적 엔트로피가 서로 다른 단위를 가지고 있는 것처럼 보일 수 있으며 따라서 이를 동일시하는 것은 불가능하다고 생각되었다. 하지만, 이와 같은 반론은 사실 엔트로피의 단위가 사실 관례의 문제(a matter of convention)라는 것을 깨닫는 것으로 쉽게 처리된다(즉, 온도의 단위가 K가 아니라, J이라고 하면, 엔트로피는 정의에 의해 단위가 없게 된다.). 온도는 에너지 단위로 측정할 수 있으며 엔트로피는 단순히 몰당 양으로 측정되기 때문이다(크기 변수(extensive variables)이기 때문에 시스템의 물질 양에 비례한다.). 1몰은 단순히 아보가드로 수 NA이므로 이러한 “자연” 단위로 측정되는 엔트로피는 차원이 없다(dimensionless, 즉, 단위가 없다.). 그러나 질라드의 이와 같은 견해에 대해, 그의 1929년 논문에 많은 이의가 제기될 수 있기 때문에, 심각한 반대가 존재한다.
그것들 중 하나는, 질라드의 논문 어디에도 열역학 법칙이 단일 원자의 한계까지 확장 가능하다고 가정하는 데 어려움이 있다는 언급은 없다는 것이다. 이전 글(과학, 알고싶다(211))에서 보았듯이 플랑크는 단일 원자의 엔트로피를 정의하는 것이 불가능하다고 직설적으로 말했고, 깁스는 그의 엔트로피 유사체가 분자의 수가 2개 이하로 떨어진 상황에 “당황”했다고 썼다. 문제의 입자 수가 매우 작아지면 많은 열역학적 시스템이 문제의 입자 수가 매우 많을 때와 비교할 때 약간 다르게 작동할 수 있음을 쉽게 알 수 있다. 예를 들어 방사성 붕괴의 1차 과정의 경우, 시간 t 이후에 남아 있는 방사성 핵의 수는 1900년에 러더포드(Rutherford)가 제안한 방정식 N(t) = N(0)e−a t 로 구할 수 있다(여기서 N(t)는 시간 t에서 발견된 방사성 핵의 수이고, N(0)은 시간 0에서 이러한 핵의 원래 수이며, a는 관련된 핵 유형에 고유한 간단한 양의 상수이다.). 이 방정식에서 방사성 물질의 주어진 샘플 내 붕괴 횟수가 반감기(half-life)라고 하는 고정된 기간 동안 2배 감소한다는 것을 보여주는 것은 간단하다. 따라서 4g의 탄소-13은 약 5500년 후에 2g으로 줄어들고 또 이어지는 5500년 후에는 1g만 남게 된다. 이 방정식은 1차 붕괴율, 즉 각 원자가 특정 기간 동안 고정된 붕괴 확률로 서로 독립적으로 붕괴한다는 사실에 따른다. 그런데, 이 방정식의 문제점은 매우 적은 수의 원자에 대해서는 정확하게 참이 될 수 없다는 것이다. 예를 들어 수백만 개가 아닌 단 10개의 방사성 핵으로 시작한다고 가정할 경우, 반감기가 한 번 지나면 5개의 핵이 남아 있을 것으로 예상된다. 그렇지만 후반 반감기가 지나면 정확히 2.5가 남는다는 것은 물리적으로 불가능하다. 숫자는 정수여야 하기 때문이다. 매우 작은 수를 다룰 때는 분명히 방사성 원자들이 더 이상 N(t) = N(0)e−a t 라는 방정식을 정확하게 따르지는 않는 것이다. 사실, 방정식은 남아있는 방사성 핵의 수가 결코 0으로 떨어지지 않는다는 것을 암시한다. 이는 N(t)의 통계적 기대치를 제공하며, 이는 큰 N에 대한 실험 동작을 매우 잘 따르지만 N의 값이 작을 경우 실험 값이 부드러운 지수 감소라는 패턴에서 점점 더 벗어날 것이다. 즉, 일반적으로 방사성 샘플에는 수백만 개의 방사성 핵이 포함되어 있기 때문에 문제가 없지만, 훨씬 적은 수의 방사성 원자를 고려할 경우 얻을 수 있는 값은 근사치일 뿐이다. 그렇다면 또 다른 통계적 측정값인 엔트로피 역시 아주 적은 수의 원자를 다룰 때 얻어지는 값은 근사치일 뿐이라고 제안하는 것은 불합리하지 않다. 실험과학의 많은 경우, 어떤 의미에서는, 기대치와 실험결과(관찰결과)의 큰 편차는 통계의 기본 원칙이라고도 할 수 있으며, 볼츠만이 이해한 열역학 제2법칙은 본질적으로 통계적이다. 플랑크와 깁스처럼 볼츠만은 역학 법칙에 따라 움직이는 단일 분자에 엔트로피 개념이 의미가 없음을 분명히 했다. 이러한 관점이 질라드의 논문에서는 현저하게 부족하다. 즉, 질라드의 논문은 단분자 시스템에 대해서도 열역학 제2법칙이 절대적이라고 암시적으로 가정하고 있는 것이다. 원자의 위치 측정에는 에너지가 필요하다는 제안은 단순히 단일 분자의 열 에너지로부터 유용한 일을 추출할 가능성을 배제하기 위해 만들어졌다. 하지만 소규모 시스템에서 열역학 제2법칙으로부터의 편차가 예상된다는 사실을 전제하면 이와 같은 요구 사항은 필요없다고 할 수 있다.
매개변수가 매우 적은(즉, 소규모) 시스템에 거시 규모 열역학의 결론을 외삽(extrapolation)할 때의 어려움을 강조하기 위해 다음과 같은 두 가지 예가 일반적으로 제공된다. 먼저 금의 녹는점을 재는 경우를 생각해 보자. 다른 순수한 고체와 마찬가지로 금은 샘플이 충분히 많으면 고정된 온도와 고정된 압력에서 녹는다. 즉, 1kg의 금괴와 2kg의 금괴는 같은 온도에서 녹는 것이다. 그런데, 실험적으로 100개 정도의 원자만 포함된 금 입방체의 녹는점이 상당히 낮다는 것이 밝혀졌다. 그 이유는 어렵지 않게 알 수 있는데, 블록 표면의 원자가 전체에 대해 상당한 비율을 차지하지만 다른 금 원자로 둘러싸여 있지 않기 때문에 더 약하게 결합되어 있기 때문에, 특정 크기 이하에서는 금의 녹는점이 급격히 떨어지는 것이다. 이는 깁스의 위상 규칙이나 다른 열역학 법칙으로는 설명할 수 없는 현상이다. 깁스의 위상 규칙과 열역학 법칙들은 벌크 물질(bulk matter)과 거시적 물체를 설명하기 위해 가장 간단한 형태로 공식화되었지만, 실제적으로 분자는 표면에서 경우에 따라 매우 다르게 행동할 수 있고 표면 분자가 전체의 상당한 수를 차지한다면 각각의 개별 특성을 고려해야 하기 때문이다. 금속 원자의 클러스터가 점점 더 작아짐에 따라 벌크 물질이 아닌 개별 원자처럼 행동하기 시작함으로써 온도 전이 지점(transition points)에서 용융과 같은 상(phase) 변화가 더 이상 발생하지 않는다는 것이다. 한편, 금 샘플을 단일 원자로 더 축소할 경우에는 물질의 위상을 전혀 지정할 수 없으며 기계 및 양자 역학 법칙에 따라 움직이는 원자 하나만 있을 뿐이다. 이 경우 엔트로피(그리고 실제로 온도)는 지정할 수 없으며 속도만 지정할 수 있다. 이와 같은 생각을 확장하면 우리는 금 원자의 선(원자 1개 두께의 와이어)이 아무리 길더라도 녹는점이 낮다는 것을 알 수 있다. 따라서 물질의 녹는점은 원자 규모의 시스템에 접근하는 경우 시료의 모양에 따라 달라질 수 있다. 일반적으로 우리는 그러한 거동을 보이지 않는 훨씬 더 큰 물체를 다루지만 지난 수십 년 동안 나노기술의 발달로 단일 분자 수준의 조작이 가능하게 되었으며, 실제로 매우 작은 규모의 열역학적 연구들이 현재 수행되고 있다.
두 번째 예는 열 운동으로 인해 모든 물질이 경험하는 자연적인 변동(natural fluctuations)이다. 작은 공(예를 들어 원자 또는 작은 분자)이 액체 속으로 끌리면 그 액체를 구성하는 분자는 공이 통과하는 데 저항하는 경향이 있다. 이것은 열로 인한 액체 분자의 지속적인 분자 혼돈(molecular chaos) 때문이다. 그런데 우연히 어떤 시점에 공 뒤에 있는 액체 분자가 공에 대해 일제히 압력을 가함으로써 공의 통과하려는 움직임에 도움을 주는 일이 발생할 수 있다. 이러한 현상은 실험적으로 관찰할 수 있을 만큼 충분히 강력하다(열역학 제2법칙의 “파괴” 현상이라고도 한다.). 하지만, 열역학 제2법칙이 통계적이기 때문에, 이와 같은 실험의 실험결과 편차가 작은 경우라도 자주 다른 실험결과를 관찰할 수 있다. 즉, 대수의 법칙(the law of large numbers)이 복권에 당첨될 확률이 아주 낮기 때문에 사실상 당첨되지 않을 것이라고 말하는 경우처럼, 우리가 복권을 충분히 사면 (대부분 당첨되지 않지만) 아주 때때로 당첨될 수도 있을 것이다. 이와 같은 규모의 문제(the question of scale)와 관련해서, 관찰되는 물리적 현상이, 실제로는 아주 드물지만, 열역학 제2법칙에 위배될 수 있음 몇몇 과학자들에 의해 강조한 바 있다.
열역학 제2법칙과 관련해서 가장 기본적인 것은, 열역학 제2법칙이 절대적인 것이 아니며 깨지지 않는 엔트로피 원리를 전제로 한 사고 실험은 무효라는 것이다. 위에서 인용한 맥스웰의 견해를 받아들여야 할 상당한 이유가 있다. 엄청난 수의 분자에 대한 통계적 분석이 단지 소수의 거동을 제대로 예측하지 못할 수도 있다는 것이다. 다시 말해서 엔트로피는 미시 규모에서 많은 자유도를 가진 시스템의 창발적 속성(emergent property)이라고 볼 수 있다는 것이다. Σ pi ln pi 라는 섀논의 정보 엔트로피는 임의의 확률 분포(주관적 또는 객관적)에 대해 정의될 수 있지만 열역학적 엔트로피의 경우 이러한 pi 값은 시스템의 에너지와 관련된 양자 분포를 나타낸다. 그런데, 엔트로피에 대한 켤레 변수(conjugate variaebls)는 온도 T인데 정보 이론에는 그와 같은 변수가 존재하지 않는다(왜냐하면, 정보이론에 있어서 신호의 온도를 묻는 것은 의미가 없기 때문이다.).
[란다우어의 원리 또는 삭제 원리(Landauer’s Principle or Erasure Principle)]
20세기 후반에 질라드의 아이디어는 완전히 다른 방식으로 재해석된다. 란다우어 및 베넷(Bennett)과 같은 과학자는 열역학적 주기(thermodynamic cycle)를 만들기 위해 측정 시스템을 원래 상태로 되돌려야 할 필요성에 초점을 맞추었고 에너지 소산(a dissipation of energy)이 필요한 정보의 삭제라고 주장했다. 란다우어의 원리에 따르면 약간의 정보를 지우는 데 kT ln 2의 에너지 비용이 든다고 했는데, 이는 2012년에 실험적으로 기술된 바 있다. 원리의 타당성을 보여주기 위해서는, 가능한 두 가지 상태 중 하나를 채택함으로써 단일 비트의 정보(a single bit of information)를 저장할 수 있고 열 변동 에너지(thermal fluctuation energy)와 관련된 kT에 대응하는 양의 에너지를 사용하여 상태 간에 전환할 수 있는 시스템으로 작업하는 것이 필요하다. 상태 사이에 에너지 장벽이 없으면 삭제 에너지 요구 사항(erasure energy requirement)도 없지만, 정보를 저장할 수 있는 능력도 없다고 할 수 있기 때문이다. 란다우어의 원리의 한계는 1비트의 정보를 삭제하는 데 드는 최소 에너지 비용을 나타내는데, 이때 열역학적 엔트로피와 동일한 의미의 기계적 또는 전기적 부분의 “정보 엔트로피”가 있다는 의미는 아니다. 그렇지만, 정보이론과 열역학 사이의 관계에 대한 논의에서 이와 같은 구분이 항상 명확하게 이루어지는 것은 아니다.
정보 엔트로피와 열역학적 엔트로피 사이의 연결은, 양자 물리학을 기반으로 하는 새로운 컴퓨터 시스템 개발에 대한 관심과 컴퓨터 시스템이 이미 란다우어의 원리를 실질적으로 중요하게 고려할 수 밖에 속도에 접근하고 있기 때문에, 활발히 연구되고 있는 주제이다. 예를 들어 정보가 1010개의 트랜지스터를 담고 있는 컴퓨터 칩 내에서 비트로 처리된다고 할 때, 1.5V의 전압 갭을 가로질러 비트당 하나의 전자를 이동할 경우, 초당 109번의 작업은 2.4W의 최소 전력 입력을 의미한다. 현재 기술이 정보의 각 비트를 저장하는 데 많은 전자가 필요하다는 점을 염두에 두고 최신 CPU를 작동하는 데 필요한 전력 밀도가 매우 클 수 있음을 알 수 있다. 미래의 칩 기술 개발은 무어의 법칙을 위협할 뿐만 아니라 장치를 저온에서 유지하지 않으면 발생하는 열로 인해 장치가 파괴될 위험이 있다고 한다. 정보를 비트 단위로 저장하는 데 필요한 전하를 줄이기 위한 연구 및 개발은 컴퓨터 작동 시의 열 생산을 상당히 감소시킬 것이 분명하지만 비트당 단일 전자는 회로에서 정보의 전기 저장을 위한 환원 불가능한 최소값이기 때문이다.
흥미롭게도 란다우어는 계산 자체는 원칙적으로 열역학적인 비용 없이 수행될 수 있으며 피할 수 없는 자유 에너지 소비(expenditure of free energy)를 초래하는 것은 정보 삭제 행위뿐임을 보여주었다. 논리적으로 가역적이라면, 컴퓨터의 연산 역시 열역학적으로 가역적이라고 할 수 있다는 것이다. 그리고, 비용을 지불하는 것은 기억 또는 정보를 지우는 돌이킬 수 없는 단계라는 것이다. 즉, 두 개의 숫자 X와 Y를 더하여 합계를 찾으면 (원칙적으로) 에너지나 엔트로피 비용 없이 할 수 있다. 따라서 정보 획득에는 열역학적 대가가 없지만 성냥개비로 구축하든 전자로 구축하든 기억 또는 정보 시스템을 재사용하는 데는 에너지 지출이 발생한다는 것이다.
란다우어의 원리와 관련하여, 1999년에 란다우어가 사망한 후 10년 동안 많은 변화가 있었던 것으로 보이며, 그의 삭제 원칙은 실제로 대규모의 한계(a limit on a large scale)와 관련이 있다는 인식이 더 넓어졌다. 2009년 <Memory erasure in small systems”>는 제목의 논문은, 란다우어가 규정했던 것보다 적은 엔트로피 비용으로 1비트의 정보를 삭제할 수 있는 모델 시스템을 보여주고 있는데, 열역학 제2법칙은 비가역적 엔트로피 생성이 거시적 시스템에서 양수임을 규정하며, 열 변동은 일반적으로 이러한 대규모 스케일에서 매우 작으므로 폐기될 수 있지만, 대조적으로 변동은 미시적 시스템에서 우세해지므로 양의 변동과 음의 변동을 적절하게 고려하려면 열역학 제2법칙을 일반화해야 한다는 해석이 따르고 있다.
사실 고전적인 열역학 제2법칙은 시스템의 크기에 대해서는 전혀 언급하지 않지만, 거의 150년 전에 맥스웰이 분명히 이해했던 것처럼 더 큰 시스템에서 정확할 가능성이 더 높다. 컴퓨터 과학 분야에서 최근에 인정된 것은 열역학 제2법칙이 절대적이지 않다는 것이다. 이 주제에 관한 초기 문헌의 대부분은 그런 관점에서 읽어야 하며, 20세기에 출판된 맥스웰의 악마에 대한 단호한 “악령 쫓기(exorcism)”은 더 이상 유효하지 않다. 즉, 맥스웰의 악마는 란다우어나 질라드에 의해 쫓겨난 것이 아니라 단지 작게 만들어졌을 뿐이라는 것이다. 란다우어의 원리의 적용 가능성에 대한 추가적인 제한은 2011년에 리오(Rio) 등이 “란다우어 원리의 표준 공식과 의미가 양자 정보의 존재 하에서는 더 이상 유효하지 않다”는 것을 보여주었다고 주장하는 양자 계산에 대한 작업을 발표했을 때 발생했다. 본질적으로 그들의 연구는 관찰자가 시스템에 대해 더 많이 알수록 그것을 지우는 데 더 적은 에너지가 필요하다는 것을 나타낸다. 기억 또는 정보의 한 부분을 지우는 것은 다른 곳에 저장된 정보를 사용하여 열역학적으로 효율적으로 만들 수 있다는 것이다.
[엔트로피의 주관성]
이전 글(과학, 알고싶다(201))에서 살펴봤던 바와 같이, 엔트로피의 본질에 대한 여러 해석이 있으며, 이는 이 글에서 검토하기에는 관련된 문헌의 양이 너무 방대하다. 질라드와 브릴루인의 견해는 엔트로피와 정보 사이의 직접적이고 흔들리지 않는 연결과 함께 “강력한 주관성(strong subjectivity)”으로 특징지어질 수 있으며, 이 둘은 특정 상황에서 상호 교환 가능하다. 이와 같은 주장을 하는 과학자들은 양자 시스템에 대한 관찰의 효과가 의식의 근본이라고 생각한다. 제인스는 “약한 주관성(weak subjectivity)”이라고 할 수 있는 다른 관점을 채택했는데, 그는 확률이 관찰자에 의존하고 엔트로피는 “의인화(anthropomorphic)” 가능한 것으로 간주했다. 그는 엔트로피에 대한 그의 주관적 견해에 대한 주장을 맥스웰의 악마 또는 관련 사고 실험에 근거하지 않았으며 열역학적 엔트로피와 정보 엔트로피를 “완전히 다른 개념”으로 간주했다.
제인스는 실험적 엔트로피가 실제로 객관적일 수 있다는 것을 나중에 받아들였지만, 그럼에도 통계 열역학에서 사용되는 확률의 주관성에 관한 논쟁은 줄어들지 않고 있다. 제인스와 마찬가지로 벤-나임(Ben-Naim)은 섀논의 정보 측정, 정보 자체 및 엔트로피가 별도의 개념임을 분명히 하지만 통계적 열역학이 “누락된 정보”를 통해 이해되고 가르쳐져야 한다고 주장한 바 있다.
———-
정보 이론에 관한 방대한 문헌이 있으며, 많은 과학자들이 열역학 및 정보 엔트로피 사이의 관계에 대해 매우 다른 관점을 취했다. 두 가지 개념이 상당히 다르게 생겨났다는 것, 그리고 정보 이론이 단순히 확률 이론의 한 분야이며 두 가지 다른 “엔트로피”가 서로 참조하지 않고 유용할 수 있다는 것을 고려할 때, 정보의 물리적 중요성을 부정하는 것이, 어쨌든 거시적 한계에서 기억 또는 정보의 소거에 의해 부과된 계산에 대한 열역학적 비용이 감소할 수 없다는 란다우어의 본질적인 결과를 부정하는 것은 아니다. 계산의 엔트로피에 관한 강의에서 파인만(Feynman)은 베넷과 란다우어의 작업이 “최근에 정보와 엔트로피 사이의 연결을 명확히 했다”고 말한 바 있지만(불행하게도 그는 단일 분자를 조작하는 방법이 개발되고 실제 “맥스웰의 악마”가 나타나기 전인 1988년에 사망했다.), 위에서 언급했던 바와 같이, 이와 관련된 논쟁은 여전히 줄어들지 않고 있다