정보론은 정보 전송과 처리를 연구하는 학과로, 그것의 탄생은 향농브라운과 불가분의 관계에 있다. 섀넌 브라운은 미국 수학자이자 통신 엔지니어로 1948 년' 통신의 수학 이론' 이라는 글을 발표하여 정보론의 선례를 세웠다.
정보론의 기본 개념
향농 브라운의 공헌을 이해하기 전에, 먼저 정보론의 기본 개념을 알아보자.
정보론의 핵심 개념은 정보 엔트로피이며, 그것은 정보의 양에 대한 측정이다. 정보 엔트로피가 클수록 정보의 불확실성이 높을수록 더 많은 정보가 필요합니다. 정보 엔트로피의 공식은 다음과 같습니다.
H =-σ p (x) log2p (x)
여기서 p(x) 는 이벤트 x 가 발생할 확률입니다. 정보 엔트로피의 단위는 정보의 양을 나타내는 비트 (bit) 입니다.
정보 엔트로피 외에도 정보론은 채널 용량, 코딩 이론 등의 개념을 포함한다. 채널 용량은 특정 신호 대 잡음비에서 채널이 전송할 수 있는 최대 정보량입니다. 인코딩 이론은 정보를 인코딩하는 방법을 연구하여 전송 과정에서 보다 안정적으로 전송할 수 있도록 하는 것입니다.
섀넌 브라운의 공헌
향농브라운은 정보론의 발전에 큰 공헌을 하였다. 그는 향농엔트로피의 개념을 제시했는데, 이것은 정보론의 핵심 개념 중 하나이다. 그는 또한 정보를 최소로 압축할 수 있는 무손실 압축 알고리즘인 향농코드를 제시했다. 섀넌 코딩의 구현은 정보를 무손실 압축할 수 있는 확률 기반 인코딩 방법인 섀넌 엔트로피의 개념에 따라 달라집니다.
또한 섀넌 브라운은 특정 신호 대 잡음비에서 정보 전송의 오류율을 0 에 가깝게 만드는 코딩 방법이 있음을 나타내는 채널 코딩 정리를 제안했습니다. 이는 디지털 통신의 발전에 중요한 의미를 가지며 디지털 통신의 신뢰성에 대한 이론적 보증을 제공합니다.
섀넌 코딩 구현
섀넌 코딩의 실현은 섀넌 엔트로피의 개념에 의존하여 정보를 무손실 압축할 수 있다. 섀넌 코드 구현 단계를 살펴 보겠습니다.
1. 통계 문자 빈도
먼저 인코딩할 문자 빈도, 즉 각 문자가 나타날 확률을 집계해야 합니다. 예를 들어 문자열 "helloworld" 의 경우 문자 "l" 이 나타날 확률은 2/11 입니다.
2. 허프만 나무 만들기
문자 빈도에 따라 허프만 나무를 만듭니다. 허프만 나무는 리프 노드가 문자 조합이 아닌 문자에 해당하는 이진 트리입니다. 허프만 나무를 만드는 과정은 문자 빈도를 작은 것부터 큰 것까지 정렬한 다음, 결국 나무가 형성될 때까지 가장 작은 두 빈도를 하나의 노드로 병합하는 것입니다.
3. 발령 번호
하프만 트리의 루트 노드부터 왼쪽으로 0, 오른쪽으로 1 을 걸어 각 문자에 코드를 할당합니다. 예를 들어 문자 "L" 의 경우 하프만 트리에서 왼쪽으로 한 걸음, 오른쪽으로 한 걸음, 할당된 인코딩은 "10" 입니다.
4. 인코딩
인코딩할 문자열을 인코딩합니다. 예를 들어 문자열 "helloworld" 의 경우 인코딩된 결과는 "100011011011011011011000000111" 입니다.