박재천의 디지털경제 이야기 <43> 2024 노벨 물리학상 설명(1); 홉필드 네트워크 > News Insight

노벨 물리학 위원회는 2024 수상자를 선정한 학문적 배경을 ‘The Nobel Prize’ 웹 사이트 게재된 ‘Popular Information’에서 자세히 설명하고 있다. 이 정보에 기초해 물리학상을 수여한 배경을 3회에 걸쳐 설명한다.  (https://www.nobelprize.org/prizes/physics/2024/popular-information/)  

존 홉필드가 2024년 노벨물리학상을 수상하게 된 주요업적은 ‘홉필드네트워크’ 모델을 개발한 것이었다.  홉필드 네트워크는 물리학 이론을 인공지능에 적용하려는 존 홉필드의 연구 결과물이다. 당시에는 인공지능을 만들기 위한 연구라기 보다는 뇌와 의식의 본질을 과학적으로 이해하기 위한 기초연구였다. 

홉필드는 뇌의 기능을 이해하기 위하여 뇌 신경의 물리화학적 움직임을 이해하는 것으로부터 시작하고자 했다. 뇌신경들이 서로 연결된 회로에서 발생하는 사고와 의식의 생화학적 실체가 무엇인가를 규명하고자 했다. 특히, 뇌신경들이 네트워크로 형성되어, 어떻게 집합적으로 인지적 기능을 만들어내는지를 이해하려 했다.   

“물리학에서는 잘 정리된 시스템이 있었다. 이 시스템들은 부분과 요소들이 집합적으로 움직이는 양태를 훌륭하게 표현할 수 있었다..... 당시, 물리학자들은 뇌와 의식의 문제에 오랜기간 관심을 가지고 있었다.” 이렇게, 홉필드는 관심을 가지고 있는 물리학자들 중에서 뇌의 기능을 가장 잘 모사한 모델을 개발하였다.  또, 성공적인 학제간 연구를 진행하기 위해 물리학과 생물학의 전문가들을 끌어들이고 협력적 환경을 조성하는 데 주된 역할을 했다.   

1982년 홉필드는 ‘’홉필드 네트워크’ 모델을 발표한다.  정보를 단일 위치에 저장하는 대신, 기억은 대칭적 연결을 통해 서로 연결된 뉴런 네트워크 전체에 분산되어 있다 [그림1]. 이 모델의 구조는 ‘학습은  동시에 활성화된 뉴런 간의 연결이 강화되는 것’이라는 ‘헤브의 학습가설’을 따르고 있다. 

 [그림1] Hopfield Network (HN)은 모든 뉴런들이 다른 모든 뉴런들과 연결 되어 있는 형태이다.  

홉필드 네트워크는 패턴을 저장하고 이를 재구성할 수 있다. 또, 네트워크에 불완전하거나 약간 왜곡된 패턴이 주어지면, 그 방법으로 가장 유사한 저장된 패턴을 찾아낼 수 있습니다. 즉 연관 기억(Associate memory)을 찾아 낼 수 있도록 설계되어 있다.    

홉필드는 네트워크의 패턴 저장과 회상 기능을 물리학의 ‘스핀유리’ 이론을 이용하여 설명한다.  스핀 시스템은 에너지 레벨에 따라 생성되는데, 에너지는 노드의 값과 이들 사이의 연결 강도의 값에 따라 공식에 의하여 결정된다.  홉필드 네트워크는 이미지를 노드에 입력하고 에너지 공식을 사용해 네트워크의 연결을 조정하여 저장된 상태(패턴)가 낮은 에너지를 가지도록  한다.   

홉필드네트워크가 단 하나의 패턴만을 저장하는 것이라면 그리 놀랍지 않을 수도 있다. 하지만, 홉필드의 방법은 여러 개의 이미지를 동시에 저장할 수 있고 네트워크가 이를 구분할 수 있다는 점에서 획기적이다. 1000개의 뉴런당 약 138개의 패턴을 저장할 수 있다고 한다.  

[그림 2]는 기억이 저장되고 회상되는 과정을 에너지 지형을 통해 보여주고 있다.  네트워크가 훈련되면, 저장된 각 패턴에 대해 가상의 에너지 지형에서 골짜기가 생성된다. 이 에너지 지형을 이용하여 불완전한 패턴이나 왜곡된 (distorted) 패턴이 제시되었을 때, 본래의 완전한 형태를 유추해낼 수 있다.   

[그림2] 기억의 저장과 에너지 지형 

원전; 노벨물리학상 위원회, 주간동아  

[그림 2]에서 보는 바와 같이 훈련된 네트워크에 어떤 패턴이 입력되면, 이는 이 지형의 경사면에 공을 떨어뜨리는 것에 비유할 수 있다.  공은 언덕에 둘러싸인 곳에 도달할 때까지 굴러간다. 마찬가지로, 네트워크는 에너지가 낮은 쪽으로 나아가며 가장 비슷한 저장된 패턴을 찾는다. 홉필드 네트워크에서의 이러한 과정은 불완전한 형태가 입력되더라도, 저장되어 있는 가장 유사한 기억을 회상할 수 있는 인간의 연상 기억 (associative memory) 능력을 보여주고 있다. <계속> ​