[2024 노벨 물리학상] 인공 신경망의 이론적 기반 발명, 그 배경의 학제적 연구

지난 10월 8일, 미국 프린스턴 대학교의 존 홉필드와 캐나다 토론토 대학의 제프리 힌턴이 2024년 노벨 물리학상을 수상했다. 수상자를 발표한 스웨덴 왕립 과학 한림원 노벨 위원회(이하 위원회)는 “인공 신경망을 이용한 기계 학습의 이론적 기반 발견과 발명”을 공로로 두 사람에게 노벨 물리학상을 수여한다고 밝혔다.

2024년 노벨 물리학상 수상자 존 홉필드(좌)와 제프리 힌턴(우) <사진 = 노벨 재단 누리집 캡처>

두 수상자의 발명은 물리학, 생물학, 컴퓨터 과학을 넘나드는 학제적 연구에서 비롯되었다. 홉필드는 물리학에 기반을 둔 이론 생물학자이다. 그는 1982년에 ‘창발적 집단 계산 능력을 갖춘 신경망과 물리적 시스템’[i]을 발표하며 홉필드 네트워크를 제안했다. 홉필드 네트워크는 자석 속에서 원자들의 스핀이 서로 영향을 주며 스핀 방향이 결정되는 현상을 기술하는 통계 역학 이론의 이징 모델(ising model)을 본떴다. 이징 모델과 비슷하게, 홉필드 네트워크 속 뉴런들은 모두 연결되어 서로의 상태에 영향을 준다.

이징 모델과 닮은 홉필드 네트워크의 설계 <사진 = 논문 캡처>

홉필드 네트워크에서 뉴런들은 ‘발화’와 ‘휴지’ 둘 중 한 상태에 있다. 그리고 한 뉴런의 상태는 연결된 다른 뉴런의 상태와 연결 강도로 결정된다. 어떤 입력값을 저장하기 위해 모든 뉴런의 상태가 주어지면, 그 상태에서 시스템의 에너지가 낮아지도록 뉴런의 연결 상태가 정해진다. 정보를 기억하기 위해 뉴런의 연결이 변화하는 것이다. 한번 연결 상태가 정해지면, 다음에는 일부 뉴런의 상태(정보)가 변화하여도 낮은 에너지로 향해 가며 본래 상태로 돌아 가게 된다. 이것이 바로 연상 작용이다. 일부가 소실되거나 왜곡된 정보가 입력되어도, 홉필드 네트워크는 학습한 것을 바탕으로 원래의 정보를 되찾을 수 있다.

홉필드 네트워크와 볼츠만 머신 <사진 = 노벨 재단 누리집 캡처>

올해 노벨 물리학상 수상으로, 힌턴은 역사상 최초로 컴퓨터 과학자가 노벨 물리학상을 받은 사례가 되었다. 1985년, 실험 심리학 연구 경험이 있던 힌턴은 카네기 멜론 대학 컴퓨터과학부의 데이비드 애클리, 존스홉킨스 대학 생명물리학부의 테런스 세즈노스키와 함께 ‘볼츠만 머신을 위한 학습 알고리즘’[ii]을 Cognitive Science지에 발표했다. 볼츠만 머신은 홉필드 네트워크에서 발전한 모델로, 단순히 기억을 연상하는 것을 넘어 데이터의 특징을 인식하거나 패턴을 통해 정보를 생성할 수 있다. 이 모델에는 시스템 상태의 에너지를 이용해 해당 상태에 있을 확률을 계산하는 통계 역학 이론인 볼츠만 분포가 활용되었다.

 

올해의 노벨 물리학상은 인공지능 분야에 수여되어 학계의 큰 주목을 받았다. 노벨 물리학상 수여 이유에 덧붙여, 위원회는 두 수상자의 연구 배경에 통계물리학 이론이 있다고 설명했다. 올해처럼 통계물리학이 전통적인 물리 연구 대상에서 벗어난 범위에 적용되며 노벨상을 받은 또 다른 사례로는 2021년 수상이 있다. 그해에는 통계물리의 하위 분야인 복잡계 물리를 연구한 ▲슈쿠로 마나베 ▲클라우스 하셀만 ▲조르조 파리시가 노벨 물리학상을 받았다. 특히 마나베와 하셀만은 복잡계 물리를 기후학에 접목하여 “지구 기후의 물리적 모델링을 위해 변동성을 정량화하고, 지구 온난화를 안정적으로 예측한” 공로로 노벨 물리학상을 받았다.

 

 

김신지 기자 sjneuroneurony@dgist.ac.kr

---

[i] Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the national academy of sciences, 79(8), 2554-2558.

[ii] Ackley, D. H., Hinton, G. E., & Sejnowski, T. J. (1985). A learning algorithm for Boltzmann machines. Cognitive science, 9(1), 147-169.