박재천의 디지털경제 이야기 <61> 신경망의 이모저모를 알아보자 > News Insight

신경망은 지능을 만들어 내는 틀이다. 인공지능(AI) 및 머신러닝의 기간이 되는 핵심 요소로, 인간의 뇌에서 발견된  뉴런들의 연결된 모양을 모방하여 설계되었다. 신경과학자, 수학자들의 공동 연구와 노력으로 모양과 기능 그리고 작동 방식이 많은 부분 수학적 모델로 구현되었다. 인공지능은 이 수학적 신경망 모델을 이용하여 개발하고 최적화한 결과다. 따라서, 신경망의 기본 구조와 주요 요소, 그리고 최적화 방법을 이해하는 것이 인공지능을 이해하는 시작점이다.

<인공지능의 구조>​

이 그림은 신경망의 계층적 구조를 설명해 주고 있다. 인간의 대뇌 피질은 6개 층 구조를 가지고 있고 서로 간의 연결을 통해 정보가 ‘단계적으로 추상화’ 된다고 알려져 있다. 즉 정보를 일반적이고 포괄적인 개념으로 변환하는 과정을 거친다. 예를 들어, 꽃을 단순한 물체가 아니라, ‘아름다움’이나 ‘축하’와 연결된 의미 있는 개념으로 이해하게 된다. 이러한 추상화를 통해 꽃, 초콜릿, 카드 등은 모두 ‘축하와 선물’이라는 공통된 개념으로 묶일 수 있다. 이러한 신경망 대뇌피질의 계층 구조와 상호 연계작동는 인공지능, 특히 입력층, 은닉층, 출력층으로 이루어진 심층 신경망(Deep Neural Networks) 구조를 설계하는데 핵심적인 영감을 주었다.

이같이, 생물학적 뇌의 정보 처리 방식을 모방하여 인공지능 모델의 구조가 발전됐다는 사실은, 정보처리 효율성과 추상화 능력이 혁신적으로 향상되는데 결정적 도움을 주었다.  그림의 신경망 구조의 각층은 다음과 같이 설명된다.

입력층 (Input Layer):

신경망의 첫 번째 층으로, 외부 데이터(예: 이미지, 텍스트 등)를 받아들이는 역할을 한다.

은닉층 (Hidden Layer):

입력층과 출력층 사이에 위치하며, 하나 이상의 층으로 구성될 수 있다. 입력 데이터를 출력층이 사용할 수 있는 형태로 변환하는 역할을 한다. 데이터의 복잡한 패턴(특징)을 발견하고 학습하는 작업이 이 층에서 이루어진다. 은닉층의 수가 많을수록 깊이 숨어 있는 패턴을 효율적으로 처리할 수 있다. ‘딥뉴럴’ 네트워크는 이 은닉층의 존재를 지칭한 것이다.

출력층 (Output Layer):

신경망의 마지막 층으로, 모델의 예측 결과를 생성한다. 출력층의 노드 수는 문제의 유형에 따라 달라진다. 예를 들어 노드가 한 개라면 (맞다, 틀리다), (1,0) 등의 답을 생성한다.

<뇌신경의 작동 방식>

이 그림은 신경망의 주요 요소들과 그 들의 작동 방식를 설명해 주고 있다. 이 그림은 로젠블라트에 의해 개발된 모형이다.  미국의 심리학자이자 컴퓨터 학자인 그는 인간 뇌의 작동 방식을 모방하여 데이터에서 패턴을 학습하고 인식할 수 있는 기계를 만들고자 했다. 그의 목표는 인간의 인식 그리고 의사결정 기능과 유사하게 패턴 인식, 일반화, 개념 형성을 할 수 있는 전자 뇌 모델을 설계하는 것이었다. 그림의 각 요소들은 다음과 같이 설명된다.

뉴런 (Neuron):

신경망의 기본 단위로, 입력값을 받아 가중치와 곱한 후 합한다. 이 값을 이용해 활성화 함수로 다음 뉴런에 전달되는 출력을 생성한다. 각 뉴런은 다른 뉴런과 연결되어 있다.

가중치 (Weight):

뉴런 간의 연결 강도를 나타내며, 학습 과정에서 조정된다. 가중치는 입력값의 중요도를 결정하는 데 사용된다. 인공지능을 학습시킬 때 파라미터(parameter)로 표현되기도 한다.

편향 (Bias):

뉴런의 출력에 추가되는 값으로, 활성화 함수의 임곗값을 조정하는 역할을 한다. 편향은 뉴런이 활성화되는 조건을 변경하여 모델의 유연성을 높인다.

활성화 함수 (Activation Function):

뉴런의 출력을 결정하는 함수로, 비선형성을 추가하여 신경망이 복잡한 패턴을 학습할 수 있도록 한다. 임계치 이상의 정보를 다음 뉴런으로 전달하는 기능을 가지고 있다.

두 그림을 통하여 설명한 내용과 함께 인공지능을 똑똑하게 만들기 위해서는 최적화 알고리즘이 필요하다. 정답과 신경망에 의하여 생성된 값의 차이(이를 손실이라고 한다)를 최소화하는 작업이 최적화다. 최적화에는 일반적으로 수학적인 손실 함수를 설정하며, 이 함수를 이용하여 손실을 최소화하는 최적화 알고리즘이 사용된다. 이러한 알고리즘을 통해 인공지능은 우리가 요구하는 똑똑함을 얻게 된다. 포괄적으로 설명하면 다음과 같다.

손실 함수 (Loss Function):

모델의 예측 결과와 실제 값 간의 차이를 측정하는 함수로, 신경망의 학습 과정에서 가중치를 조정하는 데 사용된다. 손실 함수의 값을 최소화하여 최적 값을 구하는  것이 신경망 학습의 목표다.

최적화 알고리즘 (Optimizer):

손실 함수를 최소화하는 과정을 말한다. 수학적 모델인 신경망에서 최적화의 대상은 가중치를 대변하는 파라미터이다. 파라미터를 아무리 조정해도 더 나아지지 않는 ‘값’을 찾는 방법이다.

<ifsPOST>​