박재천의 디지털 경제 이야기 <64> 생각하는 논리 모델(reasoning model)은 어떻게 만드나? > News Insight

OpenAI의 o1 모델은 최초로 발표된 논리 모델​

OpenAI의 o1 모델은 최초로 발표된 논리 모델이다. 논리적으로 생각하는 능력을 갖춘 모델이다. 여기에 도전하는 중국의 ‘DeepSeek R1’ 이 유사한 능력을 갖추었고, 잇달아 만들어진 xAI의 Grok도 더 높은 수준의 논리 능력을 표방하고 있다. OpenAI가 연구자들을 위해 만들었다는 ‘DeepResearch’는 아예 논문을 대신 써주는 인공지능으로 만들어져 한차원 높은 수준을 자랑하고 있다. 이들은 모두 생각하는 인공지능을 내세우고 있다. ChatGPT의 대화능력을 확장하여, 복잡한 문제들을 논리적으로 풀어내는 인공지능 시리즈들이 계속 등장하고 잇다.  

논리 모델은 고급 AI 모델 시리즈​

논리 모델(reasoning model)은 수학, 코딩, 과학과 같은 복잡한 문제 해결 능력을 향상시키기 위해 개발된 고급 AI 모델 시리즈다. 기존 모델이 주로 패턴 인식에 의존했던 것과 달리, 논리모델은 "사고의 흐름(chain-of-thought)" 추론 방식을 차용하여 복잡한 문제를 풀도록 설계됐다. 복잡한 문제를 더 작은 하위 문제로 분해하고 단계 별로 생각하고 검증하며 해결할 수 있도록 설계되었다. 논리적 단계를 거쳐 문제를 해결해야 하기 때문에 답변을 생성하기 전에 더 많이 "생각하는" 모델이다. 따라서 사용 요금도 비싸서 고급 모델이라고 한다.  

논리 모델의 개발​

논리 모델의 개발은 심리학자이며 노벨상 수상자인 다니엘 카네만의 연구결과에서 영감을 받았다고 알려져 있다. 카네만은 사람들의 의사결정이 본능적이고 감정적인 ‘system 1’과, 느리지만 숙고하며 논리적인 절차를 밟는 ‘system 2’의 방식을 가지고 주장한다. CharGPT가 ‘system 1’ 수준에 머물러 있다면 논리모델은 ‘system 2’ 수준의 능력을 갖추도록 개발되고 있다.   

인공지능에 ‘system 2’를 구현하기위해서는, 기반모델을 논리 모델화 하기위한 특별한 미세조정이 필요하다. ChatGPT에서는 지도학습 방식을 사용하여 데이터 세트에서 특정 패턴을 복제하도록 훈련하였다. 이와는 차별되게, O1 모델에서는 복잡한 문제를 결론에 도달하기 전에 관리 가능한 단계로 나누어 생각하는 강화 학습 기반의 미세조정이 적용되도록 특별히 설계되었다. 여기에는 다음과 같은 부분들이 포함된다. 

    a. 명시적인 단계적 추론 단계가 포함된 데이터셋을 사용하여 훈련.   

    b. 실제 도메인(예: 법률, 의료, 공학 등)에서 발생하는 사례 데이터를 활용 

    c. 모델이 단계 별로 자신의 작업을 확인하는 검증 루프 구현  

    d. 보상 모델을 설정하고 적합한 사고과정을 강화하는 학습을 진행.  

    e. 올바른 응답을 한 사고과정과, 잘못된 응답을 한 사고과정을  평가하여 보다 나은 논리적 사고를 유도. 

o1 모델은 이러한 복합적인 개발 과정을 통해 만들어졌다. 스스로 사고할 시간을 갖고, 그 사고 과정과 최종 답변의 질을 평가하여 점진적으로 개선한다. 이렇게 논리적 사고력, 단계별 추론 능력, 복잡한 문제 해결 능력 등을 향상시킨다.  

인간처럼 사고하고 결정을 내릴 수 있는 AI 모델을 개발하는 방향으로 나아가고 있​어

논리 모델의 개발은 기존 AI 모델이 사전 훈련(pretraining) 과정에서 직면했던 한계를 뛰어넘어, 내부적인 추론 능력을 강화하는 새로운 확장 방식을 채택했다는 점에서 의미가 크다. 이러한 접근 방식은 인공지능 일반화(AGI, Artificial General Intelligence) 목표와도 부합하며, 인간처럼 사고하고 결정을 내릴 수 있는 AI 모델을 개발하는 방향으로 나아가고 있다. AI 시스템 개발의 획기적 미래를 추구하는 중요한 진전을 의미하며, 기계가 더욱 인간과 유사한 지능을 갖추는 방향으로 한 걸음 더 나아가고 있다. 

<ifsPOST>​