<AI Brief 특집>‘생성 AI가 노동시장에 미치는 영향 : 오픈AI-펜실베니아 대학 공동 연구’ 소개 > News Insight

<KEY Contents> : LLM이 노동시장에 미치는 영향​​

1. 들어가며

▢ ChatGPT 확산으로 전산업에서 파괴적 혁신 기회 창출 및 사회적 파급력 증대

 ▸2022년 11월 30일, OpenAI사가 대화형 인공지능인 ChatGPT를 공개한 이후, 생성형 인공지능(Generative AI)에 대한 학계, 산업계의 관심이 폭발하고 있음

  • ChatGPT는 딥러닝을 통하여 언어를 생성한다는 점에서 대규모언어모델(Large Language Model, LLM)에 기반하고 있으며, 전산업에서의 활용이 확산될 것으로 전망(SPRi, 2023)

 ▸본 AI Brief는 “GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models”2)의 주요 내용을 요약하여 소개하고, 연구의 시사점을 제시함

  • 이 연구는 논문의 초기 버전 수준으로, 분석 자료 및 방법 등에 대해 일부 한계점 존재

  • 그러나, 이 연구는 현재까지 논의 수준에만 머무르던 GPT의 사회적 파급력에 대하여 실증분석을 시도하였다는 점에서 의의가 있으므로, 본 AI Brief를 통해 연구의 주요 내용을 독자들에게 소개하고자 함

  • 이하에서는 해당 연구의 배경과 목적, 연구 방법 및 결과를 요약하여 제시하고, 연구의 시사점에 대한 SPRi의 의견을 담았음

2. 「GPTs are GPTs」 연구 배경 및 개요

▢ 생성 AI모델은 복잡다양한 언어기반 작업을 처리할 수 있는 능력이 있어, 최근 전세계적 관심을 받는 동시에 기능적으로 빠르게 진화하고 있음

 ▸ LLM은 타 기술 대비 비교적 짧은 시간에 기능적 진화를 거듭하며 일반적으로 컴퓨터에서 수행되는 모든 작업을 실행하는 방향으로 발전 중임

  • 기존 LLM은 도메인별 데이터를 사용하여 전문 엔지니어가 개발한 특수 작업별 모델이 필요하였으나, 최근 사람의 피드백을 이용한 미세 조정 및 강화 학습과 같은 방법을 사용하여 모델의 조향성, 신뢰성, 유용성을 개선해 나가고 있음

  • 최근 출시된 GPT-4와 같은 광범위한 최첨단 LLM은 이미지 해석·활용, 번역, 분류, 창의적 작문 및 코드 생성과 같은 다양한 분야에서 탁월한 성능을 보이며, 모델의 사용자 의도 식별 능력을 향상시켜 사용자 친화성과 실용성을 강화함

  • 최근의 연구는 API, 검색 엔진 및 기타 생성 AI 시스템과 같은 다른 디지털 도구를 프로그래밍하고 제어할 수 있는 LLM의 잠재력을 보여주고 있음

▢ AI 및 자동화 기술의 경제적 영향을 측정 및 분석하려는 시도는 꾸준히 존재함

 ▸ AI 및 자동화 기술의 노동시장에 대한 영향을 다루는 문헌이 지속적으로 증가하고 있으며 주요 논의는 다음과 같음

  • 기술 진보가 비숙련 노동자보다 숙련 노동자에 대한 수요를 증가시킨다는 연구 결과(Katz & Murphy, 1992)는 기술이 노동에 미치는 영향에 대한 편향적 관점을 제시하고, 수많은 연구*가 이 관점을 기반으로 기술 변화와 자동화가 근로자에게 미치는 영향을 탐구함 * 해당 연구들은 일상적·반복적 작업에 관련된 근로자들이 일상적인 편향된 기술 변화로 알려진 현상인 기술 주도의 이동 위험이 더 높다는 것을 보여줌(Acemoglu & Restrepo, 2018)

  • 미국에서는 자동화 기술이 루틴한 작업을 전문으로 하는 근로자의 상대적인 임금을 감소시켜 임금 불평등을 초래하고 있음을 논의(Acemoglu & Restrepo, 2022)

  • 이러한 논의에 기반하여, 기존 연구들은 AI 능력(capability)과 근로자가 수행하는 업무 및 활동 간의 중복을 추정하기 위해 <표 1>과 같은 다양한 접근 방식을 시도함

▢ 본 연구는 범용기술3)로서 LLM의 파급력에 주목하여 미래 일자리에 미치는 광범위한 효과를 분석

 ▸ 저자들은 LLM의 사회경제적 파급력과 잠재력을 고려할 때, LLM이 범용기술의 요건을 충족한다고 주장함

  • Goldfarb 외 (2023)의 연구에 따르면, 광범위한 범주로서의 기계학습은 범용기술일 가능성이 높다고 주장함

   * 범용기술이 되기 위해선 광범위한 확산, 기술적 개선 잠재력, 상호보완적 혁신성을 갖추어야 함(Bresnahan and Trajtenberg, 1995; Lipsey et al., 2005)

  • 저자들은 본 연구를 통해 LLM이 범용기술에 대한 기준을 충족하고 있음을 주장하며, 이러한 주장을 뒷받침하기 위한 증거로서 LLM이 미국의 노동시장에 미치는 영향(잠재적 노출)을 실증적으로 분석 시도함

▢ 본 연구는 LLM 활용 시, 직무·작업의 소요 시간이 절감되는지를 분석하여 미국 노동시장에 대한 LLM의 영향을 측정함

 ▸저자들은 사람과 GPT-4에게 LLM 활용 시 특정 작업의 소요 시간이 절감되는가를 평가하도록 하였으며, 각각의 응답 결과에 대해 연구진이 고안한 질적 평가방법(rubric)에 따라 그 영향 수준을 측정함

  • 따라서, 아래에 기술할 LLM의 영향 수준의 측정은 평가자인 사람의 주관적 판단과 GPT-4의 특성에 따라 응답의 타당도 및 신뢰도가 영향받을 수 있음을 고려해야 함

3. 「GPTs are GPTs」 연구 방법 및 결과

▢ [분석 자료] 미국 O*NET 직업·직무와 노동통계국 자료 활용

 ▸ 미국 ‘O*NET 27.2’ 데이터베이스에서 제공하는 19,265개의 직무(task description)와 2,087개의 세부작업활동(Detailed Work Activities, DWA) 자료를 활용함

 ▸ 미국 노동통계국의 노동·인구통계의 임금, 고용상황, 인구특성 등 추가 자료 활용함

▢ [분석 방법] LLM이 일자리에 미치는 영향을 ‘질의·응답에 기반한 질적 평가 방법(Rubric)’으로 분석

 ▸ ‘사람’과 ‘GPT-4’에게 각각 정해진 질문*을 던지고 이에 대한 응답을 측정하는 방식  * LLM이 특정 작업을 완료하는데 걸리는 시간을 50% 이상 단축시키는가?  

▸ 각 응답 값(E0, E1, E2)에 대해 아래 세 가지 경우(α, β, ζ)를 나누어 분석함

 ① α : E1에 해당하며, 직업 내 노출된 작업 비율의 하한(lower bound)을 의미

 ② β : E1과 0.5*E2의 합, 여기서 E2의 0.5 가중치는 보완 도구 및 애플리케이션을 통해 기술을 배치할 때 추가 투자가 필요한 경우의 노출을 설명하기 위한 것 

 ③ ζ : LLM 및 LLM 기반 소프트웨어에 대한 노출 수준의 상한(upper bound)을 의미, E1과 E2의 합계

▢ [응답 결과] 노동시장에 대한 ‘사람’과 ‘GPT-4’의 LLM 영향 평가는 매우 유사함

 ▸ ‘사람’과 ‘GPT-4’가 각각 평가한 LLM이 일자리에 끼치는 영향의 정도가 서로 유사

 ▸ LLM이 고용과 임금에 미치는 영향 역시 ‘사람’과 ‘GPT-4’가 서로 유사하게 평가함

   • 전반적으로 임금 변화율과 LLM의 영향은 선형의 상관관계를 보였으나, 고용 변화율은 거의 상관관계가 없는 것으로 판단

   • 고임금 직업에 대한 ‘GPT-4’의 평가와 비교하여, ‘사람’은 고임금 직업의 LLM 영향 정도를 낮게 평가하는 경향을 보임

 ▢ [직무기술 평가] LLM은 근로자의 직무스킬에도 유의미한 영향을 끼침

 ▸ 미 O*NET의 기본 직무스킬*과 프로그래밍 스킬에 대한 LLM의 영향을 회귀분석한 결과, 과학과 비판적 사고 스킬은 LLM의 영향을 덜 받고, 프로그래밍과 작문 스킬은 LLM에 큰 영향을 받는 것으로 나타남(<별표 1> 참조) * 능동적 경청, 수학, 문해력, 과학, 말하기, 쓰기, 능동적 학습, 비판적 사고, 학습 전략 수립, 모니터링 능력

▢ [진입장벽 평가] LLM은 진입장벽별로 서로 상이한 영향을 끼치는 것으로 나타남

 ▸ ‘사람’과 ‘GPT-4’ 모두 진입장벽이 높아질수록 LLM의 영향이 높아질 것으로 평가하고 있으나, 가장 높은 수준의 진입장벽(5단계)에 대해서는 이견을 보임

  • ‘GPT-4’는 4에서 5단계로의 진입장벽 상승 과정에서 LLM의 영향도가 오히려 감소할 것으로 평가함

 ▢ [이전연구와 비교] LLM은 SW, AI 등 물리적 작업이 포함되지 않은 작업에 큰 영향을 미치며, 로봇, 수동 작업에는 영향이 제한적인 것으로 나타남

 ▸ LLM은 SW, AI를 대상으로 하는 작업에 유의미한 영향을 끼치고, 직업별로 기계학습적합성(suitability for machine learning, SML)과 LLM 영향도는 서로 유의한 연관성을 보임(<별표 2> 참조)

 ▸ 일상적 인지 작업은 양의 상관관계이고 로봇 노출 점수 및 일상적인 수동 작업은 음의 상관관계로, LLM 노출은 물리적 작업에 대해서는 제한적임(<별표 2> 참조) * Frey & Osborne(2017)의 자동화가 상관관계가 낮은 것은 방법론의 차이임

▢ [결론] LLM이 직무수행 개선, 생산성 향상 등의 측면에서 범용기술로 활용될 수 있으나, LLM 활용에 따른 기술비용, 윤리 및 안전, 노동시장에 끼칠 혼란에 대한 추가 논의가 필요함

 ▸ LLM은 기능이 시간 경과에 따라 개선되고 있으며, 경제 전반에 걸쳐 영향을 미칠 수 있고 소프트웨어 및 디지털 도구를 통해 보완적 혁신이 가능하여 범용기술로써 활용할 수 있음

  • 연구에 따르면 LLM 도입으로 약 80%의 미국 근로자는 최소 10% 업무가 영향을 받으며, 약 19%의 근로자는 업무의 최소 50%가 영향을 받음

 • API를 사용하던 LLM의 UI를 개선한 ChatGPT는 사용자가 텍스트 입력을 활용하면서 사용량이 급증하여, 광범위한 LLM 기술 보급에 기여 (Constantz, 2023)

 ▸ LLM의 광범위한 사용을 위해서는 인간의 LLM의 대한 신뢰 수준이 올라가야 하며, 사회적, 경제적, 정책적 준비가 선행되어야 함

  • LLM 기술 비용과 유연성, 윤리 및 안전 위험*, 근로자와 회사의 선호도 등이 LLM을 적용한 디지털 도구의 채택에 영향을 주며, 데이터의 가용성, 규제, 권력 및 이익 분배 등의 요인으로 산업마다 LLM 채택 정도가 다름 * 편향, 사실 조작, 오정렬 등 (OpenAI, 2023a)

• LLM과 LLM을 활용한 기술로 인한 잠재적 영향에 대한 사회적, 정책적 준비가 필요함  * LLM을 포함한 자동화 기술의 도입은 경제적 격차 및 노동 중단과 관련된 문제들을 일으킬 수 있음(Acemoglu, D. and Restrepo, P., 2022)

4. 시사점

▢ SPRi는 본 연구가 분석 자료 및 방법의 한계에도 불구하고 LLM의 노동시장에 미치는 영향에 대한 광범위하고 신속한 결과를 제시했다는 점에서 의의가 있다고 평가함

 ▸ 앞에서 언급한 방법론은 사람의 주관적 판단에 근거한 방식(human annotator)으로 정확도의 한계, ChatGPT의 프롬프트에 따라 불규칙적 결과 변화, 제한된 데이터의 활용 등의 문제점이 있음

 ▸ AI가 대체할 수 있는 직업군에 대한 기존 연구에 비해, 저자가 AI 기술 중 현재 활용가능하고 가시적 성과를 보여주는 LLM이 대체 가능한 직종 및 직무에 대해 새로운 결과*를 제시했다는 점에서 본 연구의 가치는 충분함 * AI는 건설 노동자, 부품 조립, 통신 수리 등 노동 집약적이고 반복적인 직종의 대체도 가능한 것과 대비되어, LLM은 언어모델에 기반한 기술로 인간의 노동력 위주의 직종 대체는 어려움

 ▸ OpenAI가 제시 했듯이 ChatGPT가 완벽한 기술은 아니나, 인간과 ChatGPT의 작업 결과를 비교하여 인간의 작업(Task)을 LLM이 수행 가능한 것을 실제로 보여줌

▢ SPRi는 향후 직업의 변화, 기술 변화에 따라 직업에 대한 LLM의 경제적, 사회적 영향력의 정확한 예측은 어려우나, 예측 모델 고도화와 직무 정보의 보완을 통해 LLM의 영향에 의한 직업 변화에 대한 면밀한 검토가 필요하다고 판단함 

 ▸ AI의 영향에 의한 직업 변화를 예측하기 위해서는 LLM의 직업에 대한 영향을 평가하는 사람(human annotator)의 전문성, LLM의 프롬프트 내용의 적합성, 직무 및 DWA 프레임워크의 타당성 등에 대한 검증이 필요함

  • 직업별로 전문성이 있고 LLM에 익숙한 평가자들의 응답 결과로 자료가 구축될 필요 

  • LLM의 의한 자동화 가능성 판단은 질의 평가(Rubric) 문구, 프롬프트 순서 및 구성, 직무 세부 수준 및 용어 등에 따라 일정하지 않은 변화를 일으키기 때문에 결과의 신뢰성에 대한 검토가 필요함

 ▸ 본 연구는 미국 노동시장을 분석한 연구로, 향후 한국 노동시장의 주요 지표와 직업 자료를 활용하여 LLM이 한국 노동시장에 끼치는 영향을 분석해볼 수 있을 것임 

  • 미국의 O*NET와 유사한 한국의 NCS*를 활용하여 직업과 직무에 대한 정보를 질의 평가(Rubric) 방법론을 이용하여 LLM이 한국 직업에 미치는 영향력 분석이 요구됨  * 경영, 금융, 법률, 정보통신 등 대분류 24개, 중분류 81개, 소분류 271개, 세분류 1,083개가 있으며, 직무별 능력 단위 정의

<끝>

<부록 별표> 

---------------------------------------------------

1) Tyna Eloundou (OpenAI), Sam Manning (OpenAI, OpenResearch), Pamela Mishkin (OpenAI), and Daniel Rock (University of Pennsylvania)

2) “Eloundou, T., Manning, S., Mishkin, P., & Rock, D. (2023). Gpts are gpts: An early look at the labor market impact potential of large language models. arXiv preprint arXiv:2303.10130.” 이하에서는 「GPTs are GPTs」로 축약하여 표현

3) 범용기술(General-Purpose Technology; GPT)이란, 인류의 삶의 방식, 기업의 경영방식 등에 큰 변화를 가져오며 세계 경제성장의 모태가 되는 근본적 기술을 말함(Bresnahan & Trajtenberg, 1995; Helpman & Trajtenberg, 1994;Jovanovic & Rousseau, 2005). 예시적으로 인쇄기술, 증기 엔진 기술이 해당되며, 광범위한 확산, 기술적 개선 잠재력, 상호보완적 혁신성으로 특징됨(Bresnahan and Trajtenberg, 1995; Lipsey et al., 2005)

◈ 저자 : SPRi SW기반정책·인재연구실 소속

  ▲ 이승윤 선임연구원 

  ▲ 진회승 책임연구원 

  ▲ 윤보성 선임연구원 

  ▲ 신승윤 선임연구원

<ifsPOST>