AI 위험 유형 및 사례 분석(A Comprehensive Review on AI Risks and Cases) > 보고서

<요약>

최근 몇 년간 인공지능(AI) 기술의 발전은 챗GPT의 출시 이후 거대 언어 모델(LLM) 개발 경쟁을 거치며 가속화되었다. 현재 공개된 AI 모델들의 성능은 특정 분야에서는 이미 인간의 능력을 뛰어넘었고, 이에 따라 활용 범위 또한 급격히 확장되었다. 특히 생성 AI를 기반으로 하는 범용 AI는 제조, 의료, 금융, 교육 등의 여러 산업 분야에서 활용되고 있다. 

 하지만, AI 기반의 서비스들이 다양한 이점을 제공하는 한편, 고성능 AI에 대한 접근성의 향상으로 인해 새로운 위험에 대한 우려 또한 증가했다. 이에 따라, 기존 AI 신뢰성, 책임성, 윤리 등의 논의와 더불어, ‘AI 안전’이 더욱 중요해졌다. 악의적인 사용, 오작동과 같은 위험들이 실제 피해까지 야기하고 있는 만큼, AI의 안전 확보를 위한 대응책 마련이 시급해진 상황이다. 

앞으로 등장할 더 강력한 성능을 가진 프론티어 AI 모델은 의도치 않은 결과의 도출, 제어 불가, 사회적 악영향 등 여러 잠재적인 위험을 포함할 가능성이 높아, 규제와 지침 마련을 비롯하여 다양한 국제적 노력이 이루어지고 있다.

각국의 정부, 기업 등 이해관계자들은 AI의 안전성을 확보하기 위해, 위험을 식별하여 평가 기준을 마련하고, 안전한 AI 개발 및 배포와 위험 대응책을 마련하기 위해 노력하고 있다. 최근 연구들에서는 사고 사례나 발생 가능한 시나리오에 따른 위험들을 분류하여 제시하고 있다. 하지만, 연구마다 다양한 위험 분류 체계를 제시하고 있어, 합의된 AI 안전 평가 체계를 마련하기에는 아직 더 많은 논의가 필요한 상황이다. 

미국, 영국, 일본 등은 AI 시스템의 안전성 확보를 위해 AI 안전연구소를 통해 AI 안전 및 위험 연구, 위험성 평가, 안전한 AI 개발·구현을 위한 기준 마련 등의 기능을 수행 중이다. 대표적으로 AI 위험 관리 프레임워크(미), AI 안전에 관한 과학 보고서(영) 등을 통해 AI의 위험에 대한 대응 방안을 제시하고 있으며, 한국도 설립될 AI 안전연구소를 통해 AI 안전 수요에 대응할 예정이다. 

본 보고서에서는 AI 안전과 관련된 개념을 정리하고, 최근 수행된 연구들이 제시하고 있는 AI 위험 유형 및 요인을 정리하여, 사례와 함께 분석함으로써 앞으로의 AI 위험 대응에 관한 정책적 시사점을 제공하고자 한다.

< 결론 및 시사점 >

■ AI 위험 요인은 기술적 논의를 넘어선 사회적,제도적 요인을 포함

  - 최근 연구를 살펴본 결과, AI의 위험 요인은 단순히 기술적 결함을 넘어서 사용자에 의한 악용, 국가별·지역별 격차로 인한 사회적 위험 요인까지 확대되고 있음을 확인

  - 위험 요인들이 다양하게 식별되어 분류가 제시되었으나, 아직까지 합의된 위험 분류 체계는 없는 상황으로 명확한 가이드라인 제시를 위한 기준 마련이 필요

   ∙위험 요인들이 다양하게 식별되어 분류가 제시되고 있으나 합의된 체계는 없으며, 표준의 관점에서는 AI 안전 측정 및 평가에 초점을 맞추고 있어 모든 위험 요인을 다루기에는 한계가 존재

  - 이는 AI 안전성에 관한 초기 개념이 최근 변화하였으나 합의된 정의가 없는 것과 유사한 맥락으로, 기술적 접근 외에 사람의 의도에 의해 발생하는 위험과 피해, 국가 간 기술 격차, 지역적 불평등 등으로 인해 AI 기술이 야기할 수 있는 위험이 논의 되어야 함을 시사

  - 종합하면, AI 안전의 개념과 위험을 분석하여 대응하기 위해서는 기술적 안전성을 넘어선

포괄적 접근이 필요

   ∙이는 AI 안전 정책이 지향해야 할 방향을 시사하고 있으며, 사회적 요인이 야기하는 AI 안전 위협에도 대응할 수 있는 제도적, 정책적 대응에 관한 규제 체계적 논의의 필요성을 제기

■ 그러나 현재까지의 AI 위험 대응은 기술적 보호 장치를 마련하거나, AI 기술 개발 단계의 위험 관리 프레임워크를 설계하여 대응하는 방식이 대부분

  - 대부분의 생성 AI 오용 관련 사례는 AI 시스템에 대한 정교한 공격보다는, 최소한의 기술

지식만으로 쉽게 접근할 수 있는 생성 AI의 기능을 악용하는 경우가 일반적

   ∙전통적인 공격 방식도 생성 AI 기술을 통해 낮은 비용으로 접근이 용이해짐에 따라, 기존의 위험보다 더욱 광범위하게 피해가 발생할 수 있음

  - 그러나 기존에 논의된 대응 방안은, 합성 미디어를 탐지할 수 있는 도구와 워터마킹 기술 등의 솔루션을 적용하거나, 특수한 경우 모델의 기능 제한이나 사용 제한 같은 극단적인 기술 개입

   ∙하지만 탐지 방법이 개선되어 성능이 향상되어도, 새로운 우회 방법이 등장하여 이용자들이 악용하는 사례가 있으므로 지속적인 모니터링과 대응이 필요

  - 위험 관리 프레임워크 또한 AI 개발의 전 주기에 걸쳐 발생 가능한 잠재적 위험에 대한 체계를 구축하는 것으로, AI RMF 1.0과 같은 지침을 기반으로 기술 기업들이 대응하는 형태

   ∙ 하지만, 위험관리 프로세스는 위험을 식별하고 평가하고, 위험성에 따라 우선순위를 지정하는 것으로 위험을 모니터링하고 보고하는 체계의 구축이 더욱 중요

   ∙ 악의적 콘텐츠 생성 위험 완화를 위한 측면에서도 명확한 AI 원칙 및 가이드라인 수립과 조직이 이를 수용하는 것이 중요하고, 워터마킹, 조직 내 통제된 환경 구축(예: 개인정보 관리 도구의 사용) 은 피해를 예방하기 위한 선결적 요구사항 필요

   ∙콘텐츠 소비 위험 완화 측면에서도 기술적으로는 AI 출력 검증이나 경고 매커니즘을 수립 필요가 있으나, 악의적 콘텐츠에 대한 소비자의 인식 개선과 리터러시 향상도 동시에 요구됨

  - 종합하면, AI 기술 개발 기업뿐만 아니라 생성 AI 모델이나 서비스 개발자를 통해, 발생할 수 있는 위험을 사전에 방지하여 AI 안전을 확보할 수 있는 방식을 고려해야 함

   ∙학습 데이터에서의 유해 콘텐츠 제거 작업을 수행 또는 생성 AI 도구의 서비스 약관을 위반하는 프롬프트를 제한하는 등의 보호 장치를 마련하는 위험 대응 방식이 고려되어야 함

  - 최근 논의되는 위험 대응 방식으로는 사전폭로(Prebunking)을 통한 사용자의 경각심 제고 방식도 존재

   ∙이러한 조치는 기술적 대응 방안이 아닌, 사람들로 하여금 조작적 콘텐츠에 대한 심리적 경계를 야기하여, 조작 콘텐츠를 식별하고 저항할 수 있는 환경을 조성하는 방식

   * 인도네시아 총선을 앞두고 Jigsaw와 구글은 Prebunking 캠페인 영상을 공개하여, 유권자들이 감정 조작, 탈맥락화, 불신 또는 명예훼손 등의 생성 AI 기반의 잘못된 정보에 대한 위험을 사전 고지함으로써, 사용자들의 인식을 제고

   ∙ 사전폭로 방식을 통해 정보를 사전 고지 받은 사용자들은 AI 위험을 상대적으로 더 잘 구분하는 것을 확인

■ AI 안전을 위한 사회적,제도적 논의의 글로벌 협력의 필요성 증대

  - 고성능 범용 AI가 다양한 분야에 도입되고 일상화되어 많은 긍정적 영향을 끼치고 있으나, AI에 의한 사건·사고 또한 급격히 증가하고 있어, 안전한 AI 활용은 더욱 중요해지고 있음

  - 향후 프론티어 AI 모델에 의한 피해는 기존보다 더욱 광범위하게 사회 전반에 영향을 미칠 수 있으며, 국가적 범위를 넘어서는 피해를 야기할 수 있을 것으로 예상됨에 따라 각국 정부를 비롯한 이해관계자들은 AI의 안전성·신뢰성 확보를 위한 대응 방안이 필요함을 시사

  - 미국 AI 안전연구소는 영국, 일본, 한국 등 다른 국가들과 글로벌 AI 안전 네트워크를 구축하고, 오는 11월 샌프란시스코에서 국제 AI 안전연구소 네트워크 행사를 개최할 예정

   ∙ 딥페이크 등 합성 콘텐츠 대응, AI 기반모델 평가, 위험평가 방안 등을 의제로 논의가 이루어질 예정

■ 현재는 특정 기업 또는 기관이 자체적으로 AI 위험을  대응·관리하기 위한 체계를 구축하고 있는 초기 단계로 AI 안전 대응을 위한 일원화 된 대응 체계 구축이 시급

  - 미국과 영국은 각국의 AI 안전연구소를 통해 대규모 언어 모델의 안전성 점검을 위한 협약을 체결(‘24.04)하는 등 주요국의 국제협력이 활발히 진행되고 있는 상황

   ∙미국은 AI 안전연구소 컨소시엄(AISIC)을 통해 여러 기업들과의 협력을 통해 가이드라인을 개발 중

  - 한국도 오는 11월 AI 안전연구소 출범이 예정되어 있으며, 연구소 설립 후 즉각적인 국제 협력 네트워크를 구축하고 글로벌 논의를 함께 주도할 수 있는 정책 마련이 요구됨

   ∙EU의 AI법, 미국의 행정명령 및 인공지능 법 등 주요국은 제도적 기반도 마련하고 있으나, 국내 AI기본법은 현재 여러 안이 발의되어 논의 중임

■ AI 위험 요인 영향평가를 통해 심각성을 판단하고,선제적 대응이 필요한 위험 요인의 식별 및 AI의 안전성 평가·검증을 위한 정부 정책 및 제도적 지원이 필요

  - 최근 한국은 AI의 윤리 영향평가(KISDI), 사회적 영향평가(NIA) 등을 추진하고 있으며, 국가인권위원회는 과기정통부에 AI 인권 영향평가 도구 보급을 촉구하는 등 AI 안전 확보를 위한 제도적 환경조성을 적극적으로 추진하고 있음

  - 그러나, 미국 NIST의 AI RMF와 같은 정부 주도의 가이드라인이 부재한 상황으로, 국가 AI 안전 프레임워크 개발을 촉진하여 AI 안전성 확보를 위한 일원화 된 지침을 제공할 필요가 있음

  - 주요국의 정부는 민간과 협력하여 AI 안전에 관한 국제 표준화 활동과 더불어 AI 신뢰성 인증체계를 구축하고 있는 만큼, 한국도 관련 지원 정책을 마련해야 함

   ∙과기정통부와 TTA는 ‘신뢰할 수 있는 인공지능 개발 안내서’ 8종* 개발, ‘인공지능 시스템 신뢰성 제고를 위한 요구사항’ 표준 수립, AI 제품 등에 대한 신뢰성 인증 등을 추진하고 있음

   * 일반, 의료, 공공사회, 자율주행(2023.7), 일반, 생성 AI 기반 서비스, 스마트 치안, 채용(2024.3)

* 저자

소프트웨어정책연구소(SPRi) AI정책연구실

▲ 노재원 선임연구원 

▲ 유재흥 책임연구원 

▲ 장진철 선임연구원 

▲ 조지연 선임연구원

<ifsPOST>

​ 

<요약>

최근 몇 년간 인공지능(AI) 기술의 발전은 챗GPT의 출시 이후 거대 언어 모델(LLM) 개발 경쟁을 거치며 가속화되었다. 현재 공개된 AI 모델들의 성능은 특정 분야에서는 이미 인간의 능력을 뛰어넘었고, 이에 따라 활용 범위 또한 급격히 확장되었다. 특히 생성 AI를 기반으로 하는 범용 AI는 제조, 의료, 금융, 교육 등의 여러 산업 분야에서 활용되고 있다. 

 하지만, AI 기반의 서비스들이 다양한 이점을 제공하는 한편, 고성능 AI에 대한 접근성의 향상으로 인해 새로운 위험에 대한 우려 또한 증가했다. 이에 따라, 기존 AI 신뢰성, 책임성, 윤리 등의 논의와 더불어, ‘AI 안전’이 더욱 중요해졌다. 악의적인 사용, 오작동과 같은 위험들이 실제 피해까지 야기하고 있는 만큼, AI의 안전 확보를 위한 대응책 마련이 시급해진 상황이다. 

앞으로 등장할 더 강력한 성능을 가진 프론티어 AI 모델은 의도치 않은 결과의 도출, 제어 불가, 사회적 악영향 등 여러 잠재적인 위험을 포함할 가능성이 높아, 규제와 지침 마련을 비롯하여 다양한 국제적 노력이 이루어지고 있다.

각국의 정부, 기업 등 이해관계자들은 AI의 안전성을 확보하기 위해, 위험을 식별하여 평가 기준을 마련하고, 안전한 AI 개발 및 배포와 위험 대응책을 마련하기 위해 노력하고 있다. 최근 연구들에서는 사고 사례나 발생 가능한 시나리오에 따른 위험들을 분류하여 제시하고 있다. 하지만, 연구마다 다양한 위험 분류 체계를 제시하고 있어, 합의된 AI 안전 평가 체계를 마련하기에는 아직 더 많은 논의가 필요한 상황이다. 

미국, 영국, 일본 등은 AI 시스템의 안전성 확보를 위해 AI 안전연구소를 통해 AI 안전 및 위험 연구, 위험성 평가, 안전한 AI 개발·구현을 위한 기준 마련 등의 기능을 수행 중이다. 대표적으로 AI 위험 관리 프레임워크(미), AI 안전에 관한 과학 보고서(영) 등을 통해 AI의 위험에 대한 대응 방안을 제시하고 있으며, 한국도 설립될 AI 안전연구소를 통해 AI 안전 수요에 대응할 예정이다. 

본 보고서에서는 AI 안전과 관련된 개념을 정리하고, 최근 수행된 연구들이 제시하고 있는 AI 위험 유형 및 요인을 정리하여, 사례와 함께 분석함으로써 앞으로의 AI 위험 대응에 관한 정책적 시사점을 제공하고자 한다.

< 결론 및 시사점 >

■ AI 위험 요인은 기술적 논의를 넘어선 사회적,제도적 요인을 포함

  - 최근 연구를 살펴본 결과, AI의 위험 요인은 단순히 기술적 결함을 넘어서 사용자에 의한 악용, 국가별·지역별 격차로 인한 사회적 위험 요인까지 확대되고 있음을 확인

  - 위험 요인들이 다양하게 식별되어 분류가 제시되었으나, 아직까지 합의된 위험 분류 체계는 없는 상황으로 명확한 가이드라인 제시를 위한 기준 마련이 필요

   ∙위험 요인들이 다양하게 식별되어 분류가 제시되고 있으나 합의된 체계는 없으며, 표준의 관점에서는 AI 안전 측정 및 평가에 초점을 맞추고 있어 모든 위험 요인을 다루기에는 한계가 존재

  - 이는 AI 안전성에 관한 초기 개념이 최근 변화하였으나 합의된 정의가 없는 것과 유사한 맥락으로, 기술적 접근 외에 사람의 의도에 의해 발생하는 위험과 피해, 국가 간 기술 격차, 지역적 불평등 등으로 인해 AI 기술이 야기할 수 있는 위험이 논의 되어야 함을 시사

  - 종합하면, AI 안전의 개념과 위험을 분석하여 대응하기 위해서는 기술적 안전성을 넘어선

포괄적 접근이 필요

   ∙이는 AI 안전 정책이 지향해야 할 방향을 시사하고 있으며, 사회적 요인이 야기하는 AI 안전 위협에도 대응할 수 있는 제도적, 정책적 대응에 관한 규제 체계적 논의의 필요성을 제기

■ 그러나 현재까지의 AI 위험 대응은 기술적 보호 장치를 마련하거나, AI 기술 개발 단계의 위험 관리 프레임워크를 설계하여 대응하는 방식이 대부분

  - 대부분의 생성 AI 오용 관련 사례는 AI 시스템에 대한 정교한 공격보다는, 최소한의 기술

지식만으로 쉽게 접근할 수 있는 생성 AI의 기능을 악용하는 경우가 일반적

   ∙전통적인 공격 방식도 생성 AI 기술을 통해 낮은 비용으로 접근이 용이해짐에 따라, 기존의 위험보다 더욱 광범위하게 피해가 발생할 수 있음

  - 그러나 기존에 논의된 대응 방안은, 합성 미디어를 탐지할 수 있는 도구와 워터마킹 기술 등의 솔루션을 적용하거나, 특수한 경우 모델의 기능 제한이나 사용 제한 같은 극단적인 기술 개입

   ∙하지만 탐지 방법이 개선되어 성능이 향상되어도, 새로운 우회 방법이 등장하여 이용자들이 악용하는 사례가 있으므로 지속적인 모니터링과 대응이 필요

  - 위험 관리 프레임워크 또한 AI 개발의 전 주기에 걸쳐 발생 가능한 잠재적 위험에 대한 체계를 구축하는 것으로, AI RMF 1.0과 같은 지침을 기반으로 기술 기업들이 대응하는 형태

   ∙ 하지만, 위험관리 프로세스는 위험을 식별하고 평가하고, 위험성에 따라 우선순위를 지정하는 것으로 위험을 모니터링하고 보고하는 체계의 구축이 더욱 중요

   ∙ 악의적 콘텐츠 생성 위험 완화를 위한 측면에서도 명확한 AI 원칙 및 가이드라인 수립과 조직이 이를 수용하는 것이 중요하고, 워터마킹, 조직 내 통제된 환경 구축(예: 개인정보 관리 도구의 사용) 은 피해를 예방하기 위한 선결적 요구사항 필요

   ∙콘텐츠 소비 위험 완화 측면에서도 기술적으로는 AI 출력 검증이나 경고 매커니즘을 수립 필요가 있으나, 악의적 콘텐츠에 대한 소비자의 인식 개선과 리터러시 향상도 동시에 요구됨

  - 종합하면, AI 기술 개발 기업뿐만 아니라 생성 AI 모델이나 서비스 개발자를 통해, 발생할 수 있는 위험을 사전에 방지하여 AI 안전을 확보할 수 있는 방식을 고려해야 함

   ∙학습 데이터에서의 유해 콘텐츠 제거 작업을 수행 또는 생성 AI 도구의 서비스 약관을 위반하는 프롬프트를 제한하는 등의 보호 장치를 마련하는 위험 대응 방식이 고려되어야 함

  - 최근 논의되는 위험 대응 방식으로는 사전폭로(Prebunking)을 통한 사용자의 경각심 제고 방식도 존재

   ∙이러한 조치는 기술적 대응 방안이 아닌, 사람들로 하여금 조작적 콘텐츠에 대한 심리적 경계를 야기하여, 조작 콘텐츠를 식별하고 저항할 수 있는 환경을 조성하는 방식

   * 인도네시아 총선을 앞두고 Jigsaw와 구글은 Prebunking 캠페인 영상을 공개하여, 유권자들이 감정 조작, 탈맥락화, 불신 또는 명예훼손 등의 생성 AI 기반의 잘못된 정보에 대한 위험을 사전 고지함으로써, 사용자들의 인식을 제고

   ∙ 사전폭로 방식을 통해 정보를 사전 고지 받은 사용자들은 AI 위험을 상대적으로 더 잘 구분하는 것을 확인

■ AI 안전을 위한 사회적,제도적 논의의 글로벌 협력의 필요성 증대

  - 고성능 범용 AI가 다양한 분야에 도입되고 일상화되어 많은 긍정적 영향을 끼치고 있으나, AI에 의한 사건·사고 또한 급격히 증가하고 있어, 안전한 AI 활용은 더욱 중요해지고 있음

  - 향후 프론티어 AI 모델에 의한 피해는 기존보다 더욱 광범위하게 사회 전반에 영향을 미칠 수 있으며, 국가적 범위를 넘어서는 피해를 야기할 수 있을 것으로 예상됨에 따라 각국 정부를 비롯한 이해관계자들은 AI의 안전성·신뢰성 확보를 위한 대응 방안이 필요함을 시사

  - 미국 AI 안전연구소는 영국, 일본, 한국 등 다른 국가들과 글로벌 AI 안전 네트워크를 구축하고, 오는 11월 샌프란시스코에서 국제 AI 안전연구소 네트워크 행사를 개최할 예정

   ∙ 딥페이크 등 합성 콘텐츠 대응, AI 기반모델 평가, 위험평가 방안 등을 의제로 논의가 이루어질 예정

■ 현재는 특정 기업 또는 기관이 자체적으로 AI 위험을  대응·관리하기 위한 체계를 구축하고 있는 초기 단계로 AI 안전 대응을 위한 일원화 된 대응 체계 구축이 시급

  - 미국과 영국은 각국의 AI 안전연구소를 통해 대규모 언어 모델의 안전성 점검을 위한 협약을 체결(‘24.04)하는 등 주요국의 국제협력이 활발히 진행되고 있는 상황

   ∙미국은 AI 안전연구소 컨소시엄(AISIC)을 통해 여러 기업들과의 협력을 통해 가이드라인을 개발 중

  - 한국도 오는 11월 AI 안전연구소 출범이 예정되어 있으며, 연구소 설립 후 즉각적인 국제 협력 네트워크를 구축하고 글로벌 논의를 함께 주도할 수 있는 정책 마련이 요구됨

   ∙EU의 AI법, 미국의 행정명령 및 인공지능 법 등 주요국은 제도적 기반도 마련하고 있으나, 국내 AI기본법은 현재 여러 안이 발의되어 논의 중임

■ AI 위험 요인 영향평가를 통해 심각성을 판단하고,선제적 대응이 필요한 위험 요인의 식별 및 AI의 안전성 평가·검증을 위한 정부 정책 및 제도적 지원이 필요

  - 최근 한국은 AI의 윤리 영향평가(KISDI), 사회적 영향평가(NIA) 등을 추진하고 있으며, 국가인권위원회는 과기정통부에 AI 인권 영향평가 도구 보급을 촉구하는 등 AI 안전 확보를 위한 제도적 환경조성을 적극적으로 추진하고 있음

  - 그러나, 미국 NIST의 AI RMF와 같은 정부 주도의 가이드라인이 부재한 상황으로, 국가 AI 안전 프레임워크 개발을 촉진하여 AI 안전성 확보를 위한 일원화 된 지침을 제공할 필요가 있음

  - 주요국의 정부는 민간과 협력하여 AI 안전에 관한 국제 표준화 활동과 더불어 AI 신뢰성 인증체계를 구축하고 있는 만큼, 한국도 관련 지원 정책을 마련해야 함

   ∙과기정통부와 TTA는 ‘신뢰할 수 있는 인공지능 개발 안내서’ 8종* 개발, ‘인공지능 시스템 신뢰성 제고를 위한 요구사항’ 표준 수립, AI 제품 등에 대한 신뢰성 인증 등을 추진하고 있음

   * 일반, 의료, 공공사회, 자율주행(2023.7), 일반, 생성 AI 기반 서비스, 스마트 치안, 채용(2024.3)

* 저자

소프트웨어정책연구소(SPRi) AI정책연구실

▲ 노재원 선임연구원 

▲ 유재흥 책임연구원 

▲ 장진철 선임연구원 

▲ 조지연 선임연구원

<ifsPOST>

​