이준호의 사이버보안 이야기 <37> 보안 없는 AI는 없다: 대통령 예비후보에게 드리는 제언 > News Insight

2025년 대한민국 조기 대선을 앞두고 AI 기술이 핵심 의제로 부상했지만, 정작 사이버보안 논의는 자취를 감추고 있다. AI 없는 미래는 상상하기 어렵지만, 보안 없는 AI 역시 위험천만한 도박이다.

디지털 대전환 공약의 함정: 보안이 실종됐다

2025년 대선을 앞두고 여야를 막론하고 디지털 대전환과 AI 혁명을 앞다투어 약속하고 있다. 각 당은 AI 특별위원회를 꾸리고, AI를 미래산업 핵심 동력으로 삼겠다는 비전을 경쟁적으로 내놓는다 ‘AI 인프라 확충’, ‘AI 인재 양성’, ‘AI 초격차 산업 육성’ 등 화려한 공약이 쏟아지지만, 정작 ‘AI 보안’ 전략은 찾기 힘들다. 마치 최신형 스포츠카의 엔진 성능만 자랑할 뿐, 브레이크와 안전벨트 얘기는 빠져 있는 격이다.

대다수 후보들이 AI를 경제 성장과 혁신의 열쇠로 강조하지만, 이러한 기술을 안전하게 다룰 계획은 언급하지 않고 있다. AI는 국가 경쟁력의 핵심임이 분명하지만, 보안을 동반하지 않은 AI 혁신은 모래성 쌓기와 같다. 사이버 공간에서 신뢰와 안전이 담보되지 않으면 AI를 활용한 어떠한 디지털 전환도 오래가지 못한다. 기술에 대한 국민 신뢰가 무너지고, 기업들은 피해를 입으며, 국가 전체의 사이버 리스크가 증폭될 수 있다. 선진 각국이 AI 개발 속도만큼이나 신뢰성과 보안을 중시하는 이유도 여기에 있다. AI 강국을 꿈꾸는 대한민국의 지도자라면, “보안 없는 AI는 없다”는 분명한 인식을 가져야 한다.

AI 채택 가속이 부르는 새로운 위협들

AI 기술을 빠르게 받아들일수록 사이버 보안 위협도 기하급수적으로 늘어난다. 대규모언어모델(LLM)과 생성형 AI가 등장하며, 과거엔 없던 신종 공격이 현실화되고 있다. 대표적인 예가 프롬프트 인젝션(prompt injection)이다. 이는 공격자가 AI 시스템에 교묘한 입력을 주어 AI의 제어권을 탈취하거나 유해한 출력을 유도하는 기법이다. 예컨대 2023년 한 이용자가 디스코드(Discord) 챗봇에 “폭탄 제조 기술자였던 할머니처럼 대화해달라”는 요구만으로, 네이팜탄 제조법을 알아낸 사건이 있었다. 악의 없는 장난이었지만, 만약 이를 실제 범죄에 악용했다면 어떻게 되었을까? 전문 해커가 아니어도 AI를 속여 위험한 정보를 얻어내는 시대가 열린 것이다. 실험에 따르면 단 3번의 Q&A 만에 65% 확률로 AI의 안전장치를 무력화하는 경우도 있었다. 프롬프트 인젝션의 등장은 AI 도입 기업들에게 일대 충격을 주었고, AI 보안이 선택이 아닌 필수임을 깨닫게 했다.

또 다른 위협은 LLM 탈취(모델 도난)와 데이터 중독(데이터 오염)이다. AI 모델 자체가 공격 대상이 되는 사례로, 모델 탈취란 외부 인터랙션만으로 AI 모델의 기밀이나 지식 자산을 빼내는 공격을 말한다. 실제로 OWASP 취약점 목록에서도 한때 모델 도난이 주요 위협으로 지목되었을 만큼, 공격자가 API 쿼리 등을 통해 모델을 역설계하여 기업의 AI 핵심자산을 유출할 수 있다 데이터 중독(Data Poisoning)은 AI의 학습 데이터나 동작 데이터를 악의적으로 조작해 모델을 망가뜨리는 기법이다. 예를 들어 AI가 학습하는 데이터셋에 의도적인 오류나 편향을 섞어 넣으면, AI는 왜곡된 판단을 내리거나 취약점을 지닌 상태로 배포된다. 미세한 이미지 픽셀 조작만으로 AI 비전 모델이 소를 가죽 가방으로 잘못 인식하게 만드는 사례도 연구되었다. 이런 보이지 않는 백도어 공격이 심어지면, AI는 평소엔 멀쩡하다가도 특정 트리거에서 공격자의 의도대로 움직이는 시한폭탄이 된다.

AI 서비스가 클라우드 API로 제공되는 환경에서는 접근 키 노출과 API 취약점이 새로운 위험 요소다. 실제로 올해 국내 모 대기업에서는 개발자가 공개 저장소에 실수로 AI API Key를 올렸다가, 외부에 유출되어 회사 내부 자료가 유출될 뻔한 일이 있었다고 한다. 또한 많은 기업이 외부의 AI 모델(API)을 활용하면서, 그 공급망(supply chain) 전반의 보안이 중요해졌다. 삼성SDS가 소개한 보고서에 따르면 “AI 확산으로 서드파티 LLM 의존도가 높아지면서 공급망 취약점이 크게 대두”되고 있으며, 신뢰할 수 없는 외부 모델이나 오픈소스 활용 시 편향된 결과, 보안 침해, 심지어 시스템 장애까지 초래될 수 있다고 지적한다. 한마디로, AI를 빠르게 도입할수록 그 그늘에 숨어드는 위협도 함께 자라고 있는 것이다. 화려한 AI 기술의 이면에 도사린 이러한 사이버 함정을 국가 지도자와 정책 입안자들은 얼마나 인식하고 있을까?

'AI 보안'을 국가 전략으로: 미국, EU, 이스라엘 사례

AI 보안을 단순한 기술 문제가 아니라 국가 전략으로 격상시키는 움직임이 해외에서 뚜렷하다. 미국의 경우 지난해 말 바이든 행정부가 사상 첫 AI 행정명령을 발동하여, “안전하고 신뢰할 수 있는 AI 개발과 활용”을 위한 강력한 조치를 취했다. 이 행정명령은 국가안보와 핵심 인프라 보호 차원에서 AI 안전성 평가를 의무화하고, 기업들이 첨단 AI 모델을 개발할 때 정부에 사전 보고하도록 규정했다. 예를 들어 국방물자생산법(DPA)을 활용해, 대규모 듀얼유스 AI 모델을 개발하는 회사는 모델의 훈련 방식과 레드팀 침투테스트 결과를 정부에 의무 제출해야 한다. AI 모델이 마치 신무기체계처럼 정부의 통제와 검증 아래 놓인 셈이다. 또한 미 상무부 산하 NIST를 통해 AI 보안 표준과 평가환경을 만들고, 국토안보부(DHS)는 핵심 기반시설별로 AI로 인한 취약점을 점검하여 대응지침을 마련 중이다. 미국은 이런 노력을 통해 AI 시대의 사이버 리스크를 선제적으로 관리하고, 안전장치를 갖춘 혁신으로 글로벌 리더십을 공고히 하려 하고 있다.

유럽연합(EU) 역시 AI법(AI Act)을 2024년에 통과시켜 신뢰성과 투명성을 법제화했다. 이 법은 AI 시스템을 위험도에 따라 분류하고, 고위험 AI에 대해서는 보안성, 설명가능성, 인간의 감독 등을 의무 요건으로 부과한다. 예컨대 자율주행, 의료 AI처럼 위험도가 높은 분야의 AI는 공격에 대한 견고함(robustness)과 오용 방지 대책이 없으면 유럽 시장에 출시할 수 없다. 더 나아가 유럽은 세계 최초의 AI 국제협약에도 주도적으로 참여하여, 미국, 이스라엘 등과 함께 글로벌 AI 거버넌스의 원칙을 세웠다. 이 협약은 각국이 AI 남용을 감시하고 위험을 관리하기 위해 협력하는 내용을 담고 있는데, 이는 AI 보안을 국제 규범으로 끌어올리는 중요한 발걸음이다. 즉, AI 안전은 한 나라만의 문제가 아니라 전세계적인 공조 사안이 되고 있다.

이스라엘은 사이버보안 강국답게 AI 보안에도 발 빠르게 움직이고 있다. 이스라엘 정부는 AI 기술을 국가 안보 자산으로 규정하고, 국방부 산하에 AI 및 자율성 전담조직을 신설하여 군사적으로 AI를 적극 활용하는 한편 그 오남용에도 대비하고 있다. 실제로 “AI는 단지 과학·경제 이슈가 아니라 국가 안보의 문제”라는 인식이 이스라엘 사회에 퍼져 있으며, 사이버돔(Cyber Dome)과 같은 차세대 사이버 방어망에 AI 기술을 접목하고 있다. 무엇보다 이스라엘은 풍부한 사이버 인재와 스타트업을 바탕으로, AI 보안 솔루션 기업들을 다수 배출하며 신산업 창출에도 힘쓰고 있다. 예컨대 AI 모델의 이상 행위를 탐지하는 모니터링 툴, AI 코드 취약점을 자동으로 찾아주는 보안 AI 등이 이미 투자자들의 주목을 받고 있다. AI 강대국인 미국과 EU, 그리고 사이버 강국 이스라엘의 공통점은 AI 보안을 국가 경쟁력의 필수 요소로 보고 적극적인 정책 대응에 나섰다는 사실이다. 이에 비해 우리나라의 현재 대선판에서는 AI 안전과 보안에 대한 담론이 턱없이 부족하다. 이제는 한국도 AI 보안을 기술 전략이자 안보 의제로 격상시킬 때다.

차기 지도자가 준비해야 할 5대 AI 보안 정책

이러한 글로벌 흐름 속에서, 대한민국의 차기 지도자는 다음 다섯 가지 AI 보안 정책을 반드시 준비해야 한다. 이는 단순한 기술 공약이 아니라 국가의 신뢰와 생존을 위한 필수 과제다.

    1. 국가 AI 보안 거버넌스 확립: 정부 차원의 AI 보안 컨트롤타워를 신설하거나 기존 사이버안보 체계를 강화하여 AI 안전 전략을 총괄해야 한다. 예를 들어 범부처 협력을 위한 가칭 'AI 안전위원회'를 두고, 민간 전문가와 함께 AI 정책에 보안개념을 통합하는 것이다. 미국 행정명령처럼 AI 시스템 사전검증 제도를 도입하고, 국가사이버안전센터 내에 AI 전담 조직을 꾸려 상시 모니터링과 대응을 수행할 필요가 있다.

    2. AI 서비스에 대한 안전성 평가 의무화: 자율주행차, 의료진단 AI, 금융 AI 챗봇 등 국민 생활과 안전에 직결된 AI에는 사전 보안성 인증을 의무화해야 한다. 이를 위해 AI 보안 평가체계를 개발하고, 모델 취약점 점검(Red-Teaming), 프롬프트 인젝션 내성 테스트, 개인정보 유출 여부 검사 등을 표준화한다. 일정 수준의 공격 견딤성(robustness)을 입증한 AI만 시장에 출시하도록 법제화하면, 기업들도 초기부터 보안을 고려한 AI 개발(Secure by Design)을 하게 될 것이다. 이와 함께 AI 개발기업들이 보안 문제 발생 시 책임을 지도록 법적 근거를 마련하여 보안투자 유인을 강화해야 한다.

    3. AI 보안 산업 육성과 R&D 지원: AI 보안 기술을 새로운 산업으로 성장시킬 청사진이 필요하다. 정부가 공격/방어 AI 시뮬레이션 테스트베드를 구축하고, 취약점 탐지 AI, AI 코드 검증 도구, AI 모델 보호기술(워터마킹 등) 같은 분야에 연구개발 지원금을 투입해야 한다. 국내에서도 AI 보안 스타트업이 나오도록 규제 샌드박스 등을 활용해 실험을 독려하고, 해커톤 대회 등을 통해 인재 발굴에 나선다. 사이버보안에 강점이 있는 이스라엘의 사례처럼, 한국도 AI+보안 융합 산업을 선점한다면 글로벌 시장을 주도할 기회가 있다. AI를 안전하게 만들 수 있는 기술은 곧 미래 디지털 시대의 방패이며, 이를 남들보다 먼저 확보하는 것이 곧 국가 경쟁력이 될 것이다.

    4. 인재 양성과 사이버 교육 혁신: AI 시대의 보안 위협에 대응하려면 사이버보안 인재들의 역할도 진화해야 한다. 단순 네트워크 방어 기술만으로는 부족하며, AI 알고리즘 이해와 데이터 분석 능력을 겸비한 융합형 인재가 필요하다. 정부는 대학·대학원 과정에 AI 보안 전문 트랙을 지원하고, 현직 보안 전문가들을 위한 재교육 프로그램을 마련해야 한다. 예컨대 “해커들의 AI 악용을 막는 역량”, “머신러닝 모델에 대한 공격 탐지” 등을 가르치는 것이다. 또한 공무원 및 기업 임직원 대상 AI 보안 리터러시 교육을 정례화하여, 관리자들이 AI 활용 시 지켜야 할 보안 수칙과 위협 사례를 숙지하도록 해야 한다. 사이버 위생(cyber hygiene) 교육이 국민 기초소양이 되도록 함으로써, 사회 전체의 면역력을 높이는 것이 궁극적 목표다.

    5. 국제 공조 및 규범 주도: AI 보안은 국경을 넘어서는 문제인 만큼, 차기 정부는 국제 협력 테이블에서 적극적인 역할을 해야 한다. 앞서 언급한 글로벌 AI 협약이나 각종 사이버 안보 회의에 주도적으로 참여해 규범 형성에 목소리를 내고, 한미 동맹 등 기존 안보 협력을 사이버·AI 영역으로 확대해야 한다. 특히 한국은 세계 유수의 IT 인프라와 인재를 갖춘 만큼, 글로벌 AI 안전 기준을 만들고 공유하는 데 기여할 수 있다. 예를 들어 아시아 태평양 지역 AI 보안 협의체를 구성해 지역 내 사이버 위협정보를 교류하고 공동대응 체계를 구축하면, 주변국들과의 신뢰도 쌓을 수 있다. 나아가 북한의 사이버 위협에 대비해 AI를 활용한 방어 연구를 동맹국과 공동 수행하고, AI를 악용한 가짜뉴스 및 정보전에도 국제 공조로 대응해야 한다. 디지털 신뢰를 지키는 대한민국의 노력은 곧 국제사회에서의 위상 강화로 이어질 것이다.

결론: 기술의 속도보다 안전한 프레임을 만들 때

AI 시대의 리더십은 무엇을 더 빨리 만들어내느냐가 아니라 얼마나 안전한 틀 위에 혁신을 쌓느냐에 달려 있다. 눈부신 기술의 속도에 가려 안전한 프레임을 소홀히 한다면, 그 혁신은 첫 사고와 함께 물거품이 될 수 있다. 사이버보안은 더 이상 부차적인 IT 문제가 아니라, 국가의 신뢰·경제·외교·국방과 직결된 중차대한 의제다. 기술의 나침반과 함께 보안의 방패를 준비하는 지도자만이 디지털 미래를 온전히 이끌 수 있다. 2025년 대선을 통해 선출될 리더는 사이버감각(Cyber Sense)을 갖춘 인물이어야 하며, 이러한 감각이 곧 국가 경쟁력임을 자각해야 한다. “기술의 속도보다 안전한 프레임이 중요하다”는 시대적 교훈을 가슴에 새길 때, 대한민국은 AI 혁명 속에서도 국민이 안심하고 신뢰할 수 있는 디지털 강국으로 우뚝 설 것이다.

<ifsPOST>