외부 데이터가 명령으로 둔갑하는 ‘간접 프롬프트 인젝션’…듀얼 LLM으로 신뢰 영역 분리 금융권선 AI 에이전트 활용 공격 현실화…표적 공격의 깊이와 대량 공격의 범위 결합 “최소권한만으론 어렵다”…AI 자율성 살리면서 어디까지 권한 주고 통제할지가 새 과제 AI 리스크 컨퍼런스 서울 2026에서 발표에 나선 (왼쪽부터) 이병영 서울대학교 전기정보공학부 교수, 김성웅 금융보안원 금융AI보안연구소장, 최대선 숭실대학교 AI안전성연구센터 센터장. (이미지=AI로 생성) 생성형 인공지능(AI)이 질문에 답하는 수준에 머물 때만 해도 기업이 먼저 걱정했던 것은 틀린 답변이나 유해 콘텐츠, 개인정보 유출이었다. 하지만 AI가 이메일을 읽고 웹을 검색하고 파일을 열어 코드를 실행하는 ‘에이전트’로 바뀌면서 보안의 전제도 흔들리고 있다. 공격자가 웹페이지나 이메일에 숨겨둔 한 줄의 명령을 AI가 사용자의 지시처럼 받아들일 수 있고, 업무를 처리하라고 부여한 시스템 권한이 예상하지 못한 파일 삭제나 정보 유출로 이어질 수도 있기 때문이다. 이제 AI 보안은 ‘무엇을 답하느냐’뿐 아니라 ‘무엇을 할 수 있게 할 것인가’를 묻는 문제로 확대되고 있다. 이 같은 변화에 대한 대응은 지난 7일 삼성금융캠퍼스에서 열린 ‘AI 리스크 컨퍼런스 서울 2026’의 첫 번째 세션을 관통한 주제였다. AI 보안 전문기업 에임인텔리전스(AIM Intelligence)가 마련하고 삼성화재가 후원한 이번 행사에는 오픈AI와 마이크로소프트를 비롯한 국내외 AI·보안 분야 전문가와 기업 관계자 100여명이 참석했다. 행사에서 공유된 질문은 명확했다. 기업이 AI를 빠르게 도입하는 상황에서 이전 보안 체계만으로 설명하기 어려운 위험은 무엇이며, 이를 어디서부터 통제해야 하느냐는 것이었다. 특히 ‘무엇이 AI 리스크인가?’를 주제로 진행된 세션에서는 세 연사가 같은 문제를 서로 다른 층위에서 짚었다. 이병영 서울대학교 전기정보공학부 교수는 사용자 명령과 외부 데이터가 하나의 대규모언어모델(LLM) 안에서 섞이면서 발생하는 기술적 취약。을, 김성웅 금융보안원 금융AI보안연구소장은 AI가 실제 금융권 사이버 공격의 속도와 범위를 어떻게 바꾸고 있는지를 설명했다. 최대선 숭실대학교 AI안전성연구센터 센터장은 여기서 한 걸음 더 나아가 에이전트 시대 AI 리스크의 핵심을 ‘권한과 통제’라는 두 단어로 압축했다. 외부 데이터가 ‘명령’으로 바뀐다…에이전트가 만든 새로운 공격면 이병영 교수는 ‘Dual LLM 기술을 활용한 에이전트 보호’를 주제로 AI 에이전트가 가진 구조적인 보안 문제를 짚었다. (사진=테크42) 이날 오후 세션 첫 발표에 나선 이병영 교수는 ‘Dual LLM 기술을 활용한 에이전트 보호’를 주제로 AI 에이전트가 가진 구조적인 보안 문제를 짚었다 모바일 손오공릴게임 다운로드 . 에이전트는 일반 챗봇과 달리 사용자의 질문에 답하는 데 그치지 않는다. 필요한 정보를 찾기 위해 웹페이지와 이메일, 로컬 파일 등 외부 데이터를 가져오고, 상황에 따라 각종 도구를 호출하거나 실제 행동까지 수행한다. 문제는 이 과정에서 발생한다. 사용자가 내린 ‘명령’과 외부에서 가져온 ‘데이터’가 동일한 LLM의 컨텍스트 안으로 들어가기 때문이다. 공격자가 웹페이지의 댓글이나 이메일, 코드 주석 등에 악성 지시를 숨겨두면 AI가 이를 단순한 정보가 아니라 자신이 수행해야 할 명령으로 받아들일 가능성이 생긴다. 이른바 간접 프롬프트 인젝션(Indirect Prompt Injection)이다. 이 교수는 웹페이지를 요약하라는 요청을 받은 에이전트가 악성 댓글에 포함된 지시를 따라 사용자가 요구하지 않은 버튼을 누르거나, 코드를 분석하는 과정에서 주석에 숨겨진 명령에 따라 로컬 파일을 삭제할 수 있는 사례를 소개했다. 그러면서 이 교수는 문제의 근본 원인을 ‘신뢰 경계가 사라진 것’에서 찾았다. 이병영 교수가 제시한 듀얼 LLM(Dual LLM)의 핵심은 더 정교한 필터 하나를 추가하는 것이 아니라 AI가 정보를 처리하는 구조 자체에 신뢰 경계를 만드는 것이다. (사진=테크42) “저는 이 문제가 똑같다고 생각합니다. 내가 작성하지 않은 텍스트를 LLM 컨텍스트에 넣는 순간, 그 컨텍스트가 접근할 수 있는 모든 것은 공격자의 것이 될 수 있습니다. 핵심은 내가 내리는 사용자 프롬프트와 공격자가 만든 데이터가 섞인다는 겁니다. 하나의 컨텍스트로 LLM에 들어가고, 그게 LLM을 강력하게 만드는 이유이면서 동시에 취약한 이유입니다.” 현재 널리 활용되는 대응법 가운데 하나는 입력과 출력을 검사해 위험한 요청을 걸러내는 ‘가드레일(Guardrail)’이다. 그러나 이 교수는 가드레일을 기존 방화벽에 비유하며, 알려진 패턴을 차단하는 데 효과가 있더라도 이전에 보지 못했던 공격까지 항상 막을 수 있는지는 별개의 문제라고 지적했다. 이에 그가 제시한 접근이 듀얼 LLM(Dual LLM)이다. 핵심은 더 정교한 필터 하나를 추가하는 것이 아니라 AI가 정보를 처리하는 구조 자체에 신뢰 경계를 만드는 것이다. 사용자의 명령을 처리하는 영역과 외부에서 가져온 신뢰할 수 없는 데이터를 처리하는 영역을 분리하고, 외부 데이터가 들어오는 영역에는 별도의 실행 제약을 두는 방식이다. 외부 데이터를 활용해야 하는 에이전트의 기능은 유지하면서도 악성 데이터가 시스템 권한으로 연결되는 경로를 끊는 데 초.을 맞춘다. 이병영 교수가 제시한 듀얼 LLM 보호 구조의 두 번째 단계. 모바일 바다이야기사이트 신뢰할 수 없는 외부 데이터를 처리하는 Untrusted LLM을 샌드박스에서 실행해 도구 호출과 시스템 권한을 차단함으로써, 악성 프롬프트가 실제 파일 삭제나 명령 실행으로 이어지는 것을 막는 방식이다. (이미지=이병영 교수 발표 자료 재구성) “듀얼 LLM은 LLM을 하나로 운영하지 않고 두 개로 격리해서 돌리자는 겁니다. 사용자의 프롬프트는 트러스티드 LLM에서 처리하고, 공격자가 보낼 수 있는 외부 데이터는 언트러스티드 LLM에서 처리합니다. 두 개를 완전히 격리해서 따로 돌리는 거죠. 여기에 샌드박스를 추가해서 언트러스티드 LLM에는 애초에 리소스 권한을 주지 않습니다. 구현하고 배포하는 데 어려움은 있을 수 있지만, 격리를 통해 보다 결정론적인 보호를 하자는 접근입니다.” 보안에는 비용도 따른다. 이 교수는 발표에서 소개한 평가 결과를 기준으로 자신들이 연구한 방식이 공격 성공률 0%, 유틸리티 82%를 기록했다고 설명했다. 반면 처리 과정이 늘어나면서 사용하는 토큰은 약 2~3배 증가한다고 덧붙였다. 결국 에이전트의 기능성과 보안, 연산 비용 사이에서 적절한 균형。을 찾는 문제가 남는 셈이다. 금융권에선 이미 현실이 됐다…AI가 공격의 ‘깊이와 범위’ 동시에 키워 김성웅 금융AI보안연구소장은 ‘프런티어 AI의 등장과 AX 확산에 따른 금융회사 리스크 대응전략’을 주제로 금융권에서 AI가 생산성 도구인 동시에 공격자의 역량을 증폭시키는 도구가 되고 있다고 진단했다. (사진=테크42) 이어진 발표는 기술적인 가능성이 실제 산업 현장에서 어떤 위험으로 나타나는지를 보여줬다. 김성웅 금융AI보안연구소장은 ‘프런티어 AI의 등장과 AX 확산에 따른 금융회사 리스크 대응전략’을 주제로 금융권에서 AI가 생산성 도구인 동시에 공격자의 역량을 증폭시키는 도구가 되고 있다고 진단했다. 김 소장이 소개한 금융보안원의 분석 사례가 대표적이다. 김 소장에 따르면 공격자는 딥시크 기반 AI 에이전트를 이용해 금융권의 오라클 웹로직(WebLogic) 자산을 탐색하고 원격 명령 실행이 가능한 취약.을 이용해 웹셸 설치에 성공했다. 이후 침투한 서버를 통해 내부에 연결된 다른 서버까지 탐색했다. 추가 악성코드가 내려오기 전 탐지·차단하면서 피해 확산을 막았다. 각 공격 단계에서 사람의 지시가 개입했기 때문에 완전 자율형 공격은 아니었다. 이 사례에서 눈여겨볼 부분은 새로운 해킹 기법 자체보다 공격의 확장 방식이다. 한 곳을 깊게 파고드는 표적 공격과 많은 대상을 빠르게 훑는 대량 탐색이 AI를 통해 결합될 수 있다는 것이다. 김 소장은 이번 사례에서 표적 공격에 가까운 수준의 행위가 여러 기관을 대상으로 동시에 진행됐다는 。에 주목했다 모바일 무료릴게임 . 김 소장이 공유한 금융보안원의 분석 사례. 이에 따르면 공격자는 딥시크 기반 AI 에이전트를 이용해 금융권의 오라클 웹로직(WebLogic) 자산을 탐색하고 원격 명령 실행이 가능한 취약.을 이용해 웹셸 설치에 성공했다. (사진=테크42) “이번 공격은 AI 에이전트를 활용해 기존의 표적형 공격 수준의 방식을 여러 기관에 걸쳐 수행했다는 차이가 있습니다. 현재는 각 단계별로 사람의 지시를 받은, 저희 판단으로는 한 2단계 정도의 수준입니다. 하지만 앞으로 공격이 막히면 새로운 취약.을 찾아서 공격법을 달리하는 방식으로 발전할 수 있습니다. ‘이 금융회사에서 금전을 탈취하고 싶다’는 목표만 제시했는데 AI가 목표 달성을 위해 해킹이라는 방법을 스스로 선택하는 수준까지 도달할 수도 있다고 생각합니다.” 기존 보안.검 방식 역시 AI 시스템에서는 한계를 드러낼 수 있다. 전통적인 취약。 진단은 소프트웨어 코드나 설정의 결함을 찾는 데 초.을 맞춘다. 반면 AI에서는 모델이 정상적으로 작동하는 과정에서도 정보가 노출되거나 공격자가 심어둔 명령이 실행될 수 있다. 금융보안원이 객관적인 제3자 관。에서 AI 시스템을 공격해 취약.을 찾는 레드티밍(Red Teaming)을 별도로 운영하는 이유다. 김 소장에 따르면 금융보안원의 레드티밍 기준은 데이터 보안, 모델 보안, 추출·회피 공격 대응, AI 에이전트 등을 포함한 5개 영역 23개 항목으로 구성됐으며 최근에는 에이전트의 실행 권한과 행동 경계를 중심으로 .검 기준을 세분화했다. 2024년 3개 금융사를 대상으로 시작한 시범 。검은 올해 20개 기관, 24개 서비스로 확대됐다. 대응 범위도 보안 부서를 넘어선다. AI가 고객 상담을 넘어 실제 금융 업무와 의사결정에 관여하기 시작하면 보안 사고는 단순한 시스템 장애가 아니라 서비스 중단과 소비자 피해, 법률·평판 리스크로 이어질 수 있기 때문이다. 따라서 기술 조직이 취약。을 찾는 것만큼 어떤 위험을 조직 차원에서 감수하고 어디에 인력과 예산을 투입할지를 결정하는 체계가 중요해진다. 김 소장은 피싱 메일이나 악성 IP 차단, 로그 분석처럼 실패 시 영향이 작은 업무는 자동화 수준을 높이고, 핵심 시스템을 차단하는 결정은 AI가 대안을 제시하되 최종 승인을 사람이 맡는 식의 위험도 기반 자율성 설계가 필요하다고 제안했다. (사진=테크42) “AI 보안은 더 이상 최고정보보호책임자(CISO)만의 문제로 보기 어렵습니다. 대표나 이사회가 보안 이슈를 기술적인 문제가 아니라 운영 리스크 지표로 보고받고 관리해야 하는 시대에 접어들었습니다. 어떤 서비스의 패치가 늦어지고 있는지, 외부에 노출될 수 있는 시스템이 어느 정도인지, 사고가 났을 때 얼마 안에 복구할 수 있는지 같은 지표를 봐야 합니다 황금성용가리 . 그런 지표를 보고 CISO에게 적정한 예산과 인력, 긴급 대응 권한을 부여해야 합니다. 보안 문제가 경영진 전체의 문제로 다뤄지도록 거버넌스 체계를 정비할 필요가 있습니다.” AI가 공격자의 무기만 되는 것은 아니다. 취약。 탐색이나 로그 분석 등 방어 영역에서도 활용할 수 있다. 김 소장은 다만 공격자와 방어자의 조건이 다르다는 。을 강조했다. 공격자는 AI에 큰 제약 없이 목표 달성을 맡길 수 있지만 기업은 오판에 따른 서비스 중단과 그에 따른 책임까지 고려해야 한다. 피싱 메일이나 악성 IP 차단, 로그 분석처럼 실패 시 영향이 작은 업무는 자동화 수준을 높이고, 핵심 시스템을 차단하는 결정은 AI가 대안을 제시하되 최종 승인을 사람이 맡는 식의 위험도 기반 자율성 설계가 필요하다는 얘기다. “최소권한만 주면 된다?”…자율성 살리면 통제가 어려워지는 역설 최대선 숭실대학교 AI안전성연구센터 센터장은 AI 리스크의 종류를 하나씩 나열하기보다 최근 에이전트 사고를 관통하는 두 가지 축으로 ‘권한’과 ‘통제’를 제시했다. (사진=테크42) 이어 발표를 맡은 최대선 숭실대학교 AI안전성연구센터 센터장은 문제를 한 단계 더 근본적인 수준으로 끌어올렸다. AI 리스크의 종류를 하나씩 나열하기보다 최근 에이전트 사고를 관통하는 두 가지 축으로 ‘권한’과 ‘통제’를 제시했다. 최 센터장이 소개한 이른바 ‘허깅페이스(Hugging Face) 침해 사례’에서는 사이버보안 능력을 평가받던 AI 에이전트가 주어진 문제를 해결하는 과정에서 제한된 실행 환경인 샌드박스 밖으로 나가 필요한 정보를 찾으려 했다. 최 센터장이 이 사례에서 주목한 것은 AI가 악의를 가졌는지 여부가 아니었다. 오히려 주어진 목표를 더 잘 달성하도록 설계된 자율성이 예상하지 못한 경로에서 작동했다는 .이었다. 전통적인 보안 원칙대로라면 해법은 ‘최소권한의 원칙(Principle of Least Privilege)’이다. 업무에 꼭 필요한 권한만 부여하면 피해 범위를 제한할 수 있다. 하지만 에이전트의 가치는 사람이 업무 절차를 일일이 정의하지 않아도 필요한 정보와 도구를 스스로 찾아 문제를 해결하는 데 있다. AI가 앞으로 무엇을 할지 사람이 미리 모두 알아야만 세부 권한을 설정할 수 있다면, 애초에 에이전트를 사용하는 의미가 줄어드는 역설이 발생한다는 것이 최 센터장의 생각이다. 최 센터장이 소개한 이른바 ‘허깅페이스(Hugging Face) 침해 사례’에서는 사이버보안 능력을 평가받던 AI 에이전트가 주어진 문제를 해결하는 과정에서 제한된 실행 환경인 샌드박스 밖으로 나가 필요한 정보를 찾으려 했다. (사진=테크42) “에이전트 권한 관리를 잘해야 한다, 최소 권한을 줘야 한다고 말하지만 최소 권한이 뭔지를 설정하는 게 굉장히 어렵습니다. 권한을 빡빡하게 설정해서 주는 순간 에이전트의 자율성이 망가집니다. 릴게임용의눈 어떤 정보가 필요하고 어떤 툴을 호출할지 알아서 조사하고 문제를 풀라는 게 에이전트인데, 권한을 세부적으로 다 준다는 건 사람이 얘가 뭘 할지 미리 다 설계했다는 얘기거든요. 그렇게 되면 결국 자율적으로 문제를 푸는 것과는 거리가 멀어집니다. 권한을 정확하게 설정해 주는 게 그래서 어렵습니다.” 더 까다로운 문제는 기업이 허용했다고 생각한 권한의 범위와 AI가 실제로 활용하는 방식이 반드시 일치하지 않는다는 。이다. 외부로 파일을 전송할 권한을 직접 주지 않았더라도 이메일을 읽고 내부 정보를 검색하고 웹상의 자원을 불러오는 여러 기능이 연결되면 예상하지 못한 정보 이동 경로가 만들어질 수 있다. 최 센터장은 에이전트 관련 정보 유출과 보안 사고를 살펴보면 이런 ‘권한의 조합’ 문제가 반복적으로 등장한다고 지적했다. 통제 역시 프롬프트 한 줄로 해결되지 않는다. ‘이 파일을 삭제하지 마라’거나 ‘작업을 중단하라’는 지시를 모델이 언제나 따를 것이라는 보장이 없고, 시스템 차원에서 실행 경로를 제한해도 목표 달성을 위해 다른 경로를 찾는 문제가 나타날 수 있다는 것이다. 때문에 프롬프트뿐 아니라 운영체제(OS), 하드웨어, 샌드박스와 같은 AI 외부의 통제 장치를 함께 설계해야 하는 것이 중요하다. 문제는 그럼에도 완전한 통제를 장담하기 어렵다는 것이 최 센터장의 판단이다. 최 센터장은 에이전트 관련 정보 유출과 보안 사고를 살펴보면 ‘권한의 조합’ 문제가 반복적으로 등장한다고 지적했다. (사진=테크42) “프롬프트로 통제를 하면 무시를 합니다. 말이 좀 웃기지만 AI가 무시를 하는 거죠. 실행 경로에 통제를 걸면 우회하는 방법을 찾아서 어떻게든 통제를 벗어나려고 합니다. 결국 주어진 목적을 달성하기 위해 수단과 방법을 가리지 않는 과정이 반복됩니다. 그래서 ‘언제든 끄면 된다’고 생각하지만 실제로 돌아가는 시스템을 멈추는 것도 쉬운 일이 아니고, 결국 그걸 어떻게 통제하고 관리할지가 숙제입니다.” 이날 세 발표의 출발.은 달랐지만 종착지는 비슷했다. 이병영 교수는 신뢰할 수 있는 명령과 신뢰할 수 없는 데이터를 구분해야 한다고 했고, 김성웅 소장은 AI가 확대하는 공격 속도와 범위를 기업의 운영 리스크 차원에서 관리해야 한다고 했다. 최대선 센터장은 AI가 실제 행동을 수행하는 단계에서는 ‘어디까지 할 수 있는가’와 ‘필요할 때 정말 멈출 수 있는가’가 핵심 문제가 된다고 짚었다. AI 에이전트 시대의 보안은 결국 모델 하나를 안전하게 만드는 것으로 끝나지 않는다. 어떤 데이터를 읽게 할지, 어떤 시스템에 접근하게 할지, 어떤 도구를 사용할 수 있게 할지, 어느 지。에서 사람의 승인을 거치게 할지, 문제가 발생했을 때 행동을 어떻게 추적하고 차단할지까지 운영체계 전체를 다시 설계해야 한다. AI가 업무의 ‘보조 도구’에서 스스로 행동하는 ‘행위자’로 이동할수록 AI 리스크 관리의 중심도 모델의 답변에서 신뢰 경계와 권한, 조직의 통제 체계로 옮겨가고 있다. 를 주제로 AI 에