인공지능(AI)과 대형 언어모델(LLMs)가 현대 기업의 운영에 급속하게 통합되면서 사이버 범죄의 주요 타겟이 되고 있습니다. 이런 기술의 발전은 새로운 보안 위협을 기업에게 안겨주고 있습니다.
지적재산권 도용에서부터 심각한 명예 훼손까지 AI와 LLM 취약점의 잠재적 파급효과는 실제로 존재하며 빠르게 증가하는 위험입니다. 급부상하는 위협 환경에 완전히 대응하기 위해 보안팀은 AI/ML 파이프라인에 대한 포괄적인 가시성, 위험 관리 및 규정준수를 파악할 수 있는 특별한 도구가 필요합니다.
보안 리더 대부분 AI를 심각한 위험으로 간주
AI와 LLM은 산업 재편, 자동화, 사용자 경험 강화, 프로세스 최적화 및 신규 비즈니스 기회를 창출하고 있습니다. 그러나 이런 변화의 과정은 새로운 사이버 보안 도전과제를 기업에게 안겨줍니다.
AI 및 LLM 기술과 연관된 공통적인 난제들은 다음과 같습니다:
- LLM 모델 발견: 조직의 인프라 상의 LLM 모델은 종종 보안팀의 사각지대에 있습니다. 그러나 관리가 되지 않을 경우 데이타 보안이나 개인정보 보안 위험에 노출 될 수 있습니다. 적절한 관리체계가 없다면 LLM은 의도치 않게 민감한 정보를 노출하거나 프롬프트 인젝션 공격이나 데이터 유출과 같은 취약점 공격에 대상이 됩니다. 더욱이 비인가 또는 부적절한 LLM 사용은 바이어스되거나 부적절한 컨텐츠 생성으로 이어질 수 있습니다.
- 프롬프트 인젝션 공격: AI 모델에 제공되는 프롬프트에 악성 인풋을 주입하는 공격방식으로 모델의 아웃풋을 왜곡합니다. 민감한 정보 혹은 위험한 행위를 실행하는 등 의도하지 않은 결과치를 도출하게 됩니다.
- 민감 정보 공개: LLM의 부적절한 보안은 내부 환경설정, 사용자 데이타, 중요 정보 등 민감한 정보를 의도치않게 노출할 수 있습니다. 이런 현상은 주로 보안되지 않은 환셩설정, 애플리케이션 설계 오류, 혹은 데이타를 제대로 설계하지 못하는 경우 발생합니다.
- 모델 도용: 모델 추출로 알려진 이 위협은 공격자가 머신 러닝 모델을 파라미터 혹은 트레이닝 데이타에 대한 직접 접근 없이 복제하는 것을 의미합니다. 공격자는 쿼리 기반 기술을 통해 모델을 리버스 엔지니어링하여 지적재산권에 대한 심각한 위협을 초래합니다.
- 데이터 유출: 기밀 데이타의 무단 전송은 안전하지 않은 처리 관행이나 AI가 응답에 실수로 민감한 정보를 포함하는 등 다양한 방법을 통해 발생할 수 있습니다.
- 규정 준수 및 평판 위험: AI와 LLM의 오용은 규정 위반으로 이어질 수 있으며, 특히 데이터 보호 규정에 대하여 위반으로 이어질 수 있습니다. 이러한 모델이 부적절하거나 편향된 콘텐츠를 생성하면 조직에 상당한 평판 피해를 입힐 수 있습니다.
퍼블릭 클라우드 전반에 걸친 AI/ML 파이프라인 이해하기
AI/ML 애플리케이션의 효과적인 보안을 위해서는 구글 클라우드 플랫폼, 마이크로소프트 애저 및 아마존웹서비스와 같은 주요 퍼블릭 클라우드 플랫폼 상의 AI/ML 파이프라인내의 복잡한 구성요소와 통합을 이해해야 합니다. 전형적인 AI/ML 파이프라인은 데이타 통합, 모델 트레이닝, 배포 및 추론과 같은 단계를 포함하며, 각 단계는 잠재적 보안 위험을 포함하고 효과적인 관리를 필요로 합니다.
이런 플랫폼의 AI/ML 파이프라인을 가시화하는 것은 데이타 흐름을 이해하고 취약점이 나타날 수 있는 지점을 발견하기 위해 반드시 필요합니다. 이런 시각화 방법은 포함되어 있는 다양한 구성요소에 대한 포괄적인 개요를 보여주며, 보안팀에 더 나은 접근과 리스크 감소를 가능케 합니다.
AI/ML 파이프라인 상의 보안 과제
AI/ML 파이프라인은 환경설정 오류, 컨테이너 이미지의 취약점 및 잠재적 공격 시나리오를 포함하는 광범위한 보안에 취약합니다.
환경설정 오류 - 보편적인 이슈로는 클라우드 서비스의 부적절한 환경설정 (예: S3 버켓 권한 설정, 보안되지 않은 컴퓨팅 인스턴스) 및 컨테이너 환경의 부정확한 설정을 예로 들수 있음
취약점 - 취약점은 모델 트레이닝 및 배포에 사용되는 소프트웨어와 기반 인프라에서 발견되며 보안 침해로 연결됨
공격 시나리오 - 대표적인 사례에는 AI 모델의 출력을 왜곡하는 적대적인 공격이나 훈련 데이타를 손상시키는 데이타 중독 공격 등이 있음
AI/ML 보안을 위한 도구와 솔루션
다수의 보안 도구는 AI/ML 보안의 독특한 과제들에 대응할 수 있도록 설계되었습니다. 이런 과제들은 서로 다른 도구를 통해 해결할 수 있습니다
- AI/ML 파이프라인에 대한 가시성 확보, 환경설정 오류 및 취약점 파악
- 데이타 침해 및 적대적인 공격을 포함하는 다양한 위협으로부터 AI 모델 보호
- 적대적인 공격으로부터 머신 러닝 모델 보안 유지 및 모델의 무결성 보장
ModelKnox: AI/ML 라이프사이클 보안
AI 와 LLM 과 연관된 사이버 보안 위험에 대응하기 위해 AccuKnox는 ModelKnox라는 통해 AI와 LLM 애플리케이션 보안을 위한 신규 솔루션을 런칭하였습니다.
멀티 클라우드 가시성과 자산 인벤토리
멀티 클라우드 환경에서 AI/ML 파이프라인의 가시성을 달성하려면 효과적인 보안 관리가 필수입니다. AccuKnox ModelKnox 플랫폼은 파이프라인에 대한 일관된 뷰를 제공하며 기업에게 다음의 장점을 제공합니다:
- AI 파이프라인에 대한 풀 스택 가시성 확보 - AI 모델, 환경설정 및 연관 취약점의 발견 및 관리
- AI 환경설정 오류 발견 - AI 보안 침해로 이어질 수 있는 클라우드 환경설정 오류를 발견 및 수정. 대표 사례에는 S3 버켓 보안 설정 오류가 있음
- AI 인프라 내의 취약점 - AI에 사용되는 컨테이너 환경의 리스크 평가하여 모델의 무결성과 배포 보장
ModelKnox 대시보드는 멀티클라우드 모델에 대한 그래픽과 상세 뷰를 제공하며 Model ARN, 베이스 모델, 커스터마이징 타입 등의 중요한 메티데이타를 보여줍니다. 이런 포괄적인 가시성은 보안팀이 AI/ML 파이프라인 상의 잠재 취약점 위협을 신속하게 파악하고 해결할 수 있도록 도와줍니다.
규정준수 및 규제 요구사항
EU 인공지능법(EU AI Act)및 NIST AI 위험관리 프레임워크(NIST AI RMF)와 같은 컴플라이언스 규정준수를 적용하는 것이 AI/ML 영역에서 점점 중요해지고 있습니다. 이 프레임워크는 인공지능과 관련된 위험을 관리하고 AI 기술의 윤리적 사용을 강제하는 가이드라인을 제공합니다.
AccuKnox 의 AskAda 코파일럿 어시스턴트는 규정준수 요구사항과 조치 가능한 인사이트를 제공하여 AI 모델의 보안을 강화합니다. 이런 표준 규제와 맞춰 ModelKnox는 조직이 진화하는 컴플라이언스 요구에 한발 빠르게 준비하고 관련된 위험을 줄일 수 있도록 지원합니다.
ModelKnox를 통한 AI/ML 보안에 대한 상세한 내용은 다음의 링크에서 확인 가능합니다. AccuKnox에 대한 문의는 여기에 메세지 남겨주시면 연락드리겠습니다.
원문 출처: How to Secure AI Workloads
