인공지능은 생각보다 빠른 속도로 우리의 산업과 비즈니스를 변화시키고, 업무를 진행하는 방식과 상호작용을 변화시키고 있습니다. 많은 기업들이 공식적으로 승인된 AI 시스템에 자원을 투자하고 있지만 기업이 미처 인지하지 못하는 사이에 빠르게 사용이 늘어나는 AI도 있습니다. 바로 Shadow AI입니다.
조직은 생산성 및 고객 경험 같은 이점을 위해 AI를 도입하려고 하지만, 광범위한 보안 리스크를 고려하지 않으면 GDPR 및 EU AI 법 등에서 부과하는 데이트 노출 및 규제 처벌을 피할 수 없습니다. 따라서, 기업은 안전한 AI 배포 시 중요한 요구 사항에 대해 깊은 고민이 필요합니다.
기업이 많이 사용하는 AI 도구
- SaaS GenAI: 온라인에서 쉽게 사용할 수 있는 AI 애플리케이션을 의미하며, 기업에 데이터 통제권을 제공하지 않기 때문에 기업의 입장에서는 사용을 제한 또는 금지하는 경우가 생기고 있습니다. 이 범주에는 회의록 작성 도구, 코딩 보조 도구 같은 AI 애플리케이션도 포함됩니다.
- Upstream AI project: 이러한 프로젝트는 기업의 지원이 부족하고 서명 및 스캔 아티팩트가 없어 보안 및 규제 요건을 충족해야 하는 기업에게는 적절하지 않습니다.
- Enterprise AI solutions: 기업의 요구를 해결하려는 기업형 AI 솔루션이 등장하고 있고, 제한적이지만 기업에게 선택권을 줍니다. 엔드투엔드 보안 등 아직은 한계의 해결이 필요합니다.
신뢰할 수 있는 AI
우리가 인지하고 있는 것보다 이미 더 많은 민감한 회사의 지적재산(소스코드 등) 과 민감데이터 (고객 데이터, 의료 데이터 등)가 퍼블릭 SaaS 기반 AI 도구에 입력되고 있습니다. 이는 업무의 속도와 생산성 향상을 위해, 개발중인 서비스나 상품의 테스트나 연구 등 다양한 목적이 있지만, 한가지 사실은 중요한 기업의 정보가 무료로 AI 도구에 제공되고 있다는 것입니다.
이렇게 제공된 정보를 AI 회사는 사용자가 모델을 훈련하고 최적화하기 위해 애플리케이션에 입력한 정보데이터를 보관하며 이 정보가 불특정 다수의 다른 사용자의 질문에 답으로 활용될 수 있습니다. 이 과정에서 고객 정보, 환자의 의료 정보, 소스코드, 회사 재무정보 등 기밀데이터의 노출로 이어질 가능성이 발생합니다. 그러나 기업의 IT 통제를 벗어난 AI로 인해 민감 데이터를 공유할 리스크가 증가할 수 있습니다.
Shadow AI
Shadow AI는 기업이나 조직의 IT 또는 보안팀에서 승인되지 않은 AI 기술과 플랫폼을 사용하는 것을 의미하며, 주로 직원들이 공식적으로 승인되지 않은 AI 도구를 사용하여 업무를 자동화하거나 분석하는 경우 발생합니다. 예를 들어, 직원들이 ChatGTP를 사용하여 제안서 초안을 작성하거나 AI 기반 코드 개발 도움 툴을 사용하거나 개인 계정으로 머신러닝 모델을 구축하는 경우도 있습니다.
Shadow AI는 조직이 데이터 유출, 개인정보보호 위반 등의 규정한 보안 정책을 위반의 위험성이 높으며, 법적 규제를 준수하지 않아 컴플라이언스 위반이 발생할 수 있습니다. 또, 비공식 도구 사용으로 인한 조직내 중복 작업, 자원 낭비 등 효율성이 저하될 수 있습니다.
Shadow AI는 복합적인 기업과 개발자의 요구사항에 의해 등장하게 되었습니다. 최근 빠르게 진화하는 사용자 친화적인 플랫폼과 도구의 등장으로 인해 누구나 쉽게 AI에 접근이 가능해 졌으며, 개발과 서비스 런칭에 대한 빠른 속도의 요구에 신속하게 대응하기 위해서, 그리고 조직내의 포괄적인 AI 거버넌스의 부재로 인해 증가하고 있습니다.
Shadow AI의 위협과 기회
AI 역시 오픈소스의 발전과 유사한 모습을 보일 것으로 예상됩니다. 오픈소스 등장 초기에 조직은 오픈소스의 사용을 제한하였지만 개발자와 팀들은 이런 제한을 우회하는 방법을 찾아내었습니다. 시간이 흘러, 오픈소스는 필수 인프라의 구성요소가 되었고, 현재 기업의 소프트웨어의 90%를 차지하고 있습니다. ChatGPT, 코파일럿과 같은 AI 도구 역시 유사한 발전 단계를 밟을 것으로 생각됩니다. 개발자들은 이미 AI 도구를 사용하고 있으며, 보안팀은 이들의 속도를 따라가지 못하는 실정입니다.
AI 도구로 인한 리스크는 다음과 같습니다:
- 데이터 취약점: 승인되지 않은 도구에 의해 민감 정보의 유출 가능성
- 규정준수 이슈: Shadow AI는 의도치 않은 데이타 규정의 위반을 야기할 수 있음
- 품질 문제: 감독의 부재로 인한 잘못되거나 편향된 AI 모델의 설계
- 운영 혼란: 규제되지 않는 도구는 비효율성과 중복을 불러올 수 있음
- 악의적 행위자에 의한 침해: 강력한 AI 도입이 없다면 조직은 AI를 사용하여 피싱, 사기 및 기타 공격을 확장하는 악의적 행위자의 표적이 될 위험이 있습니다 . 보안 팀은 이러한 위협에 앞서 나가기 위해 AI를 방어에 통합해야 합니다.
Shadow AI의 리스크 관리 방법
조직은 Shadow AI의 장점과 잠재력을 수용하면서 리스크를 통제 관리할 수 있어햐 합니다.
- 명확한 정책 설정: AI 사용, 승인도구 및 데이터 사용관행에 대한 가이드라인 정의
- 직원 교육: AI 사용에 대한 위함과 책임에 대한 교육
- 안전한 플랫폼 제공: AI 실험을 위한 안전하고 승인된 환경 제공
- 모니터링 및 감사: 비승인된 AI 애플리케이션의 사용 감지 및 관리
- 보안을 위한 AI 투자: 적극적인 AI 기반의 보안 도구를 사전에 도입하여 AI를 활용하는 악의적인 해위자의 위협을 탐지하고 대응
엔터프라이즈급 AI 플랫폼: 보안, 신뢰, 유연성
AI는 일시적인 트렌드가 아니며, Shadow AI는 진화할 뿐입니다. 빠르게 진화하는 AI 환경에서 앞서 나가기 위해 조직은 소프트웨어 공급망에 대한 가시성과 제어가 필요합니다. 여기에는 개발자가 사용하는 AI 도구와 소프트웨어에 통합되는 AI 구성 요소가 포함됩니다. AI 기반 개발을 위한 자동화된 거버넌스, 보안 및 규정 준수를 제공하여 팀이 AI의 힘을 안전하게 활용할 수 있도록 지원합니다.
또한 생산성 향상을 위해 AI 솔루션의 도입을 필요하지만 리스크를 감소하고 안전하게 사용할 수 있는 방법이 고려되야 하며, 각종 비즈니스 및 정부의 보안, 개인정보보호법 및 정부 규정에 부합할 수 있는 플랫폼 및 도구의 선택이 중요합니다. 더불어 보안 기능과 컴플라이언스 보호 기능 및 조직이 사용하는 기술스택에서 동작하고 확장이 쉬워야 합니다.
AI를 슬기롭게 사용하기 위한 고려사항:
- 컴플라이언스 (규정준수)
- 보안 인증 및 위협 탐지
- 클라우드, 하이브리드, 프라이빗 환경 지원
- 데이터 거버넌스
- 유연성 - 종속성 및 비즈니스 성장에 맞춰 확장 가능성
- 기타 - 에어갭
원문출처:
