AI를 활용한 비즈니스 사례
1. 중국 신용 점수 시스템
중국 산둥성에 있는 룽청시(荣成市) 정부는 2013년 주민들에게 기본 신용 점수 1,000점을 부여했습니다. 좋은 행동이나 나쁜 행동에 따라 점수를 가감하는 시스템을 도입한 것인데요. 예를 들어, 위챗, 포럼, 블로그에 유해한 정보를 유포하면 50점이 감점되고, 전국 수준의 스포츠나 문화 대회에서 우승하면 40점을 받을 수 있습니다. 하지만 이 점수 시스템은 논란을 야기했습니다. 한 주민이 온라인에 의료 사고를 토로한 지 3주 만에 신용 점수 950점을 잃은 것입니다.
이처럼 AI(인공지능) 기반의 신용 점수는 막대한 영향을 초래했는데요. 신용 점수가 낮을 경우 은행 대출이나 신용 카드 발급이 거절되는 건 물론, 신용 점수가 더 낮은 사람은 정부가 제공하는 고용 기회도 박탈 당하기도 했습니다.
2. 헝가리 정부의 중앙화 AI 시스템
헝가리 정부는 약 3만 5,000개에 달하는 CCTV 카메라를 토대로 중앙화된 AI 시스템을 구축했습니다. 경찰이 CCTV 데이터를 토대로 시민을 식별할 수 있도록 생체 인식 데이터베이스와 이를 연동한 것인데요. 정부는 공공질서를 유지하기 위한 수단이라 강조했지만, 시민들의 불만은 고조됐습니다. 하지만 헝가리 경찰은 해당 솔루션을 기반으로 6,000건의 의심 사례를 찾았고 250건의 검문을 수행할 수 있었습니다.
위의 사례들처럼 인공지능에 대한 염려감이 고조되면서, EU는 세계 최초로 AI법(AI Act)을 제정했습니다. 이번 글에선 EU가 제정한 AI법에 대해 알아보겠습니다.
세계 최초 AI 규제법의 탄생
지난 3월 13일 프랑스 스트라스부르에서 열린 유럽의회 본회의에선 AI 규제를 다룬 AI법이 찬성 523표, 반대 46표, 기권 49표로 가결됐습니다. 이에 로베르타 메솔라 유럽의회 의장은 “혁신을 가능하게 하는 동시에 인간의 기본권을 보호해 줄 선구적인 법안”이라고 강조했습니다. 법안은 6월부터 발효됐으나, 적용 시점은 항목 별로 상이합니다.
EU의 AI법은 미국의 자율적 준수 접근 방식보다 더 포괄적이며, 사회 안정과 국가 통제를 유지하려는 중국의 접근 방식과도 다릅니다. EU의 AI법은 2021년 유럽연합 집행위원회가 초안을 작성한 이후 2024년 3월 EU 의원들이 지지 발표를 한 이후 통과됐습니다. 마티유 미셸 벨기에 디지털 장관은 “이 획기적인 법은 전 세계적인 기술적 도전에 대응하면서도 우리 사회와 경제에 기회를 제공한다”며 “AI 법으로 유럽은 신뢰, 투명성, 책임성을 강조하면서도 유럽의 혁신을 촉진할 수 있게 됐다”고 평가했습니다.
하지만 AI법에 따라 AI 개발을 서두르는 수많은 기업들이 상당한 타격을 입을 것으로 보이는데요. EU의 AI법에서 규정한 AI 위험도에 따른 등급 분류를 통해 좀 더 자세히 알아보겠습니다.
EU AI법 위험도 등급
• 허용 불가능한 위험(Unacceptable Risk) : 개인의 안전과 기본 권리를 심각하게 침해할 수 있는 AI 시스템으로 전면 금지됩니다. 예를 들어, 공공장소의 실시간 원격 생체 인식 시스템이 이에 해당합니다.
• 고위험(High Risk) : 의료, 교육, 법 집행, 이민 관리 등 중요한 분야에서 사용되는 AI 시스템으로 보다 엄격한 요구 사항을 충족해야 합니다. 이러한 시스템은 투명성, 설명 가능성, 인간의 감독, 데이터 품질 및 보안에 대한 높은 기준을 준수해야 합니다.
• 제한된 위험(Limited Risk) : 상대적으로 낮은 위험을 지닌 AI를 가리키며 사용자가 상대하는 소프트웨어가 AI일 경우 이를 고지해야 합니다. 고지 내용은 사용자 데이터를 수집하거나 분석할 때 어떤 내용을 분석하는지 상세히 설명하는 것으로 대다수 AI가 여기에 해당합니다. 대표적으로 AI 챗봇이 있습니다.
• 최소한의 위험(Minimal Risk) : 이메일 스팸 필터와 같은 AI 시스템으로 별도의 규제를 받지 않습니다.
위의 등급에서 알 수 있듯, EU는 허용 불가능한 위험(Unacceptable Risk)을 초래하는 AI에 대해서는 연내 전면 금지를 적용했습니다. 예를 들어, AI 경찰 시스템, 인터넷에서 CCTV를 통한 무차별적 얼굴 이미지 수집이 해당됩니다. 또한 고위험(High Risk) AI 역시 종류가 광범위한 만큼 상당한 규제를 적용하고 있습니다. 아래에서 고위험(High Risk) AI 종류에 대해 알아보겠습니다.
규제 대상의 고위험(High Risk) AI 종류
• 의료 장비 및 치료 : 환자의 건강에 직접 영향을 미치는 의료 기기나 치료 시스템
• 교통 관리 : 자율 주행 차량, 항공 교통 관제 시스템 등 교통과 관련된 AI 안전 기술
• 교육 및 취업 : 학생 평가 시스템, 채용 과정에서 사용되는 AI 등 개인의 교육 및 직업 기회에 영향을 미치는 시스템
• 법 집행 및 사법 : 범죄 예측, 사법 판결 지원 시스템 등 법적 판단에 영향을 미치는 기술
• 생체인식 및 감시 : 얼굴 인식, 음성 인식 등 사람들의 프라이버시와 관련된 감시 시스템
• 금융 서비스 : 대출 승인, 신용 평가 등 금융 결정에 중요한 영향을 미치는 시스템
위 항목에 해당하는 AI는 투명성(Transparency), 설명 가능성(Explainability), 인간의 감독(Human Oversight) 등 까다로운 요구를 충족해야 합니다. 먼저 투명성 조항은 사용자가 AI 시스템 작동 방식을 이해할 수 있도록 정보를 제공하는 것입니다. AI 시스템이 어떻게 작동하는지, 어떤 데이터가 사용되고 어떻게 처리되는지 명확한 정보를 제공해야 합니다. 설명 가능성은 AI 시스템이 어떤 과정을 거쳐 특정 결정을 내렸는지에 대해 기업이 설명하는 것입니다. 인간의 감독 조항은 AI 시스템이 중요한 결정을 내릴 때, 인간이 이를 검토하고 개입할 수 있는 절차를 마련하는 것입니다. 이밖에 가능한 편향 없는 데이터를 사용하고 다양한 인구 집단을 공정하게 대표하는 ‘데이터 품질(Data Quality)’ 요구도 충족해야 합니다. 게다가 사이버 보안, 데이터 보호, 취약점 관리와 같은 AI 시스템 무결성을 요구 받습니다.
EU AI법 위반, 처벌은?
EU AI법을 위반할 경우, 기업은 다양한 처벌을 받을 수 있습니다. 위반의 심각성과 기업의 규모에 따라 처벌이 달라질 수 있는데, 다음과 같은 주요 제재가 포함되어 있습니다.
• 벌금 : EU AI법을 위반한 기업은 최대 3,500만 유로 또는 전 세계 연간 매출의 7% 중 더 큰 금액의 벌금을 부과받을 수 있습니다. 다만 위반의 유형과 심각성에 따라 벌금의 크기는 달라집니다.
• 운영 중단 : 규제를 심각하게 위반하는 경우, 해당 AI 시스템의 사용을 중단하라는 명령을 받을 수 있습니다. 특히 위험성이 높은 AI 시스템에 적용될 것으로 보입니다.
• 데이터 삭제 : 부적절하게 수집된 데이터나 불법적으로 처리된 데이터는 삭제해야 합니다. 또 처리 과정에서도 사용자 동의를 받아야하는데요. 그렇지 못할 경우 데이터 삭제 명령을 받을 수 있습니다.
AI법은 EU 회원국에 진출한 모든 AI기업이 대상입니다. 만약 기업이 EU 내에서 서비스를 제공하지 않고, 데이터를 처리하지 않으며 EU 시민을 대상으로 하지 않는다면 EU AI법의 규제를 직접적으로 받지 않을 수도 있습니다. 하지만 이는 글로벌 기업이라면 현실적으로 불가능한 일입니다. 그랜드뷰리서치에 따르면, 글로벌 소프트웨어 시장에서 유럽은 미국 44%에 이어 22%에 달하는 점유율을 차지하고 있기 때문입니다. 법률회사 쿨리의 패트릭 반 에이크는 로이터를 통해 “AI법은 글로벌한 영향을 미칠 것”이라며 “EU 외부 기업들도 EU 고객 데이터를 AI 플랫폼에서 사용할 경우 이를 준수해야 한다”고 설명했습니다. 게다가 그는 “다른 국가와 지역들도 이번 AI법을 청사진으로 사용할 가능성이 크다”면서 “앞서 EU가 일반정보 보호 규정(GDPR, General Data Protection Regulation)을 마련하자 움직인 것과 비슷한 사례가 될 것”이라고 말했습니다.
고위험(High Risk) AI 규제에 대응하는 기업들
문제는 기업들이 아직 AI법에 대응하기 위한 준비를 하지 않은 것입니다. 특히 오늘날 AI 산업의 상당수는 EU의 AI법 규제 대상이며, 그중에서도 고위험(High Risk) AI에 해당합니다. 그랜드뷰리서치에서 분류한 산업별 AI 비중은 다음과 같습니다.
- 광고 및 미디어 (Advertising & Media): 약 21%
- 금융 서비스 (BFSI): 약 20%
- 헬스케어 (Healthcare): 약 19%
- 자동차 및 수송 (Automotive & Transportation): 약 14%
- 제조업 (Manufacturing): 약 13%
- 소매업 (Retail): 약 8%
- 농업 (Agriculture): 약 3%
- 법률 (Law): 약 2%
모든 산업이 일괄적으로 EU가 규정하는 고위험(High Risk) AI를 적용하기는 어려움이 있습니다. 이유는 사용되는 산업 및 용도에 따라 AI 시스템이 달라질 수 있기 때문인데요. 하지만 고위험(High Risk) AI 시스템으로 분류될 가능성이 높은 주요 산업으로는 AI 산업 전체의 66%를 차지하는 헬스케어, 금융 서비스, 자동차 및 수송, 제조업 등이 있습니다.
오늘날 많은 기업이 도입하고 있는 챗봇은 제한된 위험(Limited Risk)으로 분류되고 있습니다. 때문에 고위험(High Risk) AI에 비해 규제를 덜 받지만 챗봇 역시 GDPR을 준수해야 합니다. 때문에 온라인상에서 블로그 글 등을 학습하는 것이 불가능할 전망입니다. 데이터의 적법한 수집 및 처리를 보장하고, 사용자가 자신의 데이터에 접근하고 수정하거나 삭제할 수 있도록 해야 하기 때문입니다. 예를 들어, 오픈AI는 사용자가 입력한 데이터를 동의 받고 학습용으로 사용하는데, 훗날 사용자가 해당 데이터를 삭제하고 싶다고 요청할 경우 이를 받아들여야 합니다.
EU, AI법을 통한 빅테크 기업 견제
EU의 AI법 제정을 두고 비판의 목소리도 있습니다. EU가 회원국의 AI 기업에 대한 육성책을 함께 발표했기 때문인데요. 특히 기업이 새로운 AI 기술을 안전하게 테스트하고 개발할 수 있도록 지원하는 규제 샌드박스(Regulatory Sandboxes)를 도입했습니다. 게다가 호라이즌 유럽(Horizon Europe)과 같은 대대적인 연구개발 프로젝트를 발표하기도 했습니다. 해당 프로그램은 EU의 주요 연구 및 혁신 프로그램으로, 2021년부터 2027년까지 약 950억 유로(141조 원)의 예산이 배정됐습니다. 특히 AI 기술의 연구 개발을 위한 자금을 제공하고 AI 관련 스타트업과 중소기업의 성장을 지원하는 데 중점을 두고 있습니다. 미국을 중심으로 한 빅테크 기업이 빠른 속도로 유럽에 들어오는 것을 차단함과 동시에 역내 AI 기업에 대해선 육성하겠다는 뜻을 밝힌 것입니다.
실제로 2024년 5월 프랑스 파리에서 개막한 ‘비바테크 2024’에서 이러한 기운이 감지됐습니다. 프랑스 대표 AI 기업인 미스트랄AI의 아서 멘쉬(Arthur Mensch) 최고경영자(CEO)가 해당 모델을 오픈소스로 공개하면서 “기술을 공유함으로써 대기업의 통제에서 벗어난 방식으로 AI 시스템을 배포하는 가장 합리적인 방법이 될 수 있다”고 말했습니다. 반면 에릭 슈미트 전 구글 회장은 유럽 규제와 관련해 “유럽의 많은 혁신가들이 브뤼셀의 통제하려는 본능과 싸우고 있다”면서 “만약 프랑스가 성공하지 못하면 유럽은 AI 개발에서 뒤처질 것이고, 이는 유럽에 큰 비극이 될 것”이라고 말했습니다. 즉, EU의 AI법이 프랑스의 미스트랄과 같은 AI 기업에 족쇄가 될 것이라는 것을 간접적으로 말한 것입니다.
EU AI법 적용으로 변화하는 산업 AI모습
EU 시장에 진출하려는 기업은 각 산업별로 필요한 준비 사항을 철저히 고려하거나 현지 기업과 협력을 통한 규제 샌드박스를 활용할 수 있습니다. 산업별 AI법 준수 내용과 구체적인 사례를 살펴보겠습니다.
• 헬스케어
헬스케어 산업에서 AI 기술은 진단, 치료, 환자 관리 등 다양한 분야에서 활용되고 있습니다. 때문에 고위험(High Risk) AI 시스템으로 분류돼 있는데요. 앞서 말했듯 이는 데이터 보호, 설명 가능성, 투명성, 안전성 등의 요구사항을 충족해야 하는 것을 의미합니다. 아울러 AI 시스템이 의료 기기로 사용될 경우 CE인증(EU 및 유럽경제지역(EEA, European Economic Area) 시장 내 어디에서나 합법적으로 판매될 수 있음을 나타내는 EU 안전 지침) 등 유럽 표준을 준수하는 인증 절차를 거쳐야 합니다. 또 환자 데이터의 적법한 수집, 저장, 처리에 대한 명확한 방침을 수립하고 GDPR을 준수해야 합니다.
• 금융 산업
금융 산업에서는 AI가 리스크 관리, 사기 탐지, 고객 서비스 등에 활용되고 있습니다. 금융 서비스는 투명성을 강화해 사용자가 AI 시스템을 이해할 수 있도록 설명문을 준비해야 합니다. 특히 금융 데이터의 민감성을 고려해 GDPR을 철저히 준수하고, AI 시스템의 리스크 평가 및 관리 체계를 함께 구축해야 합니다.
• 제조업
제조업에서 AI는 예측 유지보수, 품질 관리, 공정 자동화 등에 사용됩니다. 제조 공정에서 수집되는 데이터의 정확성과 신뢰성을 보장하고, 이를 기반으로 한 AI 모델을 개발해야 합니다. AI 시스템의 성능을 지속적으로 모니터링하고 필요한 경우 즉시 수정할 수 있는 체계를 마련해야 합니다. 제조업에서 가장 큰 리스크가 있는 업종은 자율주행입니다. 자율주행 시스템이 수집하는 방대한 데이터를 적법하게 처리하고 저장하는 것이 관건입니다. 게다가 자율주행 시스템이 사이버 공격에 대비할 수 있도록 보안 체계를 강화해야 합니다.
• 챗봇
챗봇은 고위험군은 아니나 방대하게 도입되고 있는 만큼 투명성을 준수해야 합니다. 사용자가 챗봇과 상호작용하고 있다는 사실을 알 수 있도록 하는 것이 관건인데요. 예를 들어, “저는 AI 챗봇입니다. 무엇을 도와드릴까요”와 같이 초기 인사말이나 설명에 챗봇의 AI 정체성을 포함하는 것이 대표적입니다. 또한 사용자의 개인정보를 수집하고 처리할 때 GDPR을 준수해야 하는데, 사용자의 동의를 명확히 받고 데이터 수집 목적과 사용 방법을 투명하게 공개하는 것을 포함합니다. 챗봇이 개인 정보를 요청할 경우 명확한 동의를 받아야 하는데, 이는 향후 챗봇의 UI(사용자 인터페이스)를 저해할 요인이 될 것으로 보입니다.
[참고 문헌]
European Parliament. “EU AI Act: First Regulation on Artificial Intelligence,” June 8, 2023.
Grandview Research. “Artificial Intelligence Market Size & Trends,” n.d.
글 ㅣ 이상덕 ㅣ 매일경제 기자·미라클AI 에디터·<챗GPT 전쟁: 실리콘밸리는 지금 무엇을 준비하고 있는가> 저자
