파리 올림픽으로 세계의 관심이 유럽에 집중된 이때, 유럽 연합은 AI 규제법을 조용히 발효시켰습니다. EU AI 규제법은 세계최초의 AI 관련 법안이자, EU라는 거대 경제권에서 시행하는 것이기 때문에 향후 AI 시장의 향배를 가늘 수도 있는 중요한 법안입니다.
특히, EU AI 규제법은 다른 국가들의 AI 관련 법규에 기반이 될 가능성이 높기 때문에 관련된 내용을 알아보는 것도 의미가 있다고 생각됩니다.
EU AI 규제법이 규정하는 4가지 위험
한국을 비롯한 전 세계 국가들이 미국이 주도하는 AI 군비 경쟁에 어떻게 동참할지 전력을 다하고 있는 이때, EU는 AI 기술에 있어서는 늦었지만, 게임의 룰은 우리가 주도할 수 있다는 메시지를 세계에 보냈습니다.
AI 기술은 군사, 교육, 의료 등 다양한 분야에서 급속히 확산되고 있습니다. 그러나 모두가 AI 기술을 찬양할 뿐, AI가 가져올 여러 문제들에 대해서는 등한시한 것도 사실입니다. EU의 AI 규제법 발효는 AI 기술이 본격화되기 전에 각국에 경종을 울리는 시의 적절한 시도라고 생각됩니다.
EU는 AI 규제법에서 AI가 가져올 수 있는 주요 네 가지 위험을 적시하고, 이를 위반할 경우 강력한 처벌을 예고하고 있습니다.
1. 용납 불가능한 위험 ( Unacceptable risk)
EU가 AI 기술에 대해 가장 우려를 표한 사항입니다. EU는 아래와 같은 구체적인 사례를 들어, AI 기술이 다음과 같이 사용될 가능성에 대해 극히 경계하고 있습니다.
ㄱ) 사회 점수 시스템
이미 몇몇 국가에서는 AI를 활용하여 사회 점수를 부여하는 시스템을 도입하는 듯합니다. 그런데 꼭 국가가 아니더라도, 금융 기관이 개인의 금융 정보와 여러 가지 빅데이터를 활용하여 개개인을 평가하는 시스템도 일종의 사회 점수 시스템의 카테고리에 포함될 수 있습니다.
이러한 금융 시스템은 개인의 신용을 평가하고, 대출 가능 여부, 금리 등을 결정하는 데 사용됩니다. 하지만 이는 개인의 사생활 침해 및 차별 문제를 야기할 수 있습니다. 예를 들어, 잘못된 데이터나 편향된 알고리즘으로 인해 부당한 평가를 받게 되면, 그 결과는 개인의 경제적 기회에 큰 영향을 미칠 수 있습니다.
ㄴ) 사람이나 취약 집단의 인지 행동 조작
AI를 통해 가짜 이미지나 동영상을 실제처럼 조작하고 이를 통해 각종 정보를 빼내고 사람들을 속이는 활동들이 증가하고 있습니다.
ㄷ) 공공 장소에서 법 집행을 위한 실시간 원격 생체 인식
연령, 장애, 또는 사회경제적 상황으로 인한 취약점을 악용하는 AI 시스템
ㄹ)직장 및 교육 기관에서의 감정 인식 시스템 (의료 또는 안전 이유 제외)
우리가 모두 아는 특정국가에서 수업시간에 학생들의 얼굴을 보고 수업에 얼마나 집중하는지 측정한다는 뉴스를 본적이 있습니다.
ㅁ) 무차별 이미지 스크래핑을 통해 얼굴 인식 데이터베이스를 생성하거나 확장하는 AI 시스템
예전에 장학우의 콘서트장에서 많은 지명수배자들이 검거되었다는 뉴스가 있었습니다. 그 가수는 80~90년대에 인기를 끌었던 인물로, 남자들에게 여전히 많은 사랑을 받고 있다고 합니다. 경찰은 이러한 콘서트장을 집중적으로 감시하여 지명수배자들을 검거할 수 있었는데, 이는 대규모 인파 속에서 범죄자들을 식별하는 AI 기술과 같은 첨단 수단을 활용했을 가능성도 있습니다.
위의 구체적인 사례들은 EU의 가치와 인간의 기본권에 부합하지 않는 것들이라고 EU는 명확하게 적시하고 있습니다. AI 개발 기업이나 AI 기술을 활용하는 조직에서는 자신들의 기술이 용납할 수 없는 위험군에 포함되지 않는지 항상 주의 깊게 살펴야 할 것입니다.
2. 높은 위험
높은 위험 AI 시스템은 허용은 되지만 엄격히 규제되는 사안입니다.
- 중요한 인프라 관리에 사용되는 AI
- 고용 및 노동자 관리, 채용을 포함한 AI 시스템
- 신용 평가 또는 필수 서비스 접근 평가에 사용되는 AI
- 선거 결과나 투표 행동에 영향을 미치는 AI
- 특정 EU 법률에 따라 제품의 안전 구성 요소로 사용되는 AI (예: 의료 기기, 차량)
- 교육 데이터에 대한 품질 관리
3. 제한된 위험
조작이나 속임수의 위험이 있는 AI 시스템은 이 범주에 속합니다. 이들은 다음과 같은 투명성 의무를 준수해야 합니다
- 사용자에게 AI 시스템과 상호 작용할 때 이를 알릴 것 (예: 챗봇)
- AI가 생성하거나 조작한 콘텐츠 (예: 딥페이크)는 명확히 표시할 것
- 생성 AI 시스템은 AI가 생성한 콘텐츠를 공개하고 EU 저작권법을 준수할 것
4. 최소한의 위험
이 범주에는 AI 지원 비디오 게임 및 스팸 필터와 같이 높은 위험 수준에 해당하지 않는 모든 AI 시스템이 포함됩니다. 이러한 시스템은 특정 제한이나 의무는 없지만 개발자는 다음과 같은 일반 원칙을 따를 것을 권장합니다:
- 사람에 대한 감시
- 비차별
- 공정성
AI 시스템의 분류는 생성 AI 기술이 빠르게 발전함에 따라 시간이 지나면서 변경될 수 있습니다. AI 규제법은 기술 발전에 맞춰 적응하면서도 유럽 연합 내에서 AI를 안전하고 윤리적으로 사용할 수 있도록 유연한 프레임워크를 제공하는 것을 목표로 합니다.
투명성과 책임성
- 생성형 AI: ChatGPT와 같은 시스템은 AI가 생성한 콘텐츠를 명확히 밝히고, 불법 콘텐츠 생성을 방지하며, 교육에 사용된 저작권 자료의 요약본을 공개해야 합니다.
- 사용자 인식: 딥페이크와 같은 AI 생성 또는 수정 콘텐츠는 명확히 표시되어야 합니다.
AI가 설명가능해 지기 전까지 여전히 기술적인 난관이 있습니다. AI 서비스의 할루시네이션을 정확하게 저격하고 있다는 느낌을 받게 됩니다.
혁신 지원
- 테스트 환경: 규제법은 스타트업과 중소기업이 AI 모델을 개발하고 훈련할 수 있도록 국가 당국이 테스트 환경을 제공하도록 요구합니다.
- 규제 샌드박스: 규정을 준수하면서 혁신을 촉진하기 위해 설계되었습니다.
집행과 처벌
규정을 준수하지 않을 경우, 위반의 심각도에 따라 다음과 같은 처벌이 내려집니다.
- AI 기술관련 잘못된 정보제공시 최대 750만 유로 또는 전 세계 매출의 1.5%
- 의무규정위반: 전세계 매출의 3%
- 금지된 AI 애플리케이션 사용시 3500만 유로 또는 전 세계 매출의 7%에 달하는 벌금이 부과될 수 있습니다.
결론
EU AI 규제법의 핵심은 용납할 수 없는 위험에 요약되어 있습니다. AI 기술 기업들은 자사의 기술이 이 카테고리에 포함되는지 면밀히 검토해야 하며, 불분명한 점이 있다면 EU 내 서비스 출시를 연기해야 할 것입니다.
EU가 어느 정도로 엄격하게 위반 사항을 찾아내고 처벌할지는 아직 명확하지 않지만, 전 세계 매출의 7%까지 과징금을 부과할 수 있다는 처벌 규정은 강력하다고 생각됩니다.
EU AI 규제법은 미국 빅테크 기업들의 AI 서비스 출시를 최소한 EU 내에서 지연시킬 것이라 예상됩니다. EU는 아직 자체적인 AI 기업들이 부족한 상태이기 때문에, 이 시기를 활용하여 최대한 격차를 줄이려 할 수 있다고 생각됩니다.
물론 EU가 지적하고 있는 위험들은 민주 국가의 시민이라면 심각하게 바라볼 수밖에 없으며 타당한 것이라 생각됩니다. 그러나 이 규제법이 AI 기술의 발전 방향에 하나의 이정표가 되는 것임에는 틀림없어 보입니다. AI는 아직 설명할 수 없는 블랙박스가 많이 있습니다. 과연, 빅테크 기업들은 EU가 설정한 위험들을 통제하면서 유용한 서비스를 출시할 수 있을까요?