유럽 AI법에 따른 생체정보의 활용과 보호에 관한 고찰^*

인간의 신체가 가지는 유일하고 고유한 정보는 생체정보, 생체인식정보, 바이오메트릭스(Biometrics), 바이오 정보, 바이오 인식정보, 바이오메트릭 데이터(Biometric data) 등 다양한 용어가 사용되고 이에 대한 정의도 다양하다.

한국인터넷진흥원(KISA)의 2005년 ‘생체정보 보호 가이드라인’에서는 생체정보를 “지문·얼굴·홍채·정맥·음성·서명 등 개인을 식별할 수 있는 신체적 또는 행동적 특징에 관한 정보”라고 정의하였다. 방송통신위원회가 발표한 2017년 ‘바이오정보 보호 가이드라인’에서는 “지문, 홍채, 음성, 필적 등 개인의 신체적·행동적 특성에 관한 정보로서 개인을 인증 또는 식별하기 위하여 기술적으로 처리되는 개인정보”를 바이오정보라고 정의하였다. 행정안전부는 2011년에 제정⁶⁾하여 2021년 폐지된⁷⁾ ‘개인정보의 안정성 확보조치 기준’⁸⁾에서 “바이오정보”를 “지문, 얼굴, 홍채, 정맥, 음성, 필적 등 개인을 식별할 수 있는 신체적 또는 행동적 특징에 관한 정보로서 그로부터 가공되거나 생성된 정보”라고 정의하고 있다.

개인정보보호위원회는 2020년 ‘개인정보의 기술적·관리적 보호조치 기준’⁹⁾에서 “지문, 얼굴, 홍채, 정맥, 음성, 필적 등 개인을 식별할 수 있는 신체적 또는 행동적 특징에 관한 정보로서 그로부터 가공되거나 생성된 정보”를 바이오정보라고 정의하였다가 2021년 ‘개인정보의 기술적·관리적 보호조치 기준’¹⁰⁾에서 이를 수정하여 “지문, 얼굴, 홍채, 정맥, 음성, 필적 등 개인의 신체적, 생리적, 행동적 특징에 관한 정보로서 특정 개인을 인증·식별하거나 개인에 관한 특징을 알아보기 위해 일정한 기술적 수단을 통해 처리되는 정보”를 생체정보로, “생체정보 중 특정 개인을 인증 또는 식별할 목적으로 일정한 기술적 수단을 통해 처리되는 정보”를 생체인식정보로 나누어 정의하였다. 개인정보보호위원회가 발간한 개인정보의 기술적 관리적 보호조치 기준 해설서에 의하면 생체정보는 신체적 특징, 생리적 특징과 행동적 특징을 기반으로 생성된 정보로 신체적 특징으로는 홍채·망막의 혈관 모양, 손바닥·손가락의 정맥 모양, 장문, 귓바퀴의 모양 등이 있고, 생리적 특징에는 뇌파, 심전도, 유전정보 등이 포함되며, 행동적 특징으로는 음성, 필적, 걸음걸이, 자판입력 간격·속도 등을 예로 들고 있다. 또한 열람·보관 등을 목적으로 수집하는 일반적인 얼굴 사진, 음성파일 등 개인의 신체적, 생리적, 행동적 특징에 관한 정보가 ‘특정 개인을 인증·식별하거나 개인에 관한 특징을 알아보기 위해 기술적으로 처리’되지 않는다면 생체정보가 아닌 일반적인 개인정보에 해당하는 것으로 설명하고 있다.¹¹⁾ ‘개인정보의 기술적·관리적 보호조치 기준’은 2023년 9월 폐지되었다.¹²⁾

2021년 개인정보보호위원회는 ‘생체정보 보호 가이드라인’을 통해 생체정보를 조금 더 세부적으로 정의하고자 하였다. 이에 의하면 개인정보는 그 자체만으로 특정 개인을 알아볼 수 있거나 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보, 생체정보는 개인의 신체적, 생리적, 행동적 특징에 관한 정보로서 특정 개인을 인증·식별하거나 개인에 관한 특징(연령·성별·감정 등)을 알아보기 위해 일정한 기술적 수단을 통해 처리되는 정보, 생체인식정보는 생체정보 중 특정 개인을 인증·식별할 목적으로 일정한 기술적 수단을 통해 처리되는 정보로 정의하고, 생체인식정보를 다시 생체인식 특징정보와 생체인식 원본정보로 나누어 생체인식 특징정보를 생체인식정보 중 입력장치 등을 통해 수집·입력된, 특징정보 생성에 이용되는 정보로, 생체인식 원본정보는 원본정보로부터 특징점을 추출하는 등의 일정한 기술적 수단을 통해 생성되는 정보로 보다 세밀하게 정의하고 있다.

현행 법령에서 생체정보 또는 생체인식정보를 정확하게 정의하고 있지는 않다. 개인정보보호에 대한 기본법이라고 할 수 있는 개인정보 보호법은 제23조에서 사상·신념, 노동조합·정당의 가입·탈퇴, 정치적 견해, 건강, 성생활 등에 관한 정보, 그 밖에 정보주체의 사생활을 현저히 침해할 우려가 있는 개인정보로서 대통령령으로 정하는 정보를 민감정보로 분류한 후, 개인정보 보호법 시행령 제18조 제3호에서 “개인의 신체적, 생리적, 행동적 특징에 관한 정보로서 특정 개인을 알아볼 목적으로 일정한 기술적 수단을 통해 생성한 정보”를 민감정보의 범위에 포함하고 있다. 다만 동법 시행령 제18조 제3호는 서술적으로 민감정보를 기술만 하고 있을 뿐 이것이 생체정보인지 생체인식정보인지에 대한 용어를 사용하고 있지는 않아 생체정보에 대한 내용을 두고는 있지만 생체정보 또는 생체인식정보를 정의하고 있는 규정은 아니다.

이외 개별법에서 생체정보 또는 바이오정보를 정의하고 있는 규정이 있다. 먼저 출입국관리법 제2조 제15호는 ‘“생체정보”란 이 법에 따른 업무에서 본인 일치 여부 확인 등에 활용되는 사람의 지문·얼굴·홍채 및 손바닥 정맥 등의 개인정보를 말한다.’라고 규정하여 생체정보를 정의하고 있다. 항공보안법 제14조의2는 생체정보를 이용할 수 있는 규정을 두면서 따로 정의규정은 두지 않고 ‘관계 행정기관이 보유하고 있는 얼굴·지문·홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적 특징에 관한 개인정보(이하 “생체정보”라 한다)를 이용할 수 있다.’라고 하여 생체정보의 개념을 사용하고 있다. 정보통신망 이용촉진 및 정보보호 등에 관한 법률 시행령 제9조의2 제1항 제1호는 ‘바이오정보(지문, 홍채, 음성, 필적 등 개인을 식별할 수 있는 신체적 또는 행동적 특징에 관한 정보를 말한다.’라고 하여 바이오정보에 대한 규정을 두고 있다. 전자금융거래법 제2조 제10호 라목에서는 접근매체의 한 유형으로 “생체정보”라는 용어를 사용하고 있으나 이에 대한 정의규정은 없으며, 구 전자서명법 제2조 제13호에서 개인정보의 한 유형으로 ”생체특성 등에 관한 정보“라는 개념을 사용하였으나 2020년 법을 개정하면서 이 조항이 삭제되었다.

여러 문헌에서도 생체 프라이버시¹³⁾, 생체인식기술¹⁴⁾이라는 용어를 사용하기도 하고, 생체정보¹⁵⁾, 생체인식정보¹⁶⁾, 바이오정보¹⁷⁾라는 용어를 사용하는 등 개념 정의도 다양하고 용어의 사용도 다양함을 알 수 있다.

EU의 GDPR(유럽 개인정보보호 일반법, General Data Protection Regulation¹⁸⁾)의 경우 제4조 제14호에서 ”biometric data“(생체인식정보)를 정의하고 있다. 이에 의하면 생체인식정보는 얼굴 사진이나 지문정보와 같이 특정 기술 처리로 얻어진 자연인의 신체적, 생리적, 행태적(physical, physiological or behavioural) 특성과 관련된 정보로서, 자연인을 고유하게 식별할 수 있도록 해주거나 확인해주는 것이라고 정의된다. GDPR은 이러한 생체인식정보를 제9조의 특정범주 개인정보(special categories of personal data)에 해당하는 것으로 규율하여 원칙적으로 이러한 정보의 처리는 금지되고 법률규정 상 예외적인 경우에만 허용되는 것으로 규율하고 있다. GDPR에서 생체인식정보에 대해 규정하는 외에 생체인식정보의 활용과 보호를 위한 다른 특별법이나 법규정을 두고 있지는 않았다.

그러다 AI 기술의 발달과 생체인식정보 기술의 발달, 이 두 기술의 결합으로 인하여 생활의 편리함과 공권력 행사에서의 편리함은 물론 이를 통한 심각한 기본권 침해문제의 발생이 우려되자 이를 규제하기 위한 논의와 노력이 수년간 있었고, 이러한 노력의 결과 EU의 인공지능(AI)법이 유럽의회를 통과하기에 이르렀다. EU의 AI법은 특별히 인공지능을 활용한 생체인식정보의 수집과 처리의 제한, 금지를 규율하고 있다는 점이 특징이다.

AI법은 제3조 정의에서 특별히 생체인식시스템에 대하여 정의하고 있다. 제34호에서는 ‘생체 인식 정보(biometric data)’를 얼굴 이미지나 지문 데이터와 같이 자연인의 신체적, 생리적 또는 행동적 특징(physical, physiological or behavioural characteristics)과 관련된 특정 기술적 처리의 결과물인 개인 정보라고 정의하여 GDPR의 정의와 약간 차이를 두고 있다. 2021년 유럽집행위원회의 법제안서¹⁹⁾에서는 GDPR에서의 정의와 동일하게 생체인식정보를 정의한 것에 비하여 달라진 부분인데 GDPR 규정의 후단부가 삭제되었다. 이는 뒤의 제35호와 36호에 생체인식정보의 인식과 인증을 따로 호를 달리하여 정의하기 때문인 것으로 이해된다. 제35호에서는 생체인식식별(biometric identification)에 대한 정의규정을 두고 있는데, 자연인의 신원 확인을 목적으로 해당 개인의 생체 정보와 데이터베이스에 저장된 개인의 생체 정보를 비교하여 인간의 신체적, 생리적, 행동적 또는 심리적(psychological) 특징을 자동으로 식별하는 것을 의미하는 것으로 정의하고 있다. 이는 2021년 유럽집행위원회의 법제안서에는 없던 규정으로 의회에서 논의 중 새로 추가된 규정이다. 특히 생체인식정보의 정의에는 포함되지 않았던 심리적 특징이라는 요소가 포함된 것이 특이한 점이라 하겠다. 이는 뒤에 규정되는 감정인식시스템과 연결하여 이해할 수 있을 것이다. 또한 제36호에서는 생체인증(biometric verification)에 대해 따로 정의하고 있는데, 자연인의 생체인식정보를 이전에 제공된 생체인식정보와의 비교를 통하여 신원식별 확인(authentication)을 포함하는 자동화된 일대일 인증(one-to-one verification)을 의미하는 것으로 정의하고 있다. 그리고 제38호에서는 민감한 운영 데이터(sensitive operational data)를 형사 범죄의 예방, 탐지, 수사 또는 기소 활동과 관련된 운영 데이터로서 공개될 경우 형사 절차의 무결성을 위태롭게 할 수 있는 데이터로 정의하고 있다. 이 규정도 집행위원회의 제안안에서는 없던 규정을 추가한 것으로 법집행 활동과 관련되어 사용되는 개념이다.

생체인식정보의 개념과 관련된 정의와 함께 이렇게 정의된 생체인식정보가 사용되는 각종 인공지능 시스템에 대한 정의도 그 위험성의 유형과 단계에 따라 달리 정의하고 있다. 먼저 감정 인식 시스템(emotion recognition system)은 생체인식정보를 기반으로 자연인의 감정이나 의도를 식별하거나 추론하기 위한 목적을 위한 인공지능 시스템을 의미하는 것으로 정의한다(제39호), 생체 인식 분류 시스템(biometric categorisation system)은 제안안에서는 ‘자연인의 생체인식정보를 토대로 성별, 연령, 머리와 눈동자 색, 문신, 민족, 성적지향 또는 정치적 지향 등의 특정 범주에 할당(assigning)하기 위한 인공지능 시스템’이라고 정의되었으나 법에서는 ‘다른 상업적 서비스에 부수적이고 객관적⋅기술적 이유로 엄격하게 필요한 경우를 제외하고, 생체인식정보를 기반으로 자연인을 특정 범주에 할당하기 위한 목적의 인공지능 시스템’을 의미하는 것으로 수정되었다(제40호). 즉 분류를 위한 구체적 기준을 삭제하고, 분류를 함에도 불구하고 예외적으로 생체 인식 분류 시스템에 포함되지 않은 영역을 추가하였다. 원격 생체 인식 시스템(remote biometric identification system)은 일반적으로 개인의 생체인식정보와 참조 데이터베이스에 포함된 생체인식정보의 비교를 통해 원거리에서 자연인의 적극적인 개입 없이 자연인을 식별하기 위한 목적의 인공지능 시스템을 의미(제41호)하는데, 이는 실시간 인식시스템과 사후 인식시스템으로 구분된다. 실시간 원격 생체 인식 시스템(real-time remote biometric identification system)은 생체인식정보의 수집(capturing), 비교(comparison), 식별(identification)이 모두 상당한 지연 없이 이루어지는 원격 생체 인식 시스템으로, 즉각적인 식별뿐만 아니라 우회 방지를 위한 제한된 짧은 지연도 포함하는 것으로 이해된다.(제42호), 사후 원격 생체 인식 시스템(post remote biometric identification system)은 실시간 원격 생체 인식 시스템을 제외한 여타의 원격 생체 인식 시스템을 의미한다.(제43호) 인공지능법은 특히 실시간 원격 생체 인식 시스템은 금지되는 것으로, 사람의 원격 생체 인식에 사용되는 다른 모든 AI 시스템은 고위험으로 간주하여 문서화 및 설계에 따른 인적 감독 요구 사항을 포함한 사전 제삼자 적합성 평가의 대상으로 규정하고 있다. 이에 대해서는 뒤에 자세하게 설명한다.

AI 기술과 생체정보기술의 결합이 가장 발전해있으며 가장 많이 활용되고 있는 중국의 경우 원래 목적인 개인을 인증하거나 식별하고자 하는 목적을 넘어 국가가 국민을 추적하고 감시하는 수단으로 사용되는 경우가 많다. 특히 경찰의 치안유지를 위한 목적으로 생체인식정보(안면인식이나 발걸음 정보 등)를 CCTV 기술에 접목하여, 국민을 감시하고 추적하며 더 나아가 사회신용시스템(CCTV 분석을 통하여 개인의 특성과 행동을 데이터화해 점수를 매기는)²⁰⁾을 위한 수단으로 이러한 기술을 활용하고 있다. 중국의 경우, 국민 안전과 치안을 위해서라는 이유로 CCTV의 설치를 늘리고 CCTV를 통한 식별기술을 개발해 왔다. 중국에 설치된 안면인식 카메라는 2017년 1억7,600만 대에서 2020년 6억2,600만 대로 단기간에 급증한 것으로 파악된다.²¹⁾ 양적인 증가 뿐만이 아니라 식별기술도 정부주도로 빠르게 발전하였는데, 안면인식기술의 경우 중국은 정부의 지원과 주도에 의해 현재 거의 세계 최고수준에 이르렀다. 예를 들어 중국에서는 휴대폰을 신규 등록하면 얼굴 스캔을 의무화하게 하여 모든 국민의 안면정보를 국가가 수집하여 축적할 수 있게 하고, 이 정보를 바탕으로 생체인식정보 기술을 개발하였다.²²⁾

하지만 이러한 기술의 사용은 국민을 쉽게 감시할 수 있는 거대 감시국가를 탄생시켰다. 이 기술은 특히 소수민족 탄압 또는 반정부 인사를 감시하기 위한 도구로 사용되고 있다는 의혹이 있다. 신장위구르 자치구에서는 소수민족인 위구르족을 식별하는 기술을 도입하여 위구르족의 생활을 감시하는 도구로 악용되고 있다는 것이다.²³⁾ 또한 2019년 홍콩의 민주화 시위와 관련하여 중국 당국은 복면금지법을 시행했는데, 이는 안면인식기술로 시위참가자를 식별하여 검거할 수 있음을 간접적으로 인정하는 것이라 하겠다. 복면으로 안면인식이 어려워지자 중국은 발걸음 인식기술을 개발하여 안면인식기술과 발걸음 인식기술을 결합하여 국민을 식별하고자 시도하고 있다.²⁴⁾

중국에서 이러한 기술의 무분별한 사용에 대해 비판이 크게 일어나자 중국 사이버공간관리국은 '안면 인식 기술 적용 안전관리 규정'을 발표하여 AI 기술을 통한 생체인식정보의 처리를 제한하고자 하고 있다. 이 규정의 주요한 내용의 예를 들면 우선 민간 영역에서 안면인식 기술을 사용하려면 특정한 목적과 충분한 필요성이 있어야 하며, 엄격한 보호 조치가 취해진 경우에만 사용이 가능하도록 규정하고 있다. 또한 안면인식 기술을 대체할 수 있는 기타 비생물학적 특정 식별 기술 방안이 존재하는 경우, 반드시 비생물학적 특정 식별 기술 방안을 먼저 고려할 것을 명령하는 규정도 두고 있다. 사생활이 침해될 수 있는 장소인 호텔 객실이나 목욕탕, 탈의실, 화장실 등에서는 영상 수집 및 개인 신원을 식별할 수 있는 장비의 설치를 제한하고, 공공장소에 안면인식기술을 사용하는 기기를 설치하는 경우 이를 고지하는 안내판을 설치할 것 등도 규정하고 있다.²⁵⁾ 하지만 이러한 기술이 실제 적용되는지, 민간영역이 아닌 공적인 목적으로 사용되는 경우에는 어떠한 제한과 조건이 있는지는 불명확하다.

EU 차원에서의 공권력에 의한 AI 기술과 생체정보 결합기술이 사용되는 것은 원칙적으로 금지되어 있고 예외적으로 허용되어 있다. GDPR은 생체정보를 특정범주의 개인정보(민감정보)로 분류하기 때문에 본인의 동의가 필요하고, 동의를 정당화하는 사유가 필요하다. AI 법률에서도 공권력에 의한 이러한 기술의 사용은 예외적인 경우에만 허용되는 것으로 규정하는데, 이에 대해서는 뒤의 AI법률에서의 규율에서 살펴보기로 하고 우선 민간영역에서의 이러한 기술의 사용에 대한 사례에 대해 살펴본다.

생체인식정보 기술과 인공지능기술의 결합으로 인한 기본권 침해의 전형적인 모습은 개인정보자기결정권의 침해일 것이고, 더 나아가 사생활의 비밀이나 일반적 인격권 등이 침해될 수 있을 것이다. 우리의 경우 개인정보보호법 제23조에 ‘그 밖에 정보주체의 사생활을 현저히 침해할 우려가 있는 개인정보로서 대통령령으로 정하는 정보’를 민감정보로 분류하고, 개인정보보호법 시행령 제18조에 ‘개인의 신체적, 생리적, 행동적 특징에 관한 정보로서 특정 개인을 알아볼 목적으로 일정한 기술적 수단을 통해 생성한 정보’를 대통령령이 정하는 민감정보에 포함시키고 있으므로 생체인식정보를 사용하는 모든 처리는 민감정보의 처리에 해당하게 된다. 즉 생체인식정보는 개인정보인 민감정보에 해당하고 이의 처리는 일단 개인정보자기결정권에 대한 제한이 되는 것이다. EU의 GDPR도 앞서 설명한 바와 같이 생체인식정보를 개인정보로 분류하고 특별히 제9조의 특정범주의 개인정보(민감정보)로 분류하고 있으므로 생체인식정보의 처리는 개인정보자기결정권을 제한할 가능성이 매우 높다고 볼 수 있겠다. 따라서 생체인식정보와 인공지능기술이 결합된 기술을 사용하기 위해서는 정보주체의 명시적인 동의나 상당할 정도의 공익이 필요하다고 하겠다.

그리고 생체정보라는 것은 정보주체의 신체적 특성, 즉 인체 자체가 가지는 특성이기 때문에 이를 수집하거나 처리하는 것은 사생활 또는 일반적 인격권에 대한 침해가 될 수 있다.³²⁾ 하지만 생체정보가 공공장소에서 수집된 경우 이를 사생활의 비밀의 보호영역으로 포섭하는 것이 애매할 수 있으므로 이 경우에는 사생활의 비밀에 대한 침해보다 일반적 인격권 또는 개인정보자기결정권에 대한 침해문제가 될 수 있다. 그리고 일반적 인격권(das allgemeine Persönlichkeitsrecht)의 중요한 내용인 인격의 자유로운 발현권(das Recht auf freie Entfaltung der Persönlichkeit)은 자신의 삶을 타자의 간섭없이 스스로 결정하고 영위해나갈 수 있는 권리로서 자신의 인격(개성)을 스스로 결정할 수 있는 영역인 사생활의 영역의 보호는 물론, 외부세계와 교류하여 인격을 형성하고 발전시킬 수 있는 자유를 포함하는 개념으로 보아야 한다.³³⁾ 누군가가 나의 생활과 행동을 지켜보고 있다면, 혹은 지켜보고 있다는 느낌을 가진다는 것만으로도, 더 나아가 공권력에 의해 나의 생활이 수집되고 처리되어 분석된다면 또는 분석될 수 있다는 위험만으로도 인간은 자신의 삶을 자유롭게 영위하지 못하게 되고, 의식적으로 조심하고 다르게 행동하게 될 것이다.³⁴⁾ CCTV만으로도 이러한 위험이 높은데, 개인을 식별할 수 있는 생체인식정보 기술이 결합되는 경우 개인을 식별하여 추적할 수 있게 되므로 이러한 위험은 훨씬 높아지게 될 것이고, 일반적 인격권에 대한 심각한 위협이 될 수 있음은 명확하다고 하겠다.³⁵⁾

특히 생체인식기술과 인공지능기술이 결합되는 경우 무엇보다 대량감시(mass surveillance) 및 추적이 쉽게 가능해 질 수 있다. 이러한 감시를 통해 개인은 그 자체가 목적으로 대우받는 인격체가 아니라 국가권력의 대상 또는 수단으로 전락하게 되며, 위축효과(Chilling Effect)가 발생할 가능성이 굉장히 높아진다. 이러한 기술의 사용은 범죄 예방이나 용의자의 검거 등 수사나 치안유지 등 경찰행정 분야에서 획기적인 전환점이 될 수 있다. 예를 들어 범죄자를 추적하여 검거할 확률이 상당히 높아질 것이고, 예방적 치안활동도 가능할 것이다. 행정의 영역에서는 코로나 사태에서의 경우 이러한 기술이 사용되었다면 국가가 확진자의 동선 파악을 훨씬 효율적으로 할 수 있었을 것이라고 쉽게 예측할 수 있을 것이다. 하지만 이를 역으로 생각해보면, 평상시에도 우리 일상의 삶이 국가기관에 의해 녹화되고 분석된다면, 특히 발달된 식별기술을 통해 누구인지 특정되어 각 개인에 관한 정보가 공권력에 의해 자세하게 저장되고 분석되어 감시와 추적이 쉽게 가능하다면, 우리는 헌법에 보장된 자유로운 삶을 영위할 수 있을 것인가에 대해 심각하게 고민하게 될 것이다. 공·사 구분 없이 설치된 수많은 CCTV를 통하면 정보주체가 인지할 수 없는 상태에서 정보주체의 정확한 동선이 파악될 수 있으며, 나아가 개인이 스스로 공개한 SNS상의 사진들 역시 어렵지 않게 수집하여 대조군인 데이터베이스로 활용될 수 있다. 생체정보는 개인의 고유한 정보들을 포함하고 있으므로 그 처리의 오·남용은 곧 개인에 대한 감시와 추적으로 이어질 수 있다. 민주주의에서 가장 중요한 요소 중 하나가 자유롭게 행동하고 표현할 수 있는 것인데, 국가권력이 모든 곳에서 개인을 특정하여 감시, 추적할 수 있다고 한다면 이러한 자유로운 행동과 표현은 불가능해질 것이고, 이것은 기본권에 대한 굉장한 침해가 되며 민주주의에도 굉장한 위협이 될 것이다.

그리고 AI기술이 결합된 생체인식정보는 인식(recognition), 인증(authentication). 식별(identification), 검증(verification) 목적으로도 사용될 수 있지만 범주화의 목적으로도 사용될 수 있다. 범주화(categorization)는 개인을 식별하고자 하는 목적이 아니라 개인을 미리 분류되어 있는 분류체계에 그 사람의 특징에 따라 분류를 하는 것이기에 개인을 식별하거나 개인정보에 대한 처리가 없을 수도 있어서 개인정보자기결정권이나 사생활의 비밀에 대한 제한에 해당하지 않을 수도 있다. 하지만 다른 관점에서 기본권에 굉장히 위협적일 수 있다. 왜냐하면 부당한 차별(discrimination)의 위험성 때문이다. 우리나라에서는 그 위험이 덜할 수 있는데, 피부색과 출신에 따른 인종적 차별이 심한 나라의 경우 이러한 차별의 위험성은 굉장히 높다고 하겠다. 우리의 경우도 노인과 청년 등 나이에 따른 차별이나 성별에 의한 차별이 발생할 수 있는 등 부당한 차별의 위험이 없는 것은 아니다. 특히 생체인식기술이 완전하지 않은 경우, 0.1%나 0.01%의 오류에 불과하다고 하더라도 국민 전체의 0.1% 또는 0.01%가 되면 실제로는 많은 수가 될 수 있기 때문에 잘못 분류되어 범주화된다면 치명적인 위협이 될 수도 있다.

EU 인공지능법은 내부시장의 기능을 개선하고 인간 중심의 신뢰할 수 있는 인공지능의 활용을 촉진하며, 유럽연합 내 인공지능 시스템(AI 시스템)의 유해한 영향으로부터 건강, 안전, 기본권 헌장에 명시된 기본권(민주주의, 법치주의, 환경 보호 등을 포함하는)을 높은 수준으로 보호하고 또한 혁신을 지원하는 것을 목적으로 한다.(AI 법 제1조) 이 조문은 이사회의 AI 법률안에서는 제안이유(Erwägung)에서만 설명되었고, 실제 조문에는 없었으나 의회의 최종결의안에서는 제1조에 명문으로 규정하는 것으로 변경되었다.

인공지능법은 인공지능을 위험에 기반하여(risk-based approach) 분류하고 규제의 강도를 달리하고자 한다. AI 시스템에 비례적이고 효과적인 구속력 있는 규범을 도입하려면 명확하게 정의된 위험 기반 접근 방식을 따라야 한다. 이러한 접근 방식은 AI 시스템이 생성할 수 있는 위험의 강도와 범위에 맞게 규범의 유형과 내용을 조정해야 하는데, 크게 허용되지 않는 AI(unacceptable AI), 고위험 AI(high-risk AI), 일반(보통)의 AI로 분류된다. 허용되지 않는 AI는 실행이 금지되고 예외적인 경우에만 허용된다. 고위험 AI는 시스템 사용에 대한 요건과 관련 운영자의 의무가 상세히 규제되며, 일반 AI의 경우 시스템에 대한 투명성 의무가 있다.

이 법은 AI 시스템을 ‘배포 후 적응성을 발휘할 수 있으며 명시적 또는 묵시적 목적을 위하여 수신한 입력으로부터 물리적이거나 가상적인 환경에 영향을 미칠 수 있는 예측, 콘텐츠, 권고나 결정과 같은 산출물을 생성해내는 방법을 추론할 수 있도록 다양한 수준의 자율성(autonomy)을 가지고 작동하도록 설계된 기계 기반 시스템’으로 정의하고 있다. 자율성이란 개념은 인간의 개입으로부터 어느 정도 독립적으로 가동하고 인간의 개입 없이도 작동할 수 있는 기능을 갖추고 있음을 의미한다. 또한 배포 후의 적응성(adaptiveness)이란 것은 사용중에도 시스템의 변경이 가능한 자가학습(self-learning) 능력을 의미한다.³⁶⁾ 또한 이 법에서는 위험(risk)을 피해 발생 확률과 피해의 심각성을 결합한 것이라고 정의한다.

인공지능 기술과 결합되는 생체인식정보는 자연인의 인증, 식별, 분류, 감정인식(recognition of emotions)의 목적으로 사용될 수 가능성이 있다.

이 법에서 말하는 생체인식인증(biometric identification)은 개인의 동의 여부와 관계없이 해당 개인의 생체인식정보를 참조 데이터베이스에 저장된 개인의 생체인식정보와 비교하여 개인의 신원을 확인할 목적으로 얼굴, 눈 움직임, 체형, 음성, 운율, 걸음걸이, 자세, 심박수, 혈압, 냄새, 키 입력 특성 등 신체적, 생리적, 행동적 인간의 특징을 자동으로 인식하는 것으로 정의할 수 있다. 다만 본인임을 확인하여 서비스에 엑세스하기 위한 목적, 기기의 잠금해제를 위한 목적, 구내보안을 위한 엑세스 목적으로만 이러한 기술이 사용되는 것은 이 법의 적용에서 제외된다.

인공지능법 제5조는 금지되는 AI 시스템의 실행이 규정되어 있는데, 제1항 제e호에서 인터넷이나 CCTV 영상에서 표적화되지 않은 얼굴 이미지를 스크랩하여 안면인식정보를 생성하거나 확장하는 AI 시스템을 시장에 출시하거나 이러한 목적을 위해 서비스를 제공하거나, 이러한 시스템을 사용하는 것은 금지되는 것으로 규정하고 있다. 또한 의료 또는 안전상의 이유로 인공지능 시스템을 도입하거나 시장에 출시하려는 경우를 제외하고, 직장 및 교육 기관의 영역에서 자연인의 감정을 추론하기 위해 인공지능 시스템을 시장에 출시하거나 이러한 특정 목적을 위해 서비스를 제공하거나 인공지능 시스템을 사용하는 행위, 생체인식정보를 기반으로 자연인을 개별적으로 분류하여 인종, 정치적 의견, 노동조합 가입 여부, 종교적 또는 철학적 신념, 성생활 또는 성적 취향을 추론하거나 유추하는 생체 분류 시스템(biometric categorisation systems)을 시장에 출시하거나 이러한 특정 목적을 위해 서비스하거나 이러한 시스템을 사용하는 행위는 금지된다.(동조 동항 제f, g호) 다만 생체 분류 시스템의 경우 생체인식정보를 기반으로 법적으로 취득한 생채인식정보세트(biometric datasets)의 라벨링이나 필터링, 법 집행 영역에서 생체인식정보를 분류하는 행위는 금지되지 않는다.

공적인 영역에서 법 집행 목적으로 공개적으로 접근 가능한 공간에서 ‘실시간(real-time)’ 원격 생체 인식 시스템을 사용하는 것은 원칙적으로 금지된다. 여기서 ‘공개적으로 접근 가능한 공간(publicly accessible space)’이란 특정한 접근 조건이 적용되는지 여부와 잠재적 수용인원 제한 여부에 관계없이 불특정 다수의 자연인이 접근할 수 있는 공공 또는 사적 소유의 물리적 장소를 의미하는 것으로 정의하고 있다.(법 제3조 제44호) 다만 공개적으로 접근 가능한 공간에서의 실시간 원격 생체 인식 시스템의 사용은 3가지의 예외적인 경우에 사용이 가능하다. 첫째로 납치, 인신매매 또는 성적 착취의 피해자에 대한 표적 수색(targeted search) 및 실종자 수색을 위한 경우, 둘째로 자연인의 생명 또는 신체적 안전에 대한 구체적·실질적·임박한 위협(specific, substantial and imminent threat) 또는 테러 공격의 실질적이고 현존하는 또는 실질적이고 예측 가능한(genuine and present or genuine and foreseeable) 위협의 방지를 위한 경우, 마지막으로 부속서 II(Annex II)에 언급된 범죄에 대한 수사, 기소 또는 형사 처벌을 수행하거나 해당 회원국에서 최대 4년의 구금형으로 처벌할 수 있는 범죄를 저지른 것으로 의심되는 사람의 위치 추적(localisation) 또는 신원 확인(identification)을 목적으로 하는 경우에만 이 시스템의 사용이 예외적으로 허용된다. 이 시스템의 사용이 허용되는 경우라 하더라도 구체적으로 표적 대상의 신원을 확인하기 위해 위에 명시된 목적으로만 배치되어야 하고, 배치되는 경우에도 사용 가능성을 야기하는 상황의 특성, 특히 시스템을 사용하지 않을 경우 발생할 수 있는 피해의 심각성, 가능성 및 규모와 시스템 사용으로 인해 모든 관련자의 권리와 자유에 미치는 결과, 특히 그 결과의 심각성, 가능성 및 규모가 고려되어어야 한다(비례성 심사). 또한 이 시스템의 사용과 관련하여 시간적, 지리적, 개인적 제한(temporal, geographic and personal limitations)과 관련하여 필요하고 비례적인(necessary and proportionate) 안전장치와 조건이 준수되어야 한다.

그뿐만 아니라 공개적으로 접근 가능한 공간에서 이 시스템을 법 집행 목적으로 사용할 수 있기 위해서는 회원국의 국내법으로 세부 규정을 정하여 구속력을 가지는 사법기관이나 독립행정기관에 의한 사전허가를 받을 것을 규정하고 있다. 단 이 경우에도 적절한 절차에 따라 정당화되는 긴급 상황의 경우, 늦어도 24시간 이내에 부당한 지체 없이 승인을 요청하는 경우에는 승인 없이 시스템 사용을 시작할 수 있는 예외규정을 두고 있다. 다만 사후 승인이 거부되면 시스템의 사용은 즉시 중단되어야 하고 모든 데이터와 해당 사용의 결과 및 산출물은 즉시 폐기 및 삭제되어야 한다. 사법기관이나 독립행정기관은 법에 명시된 목적을 달성하기 위해 필요하고 비례성을 충족한다고 판단한 경우 승인할 수 있으며, 승인할 때에도 지리적, 인적 범위와 기간을 엄격하게 제한하여야 한다. 만약 이러한 조건에 따라 이 시스템의 사용이 허용되어 실행되는 경우 실시간 원격 생체 인식 시스템을 사용할 때마다 관련 시장 감시 기관 및 국가의 정보보호기관에 통지해야 한다.

이러한 내용을 종합해볼 때 공개적으로 접근 가능한 공간에서의 법 집행 목적으로 실시간 원격 생체 인식 시스템을 사용하는 것은 아주 예외적인 경우에만, 매우 복잡한 조건을 부과하여 실행될 수 있도록 법이 규정하고 있음을 알 수 있다. 더 나아가 인공지능법은 각 회원국이 이와 관련된, 그리고 실행에 필요한 세부적이고 구체적인 사항을 국내법에 따로 규정하도록 명령하고 있다. 이때 각 회원국은 원격 생체 인식 시스템의 사용에 대해 EU 인공지능법보다 더 제한적인 내용의 법률을 제정하는 것이 허용된다.

그리고 실시간 원격 생체 인식 시스템, 감정 인식 시스템(emotion recognition system), 생체 인식 분류 시스템(biometric categorisation system) 이외의 원격 생체인식 시스템, 즉 사후(post) 원격 생체 인식 시스템은 금지되는 AI 시스템이 아닌 고위험 AI 시스템으로 분류한다. 자연인의 원격 생체 인식 식별을 위한 AI 시스템의 기술적 부정확성은 편향된 결과를 초래하고 차별적 효과를 수반할 수 있다. 편향된 결과와 차별적 효과의 위험은 특히 연령, 민족, 인종, 성별 또는 장애와 관련이 있으므로 원격 생체 인식 시스템은 이러한 위험성을 고려하여 고위험군(high-risk)으로 분류되는 것이다.³⁷⁾

고위험 AI 시스템은 금지되는 것은 아니지만 의도된 목적과 인공지능 및 인공지능 관련 기술에 대해 일반적으로 인정되는 최신 기술을 고려하여 법에 명시된 요건을 완전히 준수할 책임이 있다. 인공지능법은 제8조 이하에 이러한 요건에 대해 상세하게 규정하고 있다. 고위험 AI 시스템은 위험관리 시스템을 수립하고 구현하며 문서화 및 유지·관리해야 한다. 이를 통해 고위험 AI 시스템의 실행으로 발생할 수 있는 위험을 보다 효과적으로 제거하거나 최소화해야 하고 위험을 제거할 수 없는 경우 이를 완화하기 위한 적절한 조치와 통제조치를 취해야 한다. 고위험 AI 시스템은 가장 적절하고 목표에 맞는 위험 관리 조치를 식별하기 위해 테스트를 받아야 한다. 이 테스트는 시장에 출시되기 전 그리고 출시된 후에도 언제든지 수행되어야 한다. 이러한 여러 제한들을 시행하기 위해 제공자(provider)와 배포자(deployer)에게 의무를 부과하고 있다. 즉 사후 원격 생체 인식 시스템은 실시간 원격 생체 인식 시스템보다 기본권 침해가 덜 할 수 있기 때문에 금지되는 것이 아니라 고위험군으로 분류되어 사용은 가능하지만 고강도의 상세한 규제를 받는 것으로 법이 규정하고 있음을 알 수 있다.