모바일 신분증 시대, 카카오뱅크가 금융권 최초로 신뢰성을 입증하다 
카카오뱅크는 지난 9월 한국정보통신기술협회(이하 TTA)가 주관한 모바일 신분증 안면인식 적합성 평과를 통과했습니다. 금융사 뿐 아니라 지난 7월 모바일 신분증 서비스를 개시한 민간 개방 기업 중에서도 자체 기술로 모바일 신분증 안면인식 적합성 평가를 통과한 곳은 카카오뱅크가 유일합니다[1]. 카카오뱅크는 연구소에서 개발한 자체 안면 인식 기술력을 바탕으로 향후 모바일 신분증 서비스를 보다 고도화하며 안정성 또한 강화할 예정입니다.
안면인식 적합성 평가란 무엇인가?
모바일 운전면허증을 시작으로 발급 가능한 모바일 신분증의 종류가 확대되고 있습니다. 모바일 국가신분증 전용 앱에서 민간 앱으로 발급 범위가 넓어지면서, 안심인증 수단으로 사용되는 안면인식 기능에 대한 평가 기준 마련 필요성이 대두되고 있습니다.
이에 행정안전부에서는 한국정보통신기술협회에 안면인식 평가를 이임했습니다. 현재 한국정보통신기술협회는 공통 기술 기준을 마련한 뒤, 다양한 민간 앱의 안면인식 기능이 적합한지 확인하는 ‘안면인식 적합성 평가’를 진행하고 있습니다.
평가는 주요 기능 구현 여부를 포함한 다양한 항목으로 구성되어 있습니다. 그중 인증 단계에서 수행되는 핵심 기술은 크게 ‘안면인식’과 ‘안면 위변조’ 두 가지입니다.
안면인식안면인식은 입력된 두 이미지를 바탕으로 동일 인물인지 판단하는 기술을 의미합니다. 크게 안면 검출(Face Detector)과 안면 특징 추출(Feature Extraction)로 나눌 수 있습니다.
먼저 ‘안면 검출’ 단계에서는 배경이 포함된 안면 이미지에서 안면 영역만을 추출합니다. 이 과정에서 눈, 코, 입 등 특징점의 좌표를 찾아, 미리 정해 둔 기준 위치에 오도록 회전·이동·크기 조정 등의 정렬(Alignment)을 합니다. 이와 같이 안면 영역 추출과 정렬 작업을 진행하는 이유는 사람을 구별하는 작업 자체가 매우 어렵기 때문입니다. 위 과정과 같이 얼굴을 일정한 형태와 위치로 맞춰 주면, 이후 단계에서 모델이 순수하게 누구인지를 판단하는 데 집중할 수 있어 사람을 구별하는 성능이 훨씬 좋아집니다. 이후 ‘안면 특징 추출’ 단계에서 앞선 단계에서 처리된 이미지를 바탕으로 개개인의 특성을 식별하는 특징 추출 모델을 만듭니다.
안면 위변조악의적인 목적으로 인증을 시도했는지 여부를 판단합니다. 보통 입력된 이미지에 대해 정상/공격 여부를 구분하는 이진 분류의 형태로 모델을 개발합니다.
공격 유형에는 다음과 같은 방식들이 있습니다.
•
프린트 공격: 사람 얼굴을 종이에 출력하여 인증 시도
•
디스플레이 공격: 휴대폰, 모니터 화면, 태블릿, TV 등에 얼굴이나 영상 노출
•
3D 마스크 공격: 실제 얼굴처럼 제작된 마스크를 착용해 인증을 시도하는 유형으로, 실리콘 마스크, 3D 프린터로 출력한 마스크, 종이 기반의 마스크 등 다양한 형태가 포함됨
이들을 탐지하기 위해 이미지의 질감이나 표면처럼 미세한 패턴을 정교하게 구분할 수 있는 모델을 개발하고 있습니다.
평가 기준
성능평가안면인식 성능에 대한 평가로, FAR과 FRR과 같은 지표를 사용하여 평가합니다.
•
FAR(False Acceptance Rate): 다른 사람을 본인으로 잘못 인식해서 통과시켜 버리는 비율
•
FRR(False Rejection Rate): 실제 본인을 다른 사람으로 잘못 인식해서 거부해버리는 비율
보안평가안면 위변조 성능에 대한 평가로, SAR, FRR 등의 지표를 사용하여 평가합니다.
•
SAR(Spoof Acceptance Rate): 스푸핑 공격을 정상으로 잘못 통과시켜 버린 비율
•
FRR(False Rejection Rate): 정상 사용자를 스푸핑(가짜)로 잘못 판단해서 막아버린 비율
•
Recall: 실제 스푸핑 공격 케이스 중 모델이 제대로 찾아낸 비율
•
Precision: 모델이 스푸핑 공격으로 예측한 것들중 실제로 스푸핑 공격인 비율
평가 인증 수행 과정
(1) 현황 파악 및 방향 수립
카카오뱅크는 신분증/셀카 인증을 서비스를 바탕으로 안면인식과 안면 위변조 모델을 운영한 경험이 있어 준비 과정이 상대적으로 수월했습니다. TTA 평가인증은 1) 테스트 디바이스 및 촬영 환경이 훨씬 다양하게 구성되어 있었습니다. 예를 들어, 다각도 촬영은 9개 방향, 저조도는 30±20 lux, 고조도는 3000±500 lux 등 세부 조건이 제시되어 있었습니다. 2) 각 디바이스/환경 별 FAR, FRR, SAR 등 주요 지표들도 모두 만족해야 했습니다. 이에, 현 수준에 대한 보다 객관적인 평가와 대응이 필요했습니다.
TTA 평가인증과 유사한 환경을 기준으로 테스트 데이터셋을 구성하고, 서비스에서 운용 중인 모델을 활용해 자체 테스트를 진행했습니다. ‘안면인식 모델’은 대부분의 항목에서 안정적인 수준을 확인한 반면, ‘안면 위변조 모델’의 보안 평가에서는 일부 항목에 보완이 필요했습니다. 이에 따라 성능 평가는 기존 안면인식 모델을 기반으로 임계값 조정 등 정책적 대응을 적용하고, 보안 평가는 보완이 필요한 영역에 대해 신규 모델을 개발하여 기존 모델과 함께 운영하는 방식으로 접근했습니다.
(2) 안면인식 성능평가 - 최적 임계치 탐색
성능평가에서는 촬영 환경과 디바이스 종류가 바뀌더라도 하나의 임계치만 사용 해야하는 한다는 조건이 있어 임계치 설정이 무엇보다도 중요했습니다. 우선 KISA, NIST 등 과거 당행에서 수행했던 대외 인증에서의 임계치를 참고했으며, 안면 공개 벤치마크(IJB-B, IJB-C 등)에서의 임계치 별 성능을 파악하여 임계치의 상한선과 하한선을 설정했습니다. 다각도, 저조도, 고조도 등의 환경이 포함된 공개 데이터(AI-HUB) 기반으로 테스트를 수행하여 최종 임계치를 결정했습니다.
(3) 안면 위변조 보안평가 - 데이터셋 구축 및 신규 모델 개발
데이터셋 구축신규 모델을 개발하기 위해, 보완이 필요한 영역을 충분히 반영한 학습 데이터셋을 먼저 확보하는 과정이 필요했습니다. 이를 위해 필수 보완 영역은 물론, 4K 모니터를 촬영한 고품질 이미지처럼 더 진짜 같은 스푸핑 이미지와 흔들림이 있는 저품질 사진처럼 더 가짜 같은 정상 이미지를 다수 제작하는 것을 목표로 했습니다. 수집 과정에서 디바이스, 조명 환경, 공격 유형 등 레이블링 작업에 많은 리소스가 들어가게 되는데, 이를 단축시키기 위해 레이블링을 편하게 할 수 있는 별도의 수집 어플리케이션을 만들어서 데이터셋을 수집했습니다.
신규 모델 개발구축된 데이터셋을 기반으로 보완 영역에 대한 신규 모델 개발을 진행했습니다. 디바이스나 공격 유형에 따라 성능 편차가 발생할 수 있기 때문에, 하나의 대형 모델을 사용하기보다는 작은 크기의 모델을 여러 개 만들어 결과를 앙상블하는 방식을 적용했습니다. 학습 과정에서 결과가 정상 혹은 스푸핑 한쪽으로 치우치는 현상을 방지하기 위해 Label Smoothing[2] 기반의 손실함수를 사용했고, 작은 크기의 모델이 빠르게 수렴되는 문제를 해결하기 위해 AWP(Adversarial Weight Perturbation) 기법을 적용했습니다[3]. 이러한 방식을 통해 모델 성능을 최대한 끌어올렸습니다.
평가 결과
앞서 개발한 모델을 바탕으로 TTA 본시험을 수행할 최종 모델과 파이프라인을 확정했고, 이를 바탕으로 시험을 수행했습니다. 우선 ‘성능평가’의 경우 오인식 가능성(FAR), 오거부 가능성(FRR) 모든 항목에서 기준치인 이내의 안정적인 성능을 보였습니다. ‘보안평가’ 결과도 우수했습니다. 모든 디바이스 환경에서 공격 수락율(SAR)과 오거부 가능성(FRR) 평가 기준을 충족했습니다.
더 안전한 인증을 향한 한 걸음, 안면인식 평가 취득까지
앞서 소개해드린대로 이번 모바일 안면인식 적합성 평가 취득은 금융사 뿐 아니라 지난 7월 모바일 신분증 서비스를 개시한 민간 개방 기업 중에서도 카카오뱅크가 유일합니다. 비교적 짧은 준비 기간에도 최종 적합 판정이라는 좋은 결과를 낼 수 있었던 것은, 1) 신분증/셀카 인증 등의 서비스를 꾸준히 진행해 온 점, 2) 관련한 특허/논문 출원, 인증 등을 통해 관련 기술을 꾸준히 발전시켜온 점이 주효하다고 생각합니다. 앞으로도 다양한 케이스에 대해 안면인식과 안면 위변조 기술의 지속적인 연구를 통해 더욱 고도화되고, 안전성 또한 강화된 인증 서비스를 제공하도록 노력하겠습니다
Reference
[2] Müller, R., Kornblith, S., & Hinton, G. E. (2019). When does label smoothing help?. Advances in neural information processing systems, 32.
[3] Wu, D., Xia, S. T., & Wang, Y. (2020). Adversarial weight perturbation helps robust generalization. Advances in neural information processing systems, 33, 2958-2969.
카카오뱅크 금융기술연구소
Financial Tech Lab