목록보기

Abstract

Federated learning (FL) has emerged as a promising approach for collaboratively training global models and classifiers without sharing private data. However, existing studies primarily focus on distinct methodologies for typical and personalized FL (tFL and pFL), representing a challenge in exploring cross-applicable training methods. Moreover, previous approaches often rely on data and feature augmentation branches, overlooking data-quantity considerations, leading to suboptimal performance and inefficient communication costs, particularly in multi-class classification tasks. To address these challenges, we propose a novel add-on regularization technique for existing FL methods, named Data-quantity Aware Regularization (FedDAR), seamlessly integrating with existing tFL and pFL frameworks. This network-agnostic methodology reformulates the local training procedure by incorporating two crucial components: 1) enriched-feature augmentation, where features of the local model are coordinated with pre-initialized features to ensure unbiased-representations with efficient global communication rounds for unbalanced data distribution, and 2) data-quantity aware branch, which associates with local data size to improve the optimization of the local model using both supervised and self-supervised labels. We demonstrate significant performance improvements in tFL and pFL, achieving state-of-the-art results across MNIST, F-MNIST, CIFAR-10/100, and Tiny-ImageNet benchmarks.

FedDAR: Federated Learning with Data-quantity Aware Regularization for Heterogeneous Distributed Data

본 발명은 프롬프트 어택 탐지 모델의 학습을 위한 학습 데이터 생성 및 증강 방법에 관한 것이다. 구체적으로는 신뢰도 기반의 데이터 레이블 조정을 활용하여 데이터 셋의 품질을 높이고, 특정 도메인에 최적화된 데이터 셋을 생성하는 것을 목적으로 한다. 또한, 금융 시나리오와 같이 특정 도메인에서 발생할 수 있는 오탐 문제를 해결하기 위해 해당 도메인에 특화된 데이터 증강 기법을 적용하여 데이터 셋의 다양성과 범용성을 증대시켜 프롬프트 어택 탐지 모델의 성능을 높일 수 있다.

Copyright ⓒ KakaoBank Corp. All rights reserved.

프롬프트 어택 탐지 모델의 학습을 위한 학습 데이터 생성 방법 및 이를 통한 프롬프트 어택의 판단 방법

본 발명은 프롬프트 어택의 탐지 방법에 관한 것이다. 구체적으로는 특정 도메인에서 프롬프트 어택 판단 시, 정상적인 요청을 어택으로 오판하거나 실제 어택을 정상으로 오판하는 문제를 방지하는 방법을 제안한다. 입력된 쿼리의 길이에 따라 적합한 판단 모델을 선택하고 다양한 판단 모델의 조합을 활용, 조건에 따라 가중치를 동적으로 조정하여 프롬프트 어택 여부를 판단한으로써 판단 오류를 최소화하도록 보조한다.

Copyright ⓒ KakaoBank Corp. All rights reserved.

컴퓨팅 장치에서 수행되는 프롬프트 어택 탐지 방법 및 이를 수행하는 컴퓨팅 장치

본 발명은 복수의 딥러닝 모델의 성능에 대한 우열을 가리기 위한 딥러닝 모델의 스코어링 방법에 관한 것이다. 본 발명의 목적은, 복수의 심판 모델(judge model)을 이용하여 복수의 평가 대상 모델에 대한 평가를 수행함으로써, 복수의 평가 대상 모델에 대한 성능 평가의 편향성을 줄이고, 객관성을 확보할 수 있는 딥러닝 모델의 스코어링 방법을 제공하는 것이다. 비교하는 평가 대상 모델의 수를 늘리거나, 복수의 심판 모델을 이용함에 따라 필연적으로 증가되는 비교 횟수를 감소시킴으로써, 복수의 평가 대상 모델에 대한 스코어링 수행에 필요한 시스템 리소스를 최소화 시키고, 평가 속도는 가속화 시키면서도, 평가 결과에 대한 정확도는 향상시킬 수 있다.

Copyright ⓒ KakaoBank Corp. All rights reserved.

딥러닝 모델의 스코어링 방법 및 이를 수행하는 서버

본 발명은 복수의 딥러닝 모델 중에서 제공하고자 하는 특정 서비스에 가장 적합한 딥러닝 모델을 선정하기 위한 서비스 맞춤형 딥러닝 모델 평가 방법에 관한 것이다. 복수의 평가요소를 기초로 테스트 셋을 구성함에 따라, 딥러닝 모델의 추론 능력을 정확히 평가하여 객관성을 확보할 수 있다. 또한, 특정 딥러닝 모델의 추론이 실패하는 경우 원인이 되는 입력값을 보완할 수 있으며, 동일한 이슈가 재발하지 않도록 조치할 수 있기에 서비스 맞춤형 딥러닝 평가 방법을 제공할 수 있다.

Copyright ⓒ KakaoBank Corp. All rights reserved.

서비스 맞춤형 딥러닝 모델 평가 방법 및 이를 수행하는 서버

Abstract

Access to financial tabular data is often restricted owing to strict regulations surrounding personal information. Despite the advanced generative capabilities of large language models (LLMs), methodologies for the effective creation or expansion of financial tabular datasets remains undeveloped. The complexity of attribute relationships and the diverse data ranges in financial services present significant challenges in processing and understanding these datasets. To address these issues, we propose an expertise-centric prompting framework for synthesizing realistic and accessible pseudo-financial data. This framework involves a collaboration between financial experts and LLMs, focusing on schema calibration and attribute constraints. Moreover, we introduce new metrics to evaluate the realism of these pseudo datasets. We validated the effectiveness of the proposed framework and metrics on both English and Korean datasets, encompassing card transactions, loan statements, and deposits and savings, utilizing pre-trained LLMs such as KoGPT, ClovaX, LLAMA 2-Chat, GPT-3.0, and ChatGPT-3.5/4.0.

Expertise-Centric Prompting Framework for Financial Tabular Data Generation using Pre-trained Large Language Models

Abstract

Federated Learning (FL) for face recognition aggregates locally optimized models from individual clients to construct a generalized face recognition model. However, previous studies present two major challenges: insufficient incorporation of self-supervised learning and the necessity for clients to accommodate multiple subjects. To tackle these limitations, we propose FedFS (Federated Learning for personalized Face recognition via intra-subject Self-supervised learning framework), a novel federated learning architecture tailored to train personalized face recognition models without imposing subjects. Our proposed FedFS comprises two crucial components that leverage aggregated features of the local and global models to cooperate with representations of an off-the-shelf model. These components are (1) adaptive soft label construction, utilizing dot product operations to reformat labels within intra-instances, and (2) intra-subject self-supervised learning, employing cosine similarity operations to strengthen robust intra-subject representations. Additionally, we introduce a regularization loss to prevent overfitting and ensure the stability of the optimized model. To assess the effectiveness of FedFS, we conduct comprehensive experiments on the DigiFace-1M and VGGFace datasets, demonstrating superior performance compared to previous methods.

Federated Learning for Face Recognition via Intra-subject Self-supervised Learning

Abstract

To mitigate the annual financial losses caused by SMS phishing (smishing) in South Korea, we propose an explainable smishing detection framework that adapts to a Korean-centric large language model (LLM). Our framework not only classifies smishing attempts but also provides clear explanations, enabling users to identify and understand these threats. This end-to-end solution encompasses data collection, pseudo-label generation, and parameterefficient task adaptation for models with fewer BertScore 0.90 0.68 BLEU 0.70 0.25 0.19 0.12 0.06 0.52 0.35 0.18 Accuracy 1.00 0.75 0.45 0.22 0.50 0.25 0.25 0.50 0.25 ROUGE 1.25 1.25 2.50 3.75 5.00 Logicalness 2.50 1.25 1.25 2.50 2.50 3.75 3.75 F1 (Normal) 1.00 0.75 0.50 3.75 0.75 5.00 1.00 F1 (Smishing) Format Adherence than five billion parameters. Our approach achieves a 15% improvement in accuracy over GPT-4 and generates high-quality explanatory text, as validated by seven automatic metrics and qualitative evaluation, including human assessments.

KorSmishing Explainer: A Korean-centric LLM-based Framework for Smishing Detection and Explanation Generation

본 발명은 언어 모델을 이용한 텍스트의 분류에 관한 것이다. 본 발명에 따른 컴퓨팅 장치에서 수행되는 텍스트의 분류 목적에 따른 분류 방법에 있어서, 분류를 위한 대상 텍스트를 입력 받을 수 있으며, 언어 모델을 이용하여 상기 입력된 대상 텍스트로부터 상기 대상 텍스트의 분류에 대한 제1 판단 결과 및 판단 근거를 생성할 수 있고, 상기 생성된 제1 판단 결과 및 판단 근거를 출력할 수 있다. 본 발명에 따르면, 언어 모델 기반의 텍스트 분류 결과와 분류 결과에 대한 자연어로 구성된 상세한 설명을 제공할 수 있다. 본 발명은 사용자가 모델의 예측 결과를 더 쉽게 이해하고, 그에 따라 신속하고 정확한 의사결정을 내릴 수 있도록 보조할 수 있다.

텍스트의 분류 목적에 따른 분류 방법 및 이를 수행하는 컴퓨팅 장치

본 발명은 적응형 라벨을 이용한 연합 학습 방법과 이를 수행하는 장치를 개시한다. 상기 연합 학습 방법은, 로컬-글로벌 학습 모델에 포함된 제1 신경망의 중간 레이어와, 개인화 학습 모델에 포함된 제2 신경망의 중간 레이어에서 각각 도출된 값을 기초로 제1 로스값을 산출하는 단계, 상기 제1 신경망의 최종 레이어 및 상기 제2 신경망의 최종 레이어에서 각각 도출된 값과, 로컬 모델에서 도출된 값을 기초로 제2 로스값을 산출하는 단계, 상기 제1 로스값 및 상기 제2 로스값을 기초로 상기 로컬-글로벌 학습 모델을 학습시키는 단계, 학습된 상기 로컬-글로벌 학습 모델의 상기 제1 신경망에 임베딩된 로컬-글로벌 파라미터를 상기 글로벌 서버에 전달하는 단계, 상기 로컬-글로벌 파라미터를 이용하여 생성된 글로벌 파라미터를, 상기 글로벌 서버로부터 수신하는 단계, 및 수신된 상기 글로벌 파라미터를 기초로 상기 제1 신경망의 가중치를 업데이트하는 단계를 포함한다.

적응형 라벨을 이용한 연합 학습 방법 및 이를 수행하는 장치

본 발명은 개인화 인증 방법 및 이를 수행하는 서버가 제공된다. 상기 개인화 인증 방법은, 사용자 단말을 이용하는 사용자에 대한 사용자 데이터를 수집하는 단계, 상기 사용자 데이터와 관련 있는 유사 데이터를 추출하는 단계, 상기 유사 데이터에 대한 적어도 하나의 클러스터를 생성하고, 상기 클러스터에 난이도 태그 를 부여하는 단계, 상기 사용자 데이터를 기초로, 상기 사용자 단말에 제공할 문답 데이터의 질문 난이도를 결정하는 단계, 상기 질문 난이도에 대응되는 질문 및 정답을 포함하는 문답 데이터를 생성하는 단계, 및 생성된 상기 문답 데이터에 포함된 질문을 상기 사용자 단말에 제공하는 단계를 포함한다.

개인화 인증 방법 및 이를 수행하는 서버

본 발명은 추정 가속화 방법 및 이를 수행하는 서버에 관한 것이다. 상기 추정 가속화 방법은, 설명 대상 모델 및 대리 모델을 이용하여 서버에서 수행되며, 미리 저장된 데이터 셋을 기초로 배경 데이터를 추출하는 단계, 상기 데이터 셋을 기초로 변형 데이터를 생성하는 단계, 상기 데이터 셋 및 상기 배경 데이터를 기초로 생성된 조합 데이터를 입력으로 상기 설명 대상 모델에서 출력된 제1 출력값과, 상기 변형 데이터를 입력으로 상기 대리 모델에서 출력된 제2 출력값의 차이를 기초로 상기 대리 모델을 학습시키는 단계, 새로운 입력 데이터에 대해 상기 학습된 대리 모델에서 출력된 추론 데이터를 설명 모듈에 전달하는 단계, 및 상기 추론 데이터를 입력으로 상기 설명 모듈에서 출력된 출력값을 이용하여, 상기 새로운 입력 데이터에 대한 설명 결과를 제공하는 단계를 포함한다.

대리 모델을 이용한 추정 가속화 방법 및 이를 수행하는 서버

본 발명은 리소스 기반 연합 학습 방법과 이를 수행하는 로컬 장치 및 서버를 개시한다. 상기 리소스 기반 연합 학습 방법은, 로컬 장치의 하드웨어 정보 또는 미리 저장된 데이터셋의 크기를 기초로, 상기 로컬 장치의 개인화 모델에 적용될 개인화 모델 파라미터의 크기를 결정하는 단계, 상기 결정된 크기의 상기 개인화 모델 파라미터를 상기 개인화 모델에 적용하고, 상기 개인화 모델을 이용하여 상기 로컬 장치의 로컬 모델을 학습시키는 단계, 상기 로컬 모델에 포함된 신경망의 가중치에 대한 로컬 파라미터를 상기 글로벌 서버에 전송하고, 상기 로컬 파라미터를 기초로 도출된 글로벌 파라미터를 상기 글로벌 서버로부터 수신하는 단계, 및 상기 글로벌 파라미터를 상기 로컬 모델에 적용하고, 상기 로컬 모델을 이용하여 새로운 사용자 데이터에 대한 출력값을 도출하는 단계를 포함한다.

리소스 기반 연합 학습 방법과 이를 수행하는 로컬 장치 및 서버

본 발명은 언어 모델을 이용한 지식 베이스 구축 방법에 관한 것이다. 본 발명에 따른 컴퓨팅 장치에서 수행되는 지식 베이스 구축 방법은, 학습된 언어 모델을 이용하여 원본 데이터를 복수의 조각으로 분할한 각각의 데이터 조각과 관련된 예상 질의를 생성하는 단계; 상기 언어 모델을 이용하여 상기 데이터 조각으로부터 상기 생성된 예상 질의에 대한 요약문을 생성하는 단계; 및 상기 예상 질의를 벡터화한 인덱스와 상기 예상 질의에 대한 요약문을 상기 인덱스에 대한 내용 데이터로 구성하는 지식 베이스를 생성하는 단계를 포함한다. 본 발명에 따르면, 지식 베이스 내 검색 대상과 질의 간의 의미론적 유사성을 높여 질의와 관련된 정보의 검색 정확성을 개선할 수 있다. 나아가 검색된 부가 정보를 통해 언어 모델이 사용자의 질의에 대한 더 정확하고 관련성 있는 응답을 생성할 수 있다.

언어 모델을 이용한 지식 베이스 구축 방법, 지식 베이스를 이용한 응답 제공 방법 및 이를 수행하는 컴퓨팅 장치

본 발명은 가상 테이블 데이터 생성 방법 및 이를 수행하는 서버를 개시한다. 가상 테이블 데이터 생성 방법은 테이블 스키마의 생성을 위한 제1 프롬프트를 생성하는 단계, 제1 프롬프트를 기초로 생성된 테이블 스키마와 미리 정의된 기준 테이블 스키마를 비교하여 상기 테이블 스키마를 조정하는 단계, 조정된 테이블 스키마를 참조하여 제2 프롬프트를 생성하는 단계, 제2 프롬프트를 기초로 생성된 제1 테이블 데이터에 대한 테이블 조건 데이터를 생성하는 단계, 테이블 조건 데이터 및 상기 조정된 테이블 스키마를 참조하여 제3 프롬프트를 생성하는 단계, 제3 프롬프트를 기초로 생성된 제2테이블 데이터에 대한 검증 동작을 통해 최종 테이블 데이터를 도출하는 단계를 포함한다.

가상 테이블 데이터 생성 방법 및 이를 수행하는 서버

본 발명은 자산 운용 서비스 제공 방법 및 이를 수행하는 서버를 개시한다. 자산 운용 서비스 제공 방법은 입력 단말과 연동되는 서버에서 수행되는 자산 운용 서비스 제공 방법에 있어서 입력 단말로부터 사용자의 계정 정보를 수신하는 단계, 상기 사용자의 대화 이력 및 상기 계정 정보를 기초로 도출된 투자 이력을 통해 위험 성향을 추론하고, 유사 집단과 비교하여 보정하는 단계 및 상기 위험 성향 또는 시황 정보의 변동이 있는 경우 상기 위험 성향 및 상기 시황 정보에 기초하여 상기 사용자의 자산 리밸런싱(rebalancing)을 수행하는 단계를 포함한다.

자산 운용 서비스 제공 방법 및 이를 수행하는 서버

본 발명은 언어 모델을 통한 질의에 대한 응답을 제공하는 대화형 추천 방법을 제공하는 방법에 관한 것이다. 컴퓨팅 장치에서 수행되는 언어 모델을 이용한 대화형 추천 방법은 사용자의 자연어 기반 질의를 입력으로 언어 모델이 구조화된 명령문을 생성하는 단계, 명령문에 따라 소스 데이터에서 응답 테이블을 추출하는 단계, 추출된 응답 테이블을 입력으로 상기 언어 모델이 자연어 기반의 응답을 생성하는 단계, 생성된 응답을 상기 사용자에게 제공하는 단계를 포함한다. 본 발명에 따르면 데이터베이스를 통해 언어 모델은 실제 데이터에 접근하여 보다 구체적이고 정확한 정보를 제공할 수 있다.

언어 모델을 이용한 대화형 추천 방법 및 이를 수행하는 컴퓨팅 장치

본 발명은 개인화 연합 학습 방법, 개인화 연합 학습 방법 및 이를 수행하는 장치를 개시한다. 개인화 연합 학습 방법은 사용자 단말의 인터페이스를 통해 수신된 사용자 데이터를 기초로 입력 데이터를 생성하는 단계, 상기 사용자 단말에 구비된 제1 학습 모델에 상기 입력 데이터를 입력하고 이에 대한 출력을 이용하여 제1 학습 모델을 학습시키는 단계, 제1 학습 모델에 포함된 신경망의 가중치에 대한 로컬 파라미터를 서버에 전송하는 단계, 로컬 파라미터를 기초로 도출된 글로벌 파라미터를 상기 서버로부터 수신하는 단계, 글로벌 파라미터가 적용된 상기 제1 학습 모델, 상기 제1 학습 모델과 연계된 제2학습 모델에 상기 입력 데이터를 입력하고 이에 대한 출력을 이용하여 상기 제2학습 모델을 학습시키는 단계를 포함한다.

개인화 연합 학습 방법, 사용자 인증 방법 및 이를 수행하는 장치

본 발명은 컨텐츠 제공 서버에서 수행되는 자동 일기 컨텐츠 제공 방법이다. 사용자 단말에 제공되는 제1 입력 신호에 따라 사용자의 금융 거래 데이터와 관련된 자동 일기 컨텐츠를 생성하기 위한 제1 프롬프트를 생성하는 단계, 상기 제1 프롬프트를 컨텐츠 생성 서버에 제공하는 단계, 상기 제1 프롬프트를 기초로 상기 컨텐츠 생성 서버에서 생성된 자동 일기 컨텐츠를 수신하는 단계, 상기 사용자 단말에 상기 자동 일기 컨텐츠를 표시하기 위한 데이터를 사용자 단말에 제공하는 단계를 포함한다.

자동 일기 컨텐츠 제공 방법 및 이를 수행하는 서버

본 발명은 컨텐츠 제공 서버에서 수행되는 컨텐츠 제공 방법으로서, 사용자의 금융 거래 데이터를 포함하는 입력 데이터를 이용하여 상기 입력 데이터와 관련된 제1 컨텐츠를 생성하기 위한 컨텐츠 생성 프롬프트를 생성하는 단계, 상기 컨텐츠 생성 프롬프트를 컨텐츠 생성 서버에 제공하는 단계 및 상기 컨텐츠 생성 서버에서 생성된 상기 제1 컨텐츠와 상기 제1 컨텐츠를 평가하기 위한 평가 컨텐츠를 수신하는 단계를 포함한다.

프롬프트 생성 방법, 자동 일기 생성 방법 및 이를 이용한 컨텐츠 제공 방법과 이를 수행하는 서버

본 발명은 평가 모델의 구축 방법에 관한 것이다. 본 발명의 일 실시예에 따른 평가 모델 구축 방법은 모집단을 선정하는 단계, 선정된 모집단에 대해 평가 모델의 목적에 따른 변수를 선택하는 단계를 포함하고, 변수를 선택하는 단계는 변수에 대한 모집단의 구간화된 분포에 따라 통계적 특성을 갖는 것으로 판단된 유효 변수를 선택하는 것이 바람직하다. 본 발명에 따르면 단순히 수치화된 지표로만 판단하기 어려운 변수의 분포와 패턴을 효과적으로 확인할 수 있다. 이를 통해 모델링을 위한 변수의 선택과 분석 과정에서의 시간과 노력을 절약할 수 있다.

컴퓨팅 장치에서 수행되는 부실화 예측 방법 및 이를 수행하는 컴퓨팅 장치

Abstract

Owing to the advances in image processing technology and large-scale datasets, companies have implemented facial authentication processes, thereby stimulating increased focus on facial anti-spoofing (FAS) against realistic presentation attacks. Recently, various attempts have been made to improve face recognition performance using both global and local learning on face images; however, to the best of our knowledge, this is the first study to investigate whether the robustness of FAS against domain shifts is improved by considering global information and local cues in face images captured using self-attention and convolutional layers.

This study proposes a convolutional vision transformer-based framework that achieves robust performance for various unseen domain data. Our model resulted in 7.3%p and 12.9%p increases in FAS performance compared to models using only a convolutional neural network or vision transformer, respectively. It also shows the highest average rank in sub-protocols of cross-dataset setting over the other nine benchmark models for domain generalization.

Robust Face Anti-spoofing Framework with Convolutional Vision Transformer

본 발명은 평가 모델의 구축 방법에 관한 것이다. 모집단을 선정하는 단계 및 상기 선정된 모집단에 대해 평가 모델의 목적에 따른 변수를 선택하는 단계를 포함하고, 상기 변수에 대한 모집단의 구간화된 분포에 따라 통계적 특성을 갖는 것으로 판단된 유효 변수를 선택하는 것이 바람직하다. 본 발명에 따르면 단순히 수치화된 지표로만 판단하기 어려운 변수의 분포와 패턴을 효과적으로 확인할 수 있다. 이를 통해 모델링을 위한 변수의 선택과 분석 과정에서의 시간과 노력을 절약할 수 있다.

컴퓨팅 장치에서 수행되는 평가 모델 구축 방법 및 이를 수행하는 컴퓨팅 장치

(This page will be updated soon)

FTL ranks 2nd place in ‘OOD-CV Challenge SSB Challenge Track(Generalized Category Discovery)’.

OOD-CV Challenge SSB Challenge Track(Generalized Category Discovery)

Hansol Kim and Youngjun Kwak contributed equally to this work

Abstract

Federated learning (FL) is a promising approach for enhancing data privacy preservation, particularly for authentication systems. However, limited round communications, scarce representation, and scalability pose significant challenges to its deployment, hindering its full potential. In this paper, we propose ‘ProtoFL’, Prototypical Representation Distillation based unsupervised Federated Learning to enhance the representation power of a global model and reduce round communication costs. Additionally, we introduce a local one-class classifier based on normalizing flows to improve performance with limited data. Our study represents the first investigation of using FL to improve one-class classification performance. We conduct extensive experiments on five widely used benchmarks, namely MNIST, CIFAR-10, CIFAR-100, ImageNet-30, and Keystroke-Dynamics, to demonstrate the superior performance of our proposed framework over previous methods in the literature.

ProtoFL: Unsupervised Federated Learning via Prototypical Distillation

(This page will be updated soon)

FTL ranks 2nd place in ‘OOD-CV Challenge Object Detection Track(Any Self Supervised)’.

OOD-CV Challenge Object Detection Track(Any Self Supervised)

ICCV 2023 Workshops

(This page will be updated soon)

FTL took 2nd place in ‘Resource Efficient Deep Learning for Computer Vision(RCV) Track 2, Budgeted Model Inference Challenge’.

Resource Efficient Deep Learning for Computer Vision(RCV) Track 2, Budgeted Model Inference Challenge

ICCV 2023 Workshops

Abstract

The budgeted model training challenge aims to train an efficient classification model under resource limitations. To tackle this task in ImageNet-100, we describe a simple yet effective resource-aware backbone search framework composed of profile and instantiation phases. In addition, we employ multi-resolution ensembles to boost inference accuracy on limited resources. The profile phase obeys time and memory constraints to determine the models’ optimal batch-size, max epochs, and automatic mixed precision (AMP). And the instantiation phase trains models with the determined parameters from the profile phase. For improving intra-domain generalizations, the multi-resolution ensembles are formed by two-resolution images with randomly applied flips. We present a comprehensive analysis with expensive experiments. Based on our approach, we win first place in International Conference on Computer Vision (ICCV) 2023 Workshop Challenge Track 1 on Resource Efficient Deep Learning for Computer Vision (RCV).

Resource Efficient Deep Learning for Computer Vision(RCV) Track 1, Budgeted Model Training Challenge

ICCV 2023 Workshops

본 발명은 대규모 언어 모델의 적응을 통한 태스크의 수행 결과를 제공하는 방법에 관한 것이다. 적응형 언어 모델을 이용한 태스크 수행 방법은 대규모 언어 모델의 태스크의 수행 가능성을 판단하는 단계, 태스크의 수행이 가능하다고 판단된 대규모 언어 모델을 수집 데이터로 적응시키는 단계, 적응된 대규모 언어 모델에 쿼리 데이터를 입력 프롬프트로 입력하여 태스크를 수행하는 단계, 태스크의 수행 결과를 출력하는 단계를 포함한다. 본 발명에 따르면 대규모 언어 모델을 다양한 태스크에 유연하게 적용할 수 있게 하며 한정된 태스크나 도메인이 아닌 여러 분야로 활용 분야를 안정적으로 확장할 수 있다.

적응형 언어 모델을 이용한 태스크 수행 방법 및 이를 수행하는 컴퓨팅 장치

본 발명은 이미지 기반의 계좌이체 서비스 제공 방법 및 이를 수행하는 금융 서버를 개시한다. 상기 이미지 기반의 계좌이체 서비스 제공 방법은, 사용자 단말로부터 계좌정보를 포함하는 이미지를 수신하는 단계, 상기 수신된 이미지를 인식 모듈에 입력하고, 상기 인식 모듈의 출력으로 상기 이미지에 포함된 문자에 대한 인식정보를 획득하는 단계, 상기 이미지에 대응되는 금융거래에 대한 이체정보를 획득하는 단계, 상기 인식정보와 상기 이체정보를 비교하여 로스값을 산출하는 단계 및 상기 로스값이 작아지도록 상기 인식 모듈을 학습시키는 단계를 포함한다.

이미지 기반의 계좌이체 서비스 제공 방법 및 이를 수행하는 금융 서버

본 발명은 생성형 언어 모델의 질의 응답 제공 방법에 관한 것이다. 응답 서버에서 수행되는 질의 기반 생성형 언어 모델의 응답 제공 방법은 사용자 질의를 입력 받는 단계; 거대 언어 모델인 제1 모델에 기초하여 상기 사용자 질의에 대한 제1 출력 값을 산출하는 단계; 상기 사용자 질의에 대한 데이터베이스 검색 모델의 검색 결과 값을 포함하는 질의 세트를 제2 모델에 입력하여 제2출력 값을 산출하는 단계; 및 미리 정의된 출력 방식에 따라 상기 제1 출력 값 또는 제3 모델에 의해 정제된 제3 출력값을 응답으로 출력하는 단계를 포함한다. 본 발명에 따르면 범용 모델의 입력에 의존하는 결과를 도메인 내 데이터베이스를 활용하여 재구성된 입력을 통해 사용자의 질의에 대한 응답의 질을 높일 수 있다.

조건부 확률 모델을 통한 추론 방법 및 이를 수행하는 컴퓨팅 장치

Abstract

Insurance companies have focused on medicare fraud detection to reduce financial losses and reputational harm because medicare fraud causes tens of billions of dollars in damage annually. This study demonstrates that medicare fraud detection can be significantly enhanced by introducing graph analysis with considering the relationships among medical providers, beneficiaries, and physicians. We use open-source tabular datasets containing beneficiary information, inpatient claims, outpatient claims, and indications about potential fraudulent providers. We then aggregated them into a single dataset by converting them into a graph structure. Furthermore, we developed medicare fraud detection models using two approaches to reflect graph information, i.e., graph neural network (GNN) models and traditional machine learning models using graph centrality measures. Therefore, the machine learning model with graph centrality features showed improved precision of 4 percent point (%p), recall of 24 %p, and F1-score of 14 %p compared to the best GNN model. The improvement in recall to this extent could result in substantial cost savings of 3.1 billion euros and 5 billion dollars in the United States and Europe, respectively, benefiting governmental institutions and insurance companies involved in healthcare insurance operations. Furthermore, the required learning time of the best GNN model was approximately 250–300 times more than that of the best machine-learning model. This outcome suggests that successful and efficient detection of medicare fraud can be achieved if graph centrality measures are used to capture the relationships among medical providers, physicians, and beneficiaries.

Medicare Fraud Detection Using Graph Analysis: A Comparative Study of Machine Learning and Graph Neural Networks

본 발명은 생성형 언어 모델의 질의 응답 제공 방법에 관한 것이다. 질의 기반 생성형 언어 모델의 응답 제공 방법은사용자 질의를 입력 받는 단계; 거대 언어 모델인 제1 모델에 기초하여, 상기 사용자 질의에 대한 제1 출력 값을 산출하는 단계; 상기 사용자 질의에 대한 데이터베이스 검색 모델의 검색 결과 값을 포함하는 질의 세트를 제2 모델에 입력하여 제2출력 값을 산출하는 단계; 및 미리 정의된 출력 방식에 따라, 상기 제1 출력 값 또는 제3 모델에 의해 정제된 제3 출력값을 응답으로 출력하는 단계를 포함한다. 결과적으로 범용 모델의 입력에 의존하는 결과를 도메인 내 데이터베이스를 활용하여 재구성된 입력을 통해 사용자의 질의에 대한 응답의 질을 높일 수 있다.

질의 기반 생성형 언어 모델의 응답 제공 방법 및 이를 수행하는 컴퓨팅 장치

본 발명은 안면 특징 추출 모델을 이용한 사용자 인증 방법에 대한 것으로, 장치가 연령 변화 기술을 이용하여 학습된 안면 특징 추출 모델을 이용해 사용자를 인증하는 방식이다. 서버는 기 저장된 제1 타입 입력 이미지에 기초하여 사용자 연령 변화와 관련된 계수 값을 식별하고 사용자 단말로부터 제2 타입 입력 이미지를 수신하여 안면 특징 추출 모델을 학습할 수 있다.

안면 특징 추출 모델을 생성하는 방법, 서버 및 사용자 인증 방법

본 발명은 온체인 유저 데이터를 이용한 유저 데이터 거래 방법 및 이를 수행하는 데이터 거래 시스템에 관한 것이다. 유저 데이터에 온체인 유저 데이터를 포함해서 제공함으로써, 데이터의 질적 향상을 야기함과 동시에 유저에게 적절한 리워드를 보상할 수 있는 데이터 거래 방법과 이를 수행하는 거래 시스템을 제시했다.

온체인 유저 데이터를 이용한 유저 데이터 거래 방법 및 이를 수행하는 데이터 거래 시스템

Abstract

Previous anti-spoofing methods have used either pseudo maps or user-defined labels, and the performance of each approach depends on the accuracy of the third party networks generating pseudo maps and the way in which the users define the labels. In this paper, we propose a liveness score-based regression network for overcoming the dependency on third party networks and users. First, we introduce a new labeling technique, called pseudo-discretized label encoding for generating discretized labels indicating the amount of information related to real images. Secondly, we suggest the expected liveness score based on a regression network for training the difference between the proposed supervision and the expected liveness score. Finally, extensive experiments were conducted on four face anti-spoofing benchmarks to verify our proposed method on both intra-and cross-dataset tests. The experimental results show our approach outperforms previous methods.

Liveness Score-Based Regression Neural Networks for Face Anti-Spoofing

IEEE ICASSP 2023

본 발명은 딥러닝 모델을 이용한 이상 탐지 방법 및 이를 수행하는 금융 서버에 관한 것이다. 딥러닝 모델을 이용하여 사용자 단말로부터 수신된 데이터에 대한 이상 여부 판단에 대한 정확성을 높일 수 있다. 사용자 단말로부터 수신되거나 상기 금융 서버에 미리 저장된 사용자 데이터 일부를 마스킹 후 딥러닝 모델에 인가하고, 출력된 복수의 데이터를 비교하여 이상 여부를 판별한다.

딥러닝 모델을 이용한 이상 탐지 방법 및 이를 수행하는 금융 서버

본 발명은 연합학습을 이용한 사용자 인증 방법 및 이를 수행하는 장치에 관한 것이다. 복수의 사용자 단말과 연계되어 수행되는 연합학습을 이용하여 학습된 딥러닝 모델을 통해 사용자 단말에서 발생된 사용자 데이터(즉, 로컬 데이터)의 이상 여부를 탐지하여 사용자 인증을 수행한다.

연합 학습을 이용한 사용자 인증 방법 및 이를 수행하는 장치

본 발명은 서비스 서버에 의해 수행되는 전자금융사기 탐지 방법으로, 스미싱 문자를 걸러내서 금융사고를 미연에 방지하고자 함이다. 클라이언트 디바이스에 수신되는 메시지를 먼저 탐지하고, 문자 내용의 특징을 추출해서 미리 정의된 방법에 따라 전자금융사기 유형에 해당하는지 판단한다. 계산된 스코어가 임계값을 넘어서면 스미싱 문자로 사용자에게 통보한다.

사용자 분석 기반의 전자금융사기 탐지 방법 및 이를 수행하는 서비스 서버

본 발명은 단말기에 입력되는 사용자의 단말기 사용 패턴 데이터를 통해 등록된 사용자와 동일인인지 판단하는 인증 방법이다. 신규 사용자의 데이터의 임베팅 벡터와 등록된 사용자의 임베딩 벡터를 비교하여 거리 정보를 추출하고 스코어로 변환한다. 이 모든 과정은 사용자가 의도적으로 인증 절차를 밟지 않아도 자동으로 수행할 수 있다.

무자각 인증 방법 및 장치

본 발명은 사용자 단말과 연동되는 서버에서 수행되는 문서 이미지 디블러링 모델의 학습 방법에 멀티모달 기법을 적용했다. 사용자 단말기로부터 수신된 문서 이미지에서 인식된 문자를 제1 토큰으로 생성하고, 문서내 위치 정보를 토대로 제2 토큰 정보를 추출한다. 두가지 토큰 정보를 이용해서 비지도 학습과 준지도 학습으로 사전학습(프리 트레이닝)을 시켜 디블러링 모델의 성능을 개선한다.

문서 이미지 디블러링 모델의 학습 방법 및 이를 실행하는 서버

본 발명은 신용 평가시 발생하는 데이터셋의 편향성(Sampling Bias) 문제를 해결하기 위해 생성기술을 적용한다. 신용평가 후 대출 거절 건과 미실행 건은 즉시 관련 정보가 삭제되어 신용평가모델 이용이 불가했다. 이를 보완하기 위해 기존에는 CB사로부터 별도의 거절 건 데이터를 구매해 왔다. 개선된 신용평가모형에서는 원 데이터를 삭제하더라도 원 데이터에 랜덤노이즈를 더한 생성 데이터를 만들어 두어 거절 / 미실행 데이터로 활용하는 방안을 제시했다.

신용 평가 모형 구축을 위한 학습 데이터 생성 방법 및 이를 수행하는 서버

본 발명은 우량데이터가 많고 불량데이터가 적은 데이터 불균형 해결을 위해 생성기술을 적용한다. 학습 시에 우량건을 언더샘플링하는 방식을 이용하면 정보손실과 편향성이 발생하는 문제가 있어, 이를 극복하기 위해 생성모델을 통해 불량 데이터를 생성해서 보완하는 기술이다.

신용 평가 모형 구축을 위한 학습 데이터 세트 구성 방법 및 이를 수행하는 서버

본 발명은 멀티모달 기반의 안면 위변조 판단 방법 및 이를 실행하는 서버를 개시한다. 상기 안면 위변조 판단 방법은 상기 사용자 단말에 구비된 적어도 하나의 카메라에 대한 정보와 상기 카메라에서 촬영된 이미지를 수신하는 단계, 상기사용자 단말에 구비된 상기 카메라의 종류에 기초하여 복수의 검증방법 중 어느 하나의 검증방법을 선택하는 단계를 포함한다. 상기 수신된 이미지에 대하여 상기 선택된 검증방법을 수행하는 단계를 포함하되, 상기 검증방법을 선택하는 단계는 상기 사용자 단말이 동종의 카메라만을 구비한 경우 제로패딩(zero-padding) 동작을 포함하는 검증방법을 선택한다.

멀티모달 기반의 안면 위변조 판단 방법 및 이를 실행하는 사용자 단말 또는 서버

Abstract

This study presents comprehensive experimental results for the IEEE BigData 2022 Cup, using a generative adversarial network (GAN) to generate appropriate malign samples to improve a malware classifier’s performance. For the experiments, we employed conditional tabular GAN (CTGAN), conditional table GAN (CTAB-GAN), and complementary GAN architectures to deal with the data imbalance problem commonly encountered in classification tasks. The results showed that CTAB-GAN outperformed the other GANs in producing synthetic data that are statistically comparable to the given training data. This shows that the classifier’s performance improved on the validation dataset, and suggests that better classification performance can be achieved in terms of machine learning efficacy using better quality synthetic data. Although CTAB-GAN performed better than CTGAN and Complementary GAN in terms of statistical similarity and machine learning efficacy, it could overfit on the training data. Therefore, we used both CTGAN and CTAB-GAN to produce a balanced dataset to train the classifier for the final solution. The root mean square error of the classifier was 0.103, which is an improvement of 0.066 from the baseline performance of 0.169.

Performance Enhancement of Malware Classifiers Using Generative Adversarial Networks

IEEE BigData 2022

본 발명은 안면 위변조 판단 방법 및 이를 실행하는 사용자 단말 또는 서버를 개시한다. 상기 안면 위변조 판단 방법은 상기 사용자 단말에 구비된 적어도 하나의 카메라에 대한 카메라 정보를 도출하는 단계, 상기 도출된 카메라 정보를 기초로, 미리 등록된 복수의 검증방법 중 적어도 하나의 검증방법을 선택하는 단계 및 상기 카메라에서 촬영된 이미지에 대하여 상기 선택된 검증방법을 상기 사용자 단말 또는 상기 서버에서 수행하는 단계를 포함한다. 상기 검증방법을 선택하는 단계는 사용자 단말에 구비된 적어도 하나의 카메라의 종류에 기초하여 복수의 검증방법 중 적어도 하나의 검증방법을 선택하도록 했다.

안면 위변조 판단 방법 및 이를 실행하는 사용자 단말 또는 서버

본 발명은 입력 패턴 정보를 이용한 사용자 인증 방법 및 장치에 관한 것이다. 대상자가 인증 정보를 입력하는 과정에서 대상자의 입력 패턴 정보를 수집하고, 수집된 입력 패턴 정보를 기초로 대상자에 대한 사용자 인증을 수행함으로써, 더욱 보안성이 강화된 금융 서비스 환경을 제공할 수 있는 사용자 인증 방법 및 장치에 관한 것이다.

입력 패턴 정보를 이용한 사용자 인증 방법 및 장치

Abstract

Commercial banks are required to explain the credit evaluation results to their customers. Therefore, banks attempt to improve the performance of their credit scoring models while ensuring the interpretability of the results. However, there is a tradeoff between the logistic regression model and machine learning-based techniques regarding interpretability and model performance because machine learning-based models are a black box. To deal with the tradeoff, in this study, we present a two-stage logistic regression method based on the Bayesian approach. In the first stage, we generate the derivative variables by linearly combining the original features with their explanatory powers based on the Bayesian inference. The second stage involves developing a credit scoring model through logistic regression using these derivative variables. Through this process, the explanatory power of a large number of original features can be utilized for default prediction, and the use of logistic regression maintains the model's interpretability. In the empirical analysis, the independent sample t-test reveals that our proposed approach significantly improves the model’s performance compared to that based on the conventional single-stage approach, i.e., the baseline model. The Kolmogorov–Smirnov statistics show a 3.42 percentage points (%p) increase, and the area under the receiver operating characteristic shows a 2.61%p increase. Given that our two-stage modeling approach has the advantages of interpretability and enhanced performance of the credit scoring model, our proposed method is essential for those in charge of banking who must explain credit evaluation results and find ways to improve the performance of credit scoring models.

Two-stage credit scoring using Bayesian approach

Journal of Big Data

본 발명은 신경망 모델의 학습 방법에 관한 것이다. 라이프 사이클 기반 데이터를 통한 학습 방법은 제1 데이터 및 데이터의 라이프사이클이 결정된 제2 데이터를 학습 데이터로 입력 받는 단계; 상기 입력된 학습 데이터를 이용하여 신경망 모델을 학습시키는 단계; 및 상기 학습된 신경망 모델의 성능을 평가하는 단계를 포함하고, 상기 제2 데이터는 상기 라이프사이클에 따라 생성 또는 삭제되는 것이 바람직하다. 최종적으로 실제 서비스에 이용되는 데이터를 학습에 이용함으로써 신경망 모델의 서비스 환경에 대한 성능을 높일 수 있다.

캐싱 데이터를 이용한 학습 방법 및 이를 구현한 컴퓨팅 장치 및 기록 매체

본 발명은 금융 네트워크를 이용한 금융 관련 정보 도출 방법 및 이를 실행하는 금융 서버에 관한 것이다. 구체적으로 복수의 사용자의 금융 관계에 기초하여 금융 네트워크를 구성하고, 금융 네트워크를 이용하여 추출된 입력 데이터를 예측 모델에 입력하여 대상자의 금융 관련 정보를 도출할 수 있는 방법 및 이를 실행하는 금융 서버에 관한 것이다.

금융 네트워크를 이용한 금융 관련 정보 도출 방법 및 이를 실행하는 금융 서버

Load more