AI 핵심 요약
beta- 신한은행은 15일 국제 AI 학술대회에서 금융 AI 연구를 발표했다
- 은행 특화 LLM 평가 프레임워크와 AI 에이전트 검증 기술을 소개했다
- 금융 업무의 AI 정확성과 안전성을 높일 평가·검증 체계를 제시했다
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
[서울=뉴스핌] 정광연 기자 = 신한은행이 국제 인공지능(AI) 학술대회에서 금융 업무에 특화된 AI 모델 평가와 AI 에이전트의 안전성 검증 연구 성과를 발표했다.
신한은행은 지난 15일 이탈리아 밀라노에서 열린 글로벌 인공지능 학술대회 'ICAIF(International Conference on AI in Finance) 2026' 워크숍에서 금융 AI의 안전성과 신뢰성을 높이기 위한 연구 논문 2편을 발표했다고 16일 밝혔다.

ICAIF는 금융과 AI 기술의 융합을 주제로 최신 연구 성과와 산업 적용 사례를 공유하는 국제 학술대회다.
신한은행은 이번 학회에서 은행 업무에 적합한 대규모 언어모델(LLM)을 평가하는 벤치마크 프레임워크 'K-BankEval'과 내부 AI 에이전트 평가·검증 플랫폼 'Agent Foundry'를 기반으로 한 업무 수행 검증 기술을 소개했다.
K-BankEval은 여신·수신·외환 등 은행 업무 전반의 특성을 반영해 총 5000개 문항과 6개 평가 영역으로 구성한 LLM 벤치마크 프레임워크다.
평가 영역은 은행 업무 전문지식, 금융 문서 검색 및 근거 기반 답변(RAG), 업무 관련 도구 호출, 금융 계산 및 추론, 금융소비자 보호 관점의 응답 안전성, AI 에이전트의 업무 수행 계획 등이다.
6개 LLM을 비교 평가한 결과, 범용 AI 성능이 우수한 모델이라도 실제 은행 업무별 수행 능력에는 차이가 있는 것으로 나타났다. 이를 통해 업무 특성에 적합한 모델을 선정하고 각 모델의 취약 영역을 진단할 수 있는 평가 기반을 마련했다.
Agent Foundry는 AI 에이전트의 최종 답변뿐 아니라 업무를 수행하는 과정까지 검증하는 평가 체계다.
업무 요구사항을 검증 사례와 평가 기준으로 구체화하고, AI 에이전트의 답변과 도구 실행 기록을 분석해 업무 기준 충족 여부와 필요한 도구의 적절한 사용 여부, 실행 과정의 효율성 등을 점검한다.
이를 통해 실제 은행 업무에 AI 에이전트를 적용하기 전 기준 충족 여부와 추가 보완이 필요한 영역을 확인할 수 있다.
이번 연구에서는 업무별 필수 확인 사항과 실제 실행 기록을 연계해 검증하고, 판단 근거가 충분하지 않은 사례를 정상적인 통과 사례와 구분하는 방법 등 평가 체계의 개선 방향도 제시했다.
신한은행은 향후 해당 연구를 바탕으로 AI를 활용한 업무 처리의 정확성과 안정성을 높이고 금융 환경에 특화된 AI 평가·검증 기술을 고도화할 계획이다.
peterbreak22@newspim.com












