"가장 높은 금리 적금 알려줘"...5개 은행 챗봇 답은?

신한·KEB하나은행 AI챗봇이 상대적으로 정확

1년 전 국내은행의 '챗봇'(메신저에서 일상 언어로 대화할 수 있는 채팅로봇 프로그램)의 질문을 이해하는 수준은 높지 않은 편이었다. 한정된 질문에 정해진 답을 하는 방식이었다. 챗봇에 입력된 질문과 조금만 벗어나도 챗봇은 답변하지 못했다.

1년 여가 흐른 지금은 어떨까. 5개 은행(신한은행·KB국민은행·우리은행·KEB하나은행·카카오뱅크)에 동일한 질문을 던져봤다. 같은 내용의 질문도 바꿔 물어봤다.

22일 시험대에 오른 챗봇은 신한은행 '오로라'·KB국민은행 '리브똑똑'·우리은행 '위비톡'·KEB하나은행 '하이뱅킹'·카카오뱅크 '카카오톡 챗봇'이다. 질문은 최근 관심이 부쩍높아진 적금 금리다. 5개 은행 챗봇에 '제일 높은 금리 알려줘'와 '최고 금리 적금 추천'의 내용을 물었다.

1년 4개월 전에도 4대 은행 챗봇에 '적금 금리 높은 상품 알려줘'라고 물었다.(4대 은행 챗봇에 4가지 질문 던져봤더니...) 당시 신한은행의 챗봇에는 별도 이름이 없었다. 우리은행은 별도 애플리케이션(앱)인 '위비톡'을 통해 챗봇을 고객에 서비스해왔다. 적금 금리 높은 상품을 묻는 질문에 답한 은행 챗봇은 신한은행과 우리은행뿐이었다.

신한은행 챗봇 '오로라'의 응답화면.(사진=지디넷코리아)

현재는 5개 은행 중 카카오뱅크를 제외하고 모두 정확한 답변을 내놨다. 신한은행 오로라에게 묻자 적금 혹은 정기예금 둘 중을 선택하라는 답변을 띄웠다. 다만 '알려줘'라는 문장에서 오타가 나 '알려주ㅜ'라고 기입하자 신한은행 챗봇은 이 질문을 이해하지 못했다.

KB국민은행 '똑똑이' 응답 화면.(사진=지디넷코리아)

과거 '배우고 있어 질문을 이해하지 못한다'는 KB국민은행 리브똑똑도 이번엔 공부를 한 듯 질문을 이해, 매월 정해진 금액을 넣을 것인지 혹은 금액을 정하지 않고 자유롭게 저축을 할 것인지를 되물었다. 챗봇 업데이트가 이뤄지기 전, 버그로 매월 정해진 금액 혹은 자유 적립을 되물었지만 오류는 해결된 상태다.

우리은행 챗봇은 적금과 예금을 구분하지 않았다. 바로 '현재 우리은행 베스트 적금을 안내하겠다'며 적금 상품을 띄웠다. KEB하나은행의 하이뱅킹도 마찬가지였다. '금리가 높은 적금을 추천드린다'며 상품을 알려줬다. KEB하나은행 하이뱅킹에 '최고 금리 적금 추천'을 묻자 금리가 높은 적금보다는 '하이가 추천하는 적금'을 알렸다. 하이가 강추하는 적금은 '간편적금'으로 연 금리가 2.75%로 제일 금리가 높은 적금인 '도전 365적금'(연 3.55%)에 비해 다소 금리가 낮았다.

(사진 왼쪽부터) 우리은행과 KEB하나은행, 카카오뱅크 챗봇의 응답 화면.(사진=지디넷코리아)

좀더 상세히 따져보면 우리은행은 '제일 높은 금리'를 정확하게 이해하지 못한 것이고, KEB하나은행의 챗봇은 '최고 금리'란 문장을 정확히 받아들이지 못한 셈이다. 우리은행 측은 "비대면 채널에서 가입할 수 있는 상품 중 금리가 높은 걸 추천하는 것"이라고 설명했다.

카카오뱅크의 카카오톡 기반 챗봇은 제대로 된 대답을 하지 못했다. 같은 질문에 '자유적금 기본금리는 연 1.5%이며 아래 두 조건 충족 시 연 0.02%p가 추가 제공된다'며 금리의 기본적인 조건을 읊었다. 최고 금리 적금 추천에도 동일하게 답했다. 적금을 추천해달라고 하자 그제서야 '카카오뱅크 적금 상품이 궁금하냐'며 카카오뱅크에서 판매 중인 '자유적금'과 '26주 적금'을 띄웠다. 이마저도 금리 안내가 아닌 적금 가입 방법에 관한 것이었다.

■ 은행마다 성능 차이나는 챗봇…왜?

은행마다 챗봇의 성능이 차이나는 것은 적용한 솔루션의 차이에서 기인한다. 챗봇의 성능을 평가하는 지표는 두 가지다. 하나는 응답률과 다른 하나는 정확률이다. 응답률은 고객이 질문했을 때 대답을 하냐 하지 않느냐다. 정확률은 고객이 물은 것에 얼마나 알맞고 정확하게 답하느냐다. 예를 들어 '김개똥 챗봇'에 '네 이름이 뭐야'라고 물어서 '김개똥입니다'고 답하면 응답률과 정확률이 100%다. 하지만 '네 이름이 뭐야'라고 물었을 때 '글쎄요, 제가 아직 이해하지 못했네요'라고 하면 응답률은 100%일지언정 정확률은 0이라고 보면 된다.

신한은행은 올초 '와이즈넛'의 솔루션 '와이즈아이챗'을 적용했으며 지난 7월 고도화를 마쳤다. 과거 신한은행 챗봇은 정해진 질문에 꼭 끼워맞춘 듯한 답을 하는 '시나리오 방식'의 챗봇을 사용했지만 이제는 머신러닝 기술이 도입된 챗봇을 서비스 중이다.

와이즈넛 관계자는 "기존 상담 데이터는 물론이고 현재 이뤄지는 상담 내용을 정제해 인공지능이 학습토록 하고 있다"며 "일상 시에 대화하고 말하는 방식인 '자연어' 분석 기술도 적용됐다"고 설명했다. 이 관계자는 "오타의 경우에도 유사질문이라고 봐 답변을 한다"고 덧붙였다.

KEB하나은행 챗봇도 자연어 처리 기반 기술을 탑재했으며 인공지능 기반 챗봇이다. KEB하나은행의 챗봇 솔루션은 마인즈랩이 제공하고 있다. 마인즈랩 측은 "시나리오 기반, 룰 베이스 기반이 아닌 인공지능 기반의 챗봇"이라며 "명세서를 촬영한 후 납부하는 등 다양한 기능도 챗봇에서 소화할 수 있다"고 말했다.

현재 인공지능 기반 챗봇을 이용하지 않는 곳은 KB국민은행과 우리은행, 카카오뱅크다. KB국민은행과 우리은행의 챗봇은 룰 기반 챗봇이다. A라는 질문을 하면 B라는 답을 해야 한다고, 마치 영화 시나리오처럼 정해진 답변을 하게 만들어진 것이다. 이런 챗봇은 질문의 형식을 조금만 바꾸거나 동일하지만 다른 방식으로 물을 경우 답변 정확률이 떨어진다. 또 그동안 챗봇 상담을 통해 쌓인 데이터를 챗봇이 학습하지 않기 때문에 자체적인 업그레이드도 불가능하다.

KB국민은행은 작년 말까지 딥러닝을 활용한 챗봇을 출시할 계획을 세웠으나 현재까지도 작업이 완료되지 않았다. 우리은행은 올해 내 인공지능 기반 챗봇 도입을 검토할 예정이라고 전했다.