100일간의 챗봇 디자인 실패기

상세페이지

  • HOME > 리뷰 & 하우투

100일간의 챗봇 디자인 실패기


디자인 학도로서 4년 넘게 학교에서 UI·UX를 공부했다. 또래보다 학교를 오래 다녔으며 해당 분야에 대한 관심도 남달랐거니와, 심지어는 UI 디자인 소프트웨어를 만드는 회사에 다닌 경험도 있는 만큼 실무적으로는 아직 많이 부족할지라도 이론만큼은 이제 어느 정도 자신이 있다고 생각했다.
그런데 대체 이 녀석은 또 뭐지. ‘챗봇’이라니.

글·사진. 오정민 히든트랙 대표 june@linder.kr



<챗봇 되어보기>

2017년 1월, 새로운 사업을 결심한 팀원들과 사업 구상을 하며 챗봇이라는 아이템을 마주하게 되었다. 우리가 챗봇에 대해 무한 신뢰를 했던 이유는 한 가지였다. 일상적인 편리함을 제공하는 데 있어 ‘메신저’를 이용한 서비스만 한 것은 없다는 것. 자주 쓸수록 편해야 했고, 편하려면 접근성이 높아야 했다. 그리고 메신저만큼 접근성이 높은 서비스는 없었다.

▲ 한때 SNS에서 화제가 되었던 ‘엄마의 메모장’
 
챗봇은 이미 한 차례 미국 본토를 강타하고 조금씩 국내 시장에 진입하고 있었고, 새로운 기술에 호기심을 가진 우리 팀은 챗봇에 희망을 품고 해당 분야에 대한 학습을 진행하기 시작했다.

자연어 처리, 형태소 분석 등 기술적인 부분을 개발팀원들이 검토하고 있는 동안, 디자이너로서 챗봇에 대한 리서치를 시작하려는 찰나아무리 검색을 해도 아무것도 나오지 않는 매우 당황스러운 상황이 발생했다.

일반적인 웹사이트나 앱 기획의 경우 이미 레퍼런스 삼을 만한 사례가 충분히 있었고, 설령 국내 자료 중에 없다고 해도, 영어로 조금만 검색해보면 해외 자료들을 금세 찾을 수 있었다. 그러나 챗봇은 상황이 달랐다. 영어권 챗봇 또한 이제 막 성장하는 단계인 만큼 해외 챗봇 사례 중에서도 이렇다 할 벤치마킹 대상을 찾기가 쉽지 않았다.

우선 우리가 만들고자 한 챗봇은 ‘일정’ 관련 봇이었다. ‘자연스러운 문장을 이해하고 대화를 통해 사용자의 일정 입력을 돕는 챗봇이 있다면 어떨까?’라는 것이 우리의 가설이었다.

▲ 막연히 그렸던 이상향

지난 4년간 학교에서 배운 과정대로라면 브레인스토밍, AEIOU, 콘셉트 맵핑, 사용자 인터뷰, 포커스 그룹 인터뷰 등의 여러 기법을 거쳐 디자인을 시작해야 했다. 하지만 그때는 우리가 대체 정확히 무엇을 만드는 것인지에 대한 정의조차 내려지지 않은 상황이었다.

이 챗봇의 기능은 무엇이며, 타깃은 누구이고, 어떻게 구현될 수 있는 걸까. 너무나 생소한 분야였던 만큼 우선 처음 한달 동안은 챗봇 관련 국내외 글을 꾸준히 읽었다. 4차 산업혁명, 완전자동화 등 챗봇에 대한 여러 이론적인(쓸데없는) 내용들이 다수였지만, 그 중에서도 눈에 띄는 글이 하나 있었다. 웹사이트 ‘Chatbots Magazine’의 게시글 ‘I Was an Undercover-Bot For 2 Months. Here is What I learned.’가 그것이었다.(url. https://chatbotsmagazine.com/bots-hype-or-glory-656f4d614efb#.g6s68jvkg

해당 글의 주요 내용을 번역 및 요약하자면 이러하다.

- 필자는 UX 마니아. 수많은 챗봇을 써봤지만 쓸 만한 게 없더라.
- 그래서 챗봇을 개발하기 전, 직접 실험을 해보기로 했다.
- 약 두 달간, 직접 서비스 내에 참여해 사용자를 돕는 봇인 ‘척’ 했다(틈틈이 사람이라고 힌트는 줬다).
- 우리 서비스를 사용하는 사용자들은 컴퓨터나 기술을 좋아하는 사람들이 아닌, 일반인이었다.
- 봇이 아닌 사람이 실시간으로 응대한다고 인지는 시켜주었지만 사실 신경 쓰는 사람은 없었다.

본문은 ‘아직 챗봇은 기술적으로도, 시대적으로도 준비가 되지 않았다’로 최종 결론을 지으며 마무리되는데, 이미 챗봇에 콩깍지가 씌어 있던 나에게는 그저 앞부분의 내용이 중요할 뿐이었다.

“사람이 챗봇인 척 테스트를 한다고?”

서비스 기획 및 디자인에 갈피를 못 잡고 있었던 우리 팀은 긴말할 것 없이 곧바로 실행에 들어갔다. 대학교 게시판에 피실험자 아르바이트 구인 글을 올리고 약 30명의 캘린더 사용자를 확보했다. 실험에 대한 대략적인 안내사항은 이러했다.

① 우리는 현재 일정 관련 챗봇을 만들기 위해 수동으로 실험 중이며, 주 기능은 ‘일정등록’ 이다.
② 구글 또는 네이버 캘린더 작성 권한을 사용자로부터 공유받아 일정을 입력한다(캘린더 공유 기능 활용).
③ 사용자는 최소 주 1회 이상 카카오톡을 통해 캘린더에 일정을 입력하여야 한다(보수 지급 조건).
④ 사용자는 챗봇에 일정 등록뿐만이 아닌, 일정 관련 어떠한 요청도 할 수 있다.
⑤ 이에 대한 예시로 문자/메일 분석, 공개 캘린더 추가, 키워드 일정 추천 등을 제시한다.
⑥ 대화의 형태는 정해져 있지 않으며 원하는 어떠한 형태(말투, 축약어, 신조어)로든 가능하다.

지금은 플러스친구로 업데이트된 카카오톡 옐로아이디 관리자 툴을 활용하여 사용자들과 대화(채팅)를 진행했다. 데스크톱용 웹 인터페이스를 통해 대화를 입력할 수 있었기에 입력 속도는 빨랐지만, 사용자가 언제 무슨 말을 걸어올지 도저히 예측이 불가능했다. 팀 내 개발자들이 자연어 처리에 대한 공부를 지속하는 동안 운영을 맡은 팀원 한 명과 함께 상시 대기하며 사용자들의 요청에 응대했다.

▲ 응대에 사용한 카카오톡 옐로아이디 관리자 툴

운영 초기 우리가 기대했던 이상적인 요청들은 이러했다.

“린더야 오늘 일정 알려줘”, “린더, 문자 분석해줘”, “17년 공채 일정 추가해줘”, “내일 저녁 강남 맛집 예약해줘”.

하지만 현실은 달랐다.

▲ 실제 요청들

“1월 25일부터는 타임 존을 변경해서 저장 가능 할까요?”, “1시간 전에 알람 기능 가능한가요?”, “매년 기능도 있나요?”, “매일매일 오후 6시·7시로 변경해줘” 등의 요청이 줄이었다.

목적어 및 각각의 형태소가 명료하고 명확한, 챗봇 개발 시 자동화가 가능한 텍스트를 기대하고 있었지만 실상 대부분의 요청은 실제 사람이 개입하지 않는 이상 과연 처리할 수 있을까 싶은 내용들이었다.

텍스트 입력 시간도 사용자마다 다 제각각이었다. 아침 일과를 시작할 때 일정을 입력하는 사용자가 있는 반면 하루를 정리하며 다음 날의 일정을 계획하는 사용자도 있었다. 밥을 먹다가도, 샤워를 하다가도 옐로아이디 알람이 울리면 컴퓨터로 달려가 응답을 했다. 아무리 상시 대기를 한다 해도 잠은 자야 했기에 결국 자정부터 다음 날 아침 8시까지는 옐로 아이디의 자동 응답 기능을 활용하여 ‘잠시만 기다려주세요’를 출력하였다(물론 잠시는 아니었지만). 여러 시행착오를 거쳐 약 한 달간의 기나긴 응대 끝에 실험이 종료되었고, 우리는 사용자들을 대상으로 설문 및 인터뷰를 진행했다.

우선 가장 중요하게 생각한 ‘전체 캘린더 일정 입력률(데스크톱과 모바일 캘린더를 모두 포함한 모든 입력) 중 카카오톡을 통한 일정 입력률’은 약 절반 정도인 51%로 확인되었다. 이와 더불어 ‘카카오톡을 통해 캘린더에 일정을 등록하는 방식에 대해 불편한 점’을 질문했다. 그 결과,

① 즉각적이지 않은, 늦은 응답 - 40%
② 개인 일정 정보 유출에 대한 불안 - 20%
③ 익숙하지 않은 카카오톡 입력의 불편함 - 13.3%

순으로 응답함을 확인했다.
생각보다 나쁘지 않은 결과였다. 입력된 내용들을 정형화하기가 쉽지는 않았지만, 기대했던 것에 비해 카카오톡을 통한 입력률이 높은 편이었고 가장 큰 문제점으로 지적된 ‘늦은 응답’과 ‘개인 정보 유출’은 챗봇 개발을 통해 개선할 수 있을 것으로 기대했다. 자동화를 통해 즉각적으로 응답할 수 있을 것이고, 사람의 개입을 없애 개인 일정 정보 유출을 방지할 수 있을 것이라는 판단하에 챗봇 개발을 진행하였다.

그렇게 한 달간 입력 받은 텍스트 데이터를 활용, 약 2주간의 개발 끝에 간단한 일정 등록 기능을 갖춘 일정 관리 챗봇, ‘린더봇’이 탄생하게 되었다.

▲ 린더봇 사용 영상. url: youtube.com/watch?v=zSRYRYfzTFo

각고 끝에 탄생한 린더봇의 실적은 화려했다. 마이크로소프트(Microsoft)에서 주최하는 기술경진대회인 ImagineCup에서 수상을 하기도 하고, 4차 산업혁명이라는 정치적(?)·시대적 흐름에 맞추어 여러 정부지원사업에서도 긍정적인 반응을 이끌어냈다. 이제 막 대학을 졸업하는 대학생들이 몇 달간 잠도 못 자고 밥도 못 먹고 로봇인 척하며 개발 및 사용자 연구를 진행해왔다는 스토리텔링은 우리가 봐도 가히 감동적이기까지 했다.

하지만 베타 테스트를 시작한 지 한 달 만에 린더봇은 종료되었고 우리는 서비스 개발을 중단했다. 대체 무슨 일이 일어난 걸까.

<결론이 정해진 사용성 조사>

‘현실왜곡장’이라는 말이 있다. 스티브 잡스가 자주 사용한 기법으로 유명한데, 아무리 비현실적이거나 거짓된 내용도 가능할 것으로 생각되는 상황을 말한다. 때에 따라서는 불가능해 보이던 일을 기어코 성공시키는 멋진 리더십을 가리키기도 하지만, 대다수의 경우에는 현실을 직시하지 못하고 그들만의 망상에 빠져있는 위험한 상태를 뜻한다.

앞서 린더봇을 통한 한 달간의 일정 입력률이 전체 캘린더 데이터 입력률에 대비하여 51%까지 나왔다는, 매우 희망적인 수치를 제시했다. 하지만 한 가지 빠뜨리고 언급하지 않은 것이 있다. 그 린더봇을 통한 입력의 80%가 서비스 사용 첫 3일간 발생했다는 것이다. 이후 3주간, 린더봇을 통한 일정 입력 횟수는 현저히 줄어들었다.

▲ 우리가 회피하고 있었던 현실

새로운 전자기기를 살 때면 대부분 한 번쯤은 경험해보았으리라 생각한다. 우리는 새로 만나게 된 제품에 호기심을 가지고 이리저리 만져보지만, 이는 어디까지나 새로운 경험을 할 때의 일시적인 현상일 뿐 대부분의 서비스는 시간이 지나면 특정 기능에 국한된 것으로 인지돼 전락하고 만다. 이러한 냉혹한 경향을 분명 인지하고 있었음에도 서비스에 대한 간절한 희망 때문에 우리에게 유리한 방향으로만 수치를 읽어내는 실수를 저질렀다.

<준비되지 않았던 플랫폼>

우리는 린더봇을 제공하는 플랫폼으로 카카오톡 자동응답 API를 택했다. 비록 라인, 페이스북 메신저 등 타 메신저 플랫폼들이 챗봇을 위한 다양한 기능들을 선제적으로 제공하고 있었지만, 카카오톡이 국내 메신저 점유율의 95%를 차지하는 시점에서 다른 메신저를 고려할 수가 없었다.

▲ 카카오톡 자동응답 API

결국 카카오톡을 선택하기는 했지만, 카카오톡이 챗봇 서드파티 업체들을 위해 준비한 기능들은 매우 제한적이었다. 여러 아쉬운 점이 많았지만, 그중에서도 ‘선톡을 날릴 수 없다’는 점과 ‘PC 카카오톡에서 대화를 할 수 없다’는 점은 서비스 운영에 있어 매우 치명적인 문제들이었다.

카카오에 있어 ‘단체 선톡’은 매우 중요한 수익모델이다. 물론 지금도 수만 개의 기업고객에게 돈을 받고 ‘선톡을 날릴 수 있는 권리’를 ‘팔고’ 있는 카카오 입장에서 굳이 소수의 개발사들을 위해 해당 기능을 무료로 제공할 이유는 없다고 생각한다. 또한, 사용자들에게 무분별한 선톡이 발생할 경우 사용성이 저하될 여지도 충분히 있다. 하지만 다수의 해외 챗봇이 ‘무료 선톡’을 기반으로 한 서브스크립션, 큐레이션 서비스를 확장해나가고 있다는 점을 고려했을 때 매우 아쉬운 것은 사실이었다(특히 위챗은 매주, 또는 매일 특정 정보를 제공하는 서브스크립션/큐레이션 유형의 챗봇을 이미 하나의 카테고리로 규정하고 있다).

자동응답 API에서 선톡을 막은 것이 사용자 편의성과 수익성을 고려한 어쩔 수 없는 선택이었다면, PC 카카오톡에서 자동응답 API를 통해 대화할 수 없었던 점은 명백히 카카오톡 플랫폼 내 기술적 완성도의 부족 때문이었다. 물론 카카오톡 트래픽의 대다수는 모바일에서 이루어진다. 그러나 단순히 기술적인 문제로 데스크톱 환경에서 자동응답 옐로아이디를 사용할 수 없었던 것은, 챗봇 환경에 대한 카카오의 대응이 매우 늦었다는 것을 보여주는 사례라고밖에 볼 수 없다(지금의 자동응답 플러스친구 역시 PC 카카오톡에서는 활용이 안 되는 듯하다).

이렇듯 국내 메신저 업체가 우리와 같이 작은 서드파티를 위해 조금 더 진보되고 오픈된 API를 제공해주지 않았다는 점은 아쉽지만, 이 또한 업체 간의 이해관계와 시장의 속도를 현실적으로 고려하지 못한 우리의 잘못이었다.

<접근성, 인터페이스, 그리고 습관>

우리는 막연했다. 서두에서 언급했던 바와 같이 많은 사용자가 접근성 하나 때문에 메모장 대신 카카오톡을 선택한 것처럼, 린더봇 또한 접근성 하나로 많은 이들의 사랑을 받을 수 있을 것으로 기대했었다. 우리의 챗봇을 통해 사람들이 놓치고 지나치던 많은 일정을 캘린더로 입력할 수 있을 것으로 생각했다.

새로운 기술을 좋아하는 IT업계 사람들이 더러 그러하듯 우리 팀 또한 ‘CI(대화형 인터페이스)’라고 하는 새로운 형태의 사용자 경험에 열광했다. 2016년 한 해 미국을 강타했던 다수의 챗봇 비즈니스를 검토하며 CI가 제시하는 미래에 매료되었다. 하지만, 우리의 기대와는 달리 베타 출시된 린더봇의 실질적인 일정 입력률은 기존 캘린더 앱의 그것과 크게 다르지 않았다.

린더봇 실험을 준비하며 설문을 시행한 결과 캘린더 앱을 활발히 사용하는 사용자 중 주간 캘린더 입력률이 5회가 넘는 사용자는 20%가 채 되지 않았다. 우리는 린더봇을 통해 이 수치를 크게 바꿀 수 있을 것으로 생각했지만, 그것은 단순히 새로운 인터페이스를 제공한다고 해서 해결될 수 있는 문제가 아니었다.

사용자들에게 필요했던 것은 ‘보다 편리한 캘린더’가 아니라 ‘아예 새로운 형태의 일정 도우미’였다.

<일정 구독 서비스 ‘린더’의 탄생>

자동응답 API를 통해 챗봇을 제공하기 전, 수동으로 모든 일정 요청에 응답할 당시 한 사용자로부터 독특한 요청을 하나 받았다.

“린더야 2017년 고려대학교 교육대학원 학사일정표 추가해줘.”

재학 중인 대학원의 1년 일정을 자신의 캘린더로 넣어달라는 것이었다. 솔직히 요청을 받은 당시에는 이걸 정말 해줘야 하나 고민이 많았다. 단 한 사람을 위해 20개가 넘는 연간 대학원 일정을 캘린더로 담아줘야 한다니. 하지만 실험 당시 우리는 사용자들에게 분명 일정에 관련한 모든 입력을 도와주겠다고 약속했기에 대학원 웹사이트를 찾아 일일이 일정을 옮겨 담아주었다.

실험이 끝난 후 해당 사용자는 설문에서 린더를 사용하며 가장 편리했던 기능으로 ‘연간 일정 한 번에 추가 기능’을 꼽았다. 서른 명의 사용자 중 단 한 명이 요청하고, 좋아했던 이 기능으로부터 지금의 일정 구독 서비스 ‘린더(Linder)’가 탄생했다.

▲ 당시 받았던 실제 요청

챗봇의 성공 가능성이 희미해지고 있던 시점에서도 우리 팀은 ‘일정’이라는 요소를 손에서 놓지 않았다. 우리는 ‘일정 데이터’가 앞으로 지니게 될 가치에 대해 고민했다. 그 결과 누군가는 비어있는 80%의 캘린더를 채우는 서비스를 만들어 낼 것이라는 결론을 도출했고, 그 ‘누군가’가 ‘우리’가 되지 못할 이유가 없다는 생각에 다다랐다.

현재 린더는 아이돌 스케줄, 화장품 세일 일정, 대학교 학사일정, 스포츠 경기 일정, 공연 및 축제 일정, 공채 일정 등을 사용자에게 제공한다. 사용자는 린더를 통해 구독한 일정을 개인 캘린더 앱에서 확인할 수 있다. 구독자는 작년 11월 기준 10만 명으로, 구독자 대비 구독 취소자의 비율은 1% 내외다.

끝으로 서비스 개발 이력을 정리하며 글을 마무리한다.

- 17.01~17.02 휴먼 린더봇 실험
- 17.02~17.03 린더봇 베타 출시
- 17.04 린더봇 중단
- 17.03~17.05 일정 구독 서비스 린더 기획 및 개발
- 17.06 일정 구독 서비스 린더 출시

tags 디아이매거진 , 챗봇 , 린더 , 실패기 , 일정 앱

저작권자 © 웹스미디어 무단 전재-재배포 금지

뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다.
본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은
반드시 기사의 출처(로고)를 붙여주시기 바랍니다.
영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라
그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.

URL 복사 출력하기 목록보기 스크랩하기

관련기사

최신뉴스
디지털 광고 & 마케팅
이름이 마케팅의 절반이다
리뷰 & 하우투
베껴라, 더 대담하게 베껴야 중급이 된다
리뷰 & 하우투
100일간의 챗봇 디자인 실패기
오늘의 뉴스
보이스 퍼스트 콘퍼런스 2018, 3월 12일 개최
오늘의 뉴스
2018년 모바일 월드 콩그레스(MWC) 1일 마무리

정기구독신청