UI 없는 UI, PC 없는 디자인 NUI

상세페이지

  • HOME > 월별 특집 & 기획

UI 없는 UI, PC 없는 디자인 NUI

툴이 인터페이스를 만든다 “인간의 손은 노동 수단일 뿐만 아니라 노동의 결과다”. 컴퓨터 없는 시대를 살았던 프리드리히 엥겔스의 이 말귀는 21세기에도 고스란히 적용되니 놀라운 일이다. 키보드를, 마우스를, 터치스크린을 신체 일부처럼 여기는 우리에게 손은 ‘수단’이지만, 동시에 디스플레이로 이를 구현하는 손의 솜씨는 ‘결과’다. 인터페이스(Interface)는 그 수단과 결과의 사이에서 접점을 마련한다. 인간과 컴퓨터 사이에서 키보드 텍스트로, 마우스 클릭으로, 스크린 터치로, 그리고 뇌의 명령으로 보낸 신호를 디스플레이로 확인할 수 있는 것도 인터페이스 덕분이다. 이에 인터페이스가 변화하는 과정을 손과 같은 수단(툴)의 등장으로 추적하려 한다. 툴이 인터페이스를 만든다. 혹은 인터페이스가 툴을 바꾼다.

진행. 월간 w.e.b. 편집국

➊ CLI(Command-Line Interface) 닿을 듯 닿을 수 없는 너, 인터페이스 러브스토리
➋ GUI(Graphic User Interface) 마우스 입력의 대가는 직관적이었다, 그래픽 인 유얼 페이스
➌ 터치 UI(Touch UI) 수족을 버리고 얻은 무한한 자유, 터치 UI
➍ NUI(Natural User Interface) UI 없는 UI, PC 없는 디자인, NUI


터치 UI는 더 이상 발전할 필요가 없을 정도로 뛰어난 UI에 해당하지만, 결국 아무 행동 없이 결과를 얻기 위해서는 NUI의 도입이 필요하다. 또한 NUI를 통해 터치를 기반으로 하는 기기는 그 단점을 더욱 보완할 수도 있다. 궁극적으로, 우리는 컴퓨터를 잊고 살게 될 것이다.

글. 이종철 편집장 jude@websmedia.co.kr






NUI의 엄격한 개념, NUI is No UI

NUI(Natural User Interface 혹은 Interaction)는 자연스러운 사용자 환경 혹은 자연어 인식으로 해석할 수 있다. 번역하면 두 단어가 상당히 다른 의미 같지만 영어의 의미만으로 보자면 큰 차이는 없다. 컴퓨터가 신체 언어(자연어)를 입력 없이 자연스럽게 인식하는 것이 NUI의 숙명이기 때문이다. 이러한 NUI는 그 조건을 얼마나 엄격하게 두느냐에 따라 개념이 갈린다. 아직 완벽한 NUI가 등장할 시기가 아니며 제대로 된 NUI는 최근에서야 개발되기 시작했다.

NUI는 1990년대에 MIT 미디어 아트 박사 스티브 만(Steve Mann)이 CLI/GUI의 대안으로 제시한 개념이다. 특징은 ‘학습(Learning)’이 없어야 한다는 것이다. 아주 엄격한 단계까지 이 이론을 적용하면 NUI는 거의 불가능한 수준에 이른다. 아마 최초의 디자인 도구였을 진흙, 돌, 나뭇가지 등을 떠올려보자. 잉크를 찍어 쓰는 펜, 연필, 볼펜 등은 쥐는 법을 제외하면 나뭇가지 등과 쓰임새가 크게 다르지 않다. 그러나 펜은 잉크를 찍어야 하고, 잉크를 구매할 줄 알아야 하며, 연필은 깎을 줄 알아야 한다. 볼펜은 적어도 누를 줄은 알아야 한다. 아주 미미한 단계지만 학습이 필요하다. 따라서, 이 섹션에서는 연필 수준으로 학습이 적은 것을 기준으로 이야기해야 할 것이다. 디자인 자체가 학습을 내포하기 때문이다.

이런 개념으로 바라보면 HCI는 완벽한 NUI를 구현하기 어렵다. 태생적 오류 발생 가능성이 높다. 예를 들어 컴퓨팅의 영역 아래 있는 집에서 손을 높이 들면 음악이 재생되도록 설정해놓았다고 치자. 사용자는 앞으로 아침에 기지개를 켜거나, 저녁에 요가를 연습 할 때 원치 않는 음악이 재생돼 정신적으로 고통받을 것이다. 따라서 NUI는 완벽한 제어를 위한 스크린을 필요로 하고, GUI가 결국 도입돼야 한다. GUI의 대안인 NUI를 완벽하게 구현하기 위해 GUI를 사용한다는 점이 이상하다.

최종적인 NUI는 결국 스크린 없이 구현될 것이다. 그때까지의 NUI는 GUI를 달고 있는 어정쩡한 것이며, 따라서 GUI의 입력 방식을 신체언어를 통해 제어하는 것들을 NUI라고 부른다. 정확하게는 NUI의 요소를 차용한 GUI에 가깝다. 결국 NUI의 지향점은 UI가 없는 것이다. 비즈니스 수트를 입고 악수를 하면 자동으로 명함이 주고받아지거나, 그릇을 탁자에 올리면 주방 전등이 켜지고, 아침에 샤워실에 들어가면 적절하게 조절된 온도의 물이 나와야 한다. 이 단계가 어렵다면, 출근 시간 컴퓨터 책상에 앉으면 PC가 자동으로 켜지는 수준까지는 구현돼야 한다.
    


스티브 만 박사가 개발한 아이탭(EyeTap), 구글 글래스와 유사해 보이나 안구의 움직임과 동일하게 촬영하는 면에서 NUI에 더욱 가깝다.



‘마이너리티 리포트’를 사용한 UI. GUI에 가깝지만 조그셔틀을 돌리는 액션을 고려했을 때 RUI에 해당한다
출처. 패스트컴퍼니 모션 인포그래픽, infographics.fastcompany.com/magazine/166/interactive/minority-report.html



RUI와의 구분점 현재 NUI로 알려져 있는 대부분의 방식은 정확하게는 NUI와 유사한 RUI(Reality User Interface 혹은 Realty-Based Interface, 현실기반 UI)다. RUI는 현실을 모방해 현실에서와 비슷한 신체 언어로 입력하는 방식을 말한다. 가상현실을 추가했지만 현실 그 자체인 NUI의 차이점은 약간의 학습도 용인하는 점이다. 예를 들어 NUI의 기폭제로 꼽히는 iOS의 멀티터치 기능은 직관성이 마우스보다 향상됐지만 이 행동이 실제의 행동 방식과 아주 같지는 않다. 예를 들어 버튼을 직접 누르는 것은 동일했다. 스와이프도 비슷하다. 그런데 확대-축소 시의 핀치(두 손가락으로 늘였다 줄이기) 액션은 실제와 같지는 않았다. 어쨌든 iOS는 당시 스큐어모픽 디자인을 통해 실제로 만지는 듯한 느낌을 주기 위해 노력했고, 결과는 여러분이 아는 아이폰 판매량이 증명하지 않았나 싶다. RUI는 이렇게 터치 UI 혹은 GUI에서 직관성을 강화하고 NUI의 불완전함을 보완한 것이다.



NUI 구현의 선행 조건은 인공지능 NUI는 다른 말로 비은유(Metapho-Free) UI라고 부르기도 한다. 인터페이스나 인터랙션에 어떤 함축적 의미도 없어야한다는 뜻이다. 학습이 없다는 말과 일맥상통한다. 이 엄격한 단계의 NUI가 구현되려면 인공지능이 상당히 발전돼 있어야 하고, 개인의 생활상을 반영하기 위해 프리셋에 더한 머신 러닝과 딥 러닝이 가능해야 한다. 즉, 구현하기 당장은 어렵다는 뜻이다. 다만 딥 러닝 분야도 빅데이터 발전과 더불어 빠르게 성장하는 중이니 10~20년 정도 후면 가능하지 않을까 한다. 반대로, 자동화를 통해 UI의 프리셋이 극한까지 발달한다면 인공지능의 필요성이 줄어들 수도 있다. 어쨌든 NUI 인식을 위해서는 인공지능이 필수다.



현재 가장 완벽한 NUI는 음성인식 시리의 등장으로 이제는 거의 모든 폰이 각자의 엔진으로 제공하고 있는 음성인식 혹은 음성 명령은 NUI의 조건에 가장 근접한 인터페이스다. 예전과 다르게 사람과 대화하듯 명령을 내릴 수도, 다소 척박한 환경(주변이 시끄러울 때, 호흡이 거칠 때)에서 사용할 수도 있다. 기본 앱의 경우 대부분 실행할 수 있으며, 안드로이드의 음성 엔진으로는 메일을 쓸 수 있을 정도로 발전했다. “시리야”, “OK, Google”처럼 부르면 작동하기도 한다. 사람과의 대화 방식과 큰 차이가 없고, 학습이 거의 필요하지 않다는 점이 매력이다. 인식률이 떨어져 가끔 화면을 봐야 하지만 이는 점차 개선될 것이다. 애플과 구글은 이미 사용자들의 데이터를 꾸준히 모아 개선점을 찾고 있을 것이기 때문이다. 결국 음성인식에 스크린은 필요치 않게 될 것이다.
단점은 음성인식으로 할 수 있는 것이 별로 없다는 것. IoT 제품들이 건축 수준에서 집 전체에 깔리고 나면 통신 기기로 사용할 수 있겠지만 그 역시 게임을 하거나 콘텐츠를 생산하는 역할로는 사용할 수 없다. 손으로 입력해도 뎁스가 아주 많지는 않은 것들을 생산하고 소비하는 용도로만 사용할 수 있는 점이 음성 NUI의 한계다. 아이언맨의 비 인간·피동형 로봇 ‘더미’ 같은 기기를 동반하고 있다면 모르지만 그 시대가 오기 전에 다른 UI가 더 빠르게 발전할 것이다.




이런 날도 머지않았다.
그 시대의 영화 카피는 ‘아이폰은 모두 누군가의 첫사랑이다’




호날두는 한 TV 쇼 ‘Tested To The Limit’에서 경기중 아이 트래킹을 실시했고, 시선 움직임부터 다른 선수들보다 우수함을 증명했다
출처. 호날두 트위터
이런 날도 머지않았다. 그 시대의 영화 카피는 ‘아이폰은 모두 누군가의 첫사랑이다’




이때만 해도 괜찮았던 눈물의 베가
출처. 공식 유튜브


특수 목적의 NUI, 아이트래킹 인간의 홍채는 지문처럼 사람마다 그 특성을 갖고 있어 본인을 식별하는 좋은 수단이 된다고 한다. 다만 홍채는 ‘열쇠’로만 쓸 수 있다. 아이트래킹은 홍채보다는 눈동자 전체를 인식하는 것에 가깝다. 따라서 홍채인식은 NUI로 볼 수는 있지만 역할을 부여하기는 어렵다. 지문 인식 혹은 피부 역시 마찬가지다.
아이트래킹은 목적에 따라 NUI와 아닌 것으로 나눌 수 있다. 예를 들어 장애인용 안구 입력기는 특정 학습 방법을 요구한다는 점에서 NUI로 보기는 어렵다. 다만, 웹사이트 측정 시 사용하는 아이트래킹 기구는 경우에 따라 NUI로 발전할 여지가 있다. 실제로 갤럭시 S4부터 탑재된 아이트래킹 기능을 통해 화면을 보지 않을 때는 화면을 자동으로 끄고, 글을 읽다 화면 하단을 보면 자동으로 스크롤되는 등의 NUI 기능이 존재했다. 인식률이 떨어져 많은 사람이 활용하지는 않지만 삼성전자가 뚝심을 갖고 지속적으로 개발할 경우 좋은 NUI 사례로 남을 것이다.
다만 NUI 역시 전후좌우의 네 방향 혹은 깜빡임 이외의 입력을 기대하기 어려우므로 콘텐츠 생산의 방법론으로 사용할 수는 없다.
또 다른 특정 목적은 영화 ‘마이너리티 리포트’에서 정부의 감시 용도로 사용할 수 있다는 것인데, 그런 소프트웨어와 하드웨어 등장도 어렵거니와 이미 개인정보를 다 털린 우리가 그런 걱정까지 할 필요는 없겠다.





바라보기만 해도 벽이 TV가 되고 PC가 되는 현실을 뛰어넘은 NUI



놀이/헬스케어 면에서 적합한 동작 인식 짧게 보면 제스처 인식부터, 넓게 보면 신체 동작의 대부분을 인식하는 것까지 포함하는 것이 동작 인식이며 이 중 일부는 NUI로 불러도 손색이 없다. 카메라를 통해 구현되는 간단한 수준의 동작 인식은 ‘팬택’에 의해 한국에 도입됐으며 상당한 마케팅 포인트로 작용했다. 공중에서 손을 휘젓는 것만으로 다음 사진/이전 사진 보기, 다음/이전 곡 재생 등의 간단한 기능을 활용할 수 있었던 조작법은 NUI에 해당한다. 더 복잡한 기능 역시 실행할 수는 있었겠지만 이것은 소프트웨어와 인간의 약속(메타포)을 조건으로 한다는 점에서 NUI도 RUI도 아닌 비접촉식 GUI 수준으로 봐야 한다.

이후 등장한 립 모션 등의 모션인식 기구는 기존 입력 도구와 달리 완벽하게 작동했다. XY뿐 아닌 Z축과 속도, 깊이 모두를 인식하는 수준이었다. 허나 이것이 별도의 단말기고, GUI의 조건인 WIMP(Window-Icon-Menu-Pointer)의 특성을 그대로 갖고 있다는 점에서 RUI에 가깝다고 볼 수 있다. 다만 입력 방식만큼은 터치 UI에서의 직관성보다 훨씬 높아졌다. 특히 3D 렌더링 작업 시 현존하는 다른 툴보다 훨씬 편리해진다.

립 모션의 인식 방법은 눈과 다르게 키넥트와 같은 적외선 방식을 사용한다. 단순 카메라로 보기엔 덩치가 큰 게임 보조 기기 키넥트는 마이크로소프트 UI 연구의 결과물로 NUI에 상당히 근접한 것이다. 눈에 보이지 않는 적외선 점들을 수없이 뿌려, 적외선이 닿거나 돌아오기까지의 시간으로 깊이와 모양을 인식하는 방법인데, 게임 콘솔에 우선 적용됐으나 윈도우 PC에서 사용하기에도 좋다. 역시 립 모션과 동일한 NUI 특성을 지녀 소프트웨어에서도 쉽게 사용할 수 있다. 립모션과의 공통적인 단점이라면 소프트웨어 조작 방식의 일부는 약속돼야 한다는 것. 그러니까 댄스 등 동작을 필요로 하는 게임을 할 때는 NUI에 가깝고, 입력 방식을 서로 약속하는 소프트웨어를 사용할 때는 NUI에서 덜 가까워지는 오묘한 특성이 있다.

한때 키넥트의 경쟁자였던 닌텐도의 Wii는 NUI의 불편함을 도구(리모컨)로 해결한 기기였다. 그런데 다른 입력도구를 사용하는 Wii의 소프트웨어 Wii Fit의 경우 NUI에 가까웠다. 매트처럼 깔아놓고 그 위에서 그냥 운동하면 자동으로 몸무게, 칼로리 등이 측정되는 것이 Wii 리모컨과 다르다. Wii의 리모컨은 VR 시대가 다가오면 또한 주요 UI로 남을 것이다.




NUI를 초월하는 NUI - VR 혹은 AR의 여러 센서 NUI는 결국 인간 신체가 물리적인 상황에 갇히기 때문에 한계에 도달할 것이다. 그런데, 인간을 모방하는 것을 목표로 하지 않고, 인간이 가진 가능성을 초월하는 NUI가 있다.
가장 이러한 방법론에 가까운 것은 VR 혹은 AR이고, 중요한 것은 VR의 존재가 아닌 그곳에 담겨 있는 ‘센서’다.
예를 들어 어떤 수도꼭지를 쳐다봤고, 이것을 3D 모델로 만들고 싶다고 치자. 사람 흉내만 내서는 불가능하다. 사람 눈과 센서가 깊이를 받아들이는 방식이 다르기 때문이다. 그래서 카메라는 적외선을 흩뿌리거나, 아예 깊이 인식이 가능한 다층의 카메라 센서로 수도꼭지를 바라본다. 이것을 그대로 저장하고 있다가 컴퓨터에 가까이 가면 3D 모델로 만든다. UI가 없는 UI인 NUI의 특성에 딱 들어맞는다. 반대로 NUI가 아니지만 NUI를 보완하는 인터페이스라고 생각해도 될 것이다. 이 UI는 구글의 프로젝트 제품 ‘탱고’에서 흑백 카메라 센서로 이미 실체화돼있으며, 그것보다 더 발전한 형태로 마이크로소프트 ‘홀로렌즈’에서 구현될 것이다. 구글의 탱고가 카메라 센서와 GPS로 세상 모두를 클라우드화, 딥 러닝화한다고 하면, PC를 컴퓨팅 디바이스로 사용하는 홀로렌즈는 탱고보다 범위는 좁지만 자사 키넥트에 적용한 적외선, 기존 기술인 GPS, 블루투스, 와이파이, 신기술인 포인팅 클라우드, 딥 러닝, 개인화까지 적용한다. 이 기술을 활용해 증강현실을 통해 인간이 기존에 할 수 없던 모든 실제 사물을 데이터화하고, 수정할 수 있다는 점에서 초월적 NUI로 꼽을 수 있다. 비교적 단층 촬영만이 가능했던 구글 글래스 역시 탱고를 활용해 홀로렌즈급 성능을 구현하는 것을 기대해도 좋다.

이 두 기기의 특징은 AR까지 확실하게 지원한다는 점인데, 현실의 공간에 3D 모델링이 떠다니는 것은 컴퓨터가 가진 강한 가상화 특성이며, NUI를 초월하는 것이다.

오큘러스로 대표되는 VR 역시 빠르게 NUI를 탑재하고 있다. 사실 현 상황에서 NUI를 구현하는 건 AR보다 VR이 기술적으로 더 쉽다. 다만 앞이 보이지 않으므로 Wii 리모컨과 같은 도구가 필요하다. 최근 3D 모델링은 몇 가지 도구를 이용하면 VR에서 굉장히 쉽게 진행할 수 있다. 자르고 늘리는 모습이 NUI라고 봐도 무방할 정도이다(물론 엄격한 의미를 적용하면 아니다). 이 작업은 홀로렌즈나 탱고처럼 기존에 있는 사물을 모델링하기는 상대적으로 불편하나, 기존에 없는 작업물을 만들기는 더 수월하다. 즉, 전문가인 여러분에게 더 적합한 방식이다.
이외의 도구를 꼽자면 현실 속의 블록을 조립해 가상 3D 세계로 투영하는 제품들이 있다. 가장 직관적이고 NUI에 가깝다. 동시에 레고처럼 폼 팩터가 가진 한계점이 명확하다. 다만 일반인이나 저연령 사용자가 모델링을 접하기엔 가장 편리할 것으로 보인다.







뇌파 인식 장치는 소형 무선 단말기(좌)와 머리 거치형(우)이 있다.
소형 무선 단말기는 두개골에 전극을 장치해야 한다  

tags 이종철 편집장 , NUI , 직관적 , 인터페이스 , 인공지능 , 음성인식 , 동공인식 , Natural User Interface , 아이트래킹 , VR , AR

저작권자 © 웹스미디어 무단 전재-재배포 금지

뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다.
본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은
반드시 기사의 출처(로고)를 붙여주시기 바랍니다.
영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라
그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.

URL 복사 출력하기 목록보기 스크랩하기

관련기사


정기구독신청