|
스마트 시대를 이끌 차세대 UI 기술
서영진 http://valentis.pe.kr, valentis@chollian.net｜IT 분야에서 십여 년 넘게 개발을 진행하고 있으며, IT 전문 강사와 컨설턴트로도 일하고 있다. 리눅스용 다이얼패드, SKY 6400/6500 모바일 캠코더, 원자력 발전소 CPS시스템 개발 등 리눅스/임베디드/모바일 분야에서 프로그램을 개발했으며, 이집트 SECC, 삼성전자 등의 기업과 DIP/인하/원광/전북/조선대학교 웹창작터(iPhone/bada 프로그래밍), 한국전자정보통신산업진흥회(임베디드 리눅스 기반 모바일 프로그래밍)에서 강의를 진행하고 있다. 주요 저술로는 [열혈강의] Qt 프로그래밍 등이 있다.
기술 진화에 따라 아이폰이나 안드로이드폰 등의 스마트폰과 스마트TV와 같은 스마트 디바이스가 각광받는 시대가 됐다. 스마트 디바이스 시대에는 사용자들에게 보다 쉽고 편리한 기능을 제공하는 게 중요해지면서 효과적인 입/출력을 위한 UI와 UX의 개념이 중요해지고 있다.
UI와 UX
UI에 대해 한국정보통신기술협회(TTA)의 용어사전에는 다음과 같이 정의돼 있다. ‘사용자와 컴퓨터가 정보를 주고받기 위해 사용자와 프로그램이 상호 작용하는 프로그램의 일부분. 사용자가 키보드에서 명령을 입력해 프로그램을 작동시키는 것을 커맨드 라인 인터페이스라고 하고, 메뉴 선택에 의한 명령으로 작동시키는 것을 메뉴 방식 인터페이스라고 하며, 위치 지정 도구(광전 펜, 마우스, 컨트롤 볼, 조이스틱 등)를 사용하며 도형 표시 프로그램을 작동시키는 것을 그래픽 사용자 인터페이스(GUI)라고 한다.’ 이렇듯 사용자와 컴퓨터와 같은 디바이스 간 상호작용을 위해서 사용되는 것을 UI라고 볼 수 있다.
UI와 UX의 가장 큰 차이는 상호작용이다. UI는 기능 자체의 요소, 즉 인터페이스만 고려한 것이고, UX는 이러한 인터페이스를 설계할 때 그 인터페이스에 대해 사용자가 어떻게 반응하고 사용하는지 상호작용까지 고려한 것이라 할 수 있다. 예를 들어서 전통가옥에 사용되는 여닫이나 미닫이 문은 비슷하게 생겼다. 아마 전통 가옥을 방문해 봤다면 여닫이 문이라고 생각해서 문을 열기 위해 앞으로 밀었다가 문이 안 열려 옆으로 문을 열어본 경험이 있을 것이다.
전통가옥의 여닫이/미닫이 문 자체를 UI라고 생각할 수 있다면 문을 열고 닫는 방법까지 고려한 것을 UX라고 생각할 수 있다. 이렇듯 전통가옥의 여닫이/미닫이 문과 같이 UX는 단순히 디자인뿐만 아니라 문이 있는 위치와 공간 그리고 사용자의 이용 행태를 파악해서 디자인에 반영하는 게 중요하다는 점을 알 수 있다.
<그림 1> 사용자 인터페이스의 발전
이러한 사용자와 디바이스 간에 상호작용 기술이 발전하고 이와 관련된 HCI(Human Computer Interaction)의 중요성이 커져가면서 그와 관련된 인터페이스가 계속해서 개발돼 발전하고 있다. 정보의 표현매체가 문자 위주에서 SILK(Sound, Image, Language, Knowledge)로 전이되면서 인간과 컴퓨터 간의 상호작용에 관한 연구의 중요성은 더욱 커지고 있다.
다양한 UI
작년에 세상을 타계한 스티브 잡스, 그가 인류에게 남긴 여러가지 유산 중 아이폰이나 아이패드만을 기억할 수도 있다. 그러나 그가 남긴 첫 번째 작품은 아마 Xerox사의 PARC(Palo Alto Research Center)에서 아이디어를 착안한 GUI 방식이 아닐까 싶다.
CUI에서 GUI로의 발전
초기 유닉스 환경은 물론 값비싼 방만한 크기의 메인 프레임 환경, 여러 대의 터미널을 붙여 작업하는 환경, 애플 컴퓨터, IBM PC의 MS-DOS와 같은 개인용 컴퓨터에 이르기까지 초기의 컴퓨터 환경은 문자로 명령어를 쳐서 입력하는 CLI (Command Line Interface) 기반의 CUI 방식이었다.
이러한 방식에서는 사용자가 직접 명령어를 모두 외워야하고 컴퓨터의 작동 방식에 대해서 자세히 알고 있어야 하기 때문에 일반적으로 사용하기가 어렵고 결과 역시 문자나 수로 출력돼 자세히 이해하기가 힘들다.
이러한 방식을 개선하기 위해서 여러가지 연구가 진행됐는데 그 중 가장 유명한 것이 Xerox사의 PARC(Palo Alto Research Center) 연구소에서 개발했던 GUI 방식이다. GUI는 클릭이나 드래그 등을 통해서 화면 상에 있는 콘텐츠나 객체들과 상호작용할 수 있다.
.jpeg)
.gif)
<그림 2> 제록스의 PARC 연구소에서 개발한 GUI 방식
당시 Xerox를 방문했던 스티브 잡스는 이러한 GUI 방식에 감명을 받고, 이 GUI 방식을 애플의 새로운 컴퓨터에 적용하고자 했다. 이렇게 탄생한 컴퓨터가 스티브 잡스가 딸의 이름을 붙인 리사다.
아마 애플의 GUI를 생각한 사람들은 매킨토시를 먼저 떠올릴지도 모르지만 사실 이 매킨토시 보다 일 년 먼저 등장한 컴퓨터가 리사다. 리사는 비싼 가격으로 시장에서 외면받았고, 이를 좀 더 저렴한 보급형 모델로 출시한 것이 매킨토시다. 리사에는 기존의 키보드와는 다른 인터페이스가 탑재돼 있는데, 이것이 바로 지금은 보편적으로 사용하고 있는 마우스라는 장치다.
.jpeg)
<그림3> 스티브 잡스와 애플의 리사 <그림 4> 애플의 초창기 마우스
기존 키보드로는 GUI 방식을 사용하는 데 문제가 있었기 때문에 마우스라는 새로운 장치를 통해서 화면의 포인터를 이동시키고 조작하는 데 보다 편리한 인터페이스를 제공할 수 있었다. 마우스는 노트북으로 오면서 휴대가 간편한 트랙볼로 변화했고, 보다 편리한 입력을 제공하기 위해서 트랙패드로 진화를 계속했다.
초기 트랙패드는 포인터 이동이나 터치와 같은 단순한 기능만을 제공했지만 최근에는 멀티 터치 기능을 통해 두 개 이상의 손가락을 동시에 인식해서 화면 확대나 스크롤링, 이동과 같은 보다 복잡한 기능들도 한꺼번에 입력할 수 있게 발전했다.
<그림 5> 멀티터치를 지원하는 애플의 Magic Trackpad
아이폰의 등장과 멀티터치 UI로의 발전
2007년 1월 초 애플의 스티브 잡스는 세계 역사를 바꿀만한 제품을 발표한다. 2000년대 초중반에 아이팟을 발표하고 디지털 음악 시장을 석권했던 자신감을 토대로 2007년 아이폰이라는 새로운 스마트폰 플랫폼을 발표했다.
원래 팜사의 PDA나 노키아의 심비안(Symbian)과 같은 스마트폰도 터치 방식을 지원했지만 단순히 손가락 하나만 인식하는 싱글 터치 방식이었고, 직접 복잡한 명령어를 실행하는 단계가 아닌 단순히 PC에서 사용하는 마우스와 같은 선택에 사용되는 수준에 불과했다.
<그림 6> 애플에서 발표한 아이팟, 아이폰, 아이패드
반면 애플에서 발표한 아이폰 은 최대 다섯 손가락들의 멀티 터치를 지원했을 뿐만 아니라 화면 확대를 위한 핀치와 같은 제스처를 지원했다. 또한 그 당시의 다른 핸드폰보다 큰 화면과 배터리, 각종 가속도나 GPS와 같은 센서 지원 등으로 다른 모바일 기기에서는 제공하지 않는 인터페이스를 지원했다.
<그림 7> 아이폰의 두 손가락을 활용하는 핀치(Pinch) 제스처
아이폰에 탑재된 센서들은 화면의 멀티 터치 이외에도 추가적인 기능들을 제공하고 있다. GPS와 가속도 센서, 전자 나침반 그리고 카메라와 결합해서 위치기반(Location-based) 서비스와 증강현실(Argument Reality)이 가능하도록 했다. 새로운 사용자 인터페이스를 통해서 사용자는 보다 편리하고 향상된 길 찾기나 즉석 쿠폰 서비스 등의 새로운 서비스가 탄생하게 됐다.
<그림 8> 아이폰의 iButterfly와 다른 증강현실 프로그램
이러한 획기적인 UX는 아이폰의 폭발적인 판매에 기여했으며, 애플을 MS나 구글보다 더 가치있는 세계적인 기업으로 만들었다. 2011년 4분기 핸드폰 전체 시장 생산대수는 9%에 불과하지만 매출액은 39%, 이윤의 75%를 애플이 차지한 것으로 나타났다.
스마트폰에서 사용되는 인터페이스 방식을 모바일 사용자 인터페이스(MUI, Mobile User Interface)라 정의할 수 있다. TTA의 용어사전은 MUI를 ‘음성 입력이 부적절한 무선 응용프로그램에서 다양한 키보드 방식 중 하나를 선택해 사용하는 사용자 인터페이스. 모든 문자를 스타일러스나 손으로 입력할 수 있도록 지원하는 각종 모바일 키보드(접이형 휴대 키보드, 스크린 키보드 등)가 사용되며, 모바일 키보드 소프트웨어를 사용함으로써 문자 입력을 최소화하더라도 충분히 나타낼 수 있도록 돼 있다. 그리고 기존 복합 주파수 부호(DTMF) 방식의 숫자 키패드보다 나은 전화 사용자 인터페이스(TUI, Telephone User Interface)의 확장 방식’이라고 정의했다. 크기나 공간의 제약으로 PC에서 처럼 일반적인 크기의 키보드나 마우스 같은 장치들을 사용할 수 없기 때문에 새로운 입력방식을 이용해서 사용자와 상호작용한다.
모바일을 위한 인터페이스로는 햅틱 인터페이스를 들 수 있다. 햅틱을 우리말로 번역하면 감각, 터치 등으로 표현할 수 있는데, 햅틱 인터페이스는 넓은 의미로는 사용자에게 촉감을 전달하는 시스템 전체를 가리키며, 일반적으로 모바일 기기에 탑재돼 있는 진동 장치를 이용해서 사용자에게 촉감을 전달하는 것을 지칭한다. 일반적인 On/Off 두 단계 모드만 전달하는 진동 장치와는 달리 삼성전자의 햅틱폰은 22가지의 진동모드를 제공한다.
NUI(Natural User Interface)로의 발전
CES 2012의 가장 큰 화두는 삼성전자와 LG전자의 스마트TV 플랫폼이었다고 생각한다. 스마트TV 플랫폼을 이용한 스마트 홈 가전 시스템은 앞으로의 시대를 이끌 화두가 될 것으로 생각된다.
<그림 9> CES 2012 스마트TV
이번에 발표된 삼성전자의 2세대 스마트TV는 집안에 있는 가전제품들을 연결하는 중심적인 스마트 허브 기능을 제공한다. 스마트폰이나 스마트TV 등의 디바이스를 이용한 가전제품과의 통신을 통해 사용자에게 각 가전제품의 상태를 전달해줄 수 있다. 사용자에게 세탁기의 세탁 완료나 전자렌지의 요리 완료와 같은 알림 등 다양 상태들을 알려주는 등 편의성을 제공한다.
또한 삼성전자의 스마트 TV ES8000과 함께 소개된 UI와 관련된 내용도 관심을 끈다. 새롭게 소개된 UI는 인간의 ‘귀차니즘’에 가장 충실히 대응하며, 리모콘도 한꺼번에 없앨 수 있는 혁신적인 인터페이스다. 새로운 UI의 핵심은 모션(손동작) 조작(DO), 얼굴 인식(SEE), 음성 조작(LISTEN) 등을 TV를 제어하는 새로운 제어 수단으로 활용하는 것이다.
<그림 10> CES 2012 삼성전자 SmartTV 발표내
손짓으로 채널을 이동하고, 손바닥을 흔들어 마우스의 커서를 이동하고, 주먹을 줬다 펴면 클릭이 되는 방식으로 동작 등 말이나 행동으로 조작하는 TV의 등장은 가끔씩 TV 리모콘의 행방을 찾아야하는 현대인에게 아주 혁신적인 기능이 아닐까 싶다.
<그림 11> 손동작을 통한 TV 조작
이러한 기능을 지원하기 위해서 마이크가 탑재된 음성인식 기능과 터치패드을 지원하는 새로운 형태의 스마트 터치 리모콘을 선보였다. 이 리모컨의 상단에는 터치패드가 탑재돼있어 마우스를 사용할 수 없는 TV의 단점을 극복했다. 삼성전자의 스마트TV처럼 LG전자의 스마트TV도 모션 인식이 가능한 매직리모컨을 제공한다.
스마트TV에서는 기존 동작방식과는 다른 상호작용 방식을 제공하고 있다. 이런 것들이 NUI(Natural User Interface) 방식의 일종이다. NUI는 앞에서 본 것과 같이 키보드나 마우스없이 사용자가 입력하는 방식이라고 생각할 수 있다. NUI라는 용어를 영문 그대로 번역해보면 자연스러운 사용자 인터페이스라고 정의할 수 있다. 여기서 Natural이라는 말이 사용되는 이유는 기존 사용자 인터페이스는 사용자가 인터페이스들의 동작을 학습해야만 하기 때문이다.
즉, NUI는 일반적인 컴퓨터의 마우스나 터치와 같은 인터페이스 방식이 아닌 사용자들이 좀 더 직접적으로 자연스러운 움직임과 제스쳐를 통해 기기들을 사용할 수 있음을 의미한다. 기존의 키보드나 마우스가 아닌 손가락이나 기타 신체부위를 입력장치로 사용하는 인터페이스로 NUI 방식은 일반적인 사용자가 빠르게 학습할 수 있다. 때문에 사용자들이 그것과 어떻게 상호작용하는지를 설명하는 데 ‘직관적’이라는 단어를 많이 사용된다.
<그림 12> 스마트 터치 리모콘과 LG 전자의 매직 리모콘
NUI라는 명칭은 1970년에 MIT의 미디어랩에서 수행했던 착용식 컴퓨터(Wearable Computer)연구에 참여했던 Steve Mann이 Metaphor-free Computing 연구를 Natural(Direct) Interface로 언급하면서 처음 시작됐다고 알려져 있다. 그러나 실제 널리 사용된 것은 2008년 마이크로소프트 연구소에서 서피스 컴퓨팅(Surface Computing)의 연구 책임자인 de los Reyes가 차세대 UI 기술이 진보하는 방향을 언급하면서부터라고 볼 수 있다.
NUI에는 사용자가 객체나 몸의 움직임에 따라 장치들을 제어하는 것을 의미하는 KUI(Kinetic User Interface)가 있다. KUI의 종류에는 실감형 사용자 인터페이스(TUI, Tangible User Interface)가 있는데, 이를 TTA의 정의로 살펴보면 ‘실제로 물건을 만지고 느끼고 잡고 옮기는 등의 행위를 통해 디지털 정보를 조작하는 인터페이스 기술. MIT 미디어랩의 Tangible Media Group에서 처음 제안된 것으로, 인간이 실생활에서 오랜 시간 발전시켜 온 감각과 운동을 인터페이스에 적용시킨 것’이다. 현실의 공간과 컴퓨터 상의 공간 사이에 벽이 없이 가상 공간의 디지털 정보를 실제 객체와 연결하고 이러한 실제 객체를 이용해 디지털 정보를 제어할 수 있다. 예를 들면 사용자가 컴퓨터 안에 담긴 그림을 꺼내 책상 위에 올려놓으면 다른 사람이 다시 드래그해 자신의 컴퓨터 안에 담기도 한다.’라고 정의하고 있다. 즉 물리적인 환경을 통해서 사람이 디지털 인포메이션과 상호작용하는 유저 인터페이스를 의미하는 것으로 원래 이름은 Graspable User Interface였지만 이 용어는 더 이상 사용되지 않는다.
이러한 NUI를 처리하기 위해서 필요한 기술 중 하나가 제스처 인식이다. 제스처 인식은 인간의 움직임을 감지해 컴퓨터가 적합한 오퍼레이션을 수행하는 것을 의미하는데 이를 통해 사용자의 움직임을 컴퓨터가 인식할 수 있는 명령어로 변환한다.
<그림 13> 마이크로소프트의 Surface Computing
제스처 인터페이스는 크게 2가지로 구분되는데, 앞에서 이야기한 아이폰이나 아이패드에서 사용되는 ‘터치 기반 인터페이스’와 삼성전자의 스마트TV에서 사용되는 보다 ‘자유로운 형태의 인터페이스’로 각각 나눌 수 있다. 터치 기반 인터페이스는 멀티 터치 관련 제스처 인터랙션과 같이 장치를 직접적으로 눌러 입력한다. 이와 같은 터치기반 인터페이스의 예로는 2007년 마이크로소프트웨어에서 발표한 Surface Computing이 있다. Surface Computing은 거실 테이블 모양의 컴퓨터로 멀티터치 기술을 이용해 사용자 상호작용을 수행할 수 있다.
<그림 14> 닌텐도의 위 리모콘과 위핏을 이용한 축구게임
자유 형태 인터페이스는 특수한 형태의 장갑이나 닌텐도의 게임기인 Wii 리모트나 위핏과 같은 컨트롤러를 이용하거나 혹은 아무 컨트롤러 없이도 몸으로 제스처 입력할 수 있도록 한다. Wii는 이러한 인터페이스를 통해서 2007년 MS의 Xbox를 누르는 기염을 토했다. 자유 형태의 인터페이스를 사용하는 상호작용은 정말 흥미롭고 재미있다.
NUI를 적용하는 애플리케이션을 개발하기 위해서는 관련 장치와 개발도구가 필요하다. NUI를 지원하는 프로그래밍이 가능한 대표적인 장치로 MS에서 나온 키넥트가 있다. 2010년 11월에서 12월까지의 약 2달 간 800만대가 판매돼 기네스 세계 기록 ‘2011년 게이머 부분’에 오를 정도로 인기를 끈 키넥트는 Xbox에 사용되며 이를 이용하면 사용자 행동을 쉽게 인식하고 처리할 수 있다.
.png)
<그림 15> 키넥트를 이용한 제스처 인식
이와 같은 처리를 위해서 MS에서는 키넥트와 관련된 개발환경을 제공한다. 2011년 6월 17일부터 MS 정식 키넥트 SDK 베타를 배포했으며 현재 관련된 문서와 책자들이 소개되고 있다.
대표적으로 NUI 애플리케이션 개발과 관련돼 공개된 라이브러리로 MS를 위한 키넥트를 최초로 개발한 프라임센스가 오픈소스 프로젝트로 발표한 OpenNI(http://openni.org)가 있다. OpenNI란 키넥트를 개발할 수 있는 API의 집합이고, 키넥트의 비공식 SDK(Software Development Kit)이다.
<그림 16> OpenNI의 구조
OpenNI에 사용되는 NI는 Natural Interaction의 약어로, 인간과 기계의 의사소통은 인간의 감각(주로 청각, 시각)을 기본으로 행해진다는 의미를 담고 있다. 프라임센스는 OpenNI 이외에도 키넥트와 관련된 오픈소스 드라이버를 공개했다. 또한 프라임센스에서는 OpenNI를 위한 여러가지 모듈들을 제공하고 있으며, OpenNI가 저성능의 하드웨어에서도 잘 동작할 수 있게 하고 있다. OpenNI는 영상처리 라이브러리인 OpenCV와 함께 사용하기도 하는데 이를 이용해서 이미지 처리까지 한꺼번에 진행할 수 있다.
<그림 17> OpenNI의 제스쳐 인식
이러한 새로운 방식의 장치와 인간의 상호 작용(Human Computer Interaction: HCI) 기술은 유비쿼터스 컴퓨팅을 통해 증강현실(Augmented Reality) 등이 다양한 센서 기반 컴퓨팅(Sensor-based Computing) 기술과 맞물려 개발자에게 보다 고도화된 기술을 제공하고 있고, 인간과 컴퓨터 간 장벽을 해소하려는 상황인식 컴퓨팅(Context-Aware Computing) 기술로 발전하고 있다.
미래의 사용자 인터페이스 방식
영화 마이너리티 리포트에서 나온 것과 같은 멀티 터치를 통한 방식은 아이폰을 통해서 이미 구현됐고 현재 많은 사용자에게 편의성을 제공하고 있다.
<그림 18> 영화 마이너리티 리포트
이렇듯 인터페이스의 발전은 궁극적으로 영화 매트릭스나 스타트랙에서처럼 사람이 생각하면 뇌의 움직임과 반응에 따라서 발생하는 뇌파를 이용한 인터페이스인 BCI(Brain Computer Interface)로 발전해나갈 것으로 기대되고 있다.
이를 위해서 1970년대부터 여러가지 BCI 연구들이 진행되고 있는데, 인간의 뇌의 복잡성과 다른 문제로 아직 초기 단계에 머물고 있다. 잉크젯 프린터와 같이 여러 개의 냄새를 조합할 수 없어 이러한 연구의 일환으로 인간에게 냄새를 전달하기 위해서 소니에서는 뇌의 특정 위치를 초음파로 자극해서 사람이 맛이나 냄새 혹은 그 느낌까지 느낄 수 있는 아이디어를 특허로 출원했다. 이 기술이 상용화되면 TV를 보면서 리포터가 말로 전하는 맛이나 냄새를 직접 맡아볼 수 있게 된다.
<그림 19> 영화 스타트랙
앞으로 인간의 기술발전에 따라서 사용자에게 보다 편리하고 직관적인 방법으로 장치를 조작하고 정보를 제공하기 위한 기술들이 선보일 것으로 기대된다. 기술의 발전은 보다 나은 세상을 열어갈 것이고, 사용자나 개발자 모두에게 행복한 세상이 될 것이라 생각된다.
참고자료
1. http://word.tta.or.kr/terms/termsRelationView.jsp?gubun=1&terms_num=24957
2. www.vintage-computer.com/ibm_pc.shtml
3. http://blog.daum.net/mocie/15612393, http://geektrio.net/?p=7465
4. http://tech.fortune.cnn.com/2011/08/28/the-first-time-i-met-steve-jobs/
5. www.cultofmac.com/95614/
6. www.smashinglists.com/15-unforgettable-mac-computers-old-is-gold/
7. http://neoplasticutopia.com/2011/04/22/towards-an-understanding-of-post-pc/
8. www.bilal.ca/can-apple-really-patent-the-iphone-pinch/
9. www.realareal.com/ibutterflyaraugmented-reality-×-motion-sensor-×-gps-×-coupon
10. www.ytn.co.kr/_ln/0102_201202081731320028
11. www.chipchick.com/2012/01/samsung-redefines-smarttv.html
12. www.digitalversus.com/tv-television/ces-2012-samsung-presents-es8000-high-end-tv- series-n22800.html
13. www.smartmoviemaking.com/ces-2012-the-rise-of-smart-tv/
14. www.samsung.co.kr/article.do?cmd=view&contentId=127095&searchCategory=1
15. www.thetechaxis.com/2010/11/microsoft-surface-computing-the-next-generation-computer/#
16. www.videogamesforsaleworld.com/body-fitness-and-nintendo-wii-fit
17. www.wreporter.com/usa/microsoft-opens-up-its-system-kinect-pc-to-developers/
18. www.imaso.co.kr/?doc=bbs/gnuboard.php&bo_table=article&wr_id=37740
19. http://openni.org/Documentation/ProgrammerGuide.html
20. www.tested.com/news/why-the-minority-report-interface-is-far-from-practical/372/
21. http://interaxon.ca/blog/2011/11/why-the-brainwavesiri-hack-is-a-hoax-and-why-it’s-important-that-you-know/
22. www.hani.co.kr/section-007000000/2005/04/007000000200504071408677.html
