뇌-컴퓨터 인터페이스 기술 동향

류창수* 송윤선** 김민준** 신승철**

뇌-컴퓨터 인터페이스(BCI) 기술은 뇌파나 미세전극에서 측정된 생체신호를 분석하여 인간의 의사를 인식하는 것을 목표로 하고 있다. 이 글에서는 뇌파 기반 BCI 기술에 대해 초점을 맞추어, BCI 수단으로서의 뇌파의 장단점과 뇌파 분석법, 그리고 특정 뇌파 유도형과 뇌파 인식형으로 구분할 수 있는 BCI 주요 기술들의 동향을 살펴 보았다. ▧

I. 머리말

미국 MIT에서 발행하는 ‘테크놀로지 리뷰’에서는 최근, 세상을 바꿔 놓을 실현 가능한 기술 10 가지를 소개한 바 있다. 정보통신 기술(Information Technology: IT), 나노 기술(Nano-Technology: NT), 생명공학(Bio-Technology: BT) 등이 유기적으로 연결되어 있는 이들 10가지 기술 중에 뇌-컴퓨터 인터페이스(Brain-Computer Interface: BCI) 기술[1]이 있다.

네이처 최근 호에서, 미국 듀크대 니콜렐리스 박사 팀은 원숭이 뇌내의 동작 계획과 관련된 영역에 전극을 삽입하여 팔의 움직임과 관련된 신호를 포착하여 기계 팔을 움직이는 데 성공했음을 발표하였다[2]. 이와 같이 ‘생각만으로 작동하는 컴퓨터(기계)’는 생체에서 발생하는 전기적 활동인 생체신호를 이용하여 연구가 진행되어 왔다. 생체신호의 측정은 뇌파(Electro-encephalogram: EEG), 심전도(Electrocardiogram: ECG)와 같이 피부에 부착하는 비침습적인 전극을 활용하는 방식과 미세전극을 뇌내에 삽입하여 신경세포들의 집단에서 발생하는 신호를 측정하는 침습적인 방식으로 나눌 수 있다. 또한 비침습적인 방식의 경우, 뇌파와 같이 중추신경계의 활동을 반영하는 신호와 피부저항(Galvanic Skin Resistance: GSR) 등과 같이 자율신경계의 변화를 반영하는 신호로 대별할 수 있다.

신체장애인용 인터페이스를 위해 많이 연구되어 온 근전도(Electromyogram: EMG)와 안전도(Electrooculogram: EOG), 감성과 관련하여 많이 활용되어 온 심전도와 피부저항 등 뇌파 이외의 비침습적 생체신호, 그리고 앞에서 소개한 듀크대의 경우처럼 미세전극을 이용한 BCI 기술에 대해서는 다음 기회로 미루고자 하며, 이 글에서는 인간의 인식에 관한 정보처리가 이루어지는 두뇌로부터 비침습적으로 측정되는 뇌파를 이용한 BCI 기술에 대해서 그 동향을 살펴 보고자 한다.

사용자 인터페이스의 경우, 명령어-키보드 환경에서 아이콘-마우스 환경으로 변화되었고, 문자 인식, 음성 인식 등을 통해 더욱 인간 친화적인 인터페이스를 제공하려 하고 있다. 또한, 근래에는 얼굴 표정, 신체의 동작(제스처), 눈의 움직임(시선)을 통해 인터페이스를 이루려고 하는 연구가 진행 중이다. 뇌파 기반 BCI는 두뇌의 정보처리 결과인 의사 결정을 언어나 신체의 동작을 거치지 않고 직접 시스템에 전달할 수 있어, 인간의 생각을 인식한다는 새로운 개념의 인터페이스, 신체장애인을 위한 복지형 인터페이스, 그리고 실감형 인터페이스를 가능하게 한다.

II. BCI 기술

인간의 두피에서 측정 가능한 자발적 전기 활동인 뇌파는 두뇌 활동의 변화를 시간적 공간적으로 파악하는 수단으로서, 1929년 Hans Berger에 의해 최초로 기록된 후 임상과 뇌기능 연구에서 폭 넓게 사용되어 왔다. 뇌파의 발생과 측정, 그리고 뇌파 측정시 혼입되는 잡파(artifact)에 대해서는 참고문헌을 참조하기 바란다[3].

BCI의 수단으로서 뇌파의 장점과 단점은 아래와 같이 요약될 수 있다.

¡ 장점

- 자발적인 생체신호이므로 측정 비용이 저렴하다.

- 비침습적 측정을 하므로 인체에 무해하다.

- 뇌내 정보처리에 대한 실시간 정보 제공이 가능하다.

¡ 단점

- 잡파의 혼입이 불가피하다.

- 체 전달(volume conduction)로 인한 정보의 손실이 있으며 분석의 어려움이 존재한다.

강한 자기장을 거는 fMRI(functional Magnetic Resonance Imaging)나 방사성 물질이 투입되는 PET(Positron Emission Tomography)와는 달리 뇌파는 신경세포들의 자발적인 전기적 활동의 총합을 측정하는 것이므로 측정 비용이 저렴하다. 또한 인터페이스로서의 활용을 생각할 때, 일반인이 미세전극을 뇌내에 삽입하는 위험을 감수할 가능성은 매우 적으며, fMRI나 PET, MEG(Magnetoencephalogram) 등과 같은 거대 고가의 장비가 사용자 인터페이스용으로 활용될 가능성도 매우 희박하다. 최근 각광 받는 fMRI가 수 초의 시간 해상도를 갖는 것에 비해 뇌파는 수 밀리초 단위로 두뇌 활동에 대한 실시간 정보를 제공할 수 있다.

위에서 언급한 장점과는 달리 BCI 활용에 장애물도 있다. 뇌파 측정시 혼입되는 눈 깜박임이나, 침 삼키기 등에 의한 근전도, 호흡 등에 의한 잡파의 혼입은 회피하기 어렵다. 최근에 도입된 독립성분분석(Independent-Component Analysis: ICA)에 의해 정보를 제공하는 원천이 다른 신호를 분리하기도 하지만, 실시간 필터로서의 역할에는 극복해야 할 문제가 남아 있는 것으로 판단된다. 또한 1011개로 추산되는 신경세포들의 전기 활동의 총합 과정과 두피까지의 체 전달 과정에서 발생하는 정보 손실로 인해 특정 신경세포 집단의 활동을 측정할 수 있는 미세전극에 비해 애매모호한 정보를 준다는 단점이 있다. 그러나 사용자에게 부담을 주지 않는 새로운 뇌 활동 계측 방법이 등장하지 않는 한, 사용자 인터페이스로서의 활용성 측면에서는 뇌파가 독보적인 장점을 갖고 있다고 하겠다.

뇌파 기반 BCI 기술이 범용성을 갖기 위해서는 다음과 같은 사항이 요구된다. 첫째로, 사용자 편이성이 요구된다. 아무리 인간의 의사를 분별할 수 있다 하더라도 두피 전반에 걸쳐 많은 전극을 전도성 풀로써 부착하는 것은 사용자 인터페이스 측면에서는 활용성을 크게 떨어뜨린다. 따라서 머리띠 형으로 배치된 전극들에서 측정되는 뇌파를 이용하여 분별할 수 있는 의사 및 동작을 선정하고 이를 인식하는 기술이 중요한 관건이라 하겠다. 일반적으로 뇌의 기능은 영역에 따라 국소화 되어 있으며, 뇌에서의 정보처리는 그러한 영역 간의 시공간적인 이동과 연합을 통해 이루어지므로 무조건 전극배치를 머리띠 형태로 할 수는 없기 때문이다. 분별할 의사의 선정시에는 미래 정보통신 환경인 인터넷 가전, 휴대형 PC 등에서 필수적으로 사용될 명령도 고려되어야 할 것이다. 또한 인터페이스로의 활용을 위해 초소형 뇌파 측정 장치와 전도성 풀을 사용하지 않는 건성 전극의 개발이 요구된다.

둘째는 뇌파 처리의 신속성이다. 이는 처리하는 뇌파 용량과 인식에 소요되는 연산 시간에 의존하기 때문에 많은 양의 데이터를 필요로 하는 분석법이나 많은 시간을 요구하는 분석법은 BCI용으로는 적합하지 않다고 판단된다.

셋째는 정확성으로, 오작동하는 사용자 인터페이스를 다만 신기하다는 이유만으로 사용할 사용자는 없기 때문이다. 이를 반증하듯이 초기의 단순했던 분석법에 비해 현재는 특징추출에서 분류에 이르기까지 다단계 분석이 주로 행해지고 있다.

위의 세 가지가 다 확보될 수 있다면 가장 이상적인 경우가 되겠지만, 그렇지 않을 경우에는 일반인용과 장애인용 여부를 확실히 하고, 주위의 다른 인터페이스와 역할 분담을 고려하여 분별할 의사를 설정하고, 때로는 사용자에게 훈련을 요구하는 전략을 취하는 것이 효율적일 것으로 판단된다.

III. 뇌파의 분석

뇌파의 분석에는 시계열에 적용될 수 있는 모든 분석법이 사용 가능하다.

- 시간 분석: 평균, 표준 편차, 자기상관함수, 상호상관함수 등

- 주파수 분석: 파워 스펙트럼 등

- 시간-주파수 분석: 단시간 푸리에 변환(Short-Time Fourier Transform: STFT), 웨이블릿 변환, 위그너 분포 등

- 비선형 동역학 분석: 상관차원, 리아프노프 지수, 바이스펙트럼, 리커런스 플롯 등

- 통계 모델: AR(Autoregressive) 모델 등

- 시공간 분석: PCA(Principal Component Analysis), ICA(Independent Component Analysis) 등

- 분류기: 인공신경회로망, 은닉마르코프 모델 등

’80년대 중반 이후 가장 주목 받고 있는 분석법으로는 시간-주파수 분석과 비선형 동역학 분석을 꼽을 수 있으며, 최근에는 ICA가 각광을 받고 있다.

시간-주파수 분석은, 주파수 대역에서 대부분 얻어진 기존의 뇌파에 관한 정보를 용이하게 활용할 수 있으며, 시간에 따라 여러 sub-process를 거치는 뇌내 정보처리에 관련한 뇌파의 변화를 볼 수 있는 장점이 있다.

비선형 동역학적 분석은 1차원 시계열을 원래의 N차원 공간에서 특성화하고자 하는 것으로서 기타 다른 분석에서 제공할 수 없는 시각을 제공할 수 있다. 그러나 일반적으로 분석에 많은 데이터를 요구하기 때문에 실시간을 지향하는 측면에서는 부담을 제공한다.

ICA는 PCA와 같이, 각 전극에서 측정된 뇌파를 전극 수와 같은 개수의 서로 다른 성분으로 분리하는 것으로, PCA는 성분 간에 orthonormal할 것을 요구하고 ICA는 서로 독립적일 것을 요구한다. ICA로 성분을 분리할 경우, 안전도, 동작 등 뇌내에서의 발생하는 원천이 다른 성분들은 분류되게 된다. 그러나 ICA 역시, 시간-주파수 분석과 비교할 때 상대적으로 많은 데이터를 요구하며, 분리된 성분이 뇌파의 어떤 성분인가를 밝혀 내는 점이 주요 부분이 되게 된다.

뇌파 분석의 어려움은 원천적으로, 인식의 과정에서 뇌내 정보처리가 어떻게 이루어지는가가 아직 밝혀지지 않은 점에 기인한다. 최근에는 특정 분석법으로 뇌파를 처음부터 끝까지 분석하는 방식에서, 여러 분석법들의 장점을 상호 보완하여 특징을 추출하고 분류기를 써서 뇌파를 인식하는 방향으로 연구가 진행되고 있다.

IV. BCI 기술 동향

BCI 기술은 특정 뇌파 유도형과 뇌파 인식형의 두 유형으로 크게 나눌 수 있다. 최근, 뇌파로 TV를 켜고 끄는 등의 기술이 개발된 바 있는데, 이러한 기술들은 분별이 용이한 특정 뇌파의 출현을 유도하는 방식으로서, 사용자의 의도와는 다른 행위와 훈련을 요구하기 때문에 BCI의 근본적 장점을 이용하지 못했다고 할 수 있다. 뇌파 인식형은 뇌파를 분석하여 간단한 의사/동작을 인식함으로써 사용자의 의도를 그대로 기계에 전달하고자 하는 것으로서, 특정 뇌파 유도 방식을 모르스 부호를 사용하는 ‘전신’이라고 한다면 뇌파 인식 방식은 간단한 대화를 하는 ‘전화’로 비유할 수 있다.

또한, 사용자의 훈련을 통해 특정 뇌파를 출현시키는 방식이라 할 지라도, 그 훈련의 행위가 사용자의 의도와 맞는 것이라면 뇌파 인식으로 분류하는 것이 타당하다고 판단된다. 예를 들어, 손 동작이나 그 상상의 훈련을 통해 뮤 리듬을 조절할 수 있게 하는 경우에, 단지 기계의 작동을 위하여 뮤 리듬을 이용한다면 특정 뇌파 유도 방식이고, 왼손 동작을 상상하여 왼쪽 의수가 작동을 한다면 뇌파 인식 방식이라고 함이 옳다고 판단된다.

최근 유행하고 있는 뇌파를 이용한 학습 보조기(엠씨스퀘어 등)나 게임에 의해 정신 집중을 유도하는 기술(큐점프 등)과 같은 EEG biofeedback 분야나, 뇌파 등의 생리신호를 통해 인간의 오감을 정량적으로 평가하고 감성측정평가 시뮬레이터 개발 및 DB를 구축하여 궁극적으로 감성의 제품 및 환경응용 기술개발을 목적으로 하는 감성공학 분야에 대해서는 참고문헌 [3]을 참조하기 바란다.

위에서 언급한대로 특정 뇌파 유도형과 뇌파 인식형에 속하는 주요 BCI기술들에 대해 살펴 보기로 한다.

① 뇌파를 통한 전기기구 on/off

정상인의 경우, 눈을 감고 안정한 상태에서 알파파가 출현하는데, 눈을 뜨면 감소하게 된다. Mind switch는 이를 이용한 것으로, 눈을 감으면 증가하는 알파파를 감지하여 수신기에 신호를 보내고, 수신기는 신호를 받아서 전기기구를 켜고 끄게 된다. 스위치를 켜고 끄려는 의도와 눈을 감는 것과는 별개의 것이라는 데 근본적인 한계가 있어, 기술의 확장이 어렵다. 최근에는 신뢰성 확보에 대한 보완 연구가 이루어지고 있다.

② 뇌파를 이용한 가전 제품 작동 기술

’97년 11월 13일 일본에서 발표된 뇌파를 이용한 채널 선택과 가전제품 작동 기술도 특정 뇌파 유도형 기술로서 ‘에이’라고 속으로 외침을 통해 정신 집중에 의한 뇌파 증폭을 꾀한다.

③ 게임에서 물체의 속도를 제어

뇌파를 컴퓨터 게임에 이용하자는 시도로서, 자동차 경주 게임에서 방향은 조이스틱으로, 속도는 뇌파로 조정하게 되어 있다. 미국의 벤처 기업인 IBVA는 이것 이외에 뇌파와 눈동자의 움직임을 추적하여 CD 연주기를 작동시키는 기술 등을 개발하고 있다[4].

④ 장애인용 워드프로세서

’99년 튀빙겐 대학에서는 SCP(slow cortical potential)를 이용한 워드프로세서를 개발하였다[5]. 화면에 나타내는 상하 2 개의 문자 은행 중 하나를 계속 선택해 감으로써 최종적으로 한 문자를 선택하는 방식을 취했는데, 분당 두 문자의 속도를 보였다. 이 작업은 전신마비 환자에 대해 행해짐으로써 장애인용 워드프로세서의 새로운 의미를 갖고 있다. (그림 3)의 왼쪽 그림은 이러한 작업을 통하여 전신마비 환자가 제시된 문자열을 따라 쓰고 있는 화면을 보여 주고 있다.

일리노이 대학의 Donchin 교수 팀에서는 사상 관련 전위(Event-Related Potential: ERP)를 사용하였는데[1], EEG는 특정 자극과 관련되지 않은 자발적 뇌파인 반면, ERP는 특정의 시각, 청각, 체감각 자극과 관련되어 측정된다. ERP는 EEG에 비해 그 진폭이 작아 육안으로 식별되기는 어려우며, 특정 자극의 반복 횟수를 많이 하여 평균을 취하게 되면 ERP를 얻을 수 있게 된다. (그림 3)의 오른쪽 그림과 같은 문자행렬이 주어지고 피험자는 자기가 원하는 한 문자를 선택한다. 문자 행렬에서 수직/수평 방향으로 한 줄씩 차례로 활성화되면 피험자가 선택한 문자가 들어 있는 줄에서 ERP의 특정 성분이 활성화되어 그 문자를 인식하는 방식이다.

⑤ 긍/부정 의사 분별

일본의 벤쳐 기업인 뇌기능 연구소에서는 감성 인터페이스를 위한 긍정/부정 의사 분별 기술을 개발하였다. 특정 뇌파 유도형으로서 ‘예’일 경우에는 왼쪽 귀에, ‘아니오’일 경우에는 오른쪽 귀에 의식을 집중함으로써 긍정/부정 의사 분별을 시도하였다.

⑥ 뇌파를 통한 각성수준 분별

뇌파를 통해 각성수준을 측정하여 어느 수준 이하로 떨어지면 적절한 경고를 할 수 있는, 휴대형 실시간 각성수준 모니터링 시스템 개발이 수행 중이다[6]. 미국의 Salk 연구소와 Naval Health Research Center 공동으로 수행 중이며, 가장 체계적인 연구가 수행되고 있는 것으로 판단된다. 최근에는 전두엽과 두정엽 부분에 두 개의 건성 전극을 사용하는 단계까지 연구가 진척된 것으로 파악된다.

⑦ 신체동작을 거치지 않는 뇌-컴퓨터 인터페이스:

어떤 동작을 머리에 떠올리면 두뇌의 운동 영역에서 특정한 형태를 갖는 뇌파(뮤파)가 발생하는데, 이러한 파형을 신경회로망을 통해 파악하여 기계를 동작시키려고 한다[7]. 이 연구는 ANNDEE라는 이름의 프로젝트(Biomed1 프로젝트에 속함)로 유럽과 미국의 공동연구로 수행되었고, Pfurtscheller 교수 그룹에서 계속 진행되고 있다. 현재 왼손/오른손 동작을 상상할 때의 뇌파를 분별하여 이를 바탕으로 로봇팔의 동작을 제어하는 기술을 개발한 상태이다.

⑧ 뇌파를 통한 정신적 과제 분별

말하지 않고 인사말을 떠올리게 했을 때, 수학적 암산을 하게 했을 때 등의 정신적 작업을 수행시키고 뇌파를 측정하고 신경회로망을 써서 분별하려 하였다[8]. 아직, 정확성과 신속성에서 만족할 만한 결과는 없으며 최근에는 연구가 활발하지 않은 상태로 판단된다.

⑨ 뇌파를 통한 일본어 모음구별

뇌파를 통하여 일본어 모음을 구별하고, 다음으로 자음을, 나아가 음절, 단어까지 뇌파를 통해 분별하여, 청각/언어 장애자를 위한 의사 전달 수단으로 활용하려고 한다. ’93년에 모음 구별에 대한 연구 결과가 나온 이후 활발한 활동을 보이지 않고 있다.

⑩ 뇌파를 이용한 모니터 상의 커서 제어

’90년대에 걸쳐 뉴욕 주립대의 Wolpaw 교수 그룹에 의해 연구되어 왔다[9]. 동작을 행하거나 상상을 할 때 감소하는 뮤파를 이용하는 것으로 모니터 상의 커서를 상하 좌우 움직일 수 있었다. 피험자가 사용하기 위해서는 오랜동안 훈련을 해야 하는 단점이 있다.

이 밖에 언급할 점으로는 미국의 Wolpaw 교수 그룹(⑩)과 독일의 튀빙겐 대학 Birbaumer 교수 그룹(④) 간에 BCI연구의 체계화, 표준화를 위한 공동연구 프로젝트 BCI2000이 시작된 것을 들 수 있다[10]. 국내의 경우, ETRI주관으로 긍정/부정 의사, 선택 의사, 좌/우 손 동작 및 그의 상상 등을 뇌파로 인식하기 위한 산학연 공동연구가 진행 중이다.

 ‘특정 뇌파 유도’의 경우, 눈을 감았을 때의 알파파 증폭, 좌우 두뇌의 편측성 등 쉽게 구별되는 특성을 사용자 훈련을 통해 의도적으로 출현시키고 있으며, 일차 구현된 기술들의 대부분이 이를 채택하고 있다. 그러나 기술의 확장성이 없다는 것과 사용자의 훈련이 필요하다는 단점이 있다. ‘의사 인식’의 경우, 사람의 의사를 그대로 기계에 전달하려는 고차원의 기술을 지향하고 있으나, 두뇌에서의 복잡한 인지과정으로 인한 뇌파 분석의 어려움이 있으며, 기술개발 초기단계에 있다.

이상의 현황을 종합하면 BCI 분야에서는 단기적으로는 ‘뇌파를 이용한 전기기구 스위치’와 같은 단순한 기술의 발전이 예상되며, 장기적으로는 뇌파를 통한 의사와 동작 등의 분별 기술로 의 전환이 예상된다. 그리고 신속도와 정확도를 갖추게 되면 가상현실 기술의 발전과 맞물려 지능적 실감형 인터페이스로 발전할 것으로 전망된다.

V. 맺음말

뇌파 기반 BCI 기술은 사람의 생각으로 컴퓨터를 작동시킨다는 새로운 개념의 휴먼-컴퓨터 인터페이스를 제공할 수 있으며, 언어나 신체의 동작을 거치지 않고 두뇌-시스템 간의 직접적인 인터페이스 제공이 가능하므로 신체장애인을 위한 복지형 인터페이스로 활용될 수 있다. 또한, 가상현실 기술의 입력 수단으로 활용되어 보다 실감적인 인터페이스를 구축할 수 있고, 초소형 단말기의 비화성을 갖춘 입력 수단으로 제공될 수도 있다.

국내외 기술 동향을 고려할 때, 뇌파의 응용 기술 개발은 특정 목적적 중소규모 지향적이며 기술 개발 초기 단계에 있다. 또한 뇌파 이용 기술의 상업성 평가가 이루어지지 않은 상황이므로, 민간기업에서 자발적으로 체계적인 기술 개발을 하기는 어려울 것으로 판단된다. 또한 인지과학, 의공학, 전기/전자 공학 등 제 분야와의 긴밀한 연계가 필요하므로 정부차원의 특정 목적적인 기술개발이 현 단계에서 최선의 전략으로 판단된다.

그리고 무엇보다도, 아직 비과학적 영역에 있는 텔레파시와 뇌파를 혼동하거나, 기존에 개발된 뇌파의 단순 응용 기술을 BCI 기술의 전부로 오인하는 것이 생체신호(뇌파) 기반의 휴먼 인터페이스 연구의 가장 큰 제약이며 극복해야 할 큰 장애라고 할 수 있다.

<참 고 문 헌>

[1]    IEEE Trans. Rehab. Eng., Vol.8, No.2, 2000.

[2]    J. Wessberg et al., “Real-time prediction of hand trajectory by ensembles of cortical neurons in primates,” Nature, Vol.408, 2000, pp.361-365.

[3]    류창수, “뇌파를 이용한 휴먼 인터페이스 기술의 동향과 전망,” 주간기술동향 800호, 1997, pp.117-130.

[4]    //www.ibva.com/

[5] N. Birbaumer et al., “A spelling device for the paralysed,” Nature, Vol.398, 1999, pp.297-298.

[6] T. Jung et al., “Estimating alertness from the EEG power spectrum,” IEEE Trans. Biomed. Eng., vol.44, 1997, pp.60-69.

[7]    G.R. Miller, C. Guger, and G. Pfurtscheller, “Direct control of a robot by electrical signals from the brain,” Proc. EMBEC 99 Part II, 1999, pp.1354-1355.

[8]    C.W. Anderson, E.A. Stolz, and S. Shamsunder, “Multivariate autoregressive models for classification of spontaneous electroencephalographic signals during mental tasks,” IEEE Trans. Biomed. Eng., Vol.45, 1998, pp.277-286.

[9]    J.R. Wolpaw, and D.J. McFarland, “Multichannel EEG-based brain computer communication,” Electroencephalogr. Clin. Neurophysiol., Vol.90, 1994, pp.444-449.

[10]  //www.bciresearch.org/BCI2000/bci2000.html

[11]  S. Makeig et al., “Blind separation of auditory event-related brain responses into independent components,” Proc. of the National Academy of Sciences, Vol.94, 1997, pp.10979-10984.