(사진: UCSF)

 

 

뇌에 전극을 붙여, 내가 하고 싶은 말을 소리로 낸다? 영화에서나 볼 법한 장면이죠. 하지만 이것을 구현할 수 있는 기술을 개발한 곳이 있습니다.

 

 

 

 

캘리포니아 대학교 샌프란시스코 캠퍼스(University of California, San Francisco)의 신경과학자들이 놀라운 뇌-기계 인터페이스를 개발했습니다. 이 시스템을 통해 발성기관을 제어하는 뇌의 활동을 분석하여, 내 목소리와 똑같은 ‘합성 목소리’를 만들 수 있죠. 직접 소리를 내서 말을 할 수 없는 경우, 내가 하고 싶은 말을 기계가 나의 목소리로 대신 말해줄 수 있게 된 것입니다.

 

뇌졸중이나 심각한 뇌 손상, 혹은 파킨슨 병과 같은 신경퇴행성 질병으로 인해 간혹 말하는 능력을 영구적으로 잃는 경우가 있습니다. 이렇듯 언어 장애가 있는 경우, 눈동자 움직임이나 얼굴 표정을 추적하여 글자를 하나씩 찍는 방식으로 소통을 하지만, 이 방식으로는 1분에 10단어 정도를 만들어 낼 수 있을 뿐입니다. 목소리를 통해 1분에 100~150단어를 말하는 것과 비교하면 매우 느린 편이죠.

 

 

 

(사진: Steve Babuljak via UCSF)

 

 

하지만 에드워드 창(Edward Chang) 박사가 2019년 4월 네이처(Nature) 지를 통해 발표한 논문에 따르면, 뇌에서 말하기를 담당하는 부분의 활동을 활용하면 음성을 ‘합성’할 수 있습니다. “이는 이미 우리가 구현한 기술을 통해 언어 능력이 손상된 환자에게 의료적으로 적용할 수 있는 기기를 고안해 낼 수 있다는 놀라운 증거입니다.”

동 연구를 이끌었던 고팔라 아누만치팔리(Gopala Anumanchipalli) 박사와 연구진은 뇌가 발성기관으로 ‘말하라’는 명령을 내릴 때, 음성 자체를 전달하는 것이 아니라 그 음성을 발생시키기 위한 ‘물리적 움직임’을 명령한다는 사실을 발견했습니다.

연구진은 병원에서 다섯 명의 지원자를 대상으로 실험을 진행했다고 하는데요. 언어 능력에는 전혀 손상이 없지만, 발작 관련 수술을 위해 일시적으로 뇌에 전극을 이식한 환자들이었습니다. 이들에게 몇백개의 개의 문장으로 구성된 지문을 주고, 이를 큰 소리로 읽는 동안 그들의 (언어와 관련 있다고 알려진) 뇌 부분의 활동을 기록한 것이죠.

(사진: UCSF)

 

 

녹음된 음성을 기반으로 연구진은 목소리를 만드는 데 필요한 발성기관의 움직임을 역으로 추적했습니다. 입술을 물고, 성도(vocal tract, 성대~콧구멍 사이의 통로)를 조이고, 혀를 움직이는 등의 활동을 말이죠.

음성을 발생시키는 해부학적 지도를 구성한 연구진은 가상의 성도를 구성할 수 있게 되었습니다. 여기에서 두 종류의 신경망 머신러닝 알고리즘이 활약합니다. 하나는 발화 중 뇌 활동 패턴을 가상 성도의 움직임으로 변환하는 디코더(decoder), 그리고 이 성도의 움직임을 피실험자의 실제 목소리로 합성해 주는 합성기(synthesizer) 입니다.

 

 

또는 여기를 클릭하세요~

 

 

이런 방식으로 발성기관에 명령을 내려 목소리를 내게 하는 뇌 부분의 활동을 분석하고, 알고리즘을 통해 목소리를 합성하여 기계음으로 나의 생각을 전달할 수 있게 되는 것입니다.
이 기술이 실제 생활에 적용되기까지는 어느 정도의 시간이 걸릴 것입니다. 하지만 돌이켜 생각해 보면 먼 훗날의 이야기인 것만 같았던 기술들은 이미 우리 곁에 와 있습니다. 텍스트를 음성으로 변환하여 책을 대신 읽어주거나, 우리의 음성을 인식하여 명령을 수행하는 인공지능 스피커와 같은 기술들 말이죠. 뇌파를 읽고 대신 말해주는 위와 같은 기술도 어느 순간 대중화가 되어 우리 곁에 다가와 있을 것입니다. 그 날이 기다려지네요.

 

 

 

(원문: 여기를 클릭하세요~)

 

 

 

 

Leave a Reply

Your email address will not be published. Required fields are marked *