박성준 교수팀, 손 동작 인식 가능한 차세대 제스처 인식기술 로드맵 제시
아주대 연구진이 피부 밀착형 초유연 전자소자를 기반으로 한 차세대 지능형 제스처 인식 플랫폼의 연구 로드맵을 제시했다. 헬스케어와 로봇공학 등 첨단 분야의 핵심 기술로 활용되고 있는 지능형 제스처 인식기술의 연구에 널리 활용될 수 있을 전망이다. 박성준 아주대 교수 연구팀은 왕건욱 고려대 교수 연구팀과 함께 피부에 밀착되는 초유연 전자소자를 기반으로 한 지능형 손짓 제스처 인식기술의 최신 동향을 종합 분석한 리뷰(review) 논문을 발표했다고 밝혔다. 이번 리뷰 논문은 ‘지능형 제스처 인식을 위한 피부 맞춤형 전자 장치(Skin-conformal electronics for intelligent gesture recognition)’라는 제목으로 글로벌 저명 학술지 <네이처 리뷰 일렉트리컬 엔지니어링(Nature Reviews Electrical Engineering)> 10월호에 게재됐다. 이번 연구에는 아주대 지능형반도체공학과 박사과정 이인호 학생, 고려대 KU-KIST 융합대학원 박사과정 신효진 학생, 미국 버지니아대 조해인 박사가 공동 제1저자로 참여했다. 아주대 박성준 교수(전자공학과·지능형반도체공학과)와 아주대 최준규 연구원(정보통신전자연구소), 고려대 왕건욱 교수(KU-KIST 융합대학원 융합에너지공학과)는 교신저자로 참여했다. 제스처 인식(Gesture recognition) 기술은 인간의 손짓과 동작을 전기 신호로 변환해, 센서 등의 장치를 통해 기계가 감지하고 반응하도록 하는 기술을 의미한다. 가상현실(VR)과 증강현실(AR), 로봇공학 분야와 인간-기계 인터페이스(Human-Machine Interface) 그리고 헬스케어 등의 분야에서 제스처 인식기술은 중요한 화두가 되어 왔다. 제스처 인식기술을 이용하면 메타버스를 비롯한 확장현실(XR) 환경에서 사용자의 몰입감을 높이고, 맞춤형 의료 서비스에서 환자의 동작 데이터를 실시간으로 수집하며, 로보틱스 제어의 직관성 및 안전성을 강화하는 등 버튼이나 음성 명령을 대체하는 수준 이상의 활용이 가능하다. 그러나 지금까지의 제스처 인식 시스템은 ▲카메라 ▲적외선 센서 ▲장갑형 웨어러블 기기 등에 의존해왔고, 이러한 방식은 여러 구조적 한계를 보여왔다. 전력 소모가 큰데다 카메라 등 기기가 위치한 곳에서만 활용이 가능해 공간적 제약이 있고, 센서나 기기의 부피가 크고 구조가 복잡해 착용이 어렵고 정밀도가 떨어지는 것. 손가락 동작이 가능한 전자 피부 등 관련 분야를 연구해온 아주대·고려대 공동 연구팀은 기존의 기술과 연구에 대한 심층 분석을 통해 손짓 제스처 인식기술의 구조적 한계를 극복하기 위한 피부 부착용 초박막·초유연 전자소자 기반 플랫폼을 제안했다. 초박막·초유연 전자소자 기반 플랫폼은 다양한 센싱 모듈–뉴로모픽 시냅스 소자–인공지능 인식 유닛이 결합해 작동하며, 실제 생활 환경에서도 안정성과 신뢰성을 확보할 수 있다. 전체 구조는 초박막·초유연 전자소자로 구현되어 피부와 자연스럽게 일체화된다. 이를 통해 간편한 장치로 세심하고 민감하게 손동작을 인식할 수 있게 됨으로써 기존 장치들의 한계로 여겨져 왔던 착용감, 내구성, 신뢰성의 한계를 동시에 보완할 수 있다. 연구팀은 리뷰 논문에서 제안 플랫폼의 세부 구성을 구체적으로 제시했다. 우선 ▲제스처 센서는 손가락 관절, 근육, 표면 근전도, 광학적 변화 등 다양한 생체 신호를 높은 감도와 빠른 응답 속도로 포착한다. ▲뉴로모픽 시냅스 소자는 가소성(plasticity)을 조절해 반복되는 제스처 패턴을 학습·기억할 수 있도록 하고 ▲인공지능 인식 유닛은 CNN, RNN, 리저버 컴퓨팅 등 알고리즘을 적용해 정적·동적 동작을 실시간으로 분류·해석한다. 공동 연구팀은 이 세 가지 요소가 유기적으로 작동할 때, 단순한 동작 검출을 넘어 학습과 추론이 가능한 지능형 인간–기계 인터페이스가 구현된다고 강조했다. 이러한 분석은 단순한 기술적 성과를 넘어, 인공지능 전환(AI Transformation, AX) 시대가 요구하는 지능형 상호작용 플랫폼의 청사진을 보여준다. 연구팀은 앞으로의 발전 방향에 대한 제안도 내놨다. 먼저 기존 웨어러블 기기에서 초박막·초유연 장치로의 진화를 통해 사용 편의성과 안정성을 강화해야 하며, 이를 위해 특히 반복적인 구부림이나 주름 변형 속에서도 장기간 감도를 유지할 수 있는 신소재 개발이 필수적이라고 설명했다. 또한 전기·광학·기계 신호를 융합하는 멀티모달 센싱 체계의 필요성도 강조했다. 복잡한 제스처에도 실시간 반응성을 확보하고, 단일 센서로는 얻기 어려운 고차원 정보를 추출할 수 있는 기반을 마련할 수 있어서다. 왼쪽부터 이인호 박사과정생, 최준규 연구원, 박성준 교수 더 나아가 손끝의 미세한 움직임이나 피부의 광학적 변화 등을 안정적으로 포착하는 정밀 감지 기술도 요구된다. 연구진은 여기에 뉴로모픽 연산 방식을 접목할 경우, 인간의 학습·기억 메커니즘을 전자 장치에서 구현할 수 있어 단순 감지를 넘어 반복적 행동 패턴을 학습·적응하는 지능형 플랫폼으로 발전할 수 있다고 분석했다. 이는 단순히 손가락의 위치를 읽는 수준을 넘어, 손동작의 힘과 속도, 연속성, 맥락을 함께 이해해 ‘사용자의 의도’를 파악하고 선제적으로 반응하는 차세대 인터페이스로 발전할 수 있다는 의미다. 예를 들어, 의료현장에서는 환자의 미세한 회복 변화를 분석해 맞춤형 재활을 지원하고, 산업 환경에서는 장갑이나 조작기 없이 손짓만으로 기계를 제어하는 직관적 휴먼–로보틱스 시스템을 구현할 수 있다. 또한 메타버스를 비롯한 확장현실 환경에서는 손의 움직임 흐름만으로 메뉴 탐색, 객체 조작, 감정 표현까지 가능한 자연스러운 상호작용이 가능해지고 스마트홈이나 차량 인터페이스에서는 사용자의 습관과 패턴을 학습해 ‘말하지 않아도 먼저 실행하는’ 예측형 제어가 가능해진다. 연구팀은 또 기술 상용화를 위해서는 ▲대면적·대량 제조 기술 ▲장기 착용 시의 안정성 ▲사용자 편의성 ▲규제 승인 체계 등이 함께 마련돼야 한다는 점도 제시했다. 이번 논문의 제1저자인 아주대 이인호 박사과정생은 “현재의 손 제스처 인식 기술은 장갑형 웨어러블 기기나 카메라 등을 통해 구현되고 있는데, 활용 장소의 제약이 있는 데다 무겁고 불편하며 섬세한 인식이 어렵다”라며 “이번 연구에서 제안한 제스처 인식 플랫폼이 실현되면 피부 위에 문신 수준으로 구현된 센서와 기기를 통해, 의료현장과 로봇공학 분야 등에서 정밀하고 빠르게 실시간으로 활용이 가능할 것”이라고 설명했다. 아주대 박성준 교수는 “제스처 인식은 디지털 전환을 넘어서는 ‘인공지능 대전환’의 흐름과 맞물려 여러 국가 전략 산업의 전반에 폭넓게 활용될 미래 핵심 기술”이라며 “국내외 스마트 센서 및 웨어러블 산업뿐 아니라 차세대 인간-기계 인터페이스 연구에 중요한 참고가 될만한 연구 결과”라고 전했다. 이어 “앞으로 소재 안정성, 저전력 AI 알고리즘, 플랫폼 신뢰성 강화 등 후속 연구가 병행된다면 물리적 세계와 디지털 세계를 연결하는 실시간 상호작용의 새로운 시대가 열릴 수 있을 것”이라고 전망했다. 이번 연구는 과학기술정보통신부의 나노·소재기술개발사업, 신진연구지원사업, 신진연구자 인프라 사업, 중견연구사업, 기초연구실지원사업, PIM인공지능반도체핵심기술개발(소자)사업의 지원을 받아 수행됐다. 또한 한국산업기술기획평가원의 시장주도형 K-센서 기술 개발사업의 지원도 받았다. * 위 그림 : 아주대 공동 연구진이 제안한 손동작의 지능형 제스처 인식을 구현하기 위한 세 가지 핵심 기술