거대언어모델(LLM)과 로봇설비(RoboMaster)의 결합을 통한 지능형 자율구동 시스템 개발
작품개요
프젝트는 로봇이 실시간으로 주변 상황을 인식하고, 안전하게 대응할 수 있는 자율 시스템을 구축하는 것을 목표로 합니다.
이를 위해 Jetson Orin Nano에서 실시간 데이터 처리를 수행하며, VLM(비전-언어 모델)을 통해 로봇이 주변 환경의 객체를 인식하고 설명하는 기능을 제공합니다.
이 인식 결과는 자연어 텍스트 형태로 LLM(대형 언어 모델)인 GPT-4에 전달되어 분석됩니다. LLM은 받은 텍스트 데이터를 기반으로 로봇의 상황에 맞는 행동 계획을 수립하고, 필요에 따라 경로 변경, 후진 등 안전을 위한 대응 방안을 제안합니다.
최종적으로 RoboMaster SDK를 통해 해당 계획을 로봇 동작 명령어로 변환해 실제 제어를 수행합니다.
이러한 시스템을 통해 로봇은 전쟁터나 재난 구조 현장과 같은 위험한 환경에서도 자율적으로 상황을 분석하고 안전을 확보할 수 있는, 실제 인간의 의사결정 과정과 유사한 지능형 자율구동 시스템을 구축하는 방향으로 발전시킬 수 있습니다.
팀명
Ai-Robotics
팀장
팀원
지도교수
SNS바로가기
