사람 곁에 놓인 로봇은 ‘형태 최적화’에 앞서 ‘행동 구현’을 증명해야 한다. 개별 기능을 더 늘리는 것보다, 사람·에이전트(Agent)·로봇이 함께 움직이는 전체 작업 흐름(Work Flow)을 설계하는 것이 더 큰 성과를 만든다는 진단이 나온다.

문제는 여기서부터다. 로봇 기체의 한계는 데이터 순환 체계의 단절에서 드러난다는 시각인데. 학습 데이터가 물리적 움직임으로 무결하게 치환되는 과정, 인간과의 협업 중 발생하는 변수 제어 능력 등이 시장 안착의 기준으로 떠오르는 배경이다. 인지·판단·구동·환류로 이어지는 연쇄 작용이 하나의 루프로 동기화되지 않는다면, 현장 운영 단계로의 전환은 먼 미래가 될 수 있다는 얘기다.

“이제는 언어·지각·행동을 통합해 세계를 더 인지적·개념적으로 추론하는 지능형 기계와 함께 일할 수 있다

(It is now possible to work with intelligent machines that integrate language, perception, and action to reason in more cognitive and conceptual ways about the world)”

- 다니엘라 루스(Daniela Rus) 매사추세츠공대(MIT) 컴퓨터과학·인공지능연구소(CSAIL) 소장 -

글로벌 컨설팅 업체 맥킨지앤컴퍼니(McKinsey & Company)는 최근 보고서를 통해 산업·공장 자동화(FA)의 정량적 성과 차이가 ‘개별 공정 자동화’가 아닌 ‘전체 워크플로 재설계’에서 기인한다고 분석했다. 사람, 인공지능 에이전트(AI Agent), 로봇이 인지·판단·실행의 전체 아키텍처를 유기적으로 재구성해야 한다는 의미다.

글로벌 로봇 산업의 경쟁력 역시 같은 맥락에서 갈린다. 돌발적인 예외 상황(Edge Case)과 인간의 개입 속에서 기체가 어떤 프로세스로 구동될지 그 연쇄 반응의 완성도를 먼저 확보해야 한다는 지적이다.

젠슨 황(Jensen Huang) 엔비디아(NVIDIA) 최고경영책임자(CEO) 역시 가상 검증 아키텍처의 중요성을 강조하며 맥을 같이했다. 산업용 로보틱스가 인공지능(AI) 중심으로 고도화될수록 실제 현장 배치 이전 단계에서 설계·테스트·최적화를 수행하는 고정밀 가상 시뮬레이션 인프라가 필수적이라는 진단이다.

그는 로보틱스 생태계의 전제 조건으로 AI 모델, 연산 컴퓨팅, 소프트웨어 프레임워크가 통합 플랫폼 안에서 유기 동기화되는 ‘풀스택(Full-stack)’ 아키텍처를 제시했다. 물리적 현장 배치 이후 오차를 수정하는 접근으로는 비정형 상황이 지속 나타나는 현장의 지연·충돌·변수를 감당할 수 없다는 연산 효율성의 판단이 깔려 있다.

결국 피지컬 AI(Physical AI)의 핵심 과제는 현실 세계 내 기능이 어떤 논리적 순서로 구동되고 제어 안정성을 유지하느냐로 이어진다. 기체 설계 고도화 이후 맞닥뜨리는 엔지니어링의 본질도 이와 결을 함께한다. 현장에서 수집한 데이터를 어떤 구조로 학습·정제하고, 그 추론 결과를 실제 역학적 동작으로 어떻게 구현할 것인가. 로봇 행동 지능은 이 고도화된 연쇄 구동 체계의 설계 역량에 달려 있다.

두 번째 문제는 실행 체계다. 피지컬 AI의 병목은 모델 크기보다, 그 판단을 물리 시스템 안에서 얼마나 제때 일관된 품질로 실행하느냐에 따라 해결 가능성이 점쳐진다. 양부호 모벤시스 의장은 이를 시뮬레이션과 실환경 간 간극, 즉 ‘시뮬레이션·실환경 간 격차(Sim2Real Gap)’의 문제로 짚었다.

가상 환경에서 매끄럽던 동작이 현실에서 그대로 구현되지 않는 이유에 대해, 제어 체계가 감당하지 못하는 ‘미세 오차의 누적’에서 찾은 것이다.

이 문제의 출발점은 지연(Latency)이다. 실제 고속·고정밀 공정에서는 0.1초 수준의 지연이나 1mm 안팎의 궤적 오차도 여러 문제를 야기할 수 있다. 충돌 회피 실패, 정밀도 저하, 라인 정지 등이 발생한다는 뜻. 여기에 ▲물리 모델 오차 ▲센서 신호 교란 ▲데이터 왜곡 ▲통신 지연 ▲제어 주기 불일치 ▲운영체제(OS) 일정 관리 간섭 등이 겹치면 가상 환경에서 맞던 궤적은 현실에서 쉽게 무너진다.

▲ 시뮬레이션 환경과 실상황 간 간섭·지연 최소화가 업계에서 주목받고 있다. (촬영·편집 : 헬로티 최재규 기자) 

결국 AI의 판단 능력보다 먼저 검증돼야 할 것은 데이터를 받아들이고, 보정하고, 실행으로 구현하는 ‘시간의 질서’가 중요하다는 의견이다.

이 같은 가상·현실 격차는 AI·구동부(Actuator) 간 '시간 단위 차이'로 인해 더 벌어진다. 고도의 판단을 수행하는 AI 모델의 연산 주기가 통상 100~500밀리초(ms) 수준이라면, 로봇 관절이 진동 없이 움직이기 위한 모션 제어 주기는 0.5~1밀리초(ms) 단위를 요구한다. ‘인지·추론 속도’와 ‘로봇 가동 속도’가 애초에 다른 기술 체계에서 가동한다는 뜻이다.

“로봇용 AI가 사람에게 유용하고 도움이 되려면, 일반성·상호작용성·손재주를 갖춰야 한다

(To be useful and helpful to people, AI models for robotics need three principal qualities. they have to be general, interactive and dexterous)”

- 캐롤라이나 파라다(Carolina Parada) 구글 딥마인드(Google Deepmind) 로보틱스 총괄 -

셋째 병목은 데이터다. 웹(Web) 규모 지식이 곧바로 로봇 행동으로 이어지지 않는다는 점이 여기서 드러난다. 구글(Google)의 AI 조직 '딥마인드(DeepMind)'가 개발한 시각·언어·행동(VLA) 모델 ‘RT-2(Robotics Transformer 2)’이 그 예다. 딥마인드는 RT-2를 소개하며, 웹·로봇 데이터를 결합해 일반화된 행동으로 잇는 구조를 제시했다.

비전·언어(VL) 모델이 웹에서 익힌 개념 이해를 그대로 물리 행동으로 옮길 수 없고, 실제 로봇 궤적 데이터가 함께 접목돼야 제어 가능한 행동으로 변환된다는 이해에서 비롯된 메커니즘이다.

AI의 판단력과 로봇의 구동력 사이의 이러한 격차는 서비스 로봇 분야에서 더 크게 벌어진다. 통제된 환경에서 정해진 동작만 하는 산업용 로봇과 달리, 서비스 로봇은 예측 불가능한 비정형 공간에서 활동하기 때문이다.

웹에는 손으로 물체를 집고 놓는 장면은 많지만 관절 각도, 힘, 속도, 접촉 순간, 미세 조정, 실패 뒤 복구 과정까지 담긴 데이터는 많지 않다. RT-2가 웹 데이터로 일반화 성능을 넓히면서도 로봇 데이터와의 결합을 전제로 삼은 배경도 여기에 있다.

출처: [봇규의 헬로BOT] 로봇이 현장에선 ‘꿀먹은 벙어리’ 되는 이유...‘행동 지능’이 가르는 로봇 몸값