NexCOBOT Taiwan
13F, No.916, Zhongzheng Rd., Zhonghe Dist., New Taipei City, Taiwan 23586, R.O.C.
TEL: +886-2-8226-7786
NexCOBOT攜手工研院打造次世代 AI 通用控制平台,實現機器人 Real-to-Sim-to-Real 自主學習循環
結合人類遠端操作示範學習、NVIDIA Omniverse/Isaac Sim 大規模模擬資料生成,與搭載 NVIDIA Jetson Thor 的 NexCOBOT MARS400 Pro 邊緣部署平台,打造從資料蒐集、模擬訓練到真實世界自主執行的完整具身智慧技術棧


台北,2026年8月 — NexCOBOT 與工業技術研究院(ITRI)於日前盛大落幕的『2026 台灣機器人與智慧自動化展』(2026 TAIROS,已於 8 月 19 日至 22 日展出)共同發表次世代機器人 AI 訓練與部署技術「The Next-Gen AI Controller」。此技術以人類遠端操作示範為起點,透過 NVIDIA Omniverse 與 Isaac Sim 將真實資料放大為大規模模擬資料集,訓練出的 Vision-Language-Action(VLA)模型最終部署於搭載 NVIDIA Jetson Thor 的 NexCOBOT MARS400 Pro 邊緣運算平台,讓機器人具備即時自主決策與動作執行能力,完整銜接從資料蒐集到實際部署的技術斷點。
本次展示由 NexCOBOT 提供搭載 NVIDIA Jetson Thor 的邊緣運算與機器人控制平台,工研院提供 AI 學習、模型訓練與 Real-to-Sim-to-Real 技術,並結合 NVIDIA Omniverse、Isaac Sim、DGX、GR00T 等 AI 開發與模擬工具,完整呈現從資料蒐集、模型訓練到實機部署的技術流程。
News Summary
- Real-to-Sim-to-Real 完整循環:從人類遠端操作示範(Imitation Learning)出發,蒐集精確的機器人動作 ground-truth 資料,作為訓練起點
- 大規模模擬資料生成:透過 NVIDIA Omniverse 與 Isaac Sim 將真實示範資料放大為高隨機化的虛擬訓練資料集,並結合 NVIDIA Cosmos、Mimic/Gen 進行資料生成與擴增,訓練資料以 Huggingface LeRobot 資料集格式儲存
- 模型訓練與雙重驗證:於 NVIDIA DGX 上使用 NVIDIA Isaac GR00T N1.6 進行 Fine-tune,訓練後模型並於 NVIDIA OVX 上執行 Model Verification(V&V)流程,通過驗證才會 部署至實體機器人
- NVIDIA Jetson Thor 邊緣部署:驗證通過的模型部署於搭載 NVIDIA Jetson Thor 的 NexCOBOT MARS400 Pro 平台,透過 ROS2 node 即時將 RGBD 影像轉換為關節控制指令,驅動機器人手臂完成任務。
- 該技術已於 2026 TAIROS 展會現場成功展示完整 Real2Sim2Real 循環,並實機展現機器人對特定物件的辨識、抓取與分類能力。
|
「機器人要真正走進真實世界,關鍵在於資料、模擬與真實執行三者間能否形成正向循環。透過與 NexCOBOT 的合作,我們得以將 Real2Sim2Real 訓練出的模型,穩定部署在搭載 NVIDIA Jetson Thor 的邊緣運算平台上,讓AI控制器真正具備即時反應與自主決策能力。」 —— 鄭安凱,副組長,工業技術研究院 |
|
「AI 模型再強大,都需要一個穩定可靠的邊緣運算平台才能真正發揮效用。NexCOBOT MARS400 Pro 搭載 NVIDIA Jetson Thor,讓工研院訓練出的 VLA 模型得以即時執行於真實機器人上,這正是我們與工研院合作最重要的價值所在。」 —— 王偉翰,處長,NexCOBOT |
從人類示範到大規模模擬:資料蒐集與生成
機器人動作學習最大的挑戰之一,在於真實世界示範資料的取得成本高、數量有限。工研院採用低延遲遠端操作(teleoperation)方式,蒐集人類示範的精確動作軌跡,作為 Imitation Learning 的 ground-truth 資料。接著透過 NVIDIA Omniverse 與 Isaac Sim 建立數位分身(digital twin),並結合 NVIDIA Cosmos 與 Mimic/Gen 技術,將少量真實示範資料放大為大規模、高隨機化的虛擬訓練資料集,大幅降低資料蒐集的時間與成本,同時提升模型面對真實世界多變情境的泛化能力。

訓練與驗證:DGX、GR00T N1.6 與 OVX 的雙重把關
蒐集與生成的資料集,會以 Huggingface LeRobot 資料集格式儲存,並於 NVIDIA DGX 上使用 NVIDIA Isaac GR00T N1.6 進行 Fine-tune,訓練出具備視覺、語言、動作理解能力的 VLA 模型。訓練完成的模型並不會直接上機測試,而是先於 NVIDIA OVX 上執行 Model Verification(V&V)流程:模型在 Isaac Sim 中針對指定測試任務進行推論驗證,唯有通過驗證的模型才會部署至實體機器人,確保上機模型的穩定性與安全性。

NexCOBOT MARS400 Pro with NVIDIA Jetson Thor:
讓 AI 控制器真正部署執行
通過驗證的模型,最終部署於 NexCOBOT MARS400 Pro 平台——搭載最新 NVIDIA Jetson Thor 運算核心,作為機器人現場執行的邊緣運算中樞。平台透過 ROS2 node 即時接收 RGBD 影像與任務清單,經由 Post-trained Model 推論輸出關節控制指令(Control Law),驅動機器人手臂執行動作,同時即時回傳 Arm Status 形成閉迴路控制。這套「即時 AI 控制器」架構,讓機器人得以在複雜、非結構化的真實場景中(例如展場現場的夾取分類任務)展現穩定的自主判斷與操作能力,是 Real2Sim2Real 技術鏈中最關鍵的最後一哩路。
關於工業技術研究院(ITRI)
工業技術研究院是國際級的應用研究機構,擁有超過6,500位研發尖兵,以科技研發,帶動產業發展,創造經濟價值,增進社會福祉為任務。自1973年成立以來,率先投入積體電路的研發,並孕育新興科技產業;累積超過三萬件專利,新創及育成包括台積電、聯電、台灣光罩、晶元光電、盟立自動化、台生材等上市櫃公司,帶動一波波產業發展。
當數位科技改變產業結構與生活型態,人口結構影響生產力與高齡照護的需求,氣候變遷帶來2050淨零排放的機會與挑戰,以及產業與社會韌性成為未來國家與經濟發展等關鍵趨勢,工研院以整合跨域解方,加速產業前進動能,擘畫中長程技術策略與藍圖,聚焦「智慧生活」、「健康樂活」、「永續環境」、「韌性社會」四大應用領域的研發方向,並發展「智慧化致能技術」以促成應用領域。用科技創新翻轉生活,以市場需求為導向、發展解決方案、創建嶄新市場,以謀求人類社會福祉,引領產業社會邁向美好未來。更多資訊請見 itri.org.tw。
關於 NexCOBOT
NexCOBOT 是機器人控制與運動控制領域的技術提供商,並非機器人本體製造商,而是打造能感知、思考、安全移動的智慧機器人所需之運算與控制平台。憑藉超過 13 年機器人產業經驗,NexCOBOT 將 AI 運算、即時動作控制與工業功能安全整合於單一架構,並與 NVIDIA 深度合作,為人形機器人、四足機器人、協作機器人與工業 AI 系統,提供從運算、控制到安全的完整平台。更多資訊請見 nexcobot.com。
本新聞稿所載部分內容屬前瞻性陳述,實際結果可能因市場狀況、技術發展或其他因素而與陳述有所差異。