著名的史丹佛大學AI教授李飛飛為解決機器人在多階段、空間和時間依賴任務中的挑戰，提出了一種名為「關係關鍵點約束」（ReKep）的新技術。這個技術利用了自動生成約束，幫助機器手臂完成家務操作，如倒茶、摺疊衣物等複雜動作，顯著提升了機器人的任務成功率。目前該技術的研究成果已經公開，其程式碼也已開源。

技術發展背景

在機器手臂的操作過程中，對空間和時間的依賴性以複雜性讓現有方法無法能夠充分的應對，尤其是對於需要處理可變形物體的情況。而以往使用剛體變換的方法對物件模型有過度依賴，加上又缺乏幾何細節的考量而致使發展受限。而且資料驅動的視覺學習方法一直面臨著收集訓練資料的挑戰，這些都使得機器人在家務等實際操作中難以表現出色。

技術介紹

此一「關係關鍵點約束」（ReKep）技術，主要在讓機器人能更靈活且準確地完成各種操作任務。核心理念是將手臂運作的操作過程轉化為一系列具體的空間和時間約束，這些約束由機器人從所在的場景中自動識別出關鍵點來引導，而不需要事先人工標記。

操作任務的拆解

在執行任務時，ReKep首先會將操作動作拆解為若干步驟，這些步驟中的每一步都涉及與場景中物體的互動。例如在倒茶的任務，機器人會先分析場景，使用攝影機或其他感測器來確定茶壺、茶杯等物體的具體位置、形狀、大小等屬性。接下來，ReKep系統自動識別這些物體在三維空間上的「關鍵點」，如茶杯的中心點、把手的中心點等。這些關鍵點代表著機器人在操作中需要特別注意的位置。

動作規則的生成

基於這些關鍵點，ReKep系統會為機器人生成一套操作規則，這些規則包括如何抓取、如何移動、傾斜、施力等。例如，在倒茶過程中，機器人需要依據ReKep所生成的約束來確定；加上即時優化與回溯的機制，可使得當機器人在進行倒茶的動作時，如果茶杯意外移動，系統可以即時回溯，重新計算新的抓取或倒茶的方式，進而保證最終的成功率。

這種能夠自主學習與適應的方式，意味著機器人透過不斷練習，能夠越來越熟練，最終可以輕鬆應對日常家務、協作工作甚至更高難度的操作挑戰。

圖1、使用大型視覺模型（LVM），如DINOv2，來提取場景中的特徵，並利用這些特徵來識別潛在的關鍵點。

圖片來源: 科技新報網站https://technews.tw/2024/09/10/li-feifeis-team-recreates-black-technology/#more-1278220

未來展望

這種技術使得機器人能夠從現今巿場上多數所謂的智能機器人從執行單一、簡單任務逐步發展成為能處理多階段、複雜場景的全能作業，實現了對機器人在智慧操作領域的重大突破。

未來，該ReKep技術可望被應用到更多實際場景中，尤其是在家庭、醫療和其他需要複雜操作的領域。隨著技術的不斷成熟和擴展，機器人將變得更加智慧化以及實用化，不久的將來將能處理更多高難度的任務。

封面圖片來源：https://www.youtube.com/watch?v=2S8YhBdLdww

參考資料來源：

1.科技新報，https://technews.tw/2024/09/10/li-feifeis-team-recreates-black-technology/#more-1278220

2.https://arxiv.org/pdf/2409.01652 ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

延伸閱讀