一、AI從理解語言到理解世界：用LLM學會「平衡」
隨著大型語言模型（Large Language Models, LLM）如 ChatGPT、Claude、Gemini 等快速演進，我們越來越常看到它們應用於文書處理、客服自動化等任務。然而，LLM 不僅僅是「文字理解工具」，更可視為一種具備「世界模型（World Model）」的智慧體。
透過世界模型，LLM 不僅能回答問題，還能預測物理事件、模擬環境互動、控制實體裝置。為了驗證 LLM 是否具備這樣的「世界理解能力」，我們實作了一個經典控制任務：「倒單擺」（Inverted Pendulum）— 也就是讓一根倒立的桿子在一台可以滑動的小車上保持垂直不倒。
這個任務的關鍵在於馬達的精準控制：小車的移動仰賴底部馬達輸出驅動力，若單擺開始傾斜，馬達必須即時產生適當的推力，讓小車移動到對的位置，以抵消擺動所造成的力矩。換句話說，倒單擺就是馬達控制問題的縮影，結合了感測、預測與行動的即時調控。
這不只是機器人控制的入門問題，也是一個觀察 AI 如何學會控制馬達、推理物理狀態、達成平衡的合適範例。
什麼是世界模型？
世界模型是指一種 AI 內部對「外部世界運作方式」的理解與模擬能力。根據經驗或觀察建立起因果關係（例如：施力會造成移動、角度變化會導致平衡失敗），進而預測接下來會發生什麼，並規劃最合適的行動。
二、設計流程：讓AI從模擬中學會「保持平衡」
為了讓大型語言模型（LLM）或其他 AI 模型能夠理解並控制一個物理系統，我們需要將「現實世界」轉化為一個 AI 可以學習的結構化流程。整體邏輯可以想像成這樣：
我們先建立一個虛擬的世界 → 再定義這個世界的物理規則與互動方式 → 讓 AI 在這個世界中反覆嘗試與學習 → 最後驗證它是否真的學會如何控制這個世界的運作。
在這次倒單擺控制實驗中，我們將這個學習任務拆解為以下四個核心階段：
1
建立模擬環境：構建 AI 學習的世界舞台
從零開始設計了一個客製化的模擬環境，使用 Gym 框架作為基礎。這個模擬世界模仿真實物理情境：小車可以在水平方向移動，車上裝有一根單擺，目標是讓這根單擺保持直立。在這個階段中，我們明確定義了：
- 單擺的長度、質量、轉動慣量
- 小車的移動速度上限
- 重力加速度等自然物理常數
- 時間的離散步長（即每次模擬進行的時間單位）
這些參數使得模擬系統能真實反映物理運動規律，成為 AI 模型進行互動與學習的「實驗室」。
2
定義控制邏輯與評分規則：讓 AI 知道什麼是「好動作」
接下來，我們設計了動作控制與獎勵邏輯，也就是告訴 AI：「你要做什麼樣的事，才算成功」。 這部分包括：
- 如何根據 AI 給出的「推力」來更新小車的位置
- 如何用物理公式計算單擺的角度與加速度變化
- 當單擺越接近垂直（180 度），AI 獲得越高獎勵；若偏離太遠則扣分
- 當角度與角速度皆穩定時，視為任務成功，可提早結束回合
這些規則是 AI 判斷「每一步動作效果」的依據，也就是所謂的 Reward Function（獎勵函數），是強化學習中最核心的設計元素。
3
訓練 AI 模型：用強化學習學會控制世界
在有了環境與規則之後，我們使用了當今最常見的強化學習演算法之一：PPO（Proximal Policy Optimization，近端策略優化），來訓練 AI 模型。
訓練的過程可以比喻成小孩學走路：AI 不斷嘗試、失敗、再修正。模型會根據每次嘗試的結果更新策略，使模型在未來遇到相似情境時能做出更好的決策。
我們設定的關鍵參數包括：
- 學習率（learning rate）：影響模型更新的速度與幅度。
- 批次大小（batch size）：決定每輪訓練中取樣的資料數，關係到模型學習的穩定性。
- 折扣因子（gamma）：反映 AI 對未來回報的重視程度，數值越接近 1，代表越重視長期回報。
透過數萬次的模擬與學習，AI 模型最終能穩定控制小車移動，使單擺維持直立，達成從經驗中建立世界模型並做出最佳控制策略的目標。
4
測試與視覺化：驗證 AI 是否真的學會了
最後，我們將訓練好的模型進行反覆測試，並將整個控制過程以動畫方式呈現。
透過動態圖像可清楚觀察：
- 小車如何快速向左右調整位置來維持平衡
- 單擺在動態環境下依然保持穩定
- 各時間點的角度與速度變化是否符合預期
什麼是 Gym？
Gym 是由 OpenAI 開發的一個強化學習模擬環境套件，提供了標準化的「觀察空間（Observation Space）」、「動作空間（Action Space）」、「獎勵機制（Reward Function）」與「環境狀態轉移邏輯」，讓研究者可以快速建構出可供 AI 互動與訓練的虛擬世界。你可以把 Gym 想像成 AI 專屬的「虛擬實驗室」，在這裡，AI 能像小孩一樣學習嘗試、犯錯、修正，最終掌握控制邏輯。
什麼是 PPO？
PPO 是一種策略型強化學習演算法，能在每次更新時「穩定而小幅地調整行為策略」，避免過度學習導致表現不穩定。相比傳統演算法，PPO 結合了學習效率與穩定性，廣泛應用於機器人控制、遊戲 AI、自駕車模擬等領域。透過「限制更新幅度」的方式，確保每一次學習都是朝向更好的方向，但又不會偏離太遠，類似於「一步步修正行為的安全學習法」。
三、讓語言模型不只會說，更能「動手做」
這次倒單擺的控制實驗雖然是個簡單的測試場景，更重要的是實質展現了一個重要的突破：語言模型（LLM）不再只是對話工具，而是具備理解世界規則、主動控制實體裝置的智能中樞。
這個過程讓我們得以驗證，LLM 已逐步具備下列三項關鍵能力：
- 動態理解世界的能力（World Modeling）
透過模擬環境的反覆互動，LLM 可以掌握「施力會導致位移」、「角度變化會影響平衡」等因果邏輯，進而預測系統未來的狀態，這正是所謂的世界模型（World Model）。AI 不只是記住結果，更能理解過程，從物理反應中抽象出一套穩定而可遷移的內在模型，這也為機器人控制、智慧製造與數位雙生等領域奠定關鍵基礎。
- 從語言推理到實體控制的能力（Language-to-Action）
語言模型真正的突破在於，能從自然語言理解中推導出可實行的控制策略。我們不再需要硬編程每一個指令條件，而是只要輸入一句指令：「讓小車保持單擺直立」，LLM 就能透過學習過的世界模型，產生對應的行動方案，並透過強化學習的訓練結果執行具體行動。這種「語言即行動」的能力，讓語言成為驅動現實世界中馬達、裝置、設備的控制介面，使得從語意到行為之間的轉譯成為可能，也讓人機互動邁向更自然、直覺的新紀元。
- 能適應未知環境的泛化能力（Generalization）
過去的控制系統多半侷限於預設情境，無法有效應對新變化或突發狀況。而本實驗展現出 LLM 結合強化學習後，能在不同初始狀態下仍穩定控制倒單擺，顯示其具備強大的泛化能力（Generalization）。這代表模型不只是在「記憶解法」，而是真正學會如何根據當前情境做出最佳反應。未來無論是在不同摩擦力、不同擺長、不同裝置尺寸下，這類模型都將能迅速調整策略，展現出跨場域、跨場景的適應彈性，這對於實際部署到工廠現場、家庭裝置、或多變的戶外機器人環境至關重要。
四、讓語言驅動世界：AI 控制的下一步
倒單擺控制任務只是第一步，讓我們親眼見證語言模型（LLM）從文字推理走向行動決策的可能性。當 AI 能夠理解世界模型、透過語言驅動控制行為，並具備泛化能力處理多樣環境變數時，智慧系統的定義與邊界將被徹底改寫。
未來，我們不再需要手動設計複雜的邏輯流程與控制函數，只要透過語言溝通，AI 就能根據理解的目標與環境，自行調整策略，完成從感知到執行的完整閉環。這將為智慧製造、機器人協作、智慧物流、自駕載具、AI 助理型裝置等場景開啟全新篇章。
LLM 控制馬達不只是「語言驅動硬體」這麼簡單，代表的是 AI 開始具備介入現實世界、主動參與與決策的能力。語言模型將不只是資訊的編碼者與解碼者，而是逐漸成為整體系統的操控大腦，從接受指令、到理解任務、再到執行行動，完成人類語言與機器控制之間的最後一哩路。
這種「語言即行動」的能力，將不只改變 AI 的角色，也將改變開發者設計系統的方式、企業定義智慧的標準，乃至於人類與機器的互動模式，現在就是開始使用AI控制的最好時機。