Agnostic Invention Team｜2026-08-06
在大型語言模型出現之前，AI 雖然能辨識圖片中的物件、文字或特定特徵，卻很難像人一樣，用自然語言描述畫面、回答圖片相關問題，或結合影像與文字進一步推理。VLM（Vision-Language Model）的出現改變了這件事，讓原本主要處理文字的大型語言模型，開始具備「看圖並用語言回應」的能力，也因此快速應用在文件理解、醫療影像、工業檢測、機器人與影音分析等場景。
而傳統 VLM 就像是「把一位翻譯官安排在兩個說不同語言的人之間」——視覺編碼器使用一套方式理解圖片，語言模型則使用另一套方式理解文字，中間再透過投影層或連接模組，將視覺資訊翻譯成語言模型能夠理解的內容。簡單來說，語言模型並不是直接看見原始圖片，而是先由視覺編碼器看過一次，再把整理後的結果交給語言模型。這套架構在短期內非常有效。讓我們可以直接利用既有的視覺編碼器與大型語言模型，快速建立圖像描述、視覺問答與文件理解能力，大幅降低多模態 AI 的進入門檻。
但它的優勢，也同時構成了它的限制。
因為視覺與語言並不是從一開始共同學習，而是先各自形成能力，再透過中間模組進行對接。雖然彼此間可以交換資訊，卻不代表兩者已經建立相同的理解方式。換句話說，視覺編碼器看到圖片後，會先決定哪些資訊重要、哪些資訊可以忽略，再把整理後的內容交給語言模型。因此，語言模型接收到的不一定是完整影像，而比較像是一份由視覺編碼器事先整理好的摘要，就像請一個人先看完一張複雜的工程圖，再用幾句話轉述給另一個人。第二個人或許可以理解大致內容，但如果第一個人沒有提到某個小零件、數字或線路關係，第二個人再擅長推理，也很難從轉述中重新找回那些細節。
因此，傳統 VLM 的問題可能不只是模型不夠大、資料不夠多，或連接層不夠複雜，而是它從架構起點便預設：
並不是讓語言模型直接看圖，而是先讓視覺模型看過，再把重點轉述給語言模型。
更白話地說，就是先由一個模型負責「看」，再把看到的內容轉告給另一個模型負責「想」。這個假設曾經幫助多模態 AI 快速發展，卻也可能成為它走向更深層理解時的天花板。因為只要中間還需要轉述，就可能出現資訊被簡化、忽略或錯誤轉換的情況。當模型開始面對需深度細節理解的文件、複雜圖表、長篇多模態內容與影片時，我們真正需要的，可能不再只是更好的翻譯，而是讓視覺與語言從一開始就共同學習如何理解世界。
什麼是 VLM？
VLM是一種能同時理解圖片與文字的 AI 模型。可以看懂圖片內容，再用文字描述、回答問題或進一步分析，例如辨識照片中的物件、閱讀圖表與文件，或根據影像提供說明。簡單來說，VLM 就是讓原本主要處理文字的 AI，開始具備「看圖並用語言回應」的能力。
傳統 VLM 的核心問題，來自三個根本性的架構限制，而這三個限制都指向同一件事：「視覺與語言雖然被連接在一起，卻沒有真正用同一套方式理解世界。」
第一個問題是，視覺編碼器原本的學習目標，和語言模型真正需要的能力並不完全一致。CLIP（Contrastive Language–Image Pre-training） 與 SigLIP （Sigmoid Loss for Language–Image Pre-training）類視覺編碼器，主要透過圖文配對方式訓練，讓內容相符的圖片與文字在向量空間中彼此靠近。例如，一張貓的圖片會與「一隻貓」這段文字，判斷為彼此相關、意思相近的內容。
這種訓練方式很適合幫助模型快速判斷圖片大意、主要物件，以及哪段文字最符合圖片，但看懂整體內容，不代表能理解其中的細節與關係。模型知道這是一張財務報表，不代表它能準確讀出第三列的數字；知道這是一張電路圖，也不代表它能理解訊號經過哪些元件，或是哪一段線路造成異常。換句話說，這類編碼器通常比較擅長回答「這是什麼」，卻不一定擅長回答「哪些細節最重要」、「不同區域有什麼關係」，或「這張圖真正表達了什麼邏輯」。
問題不一定是模型不夠大，而是它從一開始學習的方向，就比較偏向辨識整體內容，而不是支援後續的深入推理。
第二個問題是，許多傳統 VLM 會直接使用已經訓練完成的視覺編碼器（Vision Encoder），這代表它看圖片的方式、會保留哪些資訊，以及容易忽略哪些內容，在連接語言模型之前就已經大致決定。更白話地說，視覺編碼器會先把圖片看過一遍，整理出它認為重要的內容，再交給語言模型。
語言模型拿到的因此不是完整原圖，而比較像是一份事先整理好的「視覺摘要」。這就像語言模型只能使用一本已經編好的「視覺詞典」：詞典裡有的內容才能使用；沒有被記錄下來的資訊，之後就很難重新找回。例如，一張工業控制面板可能同時包含儀表數值、警示燈、零件位置與線路關係。如果視覺編碼器只保留「這是一個工業控制面板」的整體資訊，卻忽略小字、數值或局部位置，那麼語言模型即使很會推理，也無法憑空補回這些細節。
因此，真正的問題不只是中間轉換得準不準，而是「在資訊交給語言模型之前，部分重要內容可能已經被省略」，問題不一定是語言模型能力不足，而是它一開始拿到的資訊就不夠完整。
第三個問題是，傳統 VLM 的視覺編碼器與語言模型，通常先各自完成訓練，再透過投影層或連接模組組合在一起。有些架構甚至會固定視覺編碼器，只訓練中間的連接部分。
這代表語言模型雖然能使用視覺編碼器提供的資訊，卻很難反過來改變它看圖片的方式。當模型答錯時，語言模型真正需要的可能是：「這次請注意圖片中的小字」、「要比較兩個零件的位置」，或「請追蹤影片中同一物體前後的變化」，但這些需求不一定能完整傳回視覺端。
也就是說，語言模型只能根據視覺模型第一次整理好的結果作答，卻很難要求它：「請重新看一次，這次注意剛剛忽略的地方」，這就像兩位各自很專業的人被臨時安排合作：一位負責看圖，一位負責分析。分析的人即使發現資料不足，也不一定能改變前一位看圖與整理資訊的方式。
因此，問題不只是兩個模型有沒有連接，而是兩個模型間是否能在學習過程中真正互相影響：「視覺負責看，語言負責想，但語言很難直接告訴視覺應該怎麼看。」
什麼是 CLIP？
CLIP 是一種學習圖片與文字關係的模型，能判斷哪段文字最符合哪張圖片，擅長辨識圖片大意與圖文搜尋。
什麼是 SigLIP？
SigLIP也是一種圖文對齊模型，採用的訓練方式是分別判斷每一組圖片與文字是否相符，而不是讓大量圖文在同一批次中互相比較，這種做法通常能提高訓練效率與穩定性。
什麼是圖文對齊？
圖文對齊，就是讓意義相近的圖片與文字，在模型內部形成相似的表示。這種能力很適合圖片搜尋、分類與內容辨識，但不代表模型一定能讀懂圖片中的小字、位置關係、圖表邏輯或事件因果。
什麼是視覺編碼器？
是多模態 AI 與電腦視覺中的常見技術名詞，指負責把圖片轉換成模型可以處理的特徵或數值表示的模組。
前面提到的問題，最終會反映在模型的實際能力上。當任務從「看懂圖片大意」，進一步走向細節閱讀、長篇文件分析與影片理解時，傳統 VLM 的限制就會變得更加明顯。這些問題不一定能只靠增加模型參數、資料量或算力解決，因為瓶頸可能早已出現在視覺資訊的處理方式上。
這三項能力瓶頸顯示，傳統 VLM 的限制不只是模型規模不足。當重要細節在前端被忽略、視覺內容無法隨問題重新調整，或影片中的時間關係沒有被真正理解時，單純增加資料與算力，未必能解決根本問題。
如果傳統 VLM 的限制，來自視覺模型與語言模型先各自訓練，再透過中間模組連接，那麼下一步就不只是打造更大的投影層，或讓兩邊的資訊轉換得更準確。更根本的方向，是讓視覺與語言從一開始就在共同目標下學習。
MoonViT-V2 所代表的價值，正是在於它展示了這種不同的訓練思路。並不是單純把一個既有的視覺編碼器接到語言模型上，而是讓視覺模組與語言能力在多模態任務中共同建立更適合彼此的表示方式。簡單來說，傳統 VLM 比較像是兩位已經各自受過訓練的專家臨時合作；原生多模態則像是兩位成員從一開始就一起受訓，逐步建立共同的語言與工作方式。
傳統視覺編碼器通常主要學習圖片與文字是否相符，因此更擅長判斷「這是什麼」。原生多模態則會讓視覺特徵直接受到理解、回答與生成任務的影響。
例如，當模型需要回答「圖中第三行寫了什麼」時，就必須學會保留小字與局部位置；當模型需要回答「這張圖表為什麼支持前文結論」時，就必須同時理解圖表內容、文字上下文，以及兩者之間的關係。
因此，視覺模型學習的方向不再只是「這張圖和哪段文字最相近？」，而是「哪些視覺資訊，能真正幫助模型完成理解與推理？」
當視覺模組與語言模型共同訓練時，模型答錯所產生的學習訊號，可以更直接地影響視覺端。如果模型經常讀錯圖片中的小字，視覺模組就會被迫學習保留更多文字細節；如果模型無法理解圖表中的線條與座標關係，訓練也會推動它調整看圖的方式。
更白話地說，語言模型不再只能被動接收視覺模型整理好的結果，而是能在學習過程中反過來告訴它：這裡看得不夠清楚，請換一種方式處理。這也是「共同學習」與「事後連接」最大的差別。
因此，問題不只是兩個模型有沒有連接，而是兩個模型間是否能在學習過程中真正互相影響：「視覺負責看，語言負責想，但語言很難直接告訴視覺應該怎麼看。」
在傳統 VLM 中，視覺模型先處理圖片，語言模型再接手理解與回答，兩者比較像前後分工。原生多模態則希望讓視覺與文字在同一套學習與推理流程中共同作用。不同模態仍可能保留各自適合的處理方式，但它們不再只是把結果互相交接，而是一起參與後續的判斷與預測。
簡單來說，模型的工作方式會從：先看圖，再把結果交給語言模型。逐漸走向：在同一段推理過程中，同時使用視覺與文字理解問題。這也是為什麼原生多模態被視為下一個重要方向。要解決的，不只是如何把視覺資訊送進語言模型，而是如何讓兩種能力從一開始就共同形成。
什麼是 MoonViT-V2？
MoonViT-V2 是 Moonshot AI 為 Kimi K3 開發的新一代視覺編碼器，負責把圖片與影片轉換成模型可以理解的資訊。
討論傳統 VLM 的架構限制，並不代表它現在沒有價值。相反地，VLM 能直接利用已經訓練完成的視覺編碼器與大型語言模型，大幅降低多模態模型的訓練成本與導入門檻。對圖像描述、視覺問答與文件理解等應用而言，現有 VLM 已能提供相當實用的效果。在算力成本仍然高昂、原生多模態訓練尚未完全成熟的今天，它仍是一個合理且務實的選擇。
但「現在實用」，不代表它就是多模態 AI 的最終形態。當任務逐漸走向更複雜的圖表推理、長篇文件分析與影片理解，單純把既有視覺模型接到語言模型上的方式，就更容易碰到前面提到的架構限制。傳統 VLM 未來可能不會消失，而是持續作為低成本、容易導入的工程方案；對於需要更深入理解與推理的任務，原生多模態則可能成為更重要的發展方向。
這個演進與早期機器翻譯有些相似。過去的翻譯系統依賴大量人工規則，後來的神經機器翻譯則改變了整套學習方式，不再只是增加更多規則，而是讓模型直接從資料中學習語言之間的關係。同樣地，多模態 AI 的下一步，也不只是打造更大的投影層，或讓視覺與語言之間的轉換更準確，而是重新思考兩種能力應該如何共同形成。
VLM 解決的是如何快速把視覺能力接入語言模型；原生多模態思考的，則是如何讓視覺與語言從一開始就共同形成能力。
傳統 VLM 幫助 AI 快速獲得看圖與回應的能力，也驗證了多模態應用的可能性。但真正的融合，不應只是先由視覺模型整理資訊，再交給語言模型推理，而是讓視覺與語言從一開始就共同學習、互相影響。
多模態 AI 的未來，不只是讓語言模型學會看圖，而是讓視覺與語言一起學會理解世界。
VLM 是這條道路上的重要里程碑，但更可能是一座橋，而不是道路的終點。
※想更多技術，可以進一步閱讀：原生視覺智慧的特殊之處：為何 MoonViT-V2 與眾不同
All Rights reserved to META AI™｜英登股份有限公司
#人工智慧 #Kimi K3 #VLM