一、AI 視覺真正進化的，從來不只是準確率
過去三十多年，人工智慧在影像領域的發展，看起來像是一連串模型名稱的更替：CNN、LeNet、AlexNet、VGG、ResNet、Vision Transformer，再到今天逐漸成熟的多模態模型。每隔幾年，似乎就會出現一套更深、更大、更準確的新架構。
但如果只把這段歷史理解成一場「模型規模與辨識率的競賽」，其實會錯過真正重要的變化。
AI 視覺一路演進的核心，並不只是讓機器「看得更準」，而是機器理解視覺世界的方式，正在一層一層改變。最早，研究者想解決的是如何從像素中辨識物體；接著，問題變成如何從局部特徵形成更高階的概念；再往後，我們開始要求 AI 理解整張畫面的關係，以及影像與文字之間的語意連結。到了今天，真正受到關注的問題甚至進一步變成：如果 AI 已經能同時處理圖片、文字、文件與影片，那它能不能理解「現在發生了什麼」、「和之前相比有什麼改變」，甚至預測「接下來可能發生什麼」？
從宏觀角度來看，AI 視覺的演進，其實可以被理解成一條相當清楚的路徑：
像素
從數值中找出基本規律
特徵
辨識邊緣、紋理、形狀
物體
組合局部特徵形成物體概念
關係
理解畫面中不同區域與物體的關聯
語意
將影像與文字、概念連結
世界狀態
理解變化、時間、記憶與可能的後續發展
每一代重要模型，實際上都在重新回答同一個問題：機器到底應該怎麼看世界？
二、從數字到意義：電腦看到的世界，和我們完全不同
對人類來說，視覺幾乎是一種本能。看到一張貓的照片，即使牠藏在陰影裡、換了角度，甚至只露出部分身體，我們通常還是能立刻認出「這是一隻貓」。這是因為人類看到的並不只是顏色與線條，大腦會快速把眼睛、耳朵、毛髮、輪廓等視覺線索組合起來，再與過去的經驗連結，最後形成「貓」這個完整概念。
但對電腦而言，影像最初並沒有這些意義。以一張 224 × 224 的彩色圖片為例，電腦接收到的是一個由 224 × 224 × 3 個數值組成的資料矩陣，總共超過 15 萬個數字。其中的「3」，分別代表紅色（R）、綠色（G）與藍色（B）三個色彩通道，每一個像素，都只是由這三組數值共同描述它的顏色。
換句話說，人類看到的是「一隻貓」，但電腦一開始接收到的，其實只是「這個位置是什麼顏色、下一個位置又是什麼顏色」。從下圖可以更直觀地看出這個差異：左邊的人類視覺，可以直接從整張圖片形成「貓」的概念；右邊的電腦視覺，則必須從一格一格的像素開始，每一個像素背後，都只是 R、G、B 三個數值。
因此，電腦視覺真正困難的地方，從來不是取得一張圖片，而是如何從大量數值中，逐步找出邊緣、形狀與物體，最後形成有意義的概念。
早期最直覺的做法，是把圖片中的所有像素直接攤平成一串數字，再輸入傳統的全連接神經網路。但這很快就遇到兩個問題：第一，參數量會迅速膨脹；第二，也是更根本的問題，是模型並不知道圖片本身具有空間結構。
例如，貓的眼睛通常位於臉部附近，耳朵通常位於頭部上方；彼此相鄰的像素，也通常比距離很遠的像素具有更緊密的關係。但如果只是把所有像素攤平成一條長向量，模型並不知道哪些像素原本彼此相鄰，也不知道同一隻貓從畫面左邊移到右邊，本質上仍然是同一個物體。對人類而言，這只是「貓換了一個位置」；對早期的電腦模型而言，卻可能變成「整組輸入數字幾乎全部改變」。
因此，電腦視覺真正要解決的核心問題，不只是「怎麼看」，而是如何讓機器從大量像素數值中，自己找出具有結構、可以重複辨識的視覺特徵。
如果問題在於電腦不知道哪些像素彼此相關，那麼下一步自然就是：能不能讓模型先看局部，再逐步理解整體？
CNN 的出現，正是為了回答這個問題。接下來，我們將說明這30年來模型的發展脈絡。
CNN：讓機器先看局部，再理解整體
卷積神經網路（Convolutional Neural Network, CNN）真正重要的地方，不只是使用了「卷積（Convolution）」這個數學運算，而是重新設計了機器看圖片的方法。和早期把整張圖一次丟進模型不同，CNN 會先從畫面中的小區域開始，逐步找出局部特徵，再把這些特徵一層一層組合起來，最後形成對整體畫面的理解。
從下圖可以很直觀地看出這個過程。模型一開始接收的是一張輸入圖片，接著透過小型卷積核在畫面不同位置掃描，尋找局部規律，例如邊緣、線條、方向或明暗變化。這些卷積運算後所產生的結果，會形成一張張特徵圖（feature maps），每一張都可以理解成模型正在觀察某一種特定的視覺線索。
隨著網路層數加深，模型學到的內容也會逐步變得更複雜。早期的網路層通常只會對簡單的邊緣與紋理有反應；到了中間層，這些特徵會開始被組合成角點、輪廓、眼睛等更有意義的局部結構；再往後，模型便能逐步形成對貓臉、物體輪廓，甚至整體物體的理解。換句話說，CNN 的核心不是一開始就「看到貓」，而是先看到許多簡單的小線索，再慢慢把它們拼成「這是一隻貓」的概念。
圖片下方的示意呈現的正是 CNN 從局部特徵走向高階概念的過程。可以把它理解成：模型不是一步到位地辨識物體，而是像拼圖一樣，先找到零件，再慢慢拼出完整畫面。
CNN 的另一個重要設計，是所謂的「權重共享」。假設某個卷積核學會辨識垂直邊緣，那麼不論這條邊緣出現在畫面的左上角、中央或右下角，模型都可以使用同一組參數來偵測。這表示模型不必為不同位置重新學一次相同特徵，不只減少了需要學習的參數量，也讓神經網路更符合影像本身的空間結構。
因此，CNN 背後最重要的思想，其實可以濃縮成一句話：複雜的視覺概念，可以由大量簡單的局部特徵逐層組合而成。 這樣的想法，也和早期人類視覺研究中觀察到的「感受野（Receptive Field）」與層次化處理具有相似之處。AI 並不是直接複製人腦，而是把「局部、層次、可重複辨識」這些視覺特性，轉化成可訓練的數學結構。
也因為如此，CNN 成為現代電腦視覺真正的重要起點。CNN讓機器第一次不再只是處理一大串像素數字，而是開始學會：如何從局部特徵出發，逐步理解整張圖片的意義。
LeNet：第一次證明「特徵」可以讓模型自己學
1989 年，Yann LeCun 開始將反向傳播應用於卷積神經網路，並逐步發展出 LeNet 系列。到了 1998 年，LeNet-5 成為早期 CNN 最具代表性的架構之一，並被實際應用於銀行支票與郵件上的手寫數字辨識。雖然今天看來，「辨識手寫數字」似乎不是特別困難的任務，但在當時，這其實是一個非常重要的突破。
從下圖可以看到，LeNet 先把一張 32 × 32 的手寫數字影像輸入模型，再依序經過卷積、池化（Pooling）與全連接層，逐步提取特徵，最後輸出 0 到 9 的分類結果。可以把這個流程理解成：模型不是直接記住某個數字長什麼樣子，而是先從影像中找出局部形狀與筆畫特徵，再一步步判斷它最像哪一個數字。
LeNet 真正重要的地方，不只是完成了手寫數字辨識，而是改變了影像辨識的基本思路。在更早期的電腦視覺方法中，工程師通常需要先自己定義特徵，例如哪一種邊緣、角點或紋理值得觀察，再把這些人工設計好的特徵交給分類器判斷。LeNet 則證明，模型可以直接從資料中學習哪些特徵最有助於完成任務。
換句話說，這是一個很關鍵的轉變：人類開始從「設計特徵」，轉向「設計一個可以學習特徵的系統」。這個觀念看似簡單，卻為後來整個深度學習時代奠定了基礎。因為從這一刻開始，研究者不再只是思考「應該告訴機器看什麼」，而是開始相信「也許可以讓機器自己學會怎麼看」。
不過，LeNet 雖然證明了 CNN 的方向是可行的，當時仍然缺少兩個關鍵條件：足夠大量的資料，以及足夠強的計算能力。也因此，CNN 在 1990 年代雖然已經展現出潛力，真正改變整個 AI 世界的時刻，還要再等十多年。等到大型資料集與 GPU 算力逐漸成熟後，這條路才終於迎來下一次真正的爆發。
AlexNet：2012 年真正發生的是一場研究範式轉移
2012 年，AlexNet 在 ImageNet 大規模視覺辨識競賽中取得突破性成果，成為深度學習發展史上的重要轉折點。雖然表面上是一個更深的卷積神經網路，但 AlexNet 真正改變的，不只是模型表現，而是整個電腦視覺領域開始重新思考：影像特徵，是否應該繼續由人類手動設計，還是應該交給模型自己從大量資料中學習。
從下圖可以看出，AlexNet 比早期的 LeNet 明顯更深。它先將輸入影像依序經過多層卷積、ReLU 與池化，逐步提取特徵，再交由後方的全連接層完成分類。可以把這個過程理解成：模型先從影像中找出邊緣、紋理與局部圖樣，再一層一層組合成更複雜的視覺表示，最後判斷它最可能屬於哪一個類別。這也代表模型開始不只是辨認簡單圖樣，而是能從更大規模、更複雜的真實圖片中學會怎麼看世界。
在 AlexNet 出現之前，主流的電腦視覺方法仍大量依賴人工設計的特徵，再搭配傳統機器學習分類器。換句話說，研究者往往需要先決定「哪些特徵值得看」，模型才有辦法進一步做判斷。AlexNet 則直接使用深度卷積神經網路，讓模型從大量影像中自行學習視覺表示，這使得研究的重點開始改變：與其由人類規定機器要看什麼，不如讓模型從資料中自己學會怎麼看。
但 AlexNet 的成功並不是單一技術突然突破，而是三個條件恰好在同一時間成熟。第一，是卷積神經網路這條技術路線本身已經由 LeNet 等早期研究奠定基礎；第二，是 ImageNet 提供了過去難以取得的大規模標註影像資料；第三，則是原本為遊戲圖形運算而發展的 GPU，剛好非常適合神經網路所需要的大量平行矩陣運算。當演算法、資料與算力同時跨過臨界點，深度學習才真正開始展現它的力量。
因此，AlexNet 最重要的意義並不只是準確率提升，而是讓整個領域開始接受一個新的觀點：與其由人類決定模型應該看什麼，不如讓模型自己從資料中學會怎麼看。 這也是為什麼 2012 年常被視為深度學習真正走向主流的起點。從這一刻開始，研究者不再只是問「深度學習可不可行」，而是進一步開始思考：模型還能做得多深？還能學得多好？而這也自然把後續研究推向下一個階段。
從 VGG 到 GoogLeNet：更深，不一定代表更好
AlexNet 成功之後，研究者很自然地開始思考：既然更深的網路可以學到更複雜的特徵，那麼是不是只要不斷增加層數，模型就會愈來愈強？VGGNet 正是沿著這條路前進。它大量使用 3 × 3 的小型卷積核，透過規律堆疊建立更深的網路，讓模型有更多機會重新組合前一層學到的特徵。
從下圖可以看到，VGG 的思路非常直觀：同樣的卷積結構不斷向後堆疊，網路越深，學到的特徵也越抽象。前面的層可能只辨識邊緣與紋理，中間逐漸形成輪廓、眼睛與耳朵，到了更深的層，才把這些局部資訊組合成完整的「貓」。可以把 VGG 想成一個逐層拼圖的過程：先找到線條，再組成形狀，最後拼成完整物體。
VGG 證明了「深度」確實很重要，但研究者很快又碰到另一個問題：模型一定要靠增加大量參數，才能變得更強嗎？ 如果每一次進步都只靠把網路做得更深、更大，計算成本也會跟著快速增加。
GoogLeNet 因此採取了不同的方向。不再只是單純把網路往下堆，而是利用 Inception 模組，讓模型在同一層中同時用不同尺度觀察畫面，例如 1 × 1、3 × 3、5 × 5 的卷積以及池化，再把不同路徑得到的特徵整合起來。
從下圖可以看到，GoogLeNet 的核心不是「看得更深」，而是「同時用不同方式看同一張圖」。例如較小的卷積核可以關注毛髮、眼睛等局部細節，較大的卷積核則更適合觀察臉部輪廓與較大範圍的結構；最後再把這些資訊合併，形成更完整的判斷。但另一條研究路線開始思考不同的問題：模型一定要靠增加大量參數才能變強嗎？
這代表電腦視覺的研究重點開始出現轉變。VGG 強調的是「增加深度，建立更抽象的表示」；GoogLeNet 則開始思考「如何用更有效率的架構，同時取得不同尺度的資訊」。
換句話說，研究者開始從「模型能不能更大」，轉向另一個更重要的問題：
模型能不能更聰明地看？
這個轉變也為後續 ResNet 等架構鋪路。因為當模型愈來愈深之後，下一個真正的難題，就不再只是如何增加層數，而是：資訊要怎麼順利穿過這麼深的網路？
ResNet：AI 的下一個難題，是資訊如何穿過更深的網路
著神經網路愈來愈深，研究者很快發現：更多層，不一定就代表更好的結果。 理論上，一個 50 層的網路至少不應該比 20 層差，但實際訓練時，過深的模型反而可能出現更高的訓練誤差，甚至讓前面的網路層愈來愈難學到有效資訊。
其中一個核心原因，是訓練訊號必須從後面的網路層一路往前傳遞。當網路變得非常深，這些訊號可能在層層運算後逐漸減弱，使前面的網路層難以有效更新。換句話說，問題已經不只是「模型能不能更深」，而是資訊能不能順利穿過這麼深的網路。
ResNet 提出了一個非常簡潔的解法：替資訊建立捷徑。 透過跳躍連接( Skip Connection)，輸入可以跨過部分網路層，直接傳到後方。模型也不必每次重新學習一個完整映射，而只需要學習「在原本輸入的基礎上，還需要改變多少」。
因此，原本要學習的 H(x)，可以改寫為：
H(x) = F(x) + x
其中真正需要模型學習的是 F(x)，也就是所謂的「殘差（Residual）」。如果某些網路層其實不需要做太大的改變，模型只要學到接近 0 的 F(x)，原本的資訊就可以沿著捷徑繼續往後傳遞。
從圖片下方的 Residual Block 可以很直觀地看出這個概念。一般路徑會經過卷積、正規化與非線性運算；但同時，原始輸入 x 還有另一條「捷徑」，直接繞過這些運算，最後再與 F(x) 相加。可以把它想成在很長的道路旁，另外建立一條快速道路，讓重要資訊不必每一站都重新處理。
而上方的整體 ResNet 架構，則是把這種 Residual Block 重複堆疊。這使神經網路即使增加到數十層、甚至上百層，資訊與梯度仍能更穩定地流動，也讓「做得更深」第一次真正變得可行。
ResNet 的影響也遠超過電腦視覺本身。今天的 Transformer、生成式模型與各種大型神經網路，都大量使用類似的殘差連接。它真正解決的，其實是一個比影像辨識更根本的問題：如何讓資訊在非常深的神經網路中，仍然能夠有效地被保留、傳遞與學習。
而當資訊已經可以順利穿過深層網路，下一個自然出現的問題就是：前面已經學會的特徵，是否還能被後面的網路更有效地重複利用？ 這也正是 DenseNet 接下來試圖回答的問題。
DenseNet：從傳遞資訊，進一步走向重用資訊
ResNet 解決的是「資訊如何跨過更深的網路」，DenseNet 則進一步思考：如果前面的網路層已經學會了一個有用的特徵，為什麼後面的網路還要重新學一次？
因此，DenseNet 採取了更密集的連接方式。不同深度的網路層不再只是依序往後傳遞，而是讓後面的層可以直接取得前面多個層所學到的特徵。這樣一來，較早出現的邊緣、紋理或形狀資訊，就能持續被後面的網路直接使用，而不必經過大量中間轉換後再重新建立。
下圖中的 Dense Block 可以更直觀地理解這個概念。圖中每一層都不只接收前一層的輸出，而是同時接收前面所有層累積下來的 feature maps，再產生新的特徵，最後透過特徵串接（Feature Concatenation）把新舊資訊組合在一起，可以想成一個共同累積的「特徵資料庫」：前面已經學會的知識不會被丟掉，而是一路提供給後面的網路使用。
這和 ResNet 的概念有些不同。ResNet 比較像替資訊開一條「捷徑」，讓原始訊號可以跨過部分網路層；DenseNet 則更像讓每一層都能直接查閱前面已經累積的資訊。兩者都是在改善深層網路的資訊流，但 DenseNet 更強調特徵重用（Feature Reuse）。
這樣的設計不只讓已學到的資訊能被更有效利用，也有助於梯度在深層網路中傳遞，使模型在增加深度時仍能維持較穩定的訓練。
DenseNet 背後代表的是另一種設計哲學：好的模型不只是學得更多，也應該更有效率地使用已經學到的知識。
從這個階段開始，神經網路研究的焦點也逐漸從單純追求「更深」，轉向思考如何讓資訊、特徵與梯度在模型中流動得更有效率。下一個問題也因此開始浮現：如果模型已經能看得深、學得多，那要怎麼讓這些能力真正走出大型伺服器，進入手機、攝影機與各種現實設備？這正是 MobileNet 與 EfficientNet 接下來要解決的問題。
MobileNet 與 EfficientNet：AI 開始真正面對部署問題
當深度學習開始走出實驗室、進入產業應用之後，模型面對的問題也跟著改變。手機、攝影機、工業設備、車載系統與各種 Edge AI 裝置，通常都有相同限制：算力有限、記憶體有限、功耗有限，而且還需要即時反應。因此，研究重點開始從單純追求「更高準確率」，逐漸轉向「如何讓模型更有效率」。
MobileNet 的做法，是把原本一次完成的大型卷積拆成不同運算步驟。從下圖上方可以看到，它先透過深度卷積 (Depthwise Convolution )分別處理各個通道中的空間資訊，再利用 Pointwise 1 × 1 Convolution 混合不同通道的特徵。可以把它理解成：原本是一個人一次完成所有工作，MobileNet 則把工作拆開，先各自處理，再集中整合，因此可以大幅降低計算量。
這樣的設計讓模型在保留視覺辨識能力的同時，降低參數量與運算成本，也更適合部署在手機、攝影機或嵌入式裝置上。換句話說，MobileNet 真正解決的不是「怎麼看得更深」，而是怎麼用更少的資源完成視覺辨識。
EfficientNet 則進一步思考另一個問題：如果要讓模型變得更強，到底應該增加網路深度、增加通道數，還是提高輸入影像解析度？它提出的答案不是只選其中一項，而是讓三者按照適當比例共同調整，也就是所謂的 複合縮放(Compound Scaling）。
EfficientNet 在 MobileNet 類型的高效率卷積設計基礎上，進一步透過 MBConv 等模組與整體縮放策略，在模型能力與運算成本之間取得更好的平衡。簡單來說，它不是只把模型「做大」，而是思考要怎麼把有限的計算資源分配得更合理。
這兩類模型真正改變的，不只是神經網路的大小，而是 AI 開始具備「走出資料中心」的能力。過去需要大型 GPU 才能執行的視覺模型，開始逐步進入手機、攝影機、工廠設備與各種 Edge AI 裝置。
也就是說，AI 的「眼睛」開始從實驗室裡的模型，真正變成可以部署在現實世界中的能力。
而當模型已經能夠看得準、看得快，也能在有限資源中運作之後，下一個問題又出現了：除了局部特徵之外，AI 能不能直接理解整張圖片中彼此距離很遠的資訊關係？ 這也正是 Vision Transformer 接下來要回答的問題。
Vision Transformer：從局部特徵，走向全域關係
CNN 長期以來有一個很重要的假設：影像中的局部關係最重要。 這個設計非常有效，因為邊緣、紋理與形狀通常都是從相鄰像素中形成。不過它也帶來一個限制：如果畫面中兩個距離很遠的區域其實彼此相關，CNN 往往需要經過多層運算，資訊才能逐步傳遞到一起。
Vision Transformer（ViT）採取了不同的方法。它先把整張圖片切成一個個小區塊，也就是 Patch，再把每個 Patch 轉成類似語言模型中的 Token，交給 Transformer 處理。接著透過 自注意力(Self-Attention），模型可以直接計算不同區塊之間的關係，不必只沿著相鄰區域一步一步往外傳遞。
從下圖可以看到，一張貓的圖片先被切成許多小格，每一格都被轉換成一個可供模型處理的表示。接下來，Self-Attention 會讓這些區塊彼此「互相參考」。例如，模型在觀察貓的眼睛時，也能同時考慮遠處的耳朵、鼻子或身體輪廓，進一步判斷這些資訊是否屬於同一個物體。
對不熟悉技術的讀者來說，可以把 CNN 和 ViT 的差異理解成兩種不同的看圖方式。CNN 比較像是從局部開始，一塊一塊拼出完整畫面；ViT 則更像是先把整張圖拆成許多片段，再直接比較哪些片段彼此相關。
因此，AI 所問的問題也開始改變。過去比較像是在問：「這個區域附近有什麼？」到了 Vision Transformer，問題進一步變成：「整張圖片中，哪些區域彼此相關？」
這個轉變非常重要，因為 AI 的視覺能力開始從單純辨識局部特徵，逐漸走向理解整張畫面的結構與關係。也正因為 Transformer 原本就是為語言序列而設計，當圖片也被轉換成 Token 後，視覺與語言開始出現一套更相近的處理方式。
而當圖片與文字都能被轉換成模型可以理解的表示之後，下一個自然出現的問題就是：影像與語言，能不能不只是分開處理，而是真正進入同一個語意空間？ 這也正是 CLIP 接下來的重要突破。
CLIP：影像第一次真正和語言共享同一個語意空間
過去的影像分類，大多建立在固定類別上。輸入一張圖片，模型再從 Cat、Dog、Car 等預先定義好的答案中選擇結果。這種方式雖然有效，卻也代表模型所認識的世界，仍受到人類事先設定的分類限制。
CLIP 改變了這件事。CLIP 利用大量「圖片＋文字描述」的配對資料進行訓練，讓影像與文字分別經過 Image Encoder 與 Text Encoder 後，被轉換到同一個語意空間中。如果一張圖片和某段文字在意思上接近，它們在這個空間中的距離也會更靠近。
從下圖可以看到，同一張貓的圖片會被轉換成一組 image embedding，而「a photo of a cat」、「a photo of a dog」等文字描述，也會各自被轉換成 text embeddings。模型接下來比較的，不再只是固定類別，而是判斷：哪一段文字和這張圖片的語意最接近？
可以把它想成：過去的模型比較像是在做選擇題，只能從事先準備好的答案中挑一個；CLIP 則更像把圖片和文字放進同一張「語意地圖」裡，意思越接近的內容，就會被放得越靠近。
這一步非常關鍵，因為影像從此不再只是單純的視覺訊號，而開始進入語言與語意的世界。模型不只知道「這張圖屬於哪一類」，還開始建立另一種能力：這張圖片，和什麼樣的語意描述最接近？
CLIP 也因此讓 Zero-Shot Recognition 成為更實用的能力。即使模型沒有針對某個固定分類任務重新訓練，只要提供新的文字描述，也能透過影像與文字之間的相似度進行判斷。這使 AI 所能理解的視覺概念，不再完全受限於原本訓練時預先設定好的標籤。
而從這裡開始，視覺 AI 的發展方向也出現了更大的變化。後來的 SAM 將通用能力延伸到影像分割，生成式影像模型則反過來證明，AI 不只可以從圖片找到語意，也可以從語意重新生成圖片。
換句話說，AI 的視覺能力開始從「辨識世界」，逐步走向「理解與創造世界」。
更重要的是，當圖片和文字已經可以被放進相近的語意空間後，下一個自然出現的問題就是：能不能讓大型語言模型本身，也直接具備視覺能力？
這也正是 VLM 接下來快速發展的起點。
從 VLM 到原生多模態：視覺不再只是輸入
當影像與語言開始能夠彼此對齊之後，下一個自然出現的問題就是：能不能讓大型語言模型本身，也具備視覺能力？ 於是，視覺語言模型 VLM（Vision-Language Model）開始快速發展。
傳統 VLM 的做法，可以理解成「視覺專家＋語言專家＋一個翻譯層」。視覺編碼器先負責「看」，把圖片轉成影像特徵，再透過 Projector 或 Adapter 轉換成語言模型可以理解的 visual tokens，最後交給 LLM 負責推理與回答。簡單來說，可以把它想成兩位不同領域的專家：一位擅長看圖，一位擅長語言，中間再由翻譯把視覺資訊轉交給語言模型。這種架構已經能支援文件閱讀、圖片理解、圖表分析，甚至回答影像中的複雜問題。
但這種方式也留下了一個根本問題：視覺模型與語言模型，本質上仍然是在不同系統中成長起來的。雖然兩種模型可以合作，卻不代表從一開始就用同一套方式理解世界。
因此，近年的多模態模型開始探索另一條方向，也就是圖片中的原生多模態模型 (Native Multimodal)。影像不再先經過一套獨立的視覺系統處理完，再翻譯給語言模型，而是讓 image tokens 與 text tokens 更直接地進入同一套多模態模型中，讓視覺與語言在訓練過程中共同學習。
這個差異看似只是架構調整，其實代表更大的轉變。過去的邏輯比較像是：先看，再交給其他系統理解。 原生多模態則開始往另一個方向走：視覺本身就是模型理解與推理的一部分。
也因此，AI 對「看」的定義正在改變。視覺不再只是外部輸入，而逐漸和語言、知識與推理融合在一起。換句話說，未來的多模態 AI 可能不只是「會看圖的語言模型」，而是一套從一開始就同時透過文字與影像理解世界的系統。
看，本身就開始成為思考的一部分。
下一個核心問題：AI 能不能理解「變化」？
如果 AI 已經可以辨識物體、理解整張圖片，甚至把影像與語言放進同一套模型中，下一個問題可能就不再只是「現在看到了什麼」，而是：和剛才相比，發生了什麼變化？
人類其實很少每一秒都重新辨識完整世界。當我們坐在一個房間裡，不會不停重新判斷「這是牆、這是桌子、這是窗戶」。大多數背景資訊會被保留，我們真正敏感的，是那些和前一刻不同的內容，例如有人走進來、桌上的物品被移動、燈光突然變暗，或某個人的表情發生改變。
換句話說，高效的認知並不是平均處理所有資訊，而是選擇性地關注有意義的變化。
如果把這個概念放到視覺理解中，就很好想像。例如同一個監控畫面裡，大部分設備、牆面與背景都沒有變化，真正重要的可能只是某個零件鬆動、某個人進入區域，或某台設備的狀態突然異常。對 AI 而言，與其每一秒都重新「看懂整張圖」，更有效率的方式，是先記住相對穩定的世界，再把注意力放在真正發生變化的部分。
如果這條研究方向持續發展，未來的視覺 AI 可能逐漸具備更多「持續理解」能力，例如：
- 記住長時間場景中真正重要的資訊
- 比較前後狀態，辨識異常變化
- 理解事件如何隨時間持續發展
- 根據目前狀態，推測可能的後續結果
到了這個階段，「看懂一張圖片」反而只會變成最基本的能力。真正重要的，不再只是辨識現在眼前有什麼，而是理解世界如何在時間中變化。
這也代表 AI 的視覺能力，正在從「單張影像理解」逐步走向「持續狀態理解」。當視覺、記憶與時間開始被放進同一套認知脈絡後，下一個更大的問題也自然浮現：AI 能不能不只理解變化，還能建立一個對世界運作方式的內在模型？
什麼是卷機？
是一種讓模型用小範圍的濾鏡在影像上滑動，逐區域偵測邊緣、紋理、形狀等局部特徵的運算方式。
什麼是特徵圖？
是影像經過卷積運算後產生的結果，用來呈現模型在圖片中偵測到的特定視覺特徵。
什麼是權種共享？
是指同一組卷積參數可以在整張影像的不同位置重複使用，因此模型不用為每個位置重新學一次相同特徵。
什麼是感受野？
是神經網路中某個神經元一次能「看到」的影像範圍，網路越深，通常能整合的範圍也越大。
什麼是池化？
是一種縮小特徵圖尺寸的方式，會保留區域中較重要的資訊，同時減少後續計算量。
什麼是全連階層？
全連接層是把前面網路提取到的各種特徵整合起來，並根據這些資訊做出最後分類或判斷的神經網路層。
什麼是ImageNet？
ImageNet 是一個大型影像資料集，收錄大量已分類與標註的圖片，主要用來訓練與評估 AI 的影像辨識能力。
什麼是跳躍連接？
是指讓輸入資訊跳過部分神經網路層，直接傳到較後面的層，再與原本計算結果合併。
什麼是殘差？
是指模型輸入與理想輸出之間「還需要修正多少」的差異，ResNet 讓網路學習這個差值，而不是每一層都重新學完整結果。
什麼是Transformer ？
是一種利用 Attention（注意力機制） 來判斷不同資訊彼此關係的神經網路架構，能同時關注整體內容中哪些部分最重要。
什麼是特徵串接 ？
是把不同網路層學到的特徵直接接在一起，形成更完整的特徵集合，讓後續模型能同時使用前面累積的資訊。
什麼是特徵重用 ？
是指模型將前面網路層已經學到的邊緣、紋理、形狀等特徵保留下來，讓後面的網路層可以直接再次使用，而不必重新學習相同資訊。
什麼是深度卷積？
是把每個輸入通道分開進行卷積運算，而不是一次同時處理所有通道，因此可以大幅降低計算量。簡單來說，就是先讓每個通道各自找特徵，再交給後續步驟整合。
什麼是複合縮放？
是 EfficientNet 用來同時調整網路深度、寬度與輸入影像解析度的方法，讓模型在變大的同時，也能更有效率地使用計算資源。
什麼是MBConv？
是一種輕量化卷積模組，會先把特徵通道擴張、再用深度卷積擷取空間特徵，最後再壓縮回較小的通道數，以降低計算量並保留模型表現。
什麼是Token？
Token 是 AI 模型處理資訊時使用的基本單位，可以是一個字、一部分單字、一個符號，或在影像模型中代表一小塊圖片資訊。
什麼是自注意力？
是讓模型在處理某個 Token 時，同時判斷其他 Token 與它有多重要、彼此有什麼關係的機制。
什麼是Encoder？
為編碼器，把原始輸入資料轉換成模型可以理解與處理的特徵表示。
什麼是Embedding？
是把文字、圖片或其他資訊轉換成一組數值向量，讓 AI 可以用「距離」或「相似度」來比較它們的語意關係。單來說，就是把人看得懂的內容，轉成 AI 能計算與比較的數字座標。
什麼是Zero-Shot Recognition？
是指模型在沒有針對某個新類別重新訓練的情況下，仍能透過已有的語意知識辨識它。也就是說即使模型沒特別學過這道題，也能根據文字描述或已有知識做出判斷。
三、從電腦視覺，走向 World Model
如果把過去三十多年的技術放在一起，就可以看見一條很清楚的演進方向。
CNN / LeNet
如何從像素中找到局部結構
AlexNet / VGG
如何透過更深的模型建立更抽象的表示
GoogLeNet
如何更有效率地觀察不同尺度
ResNet / DenseNet
如何讓深層資訊有效傳遞與重用
MobileNet / EfficientNet
如何把 AI 視覺帶進真實裝置
Vision Transformer
如何建立全域關係
CLIP / VLM
如何讓視覺與語言共享語意
原生多模態
如何讓不同感知能力進入同一套認知架構
下一階段
如何理解時間、變化、記憶與行動
如果沿著這條路繼續往前，AI 最終追求的可能已經不再是一個更好的「影像辨識模型」，而是一個更大的概念——世界模型（World Model）。
世界模型真正關心的，不只是「畫面裡有什麼」，而是進一步理解：現在世界處於什麼狀態？不同物體之間具有什麼關係？和上一刻相比發生了什麼變化？如果採取某個行動，接下來世界又可能如何改變？
世界模型的概念已經不只是單純接收影像，而是把感知、記憶、關係、時間、推理與行動放在一起理解。模型一方面觀察現實世界，建立對當前狀態的內部表示；另一方面，也會利用過去的資訊與現在的條件，推演未來可能出現的不同結果。可以把 World Model 想成 AI 在內部建立了一個「對世界如何運作的理解」。它不只知道眼前有一個人、一隻狗和一顆球，而是開始理解這些物體彼此的關係，以及當某個人採取不同動作時，後續可能出現什麼變化。
到了這個階段，視覺也不再只是一個獨立的感知模組，而會逐漸與語言、記憶、推理、時間以及行動融合。AI 的「眼睛」不再只是負責辨認物體，而是成為建立世界狀態、理解變化，甚至預測未來的重要入口。
也就是說，從 CNN 到 World Model，AI 視覺真正的演進，並不是單純「看得更準」，而是從辨識畫面中的內容，逐步走向理解世界如何運作。
什麼是世界模型？
可以把它想成 AI 在腦中建立一套「世界怎麼運作」的理解。模型不只會辨認眼前有什麼，還能進一步理解物體之間的關係、察覺狀態變化，並推測接下來可能發生什麼。
四、從「看見」到「理解」，我們或許才走到一半
從 CNN 讓機器開始學會從局部特徵理解影像，到 AlexNet 證明深度學習可以從大量資料中自行學習視覺表示；從 ResNet 解決深層網路中的資訊傳遞問題，到 Vision Transformer 開始建立整張影像的全域關係，再到今天的多模態模型能同時處理圖片、文字、文件與影片，AI 的「眼睛」已經走過三十多年的演進。
但回到最初的問題：機器真的理解自己看到的東西嗎？
如果 AI 能辨識一隻貓，並不代表它理解貓會移動、會害怕，也會與環境互動；如果 AI 能辨識一台設備，也不代表它知道設備為什麼故障，以及故障後可能造成什麼影響；如果模型可以描述一個交通畫面，也不代表它真正理解下一秒可能出現的風險。
這也說明，「辨識」與「理解」之間，仍然存在一段距離。看見的是物體、特徵與畫面；理解則必須進一步把這些資訊放進時間、語言、記憶、因果與行動的脈絡中，知道事情為什麼發生、彼此如何影響，以及接下來可能如何發展。
因此，下一代視覺 AI 的競爭，也許不再只是誰能看得更準，而是誰能把「看到的東西」，進一步轉化成對世界狀態、變化與因果關係的理解。
三十多年前，研究者開始思考的是：怎麼讓機器從像素中看見有意義的世界？
今天，這個問題已經逐漸有了答案。
而下一個真正困難的問題才正要開始：
當 AI 已經學會看見世界，它距離真正理解「世界為什麼會變成這個樣子，以及下一刻可能變成什麼」，究竟還有多遠？
#人工智慧 #電腦視覺 #VLM