滿拓科技創辦人暨技術長吳昕益替邊緣AI落地劃下指標：每秒15個token。這個數字揭開的不只是速度問題，而是從模型壓縮到晶片架構的整套落地工程，也點出邊緣AI真正的瓶頸所在。

吳昕益是台灣大學電機學士與碩士，清華大學資工博士。他從清大實驗室出來後於2018年創立滿拓科技，公司前四年做的是CNN影像辨識演算法，特色在於把演算法直接硬化為電路執行，不走一般GPU跑軟體的路線，因此推論速度極快。

2022年11月ChatGPT發布，整間公司遭遇一次根本性的技術轉向。吳昕益回憶，那時候的關鍵瓶頸已經不是算力，而是記憶體。大型語言模型的參數量讓記憶體容量與頻寬成為決定性限制，公司整個開發重心從解compute bound翻轉到解memory bound，過去幾年累積的模型壓縮方法被全部搬出來重新檢驗。

最終結果是：壓縮後的模型在99%的實驗中能維持原始精度，誤差控制在1%以內。他也給了一條經驗法則：最難壓的是語音模型，因為對精度的敏感度最高；最容易壓的是視覺模型，對數值落差的容忍空間比較大。

滿拓科技創辦人暨技術長吳昕益表示，邊緣AI真正的瓶頸所在不是速度，而是從模型壓縮到晶片架構的整套落地工程。

遊戲卡撐不住　邊緣三堂硬課

壓縮只是開端。模型壓完了，要部署到邊緣裝置上，這時才會撞到真正的系統層問題。

第一課來自硬體耐久度。早期滿拓為了壓低客戶成本，嘗試用消費級遊戲卡做24小時不間斷的地端推論。結果損壞率高到令人意外，硬體省下來的錢全部賠在維護工時上。吳昕益說，那次經驗讓團隊徹底認知到NVIDIA為什麼要把產品線分成消費級與工規級。

第二課更隱蔽。消費級遊戲卡沒有ECC(錯誤更正碼)，少了這層保護，GPU在長時間高負載下真的會算錯。而算錯對AI模型訓練的後果是毀滅性的：梯度發散，十次訓練只有一次能收斂到可用的精度，算力直接打水漂。

第三課是記憶體頻寬的物理天花板。無論怎麼透過PCIe匯流排拓寬頻寬，單卡記憶體在100 GB/s附近就會撞牆。這個瓶頸一直到Apple Silicon出現才被打破——Apple把統一記憶體架構的頻寬從100 GB/s一路推到120、200，最高到800 GB/s。吳昕益說，現在每次接案，第一個問題都是問客戶「你有多少記憶體頻寬？」，再依此回推能跑幾個Agent、用什麼規模的模型。目前客戶端的典型配置是4到10個Agent，模型多為13B到30B的MoE架構，通常不只一台機器，而是多台協作。

工安卡十毫秒　雲端帳單難預估

記憶體頻寬的限制規定了模型能跑多大，但客戶選擇邊緣部署的理由往往不只是技術。

吳昕益的客戶定義的即時性不是100毫秒，而是10毫秒，因為應用牽涉工業安全。更硬的限制是合規：資料不能帶出工廠，帶出去就違規。「違規這件事跟技術無關，跟法律有關，不合規就不能用。」

另一個被低估的推力是持有成本。在地端部署，客戶只要算電費與設備費，攤提路徑清楚。在雲端，token用量不可控。吳昕益講了一個案例：某企業前兩個月用雲端API很滿意，等到各部門都開始用，成本立刻指數型上升。原因不只是用量增加，而是prompt沒下好、Agent操作失誤產生的垃圾結果，那些沒產出價值的token全部要付錢。愈來愈多企業因此開始自建地端機房，把可預測的電費與設備費，當成比不可預測的雲端帳單更划算的選擇。

壓縮組合拳齊發　晶片各有其偏好

壓縮不是選一個方法做完就好。量化、剪枝、知識蒸餾、Low-rank Factorization、Architecture Search，滿拓是全部同時上。但吳昕益反覆強調的不是壓縮方法本身，而是壓完之後必須做到hardware friendly：「高通的晶片有高通的喜好，聯發科的晶片有聯發科的喜好——你必須把模型的形狀剪成那個硬體很喜歡的樣子，速度才會變快。」不這樣做，壓縮後的效能反而比壓縮前更差。

實務上，非結構化剪枝因為效能增益不穩定，滿拓幾乎已經不做，主力放在半結構化與結構化剪枝。量化則從32 bit逐步壓低，搭配混合精度，利用硬體架構本身的特性去補回精度損失。公司研究過高通與聯發科不同世代NPU的架構特性，為每一種硬體設計不同的精度補償策略。「每一家公司的NPU每一代架構都不一樣，」吳昕益忍不住吐槽，「我們多麼希望有一個大一統的架構出現。」

快取搬家省錢　演算法直接刻進電路

GenAI時代最具體的挑戰之一，是context window持續膨脹。吳昕益觀察到，客戶對context window的需求從8K起跳，經過32K，到現在128K算底板、256K是標準、1M級距才算旗艦。在128K以上的規模，KV Cache的資料量會超過模型權重本身。而它叫Cache，意味著大部分時間只是偶爾用一下。

他特別澄清，KV Cache外部化這件事在TurboQuant論文出現之前就已經在做。「TurboQuant最大的貢獻不是演算法特別好，事實上後面有很多演算法比它更好，是它用數學很嚴謹地證明了這個方法有效。」

滿拓的技術路線走到最深處，是把演算法直接轉化為硬體電路。吳昕益說，公司追求的不只是傳統晶片設計的PPA(功耗、效能、面積)，而是他們稱為Multi-Utilization的指標，連晶片每顆電晶體的使用率都要管到。變成RTL Core，讓客戶Tape Out自己的晶片；或者客戶不想走到Tape Out，就放在FPGA上執行。值得注意的是，公司內部約三分之一的RTL程式碼現在已經由AI協助產生。「AI在進步，我們的產出在進步，一間公司本來做不完的事情，現在做得完了。」