跳到主要內容

用 M1 Max 32GB 實測三個地端模型後,我決定先不換 Mac

我在考慮換新 Mac 跑地端 AI,先在手上的 M1 Max 32GB 實測 Gemma 4 26B、Qwen3.8 27B、Qwen3.6 35B 三個地端模型,讓它們跟雲端 Claude 做同樣四件工作。Claude 每件 72 秒內做完,地端每件要等 2 到 49 分鐘,12 次裡 5 次不能直接用。換新 Mac 也只會快一點,所以我先不換。

文| 23 分鐘 Read in English →

用 M1 Max 32GB 實測三個地端模型後,我決定先不換 Mac
目錄
  1. 01地端 AI 在 32GB 的 Mac 上跑得動嗎?
  2. 02我怎麼測地端 AI?
  3. 四件事是哪四件?
  4. 誰扮演芷晴、結果怎麼判?
  5. 03地端模型做得對嗎?
  6. 04地端 AI 比雲端慢多少?
  7. 05跑地端 AI 要什麼樣的 Mac?
  8. 容量要多大?
  9. 頻寬要多快?
  10. 06地端 AI 還有哪些門檻?
  11. 07地端 AI 划算嗎?

看到新的 Mac 上市,我在思考要不要換掉手上這台 2021 年的 MacBook Pro(M1 Max、32GB 記憶體)。我也聽說最近地端模型進步了很多,所以會想:如果要換電腦,在我的新機預算內,有沒有機會在新的 Mac 上跑地端 AI?地端 AI 指的是把模型下載到自己的電腦上跑,不必把資料送到別人的伺服器。我想親手測,不只查資料,就先在手上這台 M1 Max 跑地端 AI,看看它的表現如何。

地端 AI 在 32GB 的 Mac 上跑得動嗎?

跑得動,但是很喘。在這台 Mac 上,地端模型每做一件工作,都要等 Claude 的幾倍到幾十倍時間,結果也不一定能直接用。我讓三個地端模型和我平常用的雲端 Claude,各做我自己工作流程裡的四件事:開新專案、整理訪談逐字稿、排今天、每週回顧。三個地端模型是 Google 的 Gemma 4 26B,還有阿里巴巴的 Qwen3.8 27B 和 Qwen3.6 35B。

Claude 四件都能直接用,每一件都在 72 秒內做完。三個地端模型每件要等 2 到 49 分鐘,各做四件、一共 12 次,其中 5 次的結果不能直接用。

測完,我決定先不換電腦。買新 Mac 能讓地端 AI 快一點,但等的時間還是比 Claude 長得多,花這筆錢買不到生產力的提升。

我怎麼測地端 AI?

AI 能做的事很多,可以聊天問答,也能生圖、做影片。這次只測我工作上最常交給 AI 的那一類:讀檔案、寫文件、跟我來回討論。我拿自己工作流程裡的四件日常工作當考題,請 Claude 扮演一位虛構的社工系研究助理,把工作交代給地端模型。她叫芷晴,手上有一批訪談要分析。IRB(研究倫理審查)規定,這些訪談資料只能存在研究室這台電腦。

我挑這三個地端模型,是想要一個非中國模型(Gemma),一個中國模型(Qwen3.8),再加一個寫得快的(Qwen3.6)。包在模型外面、讓模型能讀檔、改檔、記住對話的整套系統,叫 harness。harness 會怎麼影響結果,我在〈Harness:決定 AI Agent 成敗的不是模型,是這個東西〉寫過。兩邊各用哪些模型和 harness,列在下面這張表。

地端雲端(對照組)
模型Gemma 4 26B、Qwen3.8 27B、Qwen3.6 35BClaude Sonnet 5.5
harnessOpenCodeClaude Code

文章裡拿來比的 Claude,指的是表格右邊這一整組:Claude Sonnet 5.5 加 Claude Code。同樣四件事也交給它做一遍。兩邊的模型和 harness 都不一樣,所以這次比的不只是模型,也比了兩邊的 harness。

圖 1 測試流程,看同樣四件事怎麼分成地端和雲端兩路

四件事是哪四件?

四件事都要 AI 先讀資料夾裡的檔案,再動手建檔或改檔:

① 開新專案:我開始一件新工作時,會用一兩句話跟 AI 交代要開什麼專案、什麼時候做完。AI 會開一個新資料夾,在裡面寫一份 README.md,也就是這件工作的說明檔。README.md 寫清楚這件工作對到哪個目標、每週要做什麼、現在做到哪裡。

② 整理訪談逐字稿:芷晴把一份約 1,500 字的訪談逐字稿交給 AI,請它替每段話貼上短標籤(研究上叫編碼)。每個編碼底下,要從逐字稿抄下對應的原話當證據。最後從這份訪談寫出 3 到 5 個可能的主題。主題就是把相近的編碼歸在一起,取一個名稱,說明這一組在講什麼。芷晴沒有要求主題附原話,原話附在編碼底下就好。

③ 排今天:我早上開工時,會請 AI 先問我今天想做什麼,再對照這週的計畫和行程,和我討論出當天的工作。

④ 每週回顧:我每週會和 Claude 談我過去一週完成了哪些事情,把成果歸檔,並討論下一週的工作目標。測試時改由芷晴跟模型談這件事,地端那幾次的時間和來回次數上限,都是四件事裡最高的。

① 開新專案、③ 排今天、④ 每週回顧,都有一份寫好的 SOP,規定 AI 照什麼流程做。這份 SOP 寫在資料夾裡的 CLAUDE.md,這是給 AI 看的規則說明書,有 733 行。Claude Code 和 OpenCode 照同一份 CLAUDE.md 的流程做,兩邊的結果才能放在一起比較。② 整理逐字稿沒有寫成 SOP,靠芷晴當下交代。

誰扮演芷晴、結果怎麼判?

兩邊的芷晴都由 Claude 扮演。差別在做事的一方,是前面表格裡的地端那組,還是雲端那組。扮演時有一份角色說明,寫了芷晴是誰、這件事要做到什麼。

芷晴只做一般使用者會做的事:回答問題,模型沒聽懂或做錯時換句話再講,說同意或不同意,不教模型怎麼做。每一輪她讀完對話和資料夾裡新增或改過的檔案,再回一到三句。

模型自己讀檔、改檔,不清楚可以回頭問芷晴。地端這幾次,① ② ③ 每件上限 90 分鐘、最多 6 次來回。④ 每週回顧是 120 分鐘、最多 8 次來回,兩種上限先到哪個就停。

判的時候只看最後交出來的東西能不能直接用,結果只分成功和失敗兩種。能直接用,算成功,中間要多講幾次才修好也算。不能直接用,算失敗,包括沒做出來、次數或時間用完時還沒完成,還有實際要用這份檔案的人得自己動手改才能用。整理逐字稿時抄下來的原話,改到看不出原意,整份也算失敗。

圖 2 芷晴靠對話和檔案變化跟模型來回,下排是怎麼判成績

這次測試的條件和限制
  • 機器:2021 年款 MacBook Pro 16 吋,M1 Max,32GB 記憶體
  • 地端:Ollama 0.40.4(跑地端模型的免費程式)、OpenCode 1.19.0
  • 地端的設定:一次能讀多長,Gemma 和 Qwen3.8 設 10 萬 token,Qwen3.6 設 4 萬。有一項省記憶體的設定,只在 Qwen3.8 上生效。思考模式(回答前先想一輪)和跑模型的引擎,都照裝好時的樣子
  • Claude:Claude Code 2.1.302,模型是 claude-sonnet-5-5
  • 地端這邊的扮演者:Claude Code,模型是 claude-sonnet-5-5,effort 用 Claude Code 預設的 medium
  • 四個模型從同一份資料夾開始,日期固定成週四 10/22(前三件)和週日 10/25(每週回顧)
  • 兩邊都用指令跑,沒用圖形介面

這次測試的限制:

  • 逐字稿只有約 1,500 字,真實一小時的訪談長很多
  • 這次比的是 Claude Sonnet 5.5 加 Claude Code,對上地端模型加 OpenCode,差距有多少來自 harness,沒有拆開量

地端模型做得對嗎?

Claude 四件事都成功,三個地端模型各有一到兩件不能直接用,最常出錯的是每週回顧。

模型① 開新專案② 整理訪談逐字稿③ 排今天④ 每週回顧
Claude成功成功成功成功
Qwen3.8成功失敗成功成功
Gemma失敗成功成功失敗
Qwen3.6成功成功失敗失敗

每一格都只有一筆結果,同一個設定再跑一次,結果可能不一樣。

① 開新專案:四個模型都建好了專案資料夾,也都在裡面寫了 README.md。Claude、Qwen3.8、Qwen3.6 寫出的 README.md 都能直接用。Gemma 判失敗,原因是 README.md 的內容沒有依據芷晴的情況寫出來。

② 整理訪談逐字稿:抄下來的原話之後會直接引用進論文,芷晴要的是一字不差。四個模型都改到了原話的字。改到字但意思沒變的,我判還能直接用。Claude、Gemma、Qwen3.6 改的字都沒動到意思,判成功。Qwen3.8 把「知道我們家的狀況」寫成「的狀態」,看不出原意,判失敗。

逐字稿原文和模型抄下來的原話對照
模型逐字稿原文模型抄下來的原話判定
Claude我已經一年多沒剪了。我已經一年多沒剪頭髮了。成功
Gemma我覺得那個比錢重要,就是有人看到。我覺得那個(小姑給的紅包)比錢重要,就是有人看到。成功
Qwen3.6日照的交通車有時候排不到,我就要自己載,婆婆上下車很吃力交通車排不到…我自己載婆婆上下車很吃力成功
Qwen3.8如果有一個人知道我們家的狀況,我有問題就問他,那會省很多力氣。如果有一個人的狀態、我有問題就問他,那會省很多力氣失敗

前三句有的多了字,有的少了字,意思都還在。

Qwen3.6 第一次交出來的編碼檔夾了簡體字,芷晴請它改,最後一版改掉了。

③ 排今天:Claude、Qwen3.8、Gemma 都把今天的筆記建好了。Qwen3.6 判失敗,它編出一個不存在的檔,還把這個檔列成今天的任務。

④ 每週回顧:Claude 和 Qwen3.8 做完的回顧都能直接用。Gemma 判失敗,它後來每次改檔都重寫整份檔,前一週的歷史紀錄也被改壞。這週計畫做完的比例也算錯,照檔案上打勾的項目該是 40%,它算成 33%。Qwen3.6 判失敗,它一題一題問芷晴,來回次數用完時,還沒把結果寫進檔。

地端 AI 比雲端慢多少?

上一節看的是做得對不對,這一節看要等多久。一般文章測模型的速度,多半看每秒產生幾個 token,寫成 token/s。token 是模型計算文字的單位,中文字跟 token 怎麼換算,看模型而定。看 token/s 的好處是不同模型放在一起比,標準一致,缺點是跟日常的工作有距離。所以我用實際的工作來量,就是這次的四件事,看每件從開始到做完要等多久。像 ① 開新專案要建資料夾、寫 README.md,④ 每週回顧是跟芷晴用對話來做的工作。

這次三個地端模型,都是裝好就直接跑,沒有為了讓它們變快去調設定。這種跑法,我後面都叫它「照預設」。有動到的設定,主要是讓模型放得進記憶體,也讀得下這次工作的內容,細節寫在前面「這次測試的條件和限制」的折疊裡。

四件事加起來,Claude 不到 3 分鐘就做完,三個地端模型要等約 45 到 88 分鐘。最快的 Gemma 也要 Claude 的 16 倍時間,最慢的是 Qwen3.8。

單位:分鐘
01020304050
① 開新專案
Claude 22 秒
Qwen3.8 10.5 分
Gemma 2 分
Qwen3.6 9 分
② 整理訪談逐字稿
Claude 47 秒
Qwen3.8 11 分
Gemma 20 分
Qwen3.6 27 分
③ 排今天
Claude 30 秒
Qwen3.8 17 分
Gemma 3 分
Qwen3.6 7 分
④ 每週回顧
Claude 72 秒
Qwen3.8 49 分
Gemma 19 分
Qwen3.6 31 分
Claude(雲端)三個地端模型

圖 3 同一件工作要等多久,每一列是一件事,四條都從 0 起算,磚紅色是 Claude,牛皮紙色是三個地端模型

差最多的是每週回顧。每週回顧是一來一回談的事,Qwen3.8 跟芷晴來回了 6 次,花了 49 分鐘。這是 Qwen3.8 每次回話的時間加起來,不含芷晴打字的時間。

地端模型慢,慢在寫。模型做事分兩段,先把給它的內容讀進去,再一個字一個字寫出回答。三個地端模型的等待時間,有八到九成花在寫。

時間既然多半花在寫,能不能靠調設定把這段縮短?後來我把最慢的 Qwen3.8 設定調過,四件重跑一次。等待時間加起來從約 88 分鐘降到約 34 分鐘,還是 Claude 的 12 倍左右。調過之後,四件工作也都正確完成。

四件加起來(分鐘)
0306090
Qwen3.8 照預設
約 88 分
Qwen3.8 調過
約 34 分
Claude
171 秒

圖 4 Qwen3.8 調過設定前後,四件事加起來要等多久,三條都從 0 起算。牛皮紙色是 Qwen3.8 照預設跑,深一點的牛皮紙色是調過設定的 Qwen3.8,磚紅色是 Claude

Qwen3.8 調了哪些設定、各快多少

Qwen3.8 調了四項設定。我試了三種組合,再跟照預設跑的結果比。下面的數字,除了講每週回顧的那一段,都只算前三件:開新專案、整理訪談逐字稿、排今天。

關掉思考模式:思考模式是模型回答前先想一輪,想的內容也要一個字一個字寫出來,只是畫面上看不到。關掉之後,前三件寫的 token 少了很多。每秒寫的量差不多,約 7 個 token。省下的時間來自少寫,不是寫得快。

MTP:MTP 讓模型一次先猜好幾個字,再檢查猜得對不對,猜對的就不用一個一個寫。我在關思考那組上再開 MTP,設成一次猜 4 個。它猜中約六成(61%),每秒從 7.0 個 token 變成 11.8 個。

換成 MLX:照預設跑的 Qwen3.8,用的是 GGUF 格式的模型檔(q4_K_M),由 llama.cpp 這個引擎來跑。引擎是實際把模型跑起來的程式。MLX 那組改用 MLX 格式的模型檔(nvfp4),配 Ollama 用 MLX 做的引擎。MLX 是 Apple 為自家晶片做的機器學習框架。q4_K_M 和 nvfp4 是兩種把模型檔壓小的方式。

MLX 那組也開了 MTP,這是引擎預設就開的。它猜中約八成(81%),每秒寫 16.2 個 token,是四組裡最快的。不過這組寫的 token 也比較多,約 1.16 萬。前三件的總時間,跟關思考+MTP 那組差不多(21.3 對 20.9 分鐘)。

一次能讀的長度:調過的三組,一次能讀的長度都從 10 萬 token 縮到 4.8 萬。

組思考模式MTP模型檔和引擎一次能讀多長前三件加起來
照預設開沒開GGUF 格式、llama.cpp 引擎10 萬 token38.9 分鐘
關思考關沒開GGUF 格式、llama.cpp 引擎4.8 萬 token27.8 分鐘
關思考+MTP關開,一次猜 4 個GGUF 格式、llama.cpp 引擎4.8 萬 token20.9 分鐘
MLX關開(引擎預設)MLX 格式、MLX 引擎4.8 萬 token21.3 分鐘

10/21 那晚,每週回顧只跑了 MLX 那組,花了 12 分鐘,四件都判成功。正文說的「調過」,就是這組。

四組都在同一台 32GB 筆電上跑,全程插電,跑之前關掉其他程式。

只有 Qwen3.8 調過,Gemma 和 Qwen3.6 都沒調。這些數字都是某一次跑出來的結果,不是平均值,只能當參考。

這一節開頭說過,一般文章測速度多半看 token/s,也就是每秒產生幾個 token。習慣看這個數字的人,可以用下面這張表對照。表上的數字,跟前面的等待時間出自同樣那幾次實驗,每個數字都是四件事加起來算的。

讀(每秒幾個 token)寫(每秒幾個 token)四件寫了多少 token四件要等多久
Qwen3.8 照預設約 90約 6.5約 3.0 萬約 88 分鐘
Qwen3.8 調過約 88約 16.4約 1.9 萬約 34 分鐘
Claude至少約 800至少約 120約 2.0 萬171 秒

調過設定之後,Qwen3.8 寫得比較快,讀的速度幾乎沒變。Claude 讀和寫都快很多,寫至少是調過的 Qwen3.8 的 7 倍,讀至少 9 倍。

這張表怎麼算的,Claude 為什麼寫「至少」

每秒幾個 token,就是做了多少個 token,再除以花了幾秒。表上的數字都是四件事加起來算的。

讀,只算模型真的重新讀進去的新內容。前面讀過、模型還記得的舊內容不算。Claude 另外從快取讀了約 125 萬個 token。快取是雲端替 Claude 存起來的舊內容,這部分也沒算進去。

讀花了幾秒、寫花了幾秒,都能從跑模型的程式留下的紀錄算出來。所以地端兩列直接相除就好,是實際量到的速度。拿 Qwen3.8 照預設那次來算:

  • 讀:55,864 個 ÷ 620 秒 ≈ 90 個
  • 寫:29,748 個 ÷ 4,590 秒 ≈ 6.5 個

雲端不會告訴我讀和寫各花幾秒,只給每次呼叫的總時間。四件事呼叫雲端的時間,加起來約 164 秒。這 164 秒裡,Claude 讀了 130,880 個新內容,寫了 20,109 個。

先算寫。就算 164 秒全部花在寫,每秒也寫了:

  • 20,109 個 ÷ 164 秒 ≈ 123 個

可是這 164 秒裡,有一部分時間在讀,真正花在寫的時間比 164 秒短。寫的量一樣是 20,109 個,花的時間更短,每秒寫的就比 123 個多。所以表上寫「至少約 120」。

讀也是一樣的算法。就算 164 秒全部花在讀,每秒也讀了:

  • 130,880 個 ÷ 164 秒 ≈ 798 個

真正花在讀的時間也比 164 秒短,所以每秒讀的會比這個更多。表上寫「至少約 800」。

Qwen3.8 調過之後,四件寫的 token 從約 3.0 萬少到約 1.9 萬。原因之一是關掉了思考模式。開著思考模式時,模型回答前會先寫一段畫面上看不到的思考內容。關掉之後,這一段就不用寫了。不過每次跑,模型來回的次數也不一樣。

跑地端 AI 要什麼樣的 Mac?

挑 Mac 跑地端 AI,要看記憶體的兩個數字,就像自己買車要看載重和馬力。一個是容量,像載重,決定放得下多大的模型,還有模型一次能讀多長。另一個是頻寬,像馬力,決定模型寫得多快。

容量要多大?

Mac 的記憶體是一整塊,CPU 和 GPU 一起用。跑模型主要靠 GPU,但 GPU 不能把整塊用完,要留一部分給系統。32GB 的 Mac,GPU 能用的部分預設約 25GB。128GB 的 Mac 約 107GB,系統留約 20GB。

跑模型時,記憶體要放三樣東西。

01模型本身大小看模型,小的幾 GB,大的八十幾 GB。放在 GPU 能用的部分
02模型正在讀的內容像規則、工具說明、對話和檔案,越長越佔空間。放在 GPU 能用的部分
03macOS 和其他程式例如瀏覽器、OneDrive 這類雲端硬碟,還有平常在背景跑的小工具。放在留給系統的部分

模型本身

第一樣是模型本身,佔多少看模型多大。現在常見、能在地端跑的模型,大致分成大中小三級。名字裡的 120B、27B、4B 代表模型的大小,數字越大,模型越大。

級別例子模型檔大小
大(約 120B)gpt-oss-120b、Qwen3.5 122B、Nemotron 3 Super 120B65 到 87GB
中(20B 到 35B)gpt-oss-20b、Gemma 4 26B、Qwen3.8 27B、Qwen3.6 35B14 到 23GB
小(4B 到 9B)Qwen3.5 4B、Qwen3.5 9B3.3 到 6.6GB

表裡的大小,是 Ollama 上壓小過的版本。Ollama 是跑地端模型的免費程式,這次的地端模型也是用它跑的。這次測的三個模型都在中級,Qwen3.8 27B 的模型檔約 18GB。大級的模型檔,每一個都比 32GB 的 Mac 上 GPU 能用的約 25GB 還大。

模型正在讀的內容

第二樣是模型正在讀的內容,包括規則、工具說明和對話。規則是模型先要知道的事,像前面提過的規則說明書 CLAUDE.md,還有 harness 本身帶的規則。工具說明寫的是模型能用哪些工具、每樣怎麼用,像讀檔、改檔。對話是到目前為止的來回,包括使用者說的話、模型的回覆、讀進來的檔案、工具跑出來的結果。模型這次正在寫的回覆,也算在裡面。

留給這一塊的空間,決定模型一次能讀多長。模型一次能讀進去的內容長度上限,叫 context window。要讀的內容越長,這一塊佔的空間越大。內容越長,模型第一次讀進去也要等越久。這次實驗做 ① 開新專案時,交代的工作只有短短兩句,Qwen3.8 第一次讀進去的內容卻有約 1.8 萬 token。多出來的幾乎都是規則和工具說明。Qwen3.8 照預設跑,光讀這一段就花了約 3 分鐘。現在的 Claude 模型,例如 claude-sonnet-5-5,預設就是 100 萬 token(1M),不用另外設定。

照 Claude 的 1M 來配,Qwen3.8 27B 光讀內容這一塊,用這次開的省記憶體設定推算,就要約 35GB,是模型本身的兩倍。加上模型本身約 18GB,合計 50GB 出頭。

macOS 和其他程式

第三樣是 macOS 和其他程式,用的是留給系統的那一部分。32GB 的 Mac 約留 7GB,128GB 的 Mac 約留 20GB。上面卡片裡那些程式,都在這約 7GB 或 20GB 裡搶空間。

手上的 Mac 夠嗎?

16GB 跑不動這次測的模型。Apple 現在賣的 Mac,多數基本款是 16GB。照 Apple 台灣官網的規格頁(2026-10-20 讀取),MacBook Air 是 16GB 起。這次測的三個模型,Qwen3.8 27B 和 Gemma 4 26B 的模型檔約 18GB,Qwen3.6 35B 約 23GB。光模型檔就比整台記憶體大,放不下。

32GB 跑得起來,但記憶體很吃緊。我這台就是 32GB,GPU 能用約 25GB。Qwen3.8 和 Gemma 一次讀 10 萬 token,放得下。Qwen3.6 只讀 4 萬 token,佔用的記憶體就超過 GPU 能用的上限,還要借用硬碟空間。照上面的推算,Qwen3.8 27B 加上 1M 的內容,合計要 50GB 出頭,32GB 的 Mac 放不下。

128GB 放得下。128GB 的 Mac,GPU 能用約 107GB。Qwen3.8 加上 1M 的內容放得下,模型檔 65 到 87GB 的大級模型也放得進。

真的要把地端 AI 當成主要工具,我目前的想法是,記憶體要往 128GB 看。

頻寬要多快?

換成 M5 Max,寫的速度大約是原本的 1.5 倍。

寫的速度主要卡在記憶體頻寬。M5 Max(40 核心 GPU)的頻寬是 614GB/s,是 M1 Max 400GB/s 的約 1.5 倍。同一代的 M5 Pro 是 307GB/s,比 2021 年的 M1 Max 還低。挑 Mac 要看頻寬,不是看哪一年出的。買車也是這樣,新出廠的車,馬力不一定比老車大。

同一台 M1 Max 筆電,Qwen3.8 做每週回顧,照預設要等 49 分鐘,調過設定約 12 分鐘。這段等待裡,讀約 5 分鐘,寫約 7 分鐘。讀的部分,光第一次讀規則和工具說明就花了約 3 分鐘。換成 M5 Max,我粗算時只讓寫的部分變快,讀的部分當作不變,算出來約 10 分鐘。同一件事,Claude 是 72 秒。

圖 5 Qwen3.8 調過設定後,每週回顧要等多久,上列是 M1 Max 實測,下列是 M5 Max 粗算,兩條都從 0 起算。淺灰褐色是讀,深一點的牛皮紙色是寫,更淺的灰褐色是跑工具和空檔

速度數字怎麼來的

記憶體頻寬:M1 Max 的 400GB/s 出自 Apple 2021 年發表 M1 Max 的新聞稿,M5 Max 40 核心 GPU 的 614GB/s 和 M5 Pro 的 307GB/s,都出自 Apple 的 MacBook Pro 規格頁(2026-10-20 讀取)。

筆電要容量和頻寬都顧到,就是 128GB 的 M5 Max。14 吋、M5 Max、128GB 記憶體、2TB 的 MacBook Pro,Apple 台灣官網的售價是 NT$230,900(2026-10-20 讀取)。

地端 AI 還有哪些門檻?

地端 AI 不是買好電腦就能用。我這次在手上這台 Mac 走過一遍,每一步都要自己決定、自己調。自由度很高,但很花時間,對沒有技術背景的人是一道門檻。

裝好之後,還有一串設定得自己來,要讓 harness 看得到地端模型,要決定一次能讀多長,也要試怎麼讓它變快。以一次能讀多長為例,這台筆電的預設只有約 3.2 萬 token,還沒開始做事,光是規則和工具說明就用掉一半以上。這次三個模型能讀的長度,都是我自己調大的。每一項都要先知道有這回事才會去調,調了也不一定有效。

這些門檻讓我想到 Claude Code,它一開始的門檻也不低。當時只有終端機版,要自己裝好 Node.js、設定好路徑,還要會在終端機裡打指令。裝完一打指令,畫面可能只跳出一行英文 command not found,意思是找不到這個指令。官方的疑難排解頁面,光是安裝和登入會遇到的錯誤,現在就列了 48 種。後來 VS Code 這類編輯器裡有了圖形介面,再來是下載就能用的桌面版,Claude Code 才比較走進一般人的生活。它門檻最高的時候,也比地端 AI 這一串設定簡單。雲端工具的門檻一直在降,地端這些設定,目前還是得自己來。

地端 AI 划算嗎?

我就是無法抗拒生產力工具的人,最怕研究了一堆工具,回報很久才來,或是根本沒有。所以我用 CP 值算一次帳:買新 Mac 跑地端 AI,投入的錢和時間,換到什麼。

投入的錢,是約 23 萬買一台 128GB 的 M5 Max,已經超出我的新機預算。投入的時間,是上一節那一串設定:裝好環境、調一次能讀的長度、一項一項試怎麼變快。花了這些時間,Qwen3.8 四件事加起來,從約 88 分鐘縮到約 34 分鐘。花錢買新機,還能再快一點。同樣四件事,Claude 不到 3 分鐘。

所以花錢換不到生產力的提升。換到的,是地端本來就有的好處:不用靠雲端的自由,還有資料不出電腦。

買新 Mac 跑地端 AI,像自己買車。自己的車想去哪就去哪,行程也不用給別人知道,只是得自己開、自己保養。用雲端的 Claude,像搭高鐵,速度快,也有人保養。要生產力,這筆投入不划算。資料不能離開電腦的人,或不想靠雲端的人,才值得考慮。

對我來說,地端還沒到甜蜜點,帳算不過來,還不到換的時候。手上的 M1 Max 32GB 跑雲端的 Claude 就夠了。原本要花在調地端設定的時間,我拿去優化讓 Claude 自己做下去的流程,回報是注意力和品質。我希望這套流程再自動一點,讓我能接更多案子,或少花一點工時。

或許明年、後年,等機器沒那麼貴、設定也沒那麼麻煩,我再來算一次地端這筆帳。在那之前,就拜託我這台 2021 年的 MacBook Pro 再多撐一陣子了。


雲端 Claude 要用到位,自己摸索也做得到,想少繞一點路,可以參考我的實體工作坊。

要帶整個團隊導入 Claude 的話,可以找匯流顧問。

常見問題

地端 AI 是什麼?
地端 AI(也稱本地 AI)是把模型下載到自己的電腦上跑,不必把資料送到別人的伺服器。跑在自己電腦上的模型,叫地端模型。地端本來就有的好處,是不用靠雲端的自由,還有資料不出電腦。跑地端 AI,像自己買車。自己的車想去哪就去哪,行程也不用給別人知道,只是得自己開、自己保養。用雲端的 Claude,像搭高鐵,速度快,也有人保養。
地端 AI 有哪些模型?
現在常見、能在地端跑的模型,大致分成大中小三級。名字裡的 120B、27B、4B 代表模型的大小,數字越大,模型越大。以 Ollama(跑地端模型的免費程式)上壓小過的模型檔來看,約 120B 的大級有 gpt-oss-120b、Qwen3.5 122B、Nemotron 3 Super 120B,模型檔 65 到 87GB。20B 到 35B 的中級有 gpt-oss-20b、Gemma 4 26B、Qwen3.8 27B、Qwen3.6 35B,模型檔 14 到 23GB。4B 到 9B 的小級有 Qwen3.5 4B、Qwen3.5 9B,模型檔 3.3 到 6.6GB。模型越大,放進記憶體要佔的空間越大。
跑地端 AI 要多少記憶體的 Mac?
記憶體的容量,決定放得下多大的模型,還有模型一次能讀多長。16GB 的 Mac 放不下像 Gemma 4 26B、Qwen3.8 27B 和 Qwen3.6 35B 這樣的中級模型,它們的模型檔約 18 到 23GB,光模型檔就比整台記憶體大。這幾個模型在 32GB 的 Mac 上跑得起來,但記憶體很吃緊,跑模型的 GPU 預設只能用其中約 25GB。想讓 Qwen3.8 27B 這樣的中級模型讀到跟 Claude 一樣長的內容,或跑模型檔 65 到 87GB 的大級模型,我目前的想法是記憶體要往 128GB 看,這種 Mac 的 GPU 能用約 107GB。
地端 AI 跟雲端 Claude 差在哪裡?
反應時間:同樣幾件要讀檔、改檔的日常工作,Claude 每件都在 72 秒內做完,地端模型跑在 M1 Max 32GB 上、沒有為了變快去調設定,每件要等 2 到 49 分鐘。回覆品質:我測的地端模型,結果比 Claude 常不能直接用,像是編出不存在的檔,或把引用的原話改到看不出原意。一次能讀多長:現在的 Claude 模型預設就是 100 萬 token(token 是模型計算文字的單位),地端模型受記憶體限制,要讀得越長,佔的記憶體越多。資料和自由:地端的資料不出電腦,也不用靠雲端。設定和維護:地端得自己裝、自己調,雲端的 Claude 有人保養。離線和用量:模型下載到自己的電腦後,不連網也能跑,而且沒有雲端服務那種用量額度。反應時間和回覆品質,都是某一次跑出來的結果,不是平均值。

#AI#Claude Code#local LLM#self-hosted AI

余文皓

余文皓Yu Wen-Hao

科技業二十年,Nokia、聯詠科技、友達光電,做過工程師、PM、事業單位主管的幕僚。現在是企業 AI 導入顧問、AI 講師,Claude 認證架構師,匯流顧問創辦人。

關於我 →

相關文章

  1. AI 與實作 Harness:決定 AI Agent 成敗的不是模型,是這個東西
  2. AI 與實作 Claude Code 教學:5 分鐘完成安裝與第一個任務
  3. AI 與實作 公司用 AI,資料會外洩嗎?自架 LLM、雲端託管、訂閱制三種部署方式完整比較
← 全部文章

© 2026 余文皓 WenHao Yu LinkedIn Facebook Email