什麼是 LM Studio？
LM Studio 是一款開源的桌面應用程式，支援在你的本地電腦上下載與執行 LLM（大型語言模型），重點是完全免費！不需要依賴網路或付費的語言模型 API。
可以到 LM Studio 的官方網站下載安裝軟體，完成下載後直接安裝就可以使用，在打開 LM Studio 之後，左下角的位置有三種操作介面（Modes），位置不太明顯，我有用紅線框出來：
User 模式
最簡單的聊天介面，像 ChatGPT 一樣輸入文字、獲得回覆，適合一般人跟模型進行對話使用。
Power User 模式
提供更多選項可以調整模型的參數，如：
- 回應溫度（temperature）
- 最大生成字數（max tokens）
- 系統提示詞（system prompt）
讓我們能夠更細緻的微調模型的參數。
Developer 模式
除了擁有 Power User 模式的功能之外，可以擁有對模型設定全部的控制權，包括一些快捷鍵的設定等等。
在這邊我們主要是將 LM Studio 當作我大型語言模型的本地 API Server，等於把我們的電腦變成一台 LLM Server，只要在同個 IP 網路環境中（例如同一個 Wi-Fi），其他裝置都能存取到我們的語言模型！很適合開發多人共用的本地端 AI 系統。
LM Studio ＋ AnythingLLM：打造專屬 LLM 知識庫
LM Studio 雖然強大，但只提供模型與 API，本身不包含「知識庫管理」的能力。
這時可以結合 AnythingLLM ，它也是一個開源的專案項目，主要是協助 LLM 進行進階的管理，包括以下幾種服務：
- 能夠匯入 PDF、JPG、CSV、Docs、網站網址等多種資料格式
- 建立向量資料庫
- 可結合與 LM Studio 連線，透過電腦本地的模型進行對話
只要在 AnythingLLM 的設定中，指定你的 LM Studio 本地 API，就能讓模型針對你餵進去的知識回答問題，實現「ChatPDF + 本地模型」的超強功能。
LM Studio ＋ AnythingLLM 部署流程
以下是完整的步驟摘要：
1. 下載安裝 LM Studio + AnythingLLM
可以先針對你電腦的作業系統來下載安裝 LM Studio + AnythingLLM，接著下一步。
2. 在 LM Studio 當中下載你想使用的模型
可以在 LM Studio 的左邊紅色放大鏡部分來搜尋你想要下載的模型，上圖的範例是搜尋 gemma 模型，選擇好想要的模型就點選右下角 Download。
3. 切換 Developer 模式並啟動 API Server
等模型下載完成後，切換成 Developer 模式，接著點擊左邊綠色的圖示（開發者），範例使用 gemma-3-1b-it-qat 模型，並且打開左上角的 Status Running，你就會得到一組屬於你自己本機的網址，也就是後端語言模型的 API。
4. 開啟 AnythingLLM 並設定 LLM backend 為 LM Studio API
第一次開啟 AnythingLLM ，點擊「 開始使用 」之後，就會進入到「 LLM 偏好 」的設定，搜尋並點選「 LM Studio 」之後，如果你是使用同一台電腦，程式會自動連接上你剛剛建立的後端語言模型的 API (Local Server)，並且自動帶入你剛剛下載安裝好的模型，也就是 gemma-3-1b-it-qat，接著就一直點擊右方的箭頭，就會進入到與你本機建立的大型語言模型對話的視窗囉！
小技巧與常見問題
硬體自我檢測與模型推薦小技巧
在本地運行 AI 模型前，先確認你的硬體條件，能大幅提升使用體驗與穩定性。
基本電腦設定建議
- LM Studio 載入模型會大量佔用記憶體，建議使用 16GB RAM 以上 的設備。
- Mistral、LLaMA 3 等模型皆有量化版本（如 GGUF 格式），可有效降低記憶體需求並加速載入。
本地 AI 配置與模型推薦表
| 硬體規格 | 推薦模型（LLM） | 適用對象 |
|---|---|---|
| 8GB RAM | Gemma-2B-IT（量化版） | 體驗用途、極簡短對話 |
| 16GB RAM | Llama‑3.1‑8B、Mistral‑7B | 日常處理、一般文件分析 |
| 32GB+ RAM / GPU 12GB+ | Command R、Llama‑3‑70B | 深度研究、複雜邏輯推理 |
新手模型搜尋建議
在 LM Studio 的模型搜尋框中，建議直接輸入：
TheBloke或Bartowski
這兩位模型作者提供大量 GGUF 格式的量化模型，是目前最適合本地電腦運行、且相容性極高的選擇。
安裝模型常見問題
Q1: 使用 LM Studio 搭配 AnythingLLM 需要付費嗎？
不需要，這兩款軟體均提供免費的社群版本，且運行的模型（如 Llama 3 或 Gemma）多為開源免費，可以完全省下 ChatGPT/Gemini 的訂閱費用。
Q2: 為什麼我需要 AnythingLLM 而不只用 LM Studio？
LM Studio 主要是用來「跟 AI 聊天」，但它無法記住你的整份 PDF 檔案。
AnythingLLM 能將你的文件轉為「向量數據」，實現「根據指定文件回答問題」的功能。
Q3: 如果電腦沒有顯示卡（GPU）可以跑嗎？
可以。LM Studio 支援 CPU 運算，但速度會較慢。
建議選擇「量化（Quantized）」後的模型（如 GGUF 格式）以確保流暢度。
Q4: AnythingLLM 支援哪些檔案格式？
A: 支援 PDF, TXT, CSV, Markdown, Word 以及直接抓取網頁連結內容。
Q5: 這個組合能讓同網域的同事一起用嗎？
A: 可以。
只要在 LM Studio 的 Developer 模式下開啟 API Server，並確保防火牆允許通訊，同 Wi-Fi 下的電腦皆可透過 IP 位址存取該 AI 模型。
3 個「必下載」的本地開源模型（LM Studio 新手必裝）
現在 AI 工具越來越多，但真正能「控制自己模型」、「保障資料隱私」的方案，其實就藏在你電腦裡！
如果你已經成功安裝 LM Studio + AnythingLLM，它不只能建立本地端 AI 助理，還能打造一個完全客製的內部知識庫平台。
如果你想玩玩看本地部署大型語言模型，這三個推薦的模型絕對是入門的最佳選擇！
以下是我實際測試後，整理出的 3 個必下載的本地開源模型清單
涵蓋「入門、日常工作、文件分析、進階推理」等常見使用情境。
1. Gemma‑2B‑IT（量化版｜GGUF）
適合對象：
- 8GB RAM 使用者
- 想快速體驗本地 AI 的新手
推薦原因：
- 模型小、載入快
- 對話自然、資源消耗低
- 非常適合第一次使用 LM Studio
關鍵字請搜尋： gemma-2b-it gguf
2. Llama‑3.1‑8B Instruct（GGUF）
適合對象：
- 16GB RAM 使用者
- 日常工作、寫作、摘要、問答
推薦原因：
- Meta 官方模型，穩定度高
- 中文理解能力佳
- 搭配 AnythingLLM 做文件 QA 表現很好
關鍵字請搜尋： Llama-3.1-8B-Instruct GGUF
3. Mistral‑7B Instruct（GGUF）
適合對象：
- 邏輯推理需求較高的使用者
- 開發者、技術文件閱讀
推薦原因：
- 回答精準、結構清楚
- 推理能力強
- 在本地模型中屬於「高 CP 值」代表
關鍵字請搜尋： Mistral-7B-Instruct GGUF
開始建立你的專屬 AI 知識庫
現在就立即下載 LM Studio ＋ AnythingLLM！測試這 3 個必裝的本地開源模型
打造真正屬於你資料隱私的本地個人專屬 AI 知識庫系統吧！
歡迎跟麥特分享你使用 LM Studio 安裝了哪一款模型，做了什麼好用的知識庫系統吧～
讓我們一起在豐富的資料世界中探險～