跳转到主内容

使用本地 AI 模型聊天

为什么使用本地 AI 模型？​

在本地使用 AI 模型有以下重要优势：

  • 固有更安全 - 你的数据保留在自己的电脑上，绝不会发送到外部服务器
  • 没有额外成本 - 本地模型没有按使用计费的 API 成本
  • 隐私得到保障 - 适用于敏感文档和信息

为什么选择 Ollama？​

Ollama 是一个工具，可以让你在本地轻松运行 AI 模型。它在每台计算机上单独安装，因此对用户数量没有限制——不需要共享的服务器。

安装 Ollama​

  1. 访问 Ollama 下载页面
  2. 下载与你的操作系统相应的版本（Windows、macOS 或 Linux）
  3. 按照安装程序完成安装
  4. 安装后，Ollama 会在后台自动运行

安装一个语言模型​

安装 Ollama 后，至少需要下载一个语言模型：

  1. 打开 Ollama 界面（通过系统托盘图标或终端）
  2. 下载你选择的语言模型

推荐模型​

优先选择具备 工具能力 和 视觉能力 的模型：

  • Tools 能力 - 模型能使用应用中的所有工具，如上网搜索和生成图片
  • Vision 能力 - 模型能分析并描述图片
推荐模型

qwen3-vl:4b 在速度和工具/视觉能力之间提供了很好的平衡。通过终端安装此模型：

ollama pull qwen3-vl:4b

根据硬件选择模型​

模型的性能在很大程度上取决于你计算机的硬件：

硬件建议
有限 (8GB RAM，无 GPU)选择较小的模型 (1-4B 参数)
中等 (16GB RAM，基础 GPU)模型到 7B 参数
强力 (32GB+ RAM，现代 GPU)可能使用更大模型 (13B+)
速度 vs. 质量

通常较小的模型在速度方面表现更好，但可能回答不够精确。请尝试以找到最适合你情况的平衡点。

桌面应用中的配置​

一旦 Ollama 运行并安装了模型，桌面应用会自动检测。你可以在聊天中将本地模型选作云模型的替代。

可用模型及其对工具/视觉支持​

查看完整列表请访问 ollama.com/library。筛选具备以下标签的模型：

  • Tools 标签表示具备工具能力
  • Vision 标签表示具备图像识别能力

常用选项：

  • qwen3-vl:4b - 紧凑、快速、具备工具 + 视觉
  • llama3.2-vision - 具备视觉能力
  • mistral - 快速的一般任务
WhatsApp