警告

本教程由社区贡献，不获得 Open WebUI 团队的支持。它仅作为演示，说明如何根据您的特定用例定制 Open WebUI。想要贡献？请查看贡献教程。

注意

本指南已通过 手动安装 验证 Open WebUI 设置。

在英特尔 GPU 上使用 IPEX-LLM 设置本地 LLM

信息

IPEX-LLM 是一个 PyTorch 库，用于在英特尔 CPU 和 GPU（例如，带有集成显卡的本地电脑、Arc A 系列、Flex 和 Max 等独立显卡）上以超低延迟运行 LLM。

本教程演示了如何设置 Open WebUI，使其使用在英特尔 GPU 上托管并由 IPEX-LLM 加速的 Ollama 后端。遵循本指南，即使是在低成本电脑（即仅有集成显卡的电脑）上，您也能顺利设置 Open WebUI。

在英特尔 GPU 上启动 Ollama 服务

请参阅 IPEX-LLM 官方文档中本指南，了解如何在英特尔 GPU 上安装和运行由 IPEX-LLM 加速的 Ollama 服务。

提示

如果您想从另一台机器访问 Ollama 服务，请务必在执行命令 ollama serve 之前，设置或导出环境变量 OLLAMA_HOST=0.0.0.0。

配置 Open WebUI

通过菜单中的设置 -> 连接访问 Ollama 设置。默认情况下，Ollama 基础 URL 预设为 https://:11434，如下图所示。要验证 Ollama 服务连接状态，请点击文本框旁边的刷新按钮。如果 WebUI 无法与 Ollama 服务器建立连接，您将看到错误消息：WebUI could not connect to Ollama。

如果连接成功，您将看到消息 Service Connection Verified，如下图所示。

提示

如果您想使用托管在不同 URL 的 Ollama 服务器，只需将Ollama 基础 URL 更新为新的 URL，然后按下刷新按钮以重新确认与 Ollama 的连接。