Ollama Linux 安装

发布时间: 2025-02-10

自定义设置
更新
安装特定版本
查看日志
卸载

Ollama Linux 安装

使用命令安装 #

运行以下命令以安装 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

手动安装 #

警告

如果您是从旧版本升级，请先使用 sudo rm -rf /usr/lib/ollama 删除旧的库。

下载并解压软件包：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

启动 Ollama：

ollama serve

在另一个终端中验证 Ollama 是否正在运行：

ollama -v

AMD GPU 安装 #

如果您拥有 AMD GPU，请下载并解压额外的 ROCm 包：

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

ARM64 安装 #

下载并解压专门为 ARM64 设计的包：

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

将 Ollama 作为启动服务添加（推荐） #

创建一个用于 Ollama 的用户和组：

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

创建一个服务文件 /etc/systemd/system/ollama.service:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

启动服务:

sudo systemctl daemon-reload
sudo systemctl enable ollama

安装 CUDA 驱动 (可选) #

下载并安装 CUDA。

验证驱动是否已安装，使用以下命令，应打印有关您的GPU的详细信息：

nvidia-smi

安装 AMD ROCm 驱动 (可选) #

下载和安装 ROCm v6。

启动 Ollama #

启动 Ollama 并验证是否正在运行：

sudo systemctl start ollama
sudo systemctl status ollama

警告

虽然 AMD 已将 amdgpu 驱动合并到 Linux 内核源代码中，但该版本可能较旧，可能不支持所有 ROCm 功能。我们强烈建议您从以下位置下载最新驱动：
https://www.amd.com/en/support/linux-drivers
以获得 Radeon GPU 的最佳支持。

自定义设置 #

要自定义 Ollama 的安装，您可以编辑 systemd 服务文件或运行以下命令更改环境变量：

sudo systemctl edit ollama

或者，手动创建一个覆盖文件 /etc/systemd/system/ollama.service.d/override.conf：

[Service]
Environment="OLLAMA_DEBUG=1"

更新 #

更新 Ollama 时，请重新运行安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

或通过重新下载 Ollama：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

安装特定版本 #

使用 OLLAMA_VERSION 环境变量与安装脚本一起使用，以安装 Ollama 的特定版本，包括预发布版本。您可以在发行版页面中找到版本号。

例如：

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志 #

要查看 Ollama 作为启动服务运行的日志，运行以下命令：

journalctl -e -u ollama

卸载 #

移除 ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

移除 ollama 二进制文件从您的 bin 目录中（其中之一）： /usr/local/bin、/usr/bin 或 /bin：

sudo rm $(which ollama)

移除下载的模型和 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

移除安装的库：

sudo rm -rf /usr/local/lib/ollama