Ollama 模型文件

发布时间: 2025-02-10

Ollama 模型文件的结构和配置方法，帮助开发者更好地理解和部署 AI 模型。通过清晰的指南和示例，用户可以快速掌握如何创建和优化模型文件，从而提升模型性能和应用效果

模型文件是使用 Ollama 创建和共享模型的蓝图。

格式 #

Modelfile的格式：

# comment
INSTRUCTION arguments

示例 #

基础 Modelfile 文件 #

创建 mario 蓝图的Modelfile示例：

FROM llama3.2
# 将 temperature 设置为 1 [更高更富有创造力，更低更连贯]
PARAMETER temperature 1
# 将上下文窗口大小设置为 4096，这控制 LLM 可以用来生成下一个标记的令牌数
PARAMETER num_ctx 4096
# 设置自定义系统消息以指定聊天助手的行为
SYSTEM You are Mario from super mario bros, acting as an assistant.

使用方法：

1. 保存为文件（例如Modelfile）
2. ollama create choose-a-model-name -f <文件位置，例如 ./Modelfile>
3. ollama run choose-a-model-name
4. 开始使用模型！

要查看给定模型的 Modelfile，请使用 ollama show --modelfile 命令。

ollama show --modelfile llama3.2

Output:

 # 由“ollama show”生成的模型文件
 # 要基于此文件构建新的模型文件，请将FROM行替换为：
 # FROM llama3.2:latest
 FROM /Users/pdevine/.ollama/models/blobs/sha256-00e1317cbf74d901080d7100f57580ba8dd8de57203072dc6f668324ba545f29
 TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

 {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

 {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

 {{ .Response }}<|eot_id|>"""
 PARAMETER stop "<|start_header_id|>"
 PARAMETER stop "<|end_header_id|>"
 PARAMETER stop "<|eot_id|>"
 PARAMETER stop "<|reserved_special_token"

指令 #

FROM（必需） #

FROM指令定义创建模型时要使用的基本模型。

FROM <模型名称>:<标签>

从现有模型构建 #

FROM llama3.2

可用基本模型列表：
https://github.com/ollama/ollama#model-library
可在以下位置找到更多模型：
https://ollama.com/library

从Safetensors模型构建 #

FROM <模型目录>

模型目录应包含支持架构的Safetensors权重。

当前支持模型架构：

• Llama（包括Llama 2、Llama 3、Llama 3.1和Llama 3.2）
• Mistral（包括Mistral 1、Mistral 2和Mixtral）
• Gemma（包括Gemma 1和Gemma 2）
• Phi3

从GGUF文件构建 #

FROM ./ollama-model.gguf

GGUF文件位置应指定为绝对路径或相对于Modelfile位置。

PARAMETER #

PARAMETER 指令定义在运行模型时可以设置的参数。

PARAMETER <参数> <参数值>

有效参数和值 #

TEMPLATE #

要传递给模型的完整提示模板的TEMPLATE。它可能包括（可选）系统消息、用户的消息和模型的响应。注意：语法可能是特定于模型的。模板使用Go 模板语法。

模板变量 #

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM #

SYSTEM指令指定在模板中使用的系统消息（如果适用）。

SYSTEM """<system message>"""

ADAPTER #

ADAPTER指令指定应应用于基本模型的微调LoRA适配器。适配器的值应为绝对路径或相对于Modelfile的路径。基本模型应使用FROM指令指定。如果基本模型与适配器微调的基本模型不同，行为将不稳定。

Safetensor适配器 #

ADAPTER <safetensor适配器路径>

当前支持的Safetensor适配器：

• Llama（包括Llama 2、Llama 3和Llama 3.1）
• Mistral（包括Mistral 1、Mistral 2和Mixtral）
• Gemma（包括Gemma 1和Gemma 2）

GGUF适配器 #

ADAPTER ./ollama-lora.gguf

LICENSE #

LICENSE指令允许您指定使用此Modelfile的模型共享或分发的法律许可证。

LICENSE """
<许可证文本>
"""

MESSAGE #

MESSAGE指令允许您指定模型响应时使用的消息历史记录。使用多个MESSAGE命令迭代来建立对话，这将引导模型以类似的方式回答。

MESSAGE <角色> <消息>

有效角色 #

示例对话 #

MESSAGE user Is Toronto in Canada?
MESSAGE assistant yes
MESSAGE user Is Sacramento in Canada?
MESSAGE assistant no
MESSAGE user Is Ontario in Canada?
MESSAGE assistant yes

注释 #

• Modelfile不区分大小写。在示例中，使用大写指令是为了更容易将其与参数区分开。
• 指令可以按任何顺序。在示例中，FROM指令首先是为了保持易于阅读。