ollama本地部署更换下载地址

1、下载ollama_install.sh并保存

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

2、使用github文件加速替换github下载地址

sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.15.2/ollama-linux|g' ollama_install.sh

3、替换后增加可执行权限

chmod +x ollama_install.sh

4、执行sh下载安装

sh ollama_install.sh

第一步：修改文件

nano /etc/systemd/system/ollama.service

第二步：增加配置

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_MAX_LOADED_MODELS=2"

对于每个环境变量，在[Service]部分下添加一行Environment.

1. OLLAMA_HOST=0.0.0.0 外网访问

2. OLLAMA_MODELS=/mnt/data/.ollama/models 模型默认下载路径

3. OLLAMA_KEEP_ALIVE=1h 设置模型加载到内存中保持 1 个小时(默认情况下，模型在卸载之前会在内存中保留 5 分钟)

4. OLLAMA_HOST=0.0.0.0:8080 修改默认端口 11434 端口

5. OLLAMA_NUM_PARALLEL=2 设置 2 个用户并发请求

6. OLLAMA_MAX_LOADED_MODELS=2 设置同时加载多个模型

第三步：重新加载

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

5、Ollama使用常见的指令：

ollama serve #启动ollama

ollama create #从模型文件创建模型

ollama show #显示模型信息

ollama run #运行模型

ollama pull #从注册表中拉取模型

ollama push #将模型推送到注册表

ollama list #列出模型

ollama cp #复制模型

ollama rm #删除模型

ollama help #获取有关任何命令的帮助信息

6、导入huggingface模型

最新版Ollama开始支持从Huggingface Hub上直接拉取各种模型，包括社区创建的GGUF量化模型。用户可以通过简单的命令行指令快速运行这些模型，可以使用如下命令：

ollama run hf.co/{username}/{repository}

要选择不同的量化方案，只需在命令中添加一个标签：

ollama run hf.co/{username}/{repository}:{quantization}

例如：量化名称不区分大小写

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

还可以直接使用完整的文件名作为标签：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

安装特定版本

OLLAMA_VERSION环境变量与安装脚本一起使用，以安装特定版本的 Ollama，包括预发行版。可以在 releases 页面中找到版本号。

releases页面：https://github.com/ollama/ollama/releases

例如：

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.13.0 sh

7、Maxkb本地知识库部署

Linux 操作系统

docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

Windows 操作系统

docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

SecretId：AKID4ze7Ynna9aqrnV8aorfJk390iCSTKo6G

SecretKey：51mKdiZCcpolY75oTzIOFvNZVCgCWhkK

8、ollama升级最新版Linux 系统服务方式：

# 停止现有服务
sudo systemctl stop ollama

# 更新二进制文件
sudo curl -L https://github.com/ollama/ollama/releases/download/v0.15.1/ollama-linux-amd64 -o /usr/local/bin/ollama
sudo chmod +x /usr/local/bin/ollama

# 重启服务
sudo systemctl start ollama