我下载的是Ollama的 0.1.49 版本，后面均以此版本为例说明
在线安装
在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装
离线安装
查看服务器CPU的型号
## 查看Linux系统CPU型号命令，我的服务器cpu型号是x86_64
lscpu
根据CPU型号下载Ollama安装包
保存到
/home/Ollama目录
下载地址 https://github.com/ollama/ollama/releases/
# x86_64 CPU选择下载ollama-linux-amd64
# aarch64|arm64 CPU选择下载ollama-linux-arm64
离线下载Linux环境的Ollama安装脚本
保存到/home/Ollama目录
## 下载地址1，浏览器中打开下面地址
https://ollama.com/install.sh
## 下载地址2
https://github.com/ollama/ollama/blob/main/scripts/install.sh
修改install.sh脚本
总共需要修改两个点 Ollama下载地址和 Ollama安装包存放目录
注释下载链接
status "Downloading ollama..."
## 在install.sh的第65行
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
修改ollama安装目录
status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
## 在install.sh的第73行
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64 $BINDIR/ollama
运行 install.sh脚本安装
# 执行installl.sh脚本，需要sudo 权限 chmod +x install.sh
./install.sh
# 如果报错误权限不足，执行
chmod +x install.sh
运行大模型，如通义千问
# 需要先将大模型下载到OLLAMA_MODELS文件中
# ollama run <模型名称>
ollama run qwen2:7b
关闭 Ollama 服务
# 关闭ollama服务
service ollama stop
Ollama 常用命令
## 启动Ollama服务
ollama serve
## 从模型文件创建模型
ollama create
## 显示模型信息
ollama show
## 运行模型
ollama run 模型名称
## 从注册表中拉去模型
ollama pull 模型名称
## 将模型推送到注册表
ollama push
## 列出模型
ollama list
## 复制模型
ollama cp
## 删除模型
ollama rm 模型名称
## 获取有关Ollama任何命令的帮助信息
ollama help
FAQ
如何查看运行的日志？
在Linux上运行命令journalctl -u ollama，即可查看运行日志。
如何配置本地大模型对局域网提供服务？
在Linux上修改配置文件，并配置环境变量 OLLAMA_HOST 来指定对局域网提供服务的地址，再重启Ollama服务即可。
vim /etc/systemd/system/ollama.service
在[Service]下面加上：
Environment="OLLAMA_HOST=0.0.0.0:11434"
重启后，就可以通过http在局域网中访问了
下载的大模型存储在哪个路径？
默认情况下，不同操作系统存储的路径如下：
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users<username>.ollama\models
本文由 小马哥 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为:
2024/07/08 09:19
