废弃废弃废弃

详见：
https://www.malaoshi.top/show_1GW2B0KXRCsH.html

轻量级部署（ollama）

Ollama安装

将下载好的tar包利用winSCP传输到linux服务器指定路径上，例如 /opt/ollama

解压安装包

tar -xzf ollama-linux-amd64.tgz

在系统环境变量中加入ollama路径

例如解压后ollama路径为 /opt/ollama/bin，则修改 ~/.bashrc 文件，在最下面加上如下指令

export PATH="/opt/ollama/bin:$PATH"

环境变量生效

保存后（例如用vim打开，则需要输入:wq），执行如下指令使其生效

source ~/.bashrc

配置文件

创建服务文件 /etc/systemd/system/ollama.service
在文件中输入如下内容

Description=Ollama Service
After=network-online.target
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart="/opt/ollama/bin/ollama" serve
User=root
Group=root
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

启动ollama服务

# 重启
systemctl daemon-reload
# 开机运行
systemctl enable ollama
# 启动服务
systemctl start ollama

验证ollama服务启动，并获取版本号

ollama -v

下载模型

git-lfs安装

执行如下指令

#下载lfs安装包
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

# git-lfs 安装
apt-get install git-lfs
git lfs install

下载大模型

如：Qwen3 略

模型部署

加载与运行模型后可以完成本地推理

#加载模型
ollama create Qwen3-0.6B-Q8_0 -f Qwen3_0_6B-Q8_0.txt 

#运行模型
ollama run Qwen3-0.6B-Q8_0