16G显存运行小钢炮MiniCPM-Llama3-V 2.5

环境

8核 32GB 显存16G
ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1

安装conda

wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
bash Anaconda3-2020.02-Linux-x86_64.sh

有ENTER直接回车，有more按Q键跳过，有yes/no输入yes后按回车，直到安装成功，记录下安装路径。
接下来添加conda到环境变量
如果是新的ubuntu，可能需要安装nano再编辑bashrc

apt install nano
nano  ~/.bashrc

bashrc添加一行

export PATH="https://fileem.com/root/anaconda3/bin:$PATH"

ctrl+O保存，ctrl+X退出nano
之后将conda添加到系统环境变量中

source ~/.bashrc

验证conda是否安装成功：

conda --version

安装运行WebUI Demo

克隆仓库并跳转到相应目录

git clone https://github.com/OpenBMB/MiniCPM-V.git
cd MiniCPM-V

创建 conda 环境

conda create -n MiniCPMV python=3.10 -y
conda activate MiniCPMV

安装依赖

pip install -r requirements.txt

构建自己的本地 WebUI Demo

# 对于 NVIDIA GPU，请运行：
python web_demo_2.5.py --device cuda

# 对于搭载 MPS 的 Mac（Apple 芯片或 AMD GPU），请运行：
PYTORCH_ENABLE_MPS_FALLBACK=1 python web_demo_2.5.py --device mps