Tecorigin

1. 测试平台

以下为本指南测试使用的平台信息，供参考：

os: Ubuntu 22.04.5 LTS  
cpu: AMD EPYC (amd64)
gpu: T100
driver: 3.0.0
docker: 28.0.4

2. 环境准备

2.1 下载并加载镜像 （vllm）

wget http://wb.tecorigin.com:8082/repository/teco-customer-repo/Course/MinerU/mineru-vllm.tar

docker load -i mineru-vllm.tar

3. 启动 Docker 容器

docker run -dit --name mineru_docker \
    --privileged \
    --cap-add SYS_PTRACE \
    --cap-add SYS_ADMIN \
    --network=host \
    --shm-size=500G \
    mineru:sdaa-vllm-latest \
    /bin/bash

Tip

如需使用vllm环境,请执行以下操作： - 进入容器后，通过以下命令切换到conda环境：

conda activate vllm_env_py310

• 切换成功后，您可以在命令行前看到(vllm_env_py310)的标识，这表示您已成功进入vllm的虚拟环境。

执行该命令后，您将进入到Docker容器的交互式终端，您可以直接在容器内运行MinerU相关命令来使用MinerU的功能。 您也可以直接通过替换/bin/bash为服务启动命令来启动MinerU服务，详细说明请参考通过命令启动服务。

4. 注意事项

不同环境下，MinerU对Tecorigin加速卡的支持情况如下表所示：

使用场景		容器环境
		vllm
命令行工具(mineru)	pipeline	🟢
	<vlm/hybrid>-auto-engine	🟢
	<vlm/hybrid>-http-client	🟢
fastapi服务(mineru-api)	pipeline	🟢
	<vlm/hybrid>-auto-engine	🟢
	<vlm/hybrid>-http-client	🟢
gradio界面(mineru-gradio)	pipeline	🟢
	<vlm/hybrid>-auto-engine	🟢
	<vlm/hybrid>-http-client	🟢
openai-server服务（mineru-openai-server）		🟢
数据并行 (--data-parallel-size)		🔴

注：
🟢: 支持，运行较稳定，精度与Nvidia GPU基本一致
🟡: 支持但较不稳定，在某些场景下可能出现异常，或精度存在一定差异
🔴: 不支持，无法运行，或精度存在较大差异

Tip

• Tecorigin加速卡指定可用加速卡的方式与NVIDIA GPU类似，请参考使用指定GPU设备章节说明, 将环境变量CUDA_VISIBLE_DEVICES替换为SDAA_VISIBLE_DEVICES即可。
• 在太初平台可以通过teco-smi -c命令查看加速卡的使用情况，并根据需要指定空闲的加速卡ID以避免资源冲突。