你的朋友
  文章分类
电子取证 2 运维笔记 5 SQL注入 1 杂项 2 密码学 1 Bugs 1 漏洞 2 AI 3 PWN 1 作业 1
记一次尝试Ubuntu 24.04.3 + TensorRT-LLM + Qwen2.5-72B 记一次尝试Ubuntu 24.04.3 + TensorRT-LLM + Qwen2.5-72B
尝试一下部署TensorRT-LLM + Qwen2.5-72B配置：Ubuntu 24.04.3，L20 48GB ×2，Xeon 6530 ×2，256GB 内存 一、前置工作1.备份还原点未思胜先思败，先整一下备份用于搞坏了还原。
2025-08-11 AI
AI
在海光DCU-K100-AI-4上使用ollama和vLLM分别部署qwq-32B、DeepSeek 在海光DCU-K100-AI-4上使用ollama和vLLM分别部署qwq-32B、DeepSeek
一、使用ollama部署下载镜像docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-py3.10-dtk24.04.3-ubuntu20.04 启动容器dock
2025-03-12 AI
DeepSeek AI
华为昇腾910b单机部署DeepSeek-R1-Distill-Llama-70B 华为昇腾910b单机部署DeepSeek-R1-Distill-Llama-70B
华为昇腾8卡910b单机部署DeepSeek-R1-Distill-Llama-70B的部署过程及部分小坑 查询NPU及内存命令： 磁盘配置1.查看存储设备[root@bms-910b ~]# lsblk NAME MAJ:MIN
2025-03-05 AI
DeepSeek AI