gputaskman:看清 GPU 里到底装了什么

本地跑大模型的人大概都遇到过这个场景:任务管理器告诉你「显存已用 15 GB」,但你不清楚这 15 GB 里,多少是模型权重、多少是 KV cache、多少被浏览器和桌面合成器占走了,又有多少明明在显存里却躺在系统内存中。gputaskman 就是为回答这个问题做的——作者把它形容为「GPU 里的 htop」:不只告诉你显存有多满,而是告诉你是被什么占满的。

核心功能

  • 按进程看显存:把每一块显存的去向对应到具体进程,而不是只有一个总量进度条;
  • GPU 引擎活动:区分计算、拷贝、编解码等不同引擎的占用情况,判断卡顿是算力瓶颈还是传输瓶颈;
  • 大模型分项拆解
  • :对 LLM 推理,进一步拆出模型权重、KV cache、计算缓冲区三部分各占多少——这是判断「为什么上下文一长就爆显存」最直接的数据;

  • 关联模型文件与运行时:把加载的模型文件、推理运行时(如 PyTorch/CUDA 库)和对应进程串起来看;
  • 终端界面:在终端里跑,适合 SSH 到服务器或本地开个窗口随手看。

亮点

它解决的是「能见度」问题,而不是又一个监控面板。多数显存工具只能报总量,而 gputaskman 试图回答四个具体问题:这块显存被哪个进程占了?是模型权重还是 KV cache?为什么明明有显存却跑到系统内存里?GPU 到底在算什么?作者也很克制地说明边界:设备与进程计数是实测值,模型识别与 GGUF 分项拆解是估算值,且只覆盖本地 GPU 负载,纯 CPU、NPU 和云端服务不在范围内。

安装与使用

已发布到 PyPI,不需要克隆仓库:

uv tool install gputaskman
gputaskman   # 也可用简写命令 gtm

或用 pipx 安装。Windows 用户即使没装 Python 也能用:Releases 页面提供便携版 ZIP(x64 与 ARM64 两个独立原生构建),解压后保留 _internal 目录,直接运行 gputaskman.exe 即可。

适用人群

在本地或工作站跑 Ollama、llama.cpp、vLLM、Unsloth 微调的人;显存吃紧想搞清楚瓶颈到底在权重、上下文还是别的东西的人;以及需要向同事解释「机器明明有空闲显存为什么还 OOM」的运维与技术支持。

平台与许可

支持 Windows(NVIDIA / AMD)、Linux 与 WSL(NVIDIA,原生 Linux 下也支持 AMD 与 Intel)、macOS Apple Silicon;需要 Python 3.11+。开源协议 MIT。项目自述仍属早期实验性软件,介意稳定性可以先在测试环境跑。

项目地址:https://github.com/shanselman/gputaskman
PyPI:https://pypi.org/project/gputaskman/

截至 2026-11-09,项目 1239 Star、60 Fork,创建于 2026-11-03。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部
公安联网备案:宁公网安备64010002000275号