Claude Code搭配本地部署模型

最近在使用Claude Code创作一些视频动画,发现Token消费非常高。使用的还是中转站的DeepSeek模型,但是一个视频创作下来还是需要大概需要5-6元,成本有点高,而且有抽卡风险。所以在想,假如自己去租用GPU服务器,然后自己部署开源的DeepSeek等模型,然后在服务器上面安装Claude Code,调用本地部署的大模型,这样是不是可以降低自己的成本呢?下面是个人做的一些探索,过程中了解到了很多

配置清单

1、GPU租用平台:autodl平台

2、Agent工具:Claude Code

3、GPU配置:RTX 5090 32GB

Claude Code+DeepSeek

进入服务器之后,先安装必要的系统环境,安装好node,然后使用node安装claude code等编程工具。但是由于服务器没有可视化配置的界面,所以这里可以继续找一下DeepSeek 或者Minimax的cli工具安装命令,这样的话只需要提供一个apiKey就可以开始在服务器上面使用AI Agent的能力了。

这一步是Claude Code搭配DeepSeek等模型,这样配置的好处是可以让我们后续安装其他环境以及本地部署模型等全部交给AI,再也无需被各种环境问题困扰。

模型部署

这里可以给Claude指令,就直接和它说:想在本地部署模型xxx+Claude Code调用本地模型。这里最好是让Claude先读取一下机器的相关配置情况,看下适合部署哪类开源模型,防止后续等了好久,下载了很多数据,发现本地硬件跟不上。

这里有两种方式来部署:VLLM或者Ollama

  • VLLM:高性能推理引擎,需要拉取模型的相关数据,权重等,然后通过VLLM加载进显存,这种方式更加灵活,因为框架暴露了更多的能力出来,可以继续模型继续调优
  • Ollama:配置简单方便,适合个人开发者,可以快速在本地部署模型,个人感觉有点类似于Docker那样,拉取对应的景象,然后直接本地机器上跑起来就行

个人更推荐使用VLLM,使用VLLM更加灵活,同时由于VLLM有PagedAttention机制,可以提升显存利用率。我在本地跑Qwen3-Coder-30B-A3B这个模型,大概的token生成速率是60/s,感觉还是比较好的,可以满足日常的基本的诉求。但是有一个问题,就是自己部署的模型似乎没有联网检索的能力,如果依赖Claude自带的效果这块值得考量。

成本估算

  • 本地部署模型:autodl的机器配置是2.88元/小时,部署Qwen3-Coder-30B-A3B模型,token速度是60/s,按照百万输出token的价格是10.60元/百万token
  • 购买官方API Key,官方Qwen3-Coder-30B-A3B价格是15.01元/百万token
  • 综上,可以发现,使用本地部署还是可以节约30%左右成本的,说明目前购买大模型厂商算力还是存在一定溢价的。自己部署模型,好处是可以降低成本,但是前提是规模效应,当确实有大量使用Token的场景的时候,自己部署才能逐渐体现出其性价比,比如:AI创作公司,AI Native公司等。如果只是日常使用,感觉还是购买官方API更省心一点,因为时间成本也是成本…