近期出差昆山,参与兄弟部门的 AI 应用部署和开发工作。其中的一个重点是如何让 Deepseek 使用工具帮助研发团队成员提升研发效率。达成这个目标我们将三个模块联合起来:
- 客户端 – Claude Code, 目的是借助 Claude 中的 SubAgents 的能力,使用现有的 agents 的设置,方便研发提效。
- 本地化代理服务 – Lite-LLM,建立本地化的 Anthropic 的 交互数据格式和 OpenAI 的格式进行一个转换,并将 Deepseek 的模型模拟成 Claude 的模型。
- Deepseek R1 Docker配置。
- 关键的配置 – 包括:
--enable-auto-tool-choice,--tool-call-parser deepseek_v3,--chat-template /mnt/data/itks_cu/tool_chat_template_deepseekr1.jinja--chat-template-content-format openai
值得注意的是:
- 默认的 Claude Code 的消息长度是 32K,加上提示词很容易超过制定长度,临时性的解决手段是显示的降低最大长度:
export CLAUDE_CODE_MAX_OUTPUT_TOKENS=6000 - 模版需要集成到 docker 内,因此需要一个映射,将
tool_chat_template_deepseekr1.jinja映射到内部 - 需要
enable-auto-tool-choice - 需要
tool-call-parser deepseek_v3
后续可以考虑本地部署开源的 MCP,进一步增强 本地化大型 AI 的能力。