近期出差昆山,参与兄弟部门的 AI 应用部署和开发工作。其中的一个重点是如何让 Deepseek 使用工具帮助研发团队成员提升研发效率。达成这个目标我们将三个模块联合起来:

  1. 客户端 – Claude Code, 目的是借助 Claude 中的 SubAgents 的能力,使用现有的 agents 的设置,方便研发提效。
  2. 本地化代理服务 – Lite-LLM,建立本地化的 Anthropic 的 交互数据格式和 OpenAI 的格式进行一个转换,并将 Deepseek 的模型模拟成 Claude 的模型。
  3. Deepseek R1 Docker配置。
  4. 关键的配置 – 包括:
    • --enable-auto-tool-choice ,
    • --tool-call-parser deepseek_v3 ,
    • --chat-template /mnt/data/itks_cu/tool_chat_template_deepseekr1.jinja
    • --chat-template-content-format openai

值得注意的是:

  • 默认的 Claude Code 的消息长度是 32K,加上提示词很容易超过制定长度,临时性的解决手段是显示的降低最大长度:export CLAUDE_CODE_MAX_OUTPUT_TOKENS=6000
  • 模版需要集成到 docker 内,因此需要一个映射,将tool_chat_template_deepseekr1.jinja 映射到内部
  • 需要enable-auto-tool-choice
  • 需要tool-call-parser deepseek_v3

后续可以考虑本地部署开源的 MCP,进一步增强 本地化大型 AI 的能力。

By zqz981

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注