从 0 到 1 构建情感伙伴
1. 情感伙伴产品形态
陪伴形式
- 纯语音通话:用户语音 + AI 语音,侧重听觉陪伴。
- 数字人通话:用户语音 + AI 视频(数字人形象),视听一体,沉浸感更强。
终端与 SDK
- Web SDK:适配桌面浏览器、H5、小程序。
- Android / iOS SDK:移动端原生或混合开发。
核心能力
- 个性通话:通过启动参数定制提示词、语种、音色等,塑造不同人设与风格。
- 知识库集成:结合 RAG 等能力,让伙伴具备领域知识或专属记忆。
- 用户信息透传:将用户画像、历史行为等透传给模型,实现个性化回复。
- 未讲话识别与处理:检测用户长时间未说话等场景,做引导或挽留。
2. 大模型应用架构层次
从 0 到 1 搭建情感伙伴时,可参考大模型应用平台的典型分层(自下而上):
| 层次 | 内容 |
|---|---|
| 模型训练与微调层 | 预训练、指令微调、领域微调等 |
| 推理加速与部署 | VLLM、TensorRT 等推理引擎与部署方式 |
| 模型管理层 | 权重、版本、多模型路由与治理 |
| 模型服务层 | 对外 API(OpenAI 兼容等)、流式输出、限流与鉴权 |
| 应用编排层 | LangChain、Dify 等编排与 Agent 框架 |
| 应用层 | 情感伙伴、客服、写作等具体业务产品 |
选型时要自上而下看业务需求,自下而上看算力与成本;情感伙伴重点在应用层与编排层的人设、对话与多模态(语音/数字人)集成。
3. 技术选型考量
- 技术能力与架构成熟度:是否支持多轮对话、流式输出、多模态、插件等。