diff --git a/skills/bailian-docs-llm-wiki/SKILL.md b/skills/bailian-docs-llm-wiki/SKILL.md index 7ec690da..4e8744ed 100644 --- a/skills/bailian-docs-llm-wiki/SKILL.md +++ b/skills/bailian-docs-llm-wiki/SKILL.md @@ -149,21 +149,20 @@ description: >- | 模型家族总览 / 按能力分桶浏览 | `models/index.md` | | 主题页 / API 文档（按功能领域查找） | `wiki/index.md`（完整索引入口） | | OpenAI 兼容接口 | `wiki/concepts/openai-compatible-interface.md` | +| 检索增强生成（RAG） | `wiki/concepts/rag.md` | +| 流式输出 | `wiki/concepts/streaming.md` | | API Key 鉴权 | `wiki/concepts/api-key.md` | +| Token 与计费 | `wiki/concepts/token.md` | | 函数调用（Function Calling） | `wiki/concepts/function-calling.md` | -| 检索增强生成（RAG） | `wiki/concepts/rag.md` | -| 异步调用与任务轮询 | `wiki/concepts/async-invocation.md` | -| Token 与计费 | `wiki/concepts/token-and-billing.md` | -| 流式输出 | `wiki/concepts/streaming-output.md` | +| 异步调用 | `wiki/concepts/async-invocation.md` | +| 多模态 | `wiki/concepts/multimodal.md` | | 业务空间（Workspace） | `wiki/concepts/workspace.md` | -| 模型调优与部署 | `wiki/concepts/fine-tuning-and-deployment.md` | -| MCP 与工具扩展 | `wiki/concepts/mcp-and-tools.md` | -| 模型微调、压缩与部署对比 | `wiki/comparisons/fine-tuning-vs-compression-vs-deployment.md` | -| 模型评估与模型监控对比 | `wiki/comparisons/model-evaluation-vs-monitoring.md` | -| 图像、视频与 3D 生成对比 | `wiki/comparisons/image-vs-video-vs-3d-generation.md` | -| 应用评估与应用监控对比 | `wiki/comparisons/app-evaluation-vs-monitoring.md` | -| 知识库与记忆库对比 | `wiki/comparisons/knowledge-base-vs-memory-library.md` | -| 托管智能体：指南与 API 对比 | `wiki/comparisons/managed-agents-guide-vs-api.md` | +| DashScope SDK | `wiki/concepts/dashscope-sdk.md` | +| 图像、视频与 3D 生成能力对比 | `wiki/comparisons/image-video-3d-generation-comparison.md` | +| 模型微调、压缩与部署方案对比 | `wiki/comparisons/fine-tuning-vs-compression-vs-deployment.md` | +| 知识库与长期记忆方案对比 | `wiki/comparisons/knowledge-base-vs-memory.md` | +| 应用评测与模型评测对比 | `wiki/comparisons/application-eval-vs-model-eval.md` | +| 托管 Agent 使用方式对比：控制台 vs API | `wiki/comparisons/managed-agents-vs-api.md` | > 实际文件名以 `wiki/index.md` 为准；上表若有出入应回到索引页查找。 diff --git a/skills/bailian-docs-llm-wiki/llms.txt b/skills/bailian-docs-llm-wiki/llms.txt index f711c7c8..c884b23f 100644 --- a/skills/bailian-docs-llm-wiki/llms.txt +++ b/skills/bailian-docs-llm-wiki/llms.txt @@ -4,76 +4,77 @@ ## 模型使用指南 -- **模型体验** - - [视觉理解](raw/model-user-guide/model-experience/vision-model.md) - - [图片生成与编辑](raw/model-user-guide/model-experience/image-model.md) - - [视频生成与编辑](raw/model-user-guide/model-experience/video-generate-edit-model.md) - - [文本生成](raw/model-user-guide/model-experience/text-generation-model.md) - - [Tripo 3D模型生成](raw/model-user-guide/model-experience/tripo-3d-generation-guide.md) - - [语音合成](raw/model-user-guide/model-experience/tts-model.md) - - [音乐生成](raw/model-user-guide/model-experience/fun-music.md) - - [语音识别](raw/model-user-guide/model-experience/asr-model.md) - - [语音转语音](raw/model-user-guide/model-experience/s2s-model.md) - - [向量与重排序](raw/model-user-guide/model-experience/embedding-rerank-model.md) - - [全模态](raw/model-user-guide/model-experience/omni.md) - **开始使用** - [什么是阿里云百炼](raw/model-user-guide/get-started-with-models/what-is-model-studio.md) - [首次调用千问API](raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md) - [选择模型](raw/model-user-guide/get-started-with-models/models.md) - - [Base URL总览](raw/model-user-guide/get-started-with-models/base-url.md) - [选择地域、服务部署范围和接入域名](raw/model-user-guide/get-started-with-models/regions.md) + - [Base URL总览](raw/model-user-guide/get-started-with-models/base-url.md) - [限流](raw/model-user-guide/get-started-with-models/rate-limit.md) -- **产品计费** - - [新人免费额度](raw/model-user-guide/test-1/new-free-quota.md) - - [模型训练与部署计费](raw/model-user-guide/test-1/model-training-and-deployment-billing.md) - - [节省计划与资源包](raw/model-user-guide/test-1/savings-plan-and-resource-package.md) - - [账单查询与成本管理](raw/model-user-guide/test-1/bill-query-and-cost-management.md) - - [模型调用价格](raw/model-user-guide/test-1/model-pricing.md) +- **Token Plan** + - **个人版** + - [概述](raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md) + - [快速开始](raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md) + - [常见问题](raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md) + - **团队版** + - [概述](raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md) + - [快速开始](raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-quickstart.md) + - [团队管理](raw/model-user-guide/token-plan-guide/token-plan-team.md) + - [常见问题](raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-faq.md) + - **最佳实践** + - [接入 Harness 工具](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md) + - [接入多模态生成模型](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md) + - [联网搜索](raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md) + - [添加视觉理解能力](raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md) + - **Coding Plan** + - [Coding Plan概述](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md) + - [常见问题](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md) + - [Token Plan 概述](raw/model-user-guide/token-plan-guide/token-plan-overview.md) - **接入客户端/开发工具** - - [Hermes Agent](raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md) - [OpenClaw](raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md) + - [Hermes Agent](raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md) - [Claude Code](raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md) - - [OpenCode](raw/model-user-guide/use-chat-client-or-development-tool/opencode.md) - - [Qwen Code](raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md) - [Cursor](raw/model-user-guide/use-chat-client-or-development-tool/cursor.md) + - [OpenCode](raw/model-user-guide/use-chat-client-or-development-tool/opencode.md) - [Codex](raw/model-user-guide/use-chat-client-or-development-tool/codex.md) + - [Qwen Code](raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md) - [QwenPaw](raw/model-user-guide/use-chat-client-or-development-tool/qwenpaw.md) - - [Cline](raw/model-user-guide/use-chat-client-or-development-tool/cline.md) - - [Cherry Studio](raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md) - [Chatbox](raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md) + - [Cherry Studio](raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md) + - [Cline](raw/model-user-guide/use-chat-client-or-development-tool/cline.md) - [Qoder](raw/model-user-guide/use-chat-client-or-development-tool/qoder-agent.md) - [Qoder CN（原 Lingma）](raw/model-user-guide/use-chat-client-or-development-tool/lingma-agent.md) - [Kilo CLI](raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md) - [使用Postman或cURL调用图像/视频生成API](raw/model-user-guide/use-chat-client-or-development-tool/first-call-to-image-and-video-api.md) - - [Dify](raw/model-user-guide/use-chat-client-or-development-tool/dify.md) - [更多工具](raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md) -- **Token Plan（团队版）** - - **最佳实践** - - [工具调用](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md) - - [接入多模态生成模型](raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md) - - **Coding Plan** - - [Coding Plan概述](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md) - - [联网搜索](raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md) - - [添加视觉理解能力](raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md) - - [常见问题](raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md) - - [快速开始](raw/model-user-guide/token-plan-guide/token-plan-quickstart.md) - - [Token Plan（团队版）概述](raw/model-user-guide/token-plan-guide/token-plan-overview.md) - - [团队管理](raw/model-user-guide/token-plan-guide/token-plan-team.md) - - [常见问题](raw/model-user-guide/token-plan-guide/token-plan-faq.md) + - [Dify](raw/model-user-guide/use-chat-client-or-development-tool/dify.md) +- **模型体验** + - [视觉理解](raw/model-user-guide/model-experience/vision-model.md) + - [文本生成](raw/model-user-guide/model-experience/text-generation-model.md) + - [图片生成与编辑](raw/model-user-guide/model-experience/image-model.md) + - [视频生成与编辑](raw/model-user-guide/model-experience/video-generate-edit-model.md) + - [Tripo 3D模型生成](raw/model-user-guide/model-experience/tripo-3d-generation-guide.md) + - [语音合成](raw/model-user-guide/model-experience/tts-model.md) + - [语音识别](raw/model-user-guide/model-experience/asr-model.md) + - [音乐生成](raw/model-user-guide/model-experience/fun-music.md) + - [语音转语音](raw/model-user-guide/model-experience/s2s-model.md) + - [全模态](raw/model-user-guide/model-experience/omni.md) + - [向量与重排序](raw/model-user-guide/model-experience/embedding-rerank-model.md) +- **产品计费** + - [新人免费额度](raw/model-user-guide/test-1/new-free-quota.md) + - [模型训练与部署计费](raw/model-user-guide/test-1/model-training-and-deployment-billing.md) + - [账单查询与成本管理](raw/model-user-guide/test-1/bill-query-and-cost-management.md) + - [节省计划与资源包](raw/model-user-guide/test-1/savings-plan-and-resource-package.md) + - [模型调用价格](raw/model-user-guide/test-1/model-pricing.md) - **模型推理** - [TPM 预留](raw/model-user-guide/model-high-speed-inference/tpm-reservation.md) - [快速模式](raw/model-user-guide/model-high-speed-inference/fast-mode.md) -- **模型部署** - - [模型部署](raw/model-user-guide/model-deployment-1/model-deployment-introduction.md) - - [预置吞吐长输入与缓存](raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md) - - [模型导入](raw/model-user-guide/model-deployment-1/model-import.md) - - [使用 API或命令行进行模型部署](raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md) - **模型调优** - **千问模型调优** - [模型调优简介](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md) - [在控制台进行模型调优](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md) - - [0 代码强化大模型安全合规能力](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/enhance-the-security-compliance-of-large-models.md) - [使用 API 或命令行进行模型调优](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/fine-tuning-api-guide.md) + - [0 代码强化大模型安全合规能力](raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/enhance-the-security-compliance-of-large-models.md) - **语音合成模型调优** - [CosyVoice模型调优](raw/model-user-guide/fine-tuning/fine-tune-speech-synthesis-model/fine-tune-speech-synthesis-model-by-api.md) - [微调图像生成模型](raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md) @@ -81,6 +82,11 @@ - **模型评测** - [模型评测](raw/model-user-guide/model-evaluation-introduction/model-evaluation-overview.md) - [评测维度](raw/model-user-guide/model-evaluation-introduction/evaluation-metrics.md) +- **模型部署** + - [预置吞吐长输入与缓存](raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md) + - [模型部署](raw/model-user-guide/model-deployment-1/model-deployment-introduction.md) + - [模型导入](raw/model-user-guide/model-deployment-1/model-import.md) + - [使用 API或命令行进行模型部署](raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md) - **模型压缩** - [模型压缩](raw/model-user-guide/model-compression/model-compression-introduction.md) - **用量统计与性能监控** @@ -89,132 +95,147 @@ - **模型数据** - [训练集与评测集](raw/model-user-guide/model-data-overview/training-set-and-evaluation-set.md) - [数据清洗或增强](raw/model-user-guide/model-data-overview/data-processing.md) + - [日志回流](raw/model-user-guide/model-data-overview/model-log-backflow.md) - **安全合规** - - **安全存储** - - [配置终端节点并发起连接](raw/model-user-guide/security-and-compliance/secure-storage/configure-an-endpoint-and-initiate-a-connection.md) - - [配置可用区IP](raw/model-user-guide/security-and-compliance/secure-storage/configure-zone-ip.md) - - [配置MSE云原生网关](raw/model-user-guide/security-and-compliance/secure-storage/configure-mse.md) - - [配置私有网络中的资源](raw/model-user-guide/security-and-compliance/secure-storage/configure-resources-in-private-network.md) - **传输安全** - [获取RSA的公钥](raw/model-user-guide/security-and-compliance/transmission-security/model-interface-aes-encryption.md) - [以加密的方式接入模型推理功能](raw/model-user-guide/security-and-compliance/transmission-security/encrypted-access-to-model-inference.md) - [通过终端节点私网访问阿里云百炼模型或应用 API](raw/model-user-guide/security-and-compliance/transmission-security/access-model-studio-through-privatelink.md) + - **安全存储** + - [配置终端节点并发起连接](raw/model-user-guide/security-and-compliance/secure-storage/configure-an-endpoint-and-initiate-a-connection.md) + - [配置可用区IP](raw/model-user-guide/security-and-compliance/secure-storage/configure-zone-ip.md) + - [配置私有网络中的资源](raw/model-user-guide/security-and-compliance/secure-storage/configure-resources-in-private-network.md) + - [配置MSE云原生网关](raw/model-user-guide/security-and-compliance/secure-storage/configure-mse.md) - [权限管理](raw/model-user-guide/security-and-compliance/permission-management-overview.md) - [输⼊输出AI安全护栏](raw/model-user-guide/security-and-compliance/content-security.md) - - [模型备案信息公示](raw/model-user-guide/security-and-compliance/model-filing-information-publicity.md) - [千问大模型应用上架及合规备案](raw/model-user-guide/security-and-compliance/compliance-and-launch-filing-guide-for-ai-apps-powered-by-the-tongyi-model.md) + - [模型备案信息公示](raw/model-user-guide/security-and-compliance/model-filing-information-publicity.md) - [合规资质与隐私说明](raw/model-user-guide/security-and-compliance/privacy-notice.md) - **实践教程** - **三方模型调用教程** - [DeepSeek-硅基流动](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/siliconflow-deepseek-api.md) - [DeepSeek-阿里云](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md) - [DeepSeek](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api-by-vanchin.md) - - [Kimi](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api.md) - [Kimi-月之暗面](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md) - - [MiniMax](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/minimax-api.md) - [GLM-智谱](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/glm-zhipu.md) - [GLM](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/glm.md) - - [MiniMax](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/minimax-api-by-minimax.md) + - [Kimi](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api.md) + - [MiniMax](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/minimax-api.md) - [Vidu视频生成Prompt指南](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/vidu-video-generation-prompt-guide.md) - - [MiMo-小米](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/mimo.md) + - [MiniMax](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/minimax-api-by-minimax.md) - [Stepfun-阶跃星辰](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/stepfun.md) + - [MiMo-小米](raw/model-user-guide/use-cases/third-party-model-integration-tutorial/mimo.md) - [HappyHorse 打造一站式影视创作平台](raw/model-user-guide/use-cases/infinite-canvas.md) - [高效搭建 AI 智能体与工作流应用](raw/model-user-guide/use-cases/build-ai-applications-based-on-alibaba-cloud-model-studio.md) - [深度研究：生成你的独家洞察报告](raw/model-user-guide/use-cases/deep-research.md) - [AI 解题 + 批改：推动课程教学智变](raw/model-user-guide/use-cases/ai-homework-helper.md) - [文生文Prompt指南](raw/model-user-guide/use-cases/prompt-engineering-guide.md) - [文生图Prompt指南](raw/model-user-guide/use-cases/text-to-image-prompt.md) - - [基于LlamaIndex构建RAG应用](raw/model-user-guide/use-cases/build-rag-applications-based-on-llamaindex.md) - [文生视频/图生视频Prompt指南](raw/model-user-guide/use-cases/text-to-video-prompt.md) + - [基于LlamaIndex构建RAG应用](raw/model-user-guide/use-cases/build-rag-applications-based-on-llamaindex.md) - [自定义模型调优、部署与评测](raw/model-user-guide/use-cases/model-training-best-practices.md) - - [借助大模型将文档转换为视频](raw/model-user-guide/use-cases/use-llm-to-convert-document-to-video.md) - [限流应对最佳实践 ](raw/model-user-guide/use-cases/rate-limiting-best-practices.md) + - [借助大模型将文档转换为视频](raw/model-user-guide/use-cases/use-llm-to-convert-document-to-video.md) - [显式缓存最佳实践](raw/model-user-guide/use-cases/explicit-cache-guide.md) - **服务支持** - [常见问题](raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md) - [相关协议](raw/model-user-guide/support/related-agreements.md) + - [阿里云百炼平台售后服务范围说明](raw/model-user-guide/support/after-sales-service-scope.md) - **产品动态** - [模型平台功能更新](raw/model-user-guide/release-notes/model-release-notes.md) - [模型上下架与更新](raw/model-user-guide/release-notes/newly-released-models.md) +- **Realtime API** + - **快速开始** + - [SDK下载](raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md) + - [Token鉴权](raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md) + - [实现接通模型/应用](raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md) + - **最佳实践** + - [通过WebRTC使用多模态交互套件实现实时通话](raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md) + - [通过WebRTC使用qwen3.5-omni-plus-realtime实现实时通话](raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md) + - [通过AOQ使用qwen3.5-omni-plus-realtime实现实时通话](raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md) + - **AOQ客户端API** + - **AOQ SDK功能介绍** + - [自定义音频播放](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md) + - [自定义音频采集](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md) + - [音频常用功能介绍](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md) + - [媒体流发送管理](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md) + - [连接状态管理](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md) + - [视频常用功能介绍](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md) + - [自定义视频输入](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md) + - [AOQ SDK简介](raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md) + - [Realtime API简介](raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md) ## 应用使用指南 -- **开始使用** - - [0代码构建私有知识问答应用](raw/application-user-guide/start-using/build-knowledge-base-qa-assistant-without-coding.md) - - [应用功能动态](raw/application-user-guide/start-using/application-release-notes.md) - **应用开发** - [应用类型介绍](raw/application-user-guide/llm-application/application-introduction.md) + - [新版智能体应用](raw/application-user-guide/llm-application/new-single-agent-application.md) - [智能体应用](raw/application-user-guide/llm-application/single-agent-application.md) - - [新版智能体应用（Agent 2.0）](raw/application-user-guide/llm-application/new-single-agent-application.md) - [高代码应用](raw/application-user-guide/llm-application/rich-code-application.md) - [文件问答](raw/application-user-guide/llm-application/file-q-a.md) - [工作流应用](raw/application-user-guide/llm-application/workflow-application.md) - **Managed Agents** - [概述](raw/application-user-guide/managed-agents/managed-agents-introduction.md) - [快速开始](raw/application-user-guide/managed-agents/managed-agents-quick-start.md) - - [构建 Agent](raw/application-user-guide/managed-agents/managed-agents-agent.md) - [配置 Agent 环境](raw/application-user-guide/managed-agents/managed-agents-environment.md) + - [构建 Agent](raw/application-user-guide/managed-agents/managed-agents-agent.md) - [委派任务给 Agent](raw/application-user-guide/managed-agents/managed-agents-session.md) - [Agent 上下文管理](raw/application-user-guide/managed-agents/managed-agents-context.md) +- **开始使用** + - [0代码构建私有知识问答应用](raw/application-user-guide/start-using/build-knowledge-base-qa-assistant-without-coding.md) + - [应用功能动态](raw/application-user-guide/start-using/application-release-notes.md) - **Prompt** + - [自定义Prompt模板](raw/application-user-guide/prompt/prompt-custom-template.md) - [Prompt模板概述](raw/application-user-guide/prompt/prompt-template.md) - - [Prompt自动优化](raw/application-user-guide/prompt/optimize-prompt.md) - [使用Prompt样例库优化模型输出](raw/application-user-guide/prompt/prompt-sample-optimization.md) + - [Prompt自动优化](raw/application-user-guide/prompt/optimize-prompt.md) - [基于大模型输入输出样例的Prompt自动优化](raw/application-user-guide/prompt/prompt-feedback-optimization.md) - - [自定义Prompt模板](raw/application-user-guide/prompt/prompt-custom-template.md) - **记忆库** - - [记忆库](raw/application-user-guide/memory-library-overview/memory-library.md) - [为 OpenClaw 配置长期记忆插件](raw/application-user-guide/memory-library-overview/modelstudio-memory-for-openclaw.md) + - [记忆库](raw/application-user-guide/memory-library-overview/memory-library.md) - [长期记忆 API](raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) -- **知识库（RAG）** - - [知识库](raw/application-user-guide/knowledge-base/rag-knowledge-base.md) - - [RAG效果优化](raw/application-user-guide/knowledge-base/rag-optimization.md) - - [知识库日志与监控](raw/application-user-guide/knowledge-base/rag-knowledge-base-log-monitoring.md) - - [知识库配额与限制](raw/application-user-guide/knowledge-base/rag-knowledge-base-specifications.md) - - [知识检索](raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md) - - [知识库计费说明](raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md) - - [知识库API指南](raw/application-user-guide/knowledge-base/rag-knowledge-base-api-guide.md) - - [知识问答](raw/application-user-guide/knowledge-base/rag-knowledge-qa.md) -- **数据连接** - - [数据连接](raw/application-user-guide/data-connection-overview/data-connection.md) - **Skill** - [Skill](raw/application-user-guide/skill/introduction-to-skill.md) - **插件** - [插件概述](raw/application-user-guide/plug-in/plug-in-overview.md) - [官方和第三方插件](raw/application-user-guide/plug-in/plugins.md) - [自定义插件](raw/application-user-guide/plug-in/custom-plug-ins.md) +- **数据连接** + - [数据连接](raw/application-user-guide/data-connection-overview/data-connection.md) - **MCP** - [模型上下文协议（MCP）](raw/application-user-guide/model-context-protocol/mcp-introduction.md) - [自定义 MCP 服务](raw/application-user-guide/model-context-protocol/custom-mcp.md) - [官方 MCP 服务](raw/application-user-guide/model-context-protocol/official-and-third-party-mcp.md) - - [外部调用](raw/application-user-guide/model-context-protocol/mcp-external-calls.md) - [MCP 常见问题](raw/application-user-guide/model-context-protocol/mcp-faq.md) -- **应用发布与分享** - - [使用智能体或工作流作为组件](raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md) - - [分享智能体应用](raw/application-user-guide/application-publishing-and-sharing/share-an-application.md) - - [UI设计器](raw/application-user-guide/application-publishing-and-sharing/ui-designer.md) + - [外部调用](raw/application-user-guide/model-context-protocol/mcp-external-calls.md) +- **知识库（RAG）** + - [知识库](raw/application-user-guide/knowledge-base/rag-knowledge-base.md) + - [RAG效果优化](raw/application-user-guide/knowledge-base/rag-optimization.md) + - [知识库日志与监控](raw/application-user-guide/knowledge-base/rag-knowledge-base-log-monitoring.md) + - [知识库配额与限制](raw/application-user-guide/knowledge-base/rag-knowledge-base-specifications.md) + - [知识库计费说明](raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md) + - [知识检索](raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md) + - [知识问答](raw/application-user-guide/knowledge-base/rag-knowledge-qa.md) + - [知识库API指南](raw/application-user-guide/knowledge-base/rag-knowledge-base-api-guide.md) - **应用调用** + - [调用智能体应用](raw/application-user-guide/bailian-application-calling/call-single-agent-application.md) - [应用的自定义参数传递](raw/application-user-guide/bailian-application-calling/pass-through-of-application-parameters.md) - [调用工作流应用](raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md) - - [调用智能体应用](raw/application-user-guide/bailian-application-calling/call-single-agent-application.md) -- **应用评测** - - **新版应用评测** - - [新版评测集](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/new-version-of-evaluation-set.md) - - [评测任务](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/evaluation-task.md) - - [标签管理](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/label-management.md) - - [评估器](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/grader.md) - - [手动评测](raw/application-user-guide/application-evaluation/evaluate-manual-application.md) - - [评测集](raw/application-user-guide/application-evaluation/application-evaluation-dataset.md) - - [自动评测](raw/application-user-guide/application-evaluation/application-auto-evaluation.md) +- **应用观测** + - [应用观测](raw/application-user-guide/application-monitoring/application-observation.md) +- **应用发布与分享** + - [分享智能体应用](raw/application-user-guide/application-publishing-and-sharing/share-an-application.md) + - [使用智能体或工作流作为组件](raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md) + - [UI设计器](raw/application-user-guide/application-publishing-and-sharing/ui-designer.md) - **应用广场** - **官方应用-通义拍照解题辅导** - **API参考** - **API目录** - - [CutQuestions - 试卷切题](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-dir/api-edututor-2025-07-07-cutquestions.md) - [AnswerSSE - 解题辅导](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-dir/api-edututor-2025-07-07-answersse.md) + - [CutQuestions - 试卷切题](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-dir/api-edututor-2025-07-07-cutquestions.md) - [API概览](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-overview.md) - - [服务接入点](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-endpoint.md) - [授权信息](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-ram.md) + - [服务接入点](raw/application-user-guide/application-gallery/edu-tutor/api-reference-edututor/api-edututor-2025-07-07-endpoint.md) - [通义拍照解题辅导产品介绍](raw/application-user-guide/application-gallery/edu-tutor/brief-introduction-of-edu-tutor.md) - **官方应用-通义音频播客生成** - **API参考** @@ -228,35 +249,38 @@ - **官方应用-多模态交互开发套件** - **使用指南** - [应用创建](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-creation.md) - - [应用配置](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-configuration.md) - [应用体验与发布](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-experience-and-publishing.md) - [百炼应用推荐模板](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/agent-template.md) + - [应用配置](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-app-configuration.md) - [指令列表](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/instruction-list.md) - - [对话日志接入](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-chatlog.md) - [多语言对话](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multi-language-dialogue.md) - - [音色列表](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-timbre-list.md) + - [对话日志接入](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-chatlog.md) - [三方Agent接入](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-integration-a2a.md) + - [音色列表](raw/application-user-guide/application-gallery/multimodal-products/multimodal-guidelines/multimodal-timbre-list.md) - **SDK安装** - [服务端Java SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-java.md) - [服务端Python SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-python.md) - [服务端 Go SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/server-go-sdk.md) - - [移动端iOS SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-ios.md) - [移动端Android SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-android.md) - [移动端Android Lite SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-android-lite.md) + - [移动端iOS SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-ios.md) - [移动端iOS Lite SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-ios-lite.md) - [Linux C++ SDK](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/multimodal-sdk-linux.md) - [RTOS C SDK（License模式）](raw/application-user-guide/application-gallery/multimodal-products/multimodal-sdk/mmi-rtos-sdk.md) - **API参考** - - [实时多模态交互协议（WebSocket）](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-interaction-protocol.md) - - [HTTP协议](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-http-protocol.md) - [调用官方Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/official-agent.md) + - [HTTP协议](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-http-protocol.md) + - [实时多模态交互协议（WebSocket）](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-interaction-protocol.md) - [调用三方语音模型](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/third-party-voice-integration.md) - - [调用插件](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/call-plugins.md) - [管理热词](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/management-hot-words.md) + - [调用插件](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/call-plugins.md) - [多模态对话结果 extra_info 说明](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/extra-info-description.md) - [多模态交互套件-错误码](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/multimodal-error-code.md) - [长期记忆开放接口](raw/application-user-guide/application-gallery/multimodal-products/multimodal-api-references/long-term-memory-api.md) - **最佳实践** + - **接入拍照问答Agent** + - [通过HTTP协议接入拍照问答Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/vqa-agent/vqa-agent-through-the-http-protocol.md) + - [通过WebSocket协议接入拍照问答Agent和语音合成](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/vqa-agent/vqa-agent-via-websocket-protocol.md) - **接入百炼及三方Agent** - [百炼及三方Agent直连调用](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/bailian-and-tripartite-agent/agent-direct-call.md) - [接入百炼智能体应用](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/bailian-and-tripartite-agent/multimodal-call-app.md) @@ -266,93 +290,46 @@ - [语音请求直通图像生成Agent(websocket)](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/generateimgagent/audio-to-generateimgagent.md) - **接入听悟智能纪要Agent** - [录音纪要Agent使用教程](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/recording-summary-agent-tutorial.md) - - [快速集成智能纪要Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/fast-integrate-offline-tingwu-meeting-agent.md) - [实时转写能力集成](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/realtime-tingwu-meeting-agent-integration.md) - - **接入拍照问答Agent** - - [通过HTTP协议接入拍照问答Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/vqa-agent/vqa-agent-through-the-http-protocol.md) - - [通过WebSocket协议接入拍照问答Agent和语音合成](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/vqa-agent/vqa-agent-via-websocket-protocol.md) + - [快速集成智能纪要Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/fast-integrate-tingwu-meeting-agent/fast-integrate-offline-tingwu-meeting-agent.md) - [接入多模态备忘录Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/multimodal-memo-agent.md) - [接入音乐电台Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/music-agent.md) - [接入视频通话Agent](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/live-api-integration.md) - [动作情绪控制实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/action-emotion-control-practice.md) - - [自定义指令实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/custom-directive.md) - [自定义对话角色实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/custom-role.md) - - [声音复刻及声音设计实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/voice-cloning-and-voice-design.md) + - [自定义指令实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/custom-directive.md) - [音频采集和播放说明](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/audio-capture-and-playback-instructions.md) + - [声音复刻及声音设计实践](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/voice-cloning-and-voice-design.md) - [基于RTOS SDK (License模式) 实现聊天能力](raw/application-user-guide/application-gallery/multimodal-products/multimodal-best-practices/chat-capability-based-on-rtos-sdk.md) - [产品概述](raw/application-user-guide/application-gallery/multimodal-products/multimodal-products-overview.md) - [产品计费](raw/application-user-guide/application-gallery/multimodal-products/product-billing.md) - [多模态交互开发套件常见问题](raw/application-user-guide/application-gallery/multimodal-products/multimodal-products-faq.md) - - **官方应用-伶鹊CCAI-对话分析AIO** - - **使用指南** - - [如何开通伶鹊CCAI-对话分析AIO](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/product-activation.md) - - [如何对应用进行编辑、删除等管理,如何进行API调用、如何查看调用量](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/application-management.md) - - [如何进行基于对话分析Agent方式创建应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/create-an-application-based-on-dialogue-analysis-agent.md) - - [如何基于自定义方式创建应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/create-an-application-based-on-a-custom-method.md) - - [热词组配置管理与使用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/hot-phrase-management.md) - - [知识库的使用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/using-the-knowledge-base.md) - - **API参考** - - **API目录** - - **热词管理** - - [CreateVocab - 创建热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-createvocab.md) - - [UpdateVocab - 修改热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-updatevocab.md) - - [ListVocab - 获取热词列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-listvocab.md) - - [DeleteVocab - 删除热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-deletevocab.md) - - [GetVocab - 获取热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-getvocab.md) - - **不推荐或白名单开放** - - [AnalyzeAudioSync - 语音文件实时分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-not-recommended-or-whitelisted-open/api-contactcenterai-2024-06-03-analyzeaudiosync.md) - - [RunCompletionMessage - 使用原生Prompt调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-runcompletionmessage.md) - - [RunCompletion - 通过模版ID调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-runcompletion.md) - - [AnalyzeConversation - 通过任务类型调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-analyzeconversation.md) - - [CreateTask - 通过上传离线任务数据进行通义晓蜜CCAI-对话分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-createtask.md) - - [GetTaskResult - 通过任务ID获取离线任务分析结果](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-gettaskresult.md) - - [AnalyzeImage - 图片内容分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-analyzeimage.md) - - [GeneralAnalyzeImage - 通用图片分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-generalanalyzeimage.md) - - [API概览](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-overview.md) - - [服务接入点](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-endpoint.md) - - [版本说明](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-changeset.md) - - **最佳实践** - - [客服服务质检最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/customer-service-quality-inspection-best-practices.md) - - [字段信息抽取最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/best-practices-for-automatic-work-order-generation.md) - - [摘要生成（含摘要/标题/关键词）最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/summary-best-practices.md) - - **接口调用示例** - - [通过原生Prompt调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-native-prompt-to-call-tongyi-xiaomi-ccai-aio.md) - - [通过模板ID调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-template-id-to-call-tongyi-xiaomi-ccai-aio.md) - - [通过任务类型调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/call-tongyi-xiaomi-ccai-dialogue-analysis-aio-application-through-task-type.md) - - [通过上传离线任务数据进行伶鹊CCAI-对话分析](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/tongyi-xiaomi-ccai-dialogue-analysis-by-uploading-offline-task-data.md) - - [ROA风格请求体&签名机制](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/roa-style-request-body-signature-mechanism.md) - - [通过伶鹊CCAI-对话分析AIO应用进行图片分析](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/picture-analysis-through-tongyi-xiaomi-ccai-dialogue-analysis-aio-application.md) - - [伶鹊CCAI-对话分析RAM子账号使用方式和授权操作](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/lingque-ccai-dialogue-analytics-ram-subaccount-usage-and-authorization-procedures.md) - - [通义晓蜜CCAI更新公告](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/tongyi-xiaomi-ccai-update-announcement.md) - - [产品概述](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/product-overview-1.md) - - [伶鹊CCAI-对话分析AIO产品计费](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/billing-description-magpie-ccai-dialogue-analysis-aio.md) - - [CCAI如何进行集成；查看技术集成方案](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/technology-integration-scheme.md) - **官方应用-全妙轻应用系列** - **计费说明（全妙轻应用）** - [电商零售推广文案写作计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/e-commerce-retail-promotion-copywriting-billing.md) - [电商文案智能可控生成计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/e-commerce-copy-intelligent-controllable-generation-billing.md) - - [影视传媒视频理解计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/film-and-television-media-video-understanding-billing.md) - [影视互娱剧本创作计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/film-and-television-mutual-entertainment-script-creation-billing.md) - - [泛企业VOC挖掘计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/pan-enterprise-voc-mining-billing.md) + - [影视传媒视频理解计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/film-and-television-media-video-understanding-billing.md) - [车机网络热点信息互动问答计费文档](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/car-machine-network-hot-information-interactive-question-and-answer-billing.md) + - [泛企业VOC挖掘计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/pan-enterprise-voc-mining-billing.md) - [泛企业线索挖掘计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/pan-enterprise-lead-mining-billing.md) - - [网络内容安全审核计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/network-content-security-audit-billing.md) - [作文批改计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/composition-correction-billing.md) + - [网络内容安全审核计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/network-content-security-audit-billing.md) - [视频智能拆条计费](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-billing-document/video-smart-strip-billing.md) - **使用指南** - [电商文案智能可控生成](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/intelligent-and-controllable-generation-of-e-commerce-copywriting.md) - [传媒/零售文章风格与格式学习](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/media-retail-article-style-and-format-learning.md) - - [影视传媒视频理解](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/media-video-understanding.md) - [影视互娱剧本创作](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/film-and-television-script-creation.md) - - [车机网络热点信息互动问答](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/car-machine-content-platform-news-hot-list-interaction.md) + - [影视传媒视频理解](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/media-video-understanding.md) - [泛企业VOC挖掘](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/pan-enterprise-voc-mining.md) + - [车机网络热点信息互动问答](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/car-machine-content-platform-news-hot-list-interaction.md) - [泛企业线索挖掘](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/pan-enterprise-clue-mining.md) - - [作文批改助手](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/composition-correction-assistant.md) - [网络内容安全审核](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/network-content-security-audit.md) + - [作文批改助手](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-guidelines-for-use/composition-correction-assistant.md) - **开发文档** - **最佳实践** - - [应用视频理解和一键成片的最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-applying-video-understanding-and-one-click-film.md) - [挖掘VOC信息和数据分析的最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-mining-voc-information-and-data-analysis.md) + - [应用视频理解和一键成片的最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-applying-video-understanding-and-one-click-film.md) - [阿里云百炼工作流集成视频理解最佳实践](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/light-application-best-practices/best-practices-for-workflow-integration-video-understanding.md) - **API参考** - **数据结构** @@ -365,27 +342,27 @@ - [RunStyleWriting - 传媒/零售文章风格与格式学习](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-media-retail-article-style-and-format-learning/api-quanmiaolightapp-2024-08-01-runstylewriting.md) - **影视互娱剧本创作** - [RunScriptRefine - 影视互娱剧本创作-剧本整理](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptrefine.md) - - [RunScriptPlanning - 影视互娱剧本创作-剧本策划](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptplanning.md) - [RunScriptChat - 影视互娱剧本创作-交互式创作](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptchat.md) + - [RunScriptPlanning - 影视互娱剧本创作-剧本策划](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptplanning.md) - [RunScriptContinue - 影视互娱剧本创作-剧本续写](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-mutual-entertainment-script-creation/api-quanmiaolightapp-2024-08-01-runscriptcontinue.md) - **影视传媒视频理解** - [SubmitVideoAnalysisTask - 视频理解-提交异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-submitvideoanalysistask.md) - - [GetVideoAnalysisTask - 视频理解-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-getvideoanalysistask.md) - [UpdateVideoAnalysisConfig - 视频理解-更新配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysisconfig.md) + - [GetVideoAnalysisTask - 视频理解-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-getvideoanalysistask.md) - [GetVideoAnalysisConfig - 视频理解-获取配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-getvideoanalysisconfig.md) - [RunVideoAnalysis - 视频理解-在线任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-runvideoanalysis.md) - - [UpdateVideoAnalysisTask - 视频理解-修改异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysistask.md) - [UpdateVideoAnalysisTasks - 视频理解-批量取消任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysistasks.md) + - [UpdateVideoAnalysisTask - 视频理解-修改异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-video-understanding/api-quanmiaolightapp-2024-08-01-updatevideoanalysistask.md) + - **车机网络热点信息互动问答** + - [RunHotTopicSummary - 播报单热点自定义摘要生成](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicsummary.md) + - [RunHotTopicChat - 播报单（热榜）问答](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicchat.md) - **影视传媒智能拆条** - - [GetVideoDetectShotTask - 智能拆条-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-getvideodetectshottask.md) - [SubmitVideoDetectShotTask - 智能拆条-提交异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-submitvideodetectshottask.md) - [UpdateVideoDetectShotTask - 智能拆条-修改异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-updatevideodetectshottask.md) + - [GetVideoDetectShotTask - 智能拆条-获取异步任务状态和结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-getvideodetectshottask.md) - [UpdateVideoDetectShotConfig - 智能拆条-更新配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-updatevideodetectshotconfig.md) - [GetVideoDetectShotConfig - 智能拆条-获取配置](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-getvideodetectshotconfig.md) - [RunVideoDetectShot - 智能拆条-在线任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-film-and-television-media-intelligent-strip/api-quanmiaolightapp-2024-08-01-runvideodetectshot.md) - - **车机网络热点信息互动问答** - - [RunHotTopicChat - 播报单（热榜）问答](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicchat.md) - - [RunHotTopicSummary - 播报单热点自定义摘要生成](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-car-machine-network-hot-information-interactive-question-and-answer/api-quanmiaolightapp-2024-08-01-runhottopicsummary.md) - **泛企业VOC挖掘** - [RunEnterpriseVocAnalysis - 在线企业VOC分析](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-pan-enterprise-voc-mining/api-quanmiaolightapp-2024-08-01-runenterprisevocanalysis.md) - **泛企业线索挖掘** @@ -400,18 +377,18 @@ - [GetEssayCorrectionTask - 获取作文批改任务结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-composition-correction/api-quanmiaolightapp-2024-08-01-getessaycorrectiontask.md) - **其他** - [GenerateBroadcastNews - 播报单（热榜）热点推荐](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-generatebroadcastnews.md) + - [HotNewsRecommend - 新闻热点推荐](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-hotnewsrecommend.md) + - [SubmitTagMiningAnalysisTask - 提交标签挖掘分析任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-submittagmininganalysistask.md) - [GetTagMiningAnalysisTask - 获取标签挖掘分析任务结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-gettagmininganalysistask.md) - [ListHotTopicSummaries - 查询完整播报单（热榜）](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-listhottopicsummaries.md) - - [SubmitTagMiningAnalysisTask - 提交标签挖掘分析任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-submittagmininganalysistask.md) - - [HotNewsRecommend - 新闻热点推荐](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-hotnewsrecommend.md) - [GetFileContent - 获取文件内容](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-getfilecontent.md) - - [BatchQueryTaskStatus - 批量查询异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-batchquerytaskstatus.md) - - [CancelAsyncTask - 根据任务ID取消异步任务的执行](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-cancelasynctask.md) - [BatchCancelTasks - 批量取消异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-batchcanceltasks.md) - - [ExportAnalysisTagDetailByTaskId - 根据任务ID导出分析明细](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-exportanalysistagdetailbytaskid.md) - [GetEnterpriseVocAnalysisTask - 获取企业VOC分析任务结果](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-getenterprisevocanalysistask.md) - - [GetTaskExecutionStatistics - 查询任务执行情况统计](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-gettaskexecutionstatistics.md) + - [CancelAsyncTask - 根据任务ID取消异步任务的执行](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-cancelasynctask.md) + - [BatchQueryTaskStatus - 批量查询异步任务状态](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-batchquerytaskstatus.md) + - [ExportAnalysisTagDetailByTaskId - 根据任务ID导出分析明细](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-exportanalysistagdetailbytaskid.md) - [ListAnalysisTagDetailByTaskId - 获取挖掘结果明细列表](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-listanalysistagdetailbytaskid.md) + - [GetTaskExecutionStatistics - 查询任务执行情况统计](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-gettaskexecutionstatistics.md) - [SubmitEnterpriseVocAnalysisTask - 提交企业VOC挖掘异步任务](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-dir/api-quanmiaolightapp-2024-08-01-dir-other/api-quanmiaolightapp-2024-08-01-submitenterprisevocanalysistask.md) - [API概览](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-overview.md) - [服务接入点](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-endpoint.md) @@ -419,15 +396,63 @@ - [版本说明](raw/application-user-guide/application-gallery/quanmiao-light-application-series/development-documentation/api-reference-1/api-quanmiaolightapp-2024-08-01-changeset.md) - [全妙轻应用更新公告](raw/application-user-guide/application-gallery/quanmiao-light-application-series/light-application-update-announcement.md) - [常见问题](raw/application-user-guide/application-gallery/quanmiao-light-application-series/quanmiao-lightapp-faq.md) - - **官方应用-伶鹊CCAI-客服对话Agent** + - **官方应用-伶鹊CCAI-对话分析AIO** + - **使用指南** + - [如何开通伶鹊CCAI-对话分析AIO](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/product-activation.md) + - [如何对应用进行编辑、删除等管理,如何进行API调用、如何查看调用量](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/application-management.md) + - [如何基于自定义方式创建应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/create-an-application-based-on-a-custom-method.md) + - [如何进行基于对话分析Agent方式创建应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/create-an-application-based-on-dialogue-analysis-agent.md) + - [热词组配置管理与使用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/hot-phrase-management.md) + - [知识库的使用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/lingque-ccai-aio-user-guide/using-the-knowledge-base.md) - **API参考** - **API目录** - - [SseChat - 问答接口](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-dir/api-bailianchatbot-2024-11-05-ssechat.md) - - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-overview.md) - - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-ram.md) - - [产品概述](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/product-overview-voicepica-beebot-agent.md) - - [计费说明（客服对话Agent）](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/billing-description-beebot-agent.md) - - [使用指南](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/guidelines-for-use.md) + - **热词管理** + - [CreateVocab - 创建热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-createvocab.md) + - [ListVocab - 获取热词列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-listvocab.md) + - [UpdateVocab - 修改热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-updatevocab.md) + - [DeleteVocab - 删除热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-deletevocab.md) + - [GetVocab - 获取热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-hot-word-management/api-contactcenterai-2024-06-03-getvocab.md) + - **不推荐或白名单开放** + - [AnalyzeAudioSync - 语音文件实时分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-dir-not-recommended-or-whitelisted-open/api-contactcenterai-2024-06-03-analyzeaudiosync.md) + - [RunCompletionMessage - 使用原生Prompt调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-runcompletionmessage.md) + - [RunCompletion - 通过模版ID调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-runcompletion.md) + - [AnalyzeConversation - 通过任务类型调用通义晓蜜CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-analyzeconversation.md) + - [GetTaskResult - 通过任务ID获取离线任务分析结果](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-gettaskresult.md) + - [CreateTask - 通过上传离线任务数据进行通义晓蜜CCAI-对话分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-createtask.md) + - [AnalyzeImage - 图片内容分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-analyzeimage.md) + - [GeneralAnalyzeImage - 通用图片分析](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-dir/api-contactcenterai-2024-06-03-generalanalyzeimage.md) + - [API概览](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-overview.md) + - [服务接入点](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-endpoint.md) + - [版本说明](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/api-reference-2/api-contactcenterai-2024-06-03-changeset.md) + - **最佳实践** + - [客服服务质检最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/customer-service-quality-inspection-best-practices.md) + - [字段信息抽取最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/best-practices-for-automatic-work-order-generation.md) + - [摘要生成（含摘要/标题/关键词）最佳实践](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/best-practices/summary-best-practices.md) + - **接口调用示例** + - [通过模板ID调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-template-id-to-call-tongyi-xiaomi-ccai-aio.md) + - [通过原生Prompt调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-native-prompt-to-call-tongyi-xiaomi-ccai-aio.md) + - [通过任务类型调用伶鹊CCAI-对话分析AIO应用](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/call-tongyi-xiaomi-ccai-dialogue-analysis-aio-application-through-task-type.md) + - [通过上传离线任务数据进行伶鹊CCAI-对话分析](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/tongyi-xiaomi-ccai-dialogue-analysis-by-uploading-offline-task-data.md) + - [通过伶鹊CCAI-对话分析AIO应用进行图片分析](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/picture-analysis-through-tongyi-xiaomi-ccai-dialogue-analysis-aio-application.md) + - [伶鹊CCAI-对话分析RAM子账号使用方式和授权操作](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-and-authorize-ram-users-for-ccai-dialogue-analysis.md) + - [ROA风格请求体&签名机制](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/roa-style-request-body-signature-mechanism.md) + - [通义晓蜜CCAI更新公告](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/tongyi-xiaomi-ccai-update-announcement.md) + - [产品概述](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/product-overview-1.md) + - [伶鹊CCAI-对话分析AIO产品计费](raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/billing-description-magpie-ccai-dialogue-analysis-aio.md) + - [CCAI如何进行集成；查看技术集成方案](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-dialogue-analysis-aio/technology-integration-scheme.md) + - **官方应用-通义数据挖掘** + - **API参考** + - **API目录** + - [文档上传](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-upload.md) + - [信息抽取](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-information-extraction.md) + - [文档内容审核](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-content-audit.md) + - [打标分类](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-tagging.md) + - [摘要生成](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-summary-generation.md) + - [文档删除](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-delete.md) + - [API概览](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-overview.md) + - [服务接入点](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-service-access-point.md) + - [错误码](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-error-code.md) + - [通义数据挖掘产品介绍](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-product-introduction.md) - **官方应用-伶鹊CCAI-语音对话机器人** - **API参考** - **API目录** @@ -437,145 +462,141 @@ - [DisableSubscription - 关闭消息订阅](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-mq-message-subscription-configuration/api-bailianvoicebot-2025-01-01-disablesubscription.md) - **变量管理** - [DeleteVariable - 删除变量](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-deletevariable.md) - - [ListVariable - 获取变量列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-listvariable.md) - [UpdateVariable - 更新变量](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-updatevariable.md) + - [ListVariable - 获取变量列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-listvariable.md) - [CreateVariable - 创建变量](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-variable-management/api-bailianvoicebot-2025-01-01-createvariable.md) - **三方语音配置** - - [UpdateVoiceAccessProfile - 更新三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-updatevoiceaccessprofile.md) - [ListVoiceEngines - 获取三方语音引擎列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-listvoiceengines.md) - - [ListVoiceAccessProfile - 获取三方语音配置列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-listvoiceaccessprofile.md) + - [UpdateVoiceAccessProfile - 更新三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-updatevoiceaccessprofile.md) - [DeleteVoiceAccessProfile - 删除三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-deletevoiceaccessprofile.md) + - [ListVoiceAccessProfile - 获取三方语音配置列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-listvoiceaccessprofile.md) - [CreateVoiceAccessProfile - 创建三方语音配置](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-three-way-voice-configuration/api-bailianvoicebot-2025-01-01-createvoiceaccessprofile.md) - **热词管理** - - [UpdateVocabulary - 更新热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-updatevocabulary.md) - [ListVocabulary - 获取热词列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-listvocabulary.md) + - [UpdateVocabulary - 更新热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-updatevocabulary.md) - [ImportVocabulary - 导入热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-importvocabulary.md) - [GetVocabulary - 获取热词信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-getvocabulary.md) - [ExportVocabulary - 导出热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-exportvocabulary.md) - [DeleteVocabulary - 删除热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-deletevocabulary.md) - [CreateVocabulary - 创建热词](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-hot-word-management/api-bailianvoicebot-2025-01-01-createvocabulary.md) - - **克隆音管理** - - [ListCloneVoiceModels - 获取克隆音模型列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-listclonevoicemodels.md) - - [DeleteCloneVoice - 删除克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-deleteclonevoice.md) - - [ListCloneVoice - 获取克隆音列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-listclonevoice.md) - - [CreateCloneVoice - 创建克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-createclonevoice.md) - - [UpdateCloneVoice - 更新克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-updateclonevoice.md) - **应用管理** - - [DeleteApplication - 删除语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-deleteapplication.md) - [ListNluModels - 获取对话大模型列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listnlumodels.md) - - [ListBackgroundMusics - 获取背景音列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listbackgroundmusics.md) + - [DeleteApplication - 删除语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-deleteapplication.md) - [PreviewVoice - TTS合成试听](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-previewvoice.md) + - [ListBackgroundMusics - 获取背景音列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listbackgroundmusics.md) - [ListVoices - 获取音色列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listvoices.md) - [CreateApplicationVersion - 创建语音机器人应用版本](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-createapplicationversion.md) - [ListApplications - 查询语音机器人应用列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-listapplications.md) - - [CreateApplication - 创建语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-createapplication.md) - [UpdateApplication - 修改语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-updateapplication.md) + - [CreateApplication - 创建语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-createapplication.md) - [GetApplication - 获取语音机器人应用](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-getapplication.md) - [PublishApplicationVersion - 发布语音机器人](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-publishapplicationversion.md) - [UpdateApplicationVersion - 修改语音机器人应用版本](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-application-management/api-bailianvoicebot-2025-01-01-updateapplicationversion.md) + - **克隆音管理** + - [ListCloneVoiceModels - 获取克隆音模型列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-listclonevoicemodels.md) + - [DeleteCloneVoice - 删除克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-deleteclonevoice.md) + - [ListCloneVoice - 获取克隆音列表](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-listclonevoice.md) + - [CreateCloneVoice - 创建克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-createclonevoice.md) + - [UpdateCloneVoice - 更新克隆音](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-dir-clone-tone-management/api-bailianvoicebot-2025-01-01-updateclonevoice.md) - [BridgeWebCall - 软电话测试通话](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-bridgewebcall.md) - [GetDataChannelCredential - 获取数据通道凭证](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-getdatachannelcredential.md) - [GenerateFileUploadParams - 获取文件上传参数](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-dir/api-bailianvoicebot-2025-01-01-generatefileuploadparams.md) - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-overview.md) - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-ram.md) - [版本说明](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/api-reference-chat6/api-bailianvoicebot-2025-01-01-changeset.md) - - [伶鹊CCAI-语音对话机器人产品计费说明](raw/application-user-guide/application-gallery/official-application-lingque-ccai-voice-dialogue-robot/billing-information-lingque-ccai-voice-dialogue-robot.md) - [语音对话机器人产品概述](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-voice-dialogue-robot/product-0verview.md) + - [伶鹊CCAI-语音对话机器人产品计费说明](raw/application-user-guide/application-gallery/official-application-lingque-ccai-voice-dialogue-robot/billing-information-lingque-ccai-voice-dialogue-robot.md) - [语音对话机器人操作指南](raw/application-user-guide/application-gallery/official-application-lingque-ccai-voice-dialogue-robot/operation-guide.md) + - **官方应用-伶鹊CCAI-客服对话Agent** + - **API参考** + - **API目录** + - [SseChat - 问答接口](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-dir/api-bailianchatbot-2024-11-05-ssechat.md) + - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-overview.md) + - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-xiaomi-ccai-chatbot-agent/api-reference-5/api-bailianchatbot-2024-11-05-ram.md) + - [计费说明（客服对话Agent）](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/billing-description-beebot-agent.md) + - [使用指南](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/guidelines-for-use.md) + - [产品概述](raw/application-user-guide/application-gallery/official-application-voicepica-ccai-beebot-agent/product-overview-voicepica-beebot-agent.md) - **通义点金** - **API参考** - **API目录** - **平台能力-文档库** - - [GetAppConfig - 获取配置信息](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getappconfig.md) - [UpdateDocumentChunk - 更新文档块内容](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-updatedocumentchunk.md) + - [GetAppConfig - 获取配置信息](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getappconfig.md) - [CreateLibrary - 创建文档库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-createlibrary.md) + - [GetDocumentUrl - 获取文档的下载链接](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumenturl.md) + - [UploadDocument - 上传文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-uploaddocument.md) + - [GetLibrary - 获取文档库详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getlibrary.md) + - [PreviewDocument - 预览文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-previewdocument.md) - [GetLibraryList - 获取文档库列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getlibrarylist.md) - - [GetLibrary - 获取文档库详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getlibrary.md) - - [UploadDocument - 上传文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-uploaddocument.md) - - [GetDocumentUrl - 获取文档的下载链接](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumenturl.md) - [GetFilterDocumentList - 按元信息过滤查询文档列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getfilterdocumentlist.md) - - [GetDocumentList - 获取文档列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumentlist.md) - - [PreviewDocument - 预览文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-previewdocument.md) - - [DeleteDocument - 删除文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-deletedocument.md) - [UpdateDocument - 更新文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-updatedocument.md) + - [GetDocumentList - 获取文档列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumentlist.md) - [CreatePredefinedDocument - 创建预定义文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-createpredefineddocument.md) + - [DeleteDocument - 删除文档](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-deletedocument.md) + - [GetParseResult - 获取文档解析结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getparseresult.md) - [GetDocumentChunkList - 获取文档块列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getdocumentchunklist.md) - [RecallDocument - 文档召回](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-recalldocument.md) - [ReIndex - 重建索引](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-reindex.md) - - [GetParseResult - 获取文档解析结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-getparseresult.md) - - [DeleteLibrary - 删除文档库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-deletelibrary.md) - [UpdateLibrary - 更新文档库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-updatelibrary.md) - [GetHistoryListByBizType - 根据业务类型获取对话历史记录](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-gethistorylistbybiztype.md) - - [InvokePlugin - 调用插件](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-invokeplugin.md) - [RunLibraryChatGeneration - 文档库会话生成](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-runlibrarychatgeneration.md) + - [DeleteLibrary - 删除文档库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-deletelibrary.md) + - [InvokePlugin - 调用插件](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-document-library/api-dianjin-2024-06-28-invokeplugin.md) - **平台能力-应用** - [EndToEndRealTimeDialog - 语音实时对话](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-endtoendrealtimedialog.md) - - [RunDialogAnalysis - 会话分析结果生成](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-rundialoganalysis.md) - - [RunAgent - 运行智能体](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-runagent.md) - [CreateDialog - 创建外呼会话](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdialog.md) - [RealTimeDialog - 实时会话](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-realtimedialog.md) - - [GetDialogDetail - 获取会话详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialogdetail.md) + - [RunDialogAnalysis - 会话分析结果生成](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-rundialoganalysis.md) + - [RunAgent - 运行智能体](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-runagent.md) - [RealtimeDialogAssist - 实时会话辅助](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-realtimedialogassist.md) - - [GetDialogLog - 获取对话日志](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialoglog.md) + - [GetDialogDetail - 获取会话详情](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialogdetail.md) - [CreateDialogAnalysisTask - 创建会话分析任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdialoganalysistask.md) + - [GetDialogLog - 获取对话日志](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialoglog.md) - [GetDialogAnalysisResult - 获取会话分析结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getdialoganalysisresult.md) - [RebuildTask - 重建任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-rebuildtask.md) - - [GetTaskStatus - 获取任务状态](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gettaskstatus.md) - [EvictTask - 取消任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-evicttask.md) - - [CreateDocsSummaryTask - 创建多文档总结任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdocssummarytask.md) + - [GetTaskStatus - 获取任务状态](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gettaskstatus.md) - [CreateAnnualDocSummaryTask - 创建按年份总结文档任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createannualdocsummarytask.md) - [CreatePdfTranslateTask - 创建pdf文档翻译任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createpdftranslatetask.md) + - [CreateDocsSummaryTask - 创建多文档总结任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createdocssummarytask.md) - [CreateFinReportSummaryTask - 创建财报总结任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createfinreportsummarytask.md) - - [GetSummaryTaskResult - 获取财报总结任务结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getsummarytaskresult.md) - [GetTaskResult - 获取结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gettaskresult.md) + - [GetSummaryTaskResult - 获取财报总结任务结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getsummarytaskresult.md) - [CreateQualityCheckTask - 创建质检任务](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-createqualitychecktask.md) - [GetQualityCheckTaskResult - 获取质检结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getqualitychecktaskresult.md) - - [GenDocQaResult - 根据文档解析问答QA](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gendocqaresult.md) - [RecognizeIntention - 意图识别](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-recognizeintention.md) - - [UpdateQaLibrary - 更新QA问答库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-updateqalibrary.md) - - [SubmitChatQuestion - 提交问题列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-submitchatquestion.md) + - [GenDocQaResult - 根据文档解析问答QA](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-gendocqaresult.md) - [GetChatQuestionResp - 获取问答结果](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-getchatquestionresp.md) + - [SubmitChatQuestion - 提交问题列表](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-submitchatquestion.md) + - [UpdateQaLibrary - 更新QA问答库](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-updateqalibrary.md) - [RunChatResultGeneration - 对话结果生成](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-platform-capabilities-application/api-dianjin-2024-06-28-runchatresultgeneration.md) - **其他** - [DashscopeAsyncTaskFinishEvent - Dashscope异步任务完成回调事件](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-dir/api-dianjin-2024-06-28-dir-other/api-dianjin-2024-06-28-dashscopeasynctaskfinishevent.md) - - [服务接入点](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-endpoint.md) - [API概览](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-overview.md) + - [服务接入点](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-endpoint.md) - [授权信息](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-ram.md) - [版本说明](raw/application-user-guide/application-gallery/tongyi-dianjin/api-reference-3/api-dianjin-2024-06-28-changeset.md) - [产品简介](raw/application-user-guide/application-gallery/tongyi-dianjin/tongyi-dianjin-overview.md) - - **官方应用-通义数据挖掘** - - **API参考** - - **API目录** - - [文档上传](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-upload.md) - - [信息抽取](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-information-extraction.md) - - [文档内容审核](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-content-audit.md) - - [打标分类](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-tagging.md) - - [文档删除](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-delete.md) - - [摘要生成](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-directory/document-summary-generation.md) - - [API概览](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-api-overview.md) - - [服务接入点](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-service-access-point.md) - - [错误码](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-api-reference/docmining-error-code.md) - - [通义数据挖掘产品介绍](raw/application-user-guide/application-gallery/tongyi-docmining/docmining-product-introduction.md) - **官方应用-通义多模态翻译** - **API参考** - **API目录** - **文本翻译** - - [BatchTranslate - 批量文本翻译](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-batchtranslate.md) - [TextTranslate - 文本翻译接口](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-texttranslate.md) + - [BatchTranslate - 批量文本翻译](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-batchtranslate.md) - [SubmitLongTextTranslateTask - 提交长文本翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-submitlongtexttranslatetask.md) - [SubmitHtmlTranslateTask - 提交html翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-submithtmltranslatetask.md) - - [GetHtmlTranslateTask - 获取html翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-gethtmltranslatetask.md) - [TermEdit - 术语库编辑](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-termedit.md) - - [TermQuery - 术语库查询](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-termquery.md) + - [GetHtmlTranslateTask - 获取html翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-gethtmltranslatetask.md) - [GetLongTextTranslateTask - 获取长文本翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-getlongtexttranslatetask.md) + - [TermQuery - 术语库查询](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-text-translation/api-anytrans-2025-07-07-termquery.md) - **图片翻译** - [GetImageTranslateTask - 获取图片翻译任务结果](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-image-translation/api-anytrans-2025-07-07-getimagetranslatetask.md) - [SubmitImageTranslateTask - 提交图片翻译任务](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-image-translation/api-anytrans-2025-07-07-submitimagetranslatetask.md) - **文档翻译** - [SubmitDocTranslateTask - 文档翻译任务提交](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-document-translation/api-anytrans-2025-07-07-submitdoctranslatetask.md) - [GetDocTranslateTask - 文档翻译结果获取](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-dir/api-anytrans-2025-07-07-dir-document-translation/api-anytrans-2025-07-07-getdoctranslatetask.md) - - [服务接入点](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-endpoint.md) - [API概览](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-overview.md) + - [服务接入点](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-endpoint.md) - [授权信息](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-ram.md) - [版本说明](raw/application-user-guide/application-gallery/official-application-tongyi-translate/tongyi-translate-api-reference/api-anytrans-2025-07-07-changeset.md) - [通义多模态翻译](raw/application-user-guide/application-gallery/official-application-tongyi-translate/official-application-tongyi-translate-overview.md) @@ -584,8 +605,8 @@ - **API参考** - **API目录** - [生成对话](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-chat-generate.md) - - [对话文件管理](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-session-file-management.md) - [上传文件](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-file-upload.md) + - [对话文件管理](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-session-file-management.md) - [生成报告导出](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/deepsearch-report-export.md) - [对接自有知识库](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-list/docking-self-built-database.md) - [API概览](raw/application-user-guide/application-gallery/tongyi-deepsearch/deepsearch-api-reference/deepsearch-api-overview.md) @@ -608,10 +629,10 @@ - **使用指南** - **AI妙笔** - **功能界面** - - [妙笔-分布生成创作文章](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/step-by-step-generation.md) - [直接生成](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/direct-generation.md) - - [搜索素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/search-materials.md) + - [妙笔-分布生成创作文章](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/step-by-step-generation.md) - [智能配图](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/smart-image-generation.md) + - [搜索素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/function-interface/search-materials.md) - [AI妙笔产品概述](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/product-overview-for-amb.md) - [妙笔首页概览](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/amb-homepage-overview.md) - [AI工具箱](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/amb/ai-toolbox.md) @@ -623,12 +644,12 @@ - [深度写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/usage-guide/deep-writing.md) - **文本写作指导** - **传媒类文体写作指导** - - [快速写一篇传媒稿（prompt一步式撰写）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/quick-media-writing-prompt.md) - [没有思路，要谋篇布局](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/use-amb-to-help-writing.md) + - [快速写一篇传媒稿（prompt一步式撰写）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/quick-media-writing-prompt.md) - [用已有文章，生成标题摘要等](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/media-style-writing-best-practices/generate-titles-summaries-media-text.md) - **政务公文写作指导** - - [快速写一篇政务稿（prompt一步式撰写）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/government-document-writing-best-practices/quick-gov-writing-prompt.md) - [分步式撰写政务稿（精准控制章节内容）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/government-document-writing-best-practices/step-by-step-gov-writing.md) + - [快速写一篇政务稿（prompt一步式撰写）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/government-document-writing-best-practices/quick-gov-writing-prompt.md) - [用已有文章，生成标题摘要等](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/government-document-writing-best-practices/generate-titles-summaries-gov-text.md) - [常见FAQ](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/document-writing-best-practices/faq-for-using-quanmiao-series-products.md) - **更新公告** @@ -636,14 +657,14 @@ - [2025年2月26日更新-妙笔](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/february-26-2025-update-miaobi.md) - [2025年1月24日更新-全妙解决方案类产品](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/2025-1-24-function-update-announcement-quanmiao-saas.md) - [2024年3月11更新-AI全妙系列 V2.2.2](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2024-03-11-ai-quanmiao-v2-2.md) + - [2024年2月28更新-AI全妙系列 V2.2](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2024-02-28-ai-quanmiao-v2.md) - [2024年3月1更新-AI全妙系列 V2.2.1](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2024-03-01-ai-quanmiao-v2-2.md) - [2023年12月19更新-AI妙笔V2.1](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2023-12-19-amb-v2.md) - - [2024年2月28更新-AI全妙系列 V2.2](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/update-announcement/miaobi-and-miaoce-function-update/update-2024-02-28-ai-quanmiao-v2.md) - - [计费说明（政务公文配套工具）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/government-document-tool-billing.md) - [计费说明（妙笔）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/miaobi-billing.md) + - [计费说明（政务公文配套工具）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/government-document-tool-billing.md) - [计费说明（PPT生成）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/ppt-generation-billing.md) - - [计费说明（妙策-自定义数据源）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/billing-document-miaoce-custom-data-source.md) - [计费说明（视频混剪）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/billing-description-video-mixing.md) + - [计费说明（妙策-自定义数据源）](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaobi-miaoce-shenjiao/billing-document-miaoce-custom-data-source.md) - **妙搜和妙读** - **使用指南** - [妙搜](raw/application-user-guide/application-gallery/quanmiao-solution-products/miaosou-and-miaodu/miaodou-and-miaodu-guidelines-for-use/ai-miaosou.md) @@ -652,17 +673,17 @@ - **最佳实践** - [妙笔API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaobi-api.md) - [智能审校最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-smart-audit.md) - - [妙策API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaoce-api.md) - [妙搜API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaosou-api.md) - [妙读最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/miaodu-best-practices.md) + - [妙策API最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-miaoce-api.md) - [视频混剪最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/best-practices-for-video-mixing-and-cutting.md) - [PPT生成最佳实践](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/miaobi-and-miaoce-best-practices/ppt-generation-best-practices.md) - **API参考** - **数据结构** - [GenerateTraceability](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-generatetraceability.md) - - [OutlineSearchResult](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-outlinesearchresult.md) - [HottopicNews](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-hottopicnews.md) - [OutlineWritingArticle](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-outlinewritingarticle.md) + - [OutlineSearchResult](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-outlinesearchresult.md) - [TopicSelection](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-topicselection.md) - [WritingOutline](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-writingoutline.md) - [WritingStyleTemplateDefine](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-struct-dir/api-aimiaobi-2023-08-01-struct-writingstyletemplatedefine.md) @@ -673,282 +694,290 @@ - [ListDialogues - 生成历史列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-universal-interface/api-aimiaobi-2023-08-01-listdialogues.md) - [ListVersions - 获取版本信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-universal-interface/api-aimiaobi-2023-08-01-listversions.md) - [GetProperties - 获取配置信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-universal-interface/api-aimiaobi-2023-08-01-getproperties.md) - - **通用接口-异步任务管理** - - [SubmitAsyncTask - 提交异步任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-submitasynctask.md) - - [CancelAsyncTask - 取消异步任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-cancelasynctask.md) - - [ListAsyncTasks - 获取异步任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-listasynctasks.md) - - [QueryAsyncTask - 查询异步任务明细](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-queryasynctask.md) - **通用接口-文件上传下载** - [GenerateFileUrlByKey - 生成文件URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-file-upload-and-download/api-aimiaobi-2023-08-01-generatefileurlbykey.md) - [GenerateUploadConfig - 生成上传配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-file-upload-and-download/api-aimiaobi-2023-08-01-generateuploadconfig.md) + - **通用接口-异步任务管理** + - [CancelAsyncTask - 取消异步任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-cancelasynctask.md) + - [SubmitAsyncTask - 提交异步任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-submitasynctask.md) + - [QueryAsyncTask - 查询异步任务明细](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-queryasynctask.md) + - [ListAsyncTasks - 获取异步任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-asynchronous-task-management/api-aimiaobi-2023-08-01-listasynctasks.md) + - **通用接口-通用配置** + - [CreateGeneralConfig - 通用配置-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-creategeneralconfig.md) + - [GetGeneralConfig - 通用配置-详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-getgeneralconfig.md) + - [ListGeneralConfigs - 通用配置-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-listgeneralconfigs.md) + - [UpdateGeneralConfig - 通用配置-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-updategeneralconfig.md) + - [DeleteGeneralConfig - 通用配置-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-deletegeneralconfig.md) - **妙笔-创作文章** - [RunAiHelperWriting - AI帮写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runaihelperwriting.md) - - [RunWritingV2 - 智能写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwritingv2.md) - - [RunTranslateGeneration - 中英翻译](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtranslategeneration.md) - [RunWriting - 直接写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwriting.md) + - [RunWritingV2 - 智能写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwritingv2.md) - [RunStepByStepWriting - 分步骤写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runstepbystepwriting.md) - [RunTextPolishing - 润色](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtextpolishing.md) - - [RunKeywordsExtractionGeneration - 关键词抽取](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runkeywordsextractiongeneration.md) + - [RunTranslateGeneration - 中英翻译](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtranslategeneration.md) - [RunContinueContent - 内容续写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runcontinuecontent.md) + - [RunKeywordsExtractionGeneration - 关键词抽取](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runkeywordsextractiongeneration.md) - [RunWriteToneGeneration - 文风改写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runwritetonegeneration.md) - [RunTitleGeneration - 标题生成](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runtitlegeneration.md) - - [RunExpandContent - 内容扩写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runexpandcontent.md) - [RunSummaryGenerate - 摘要生成](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runsummarygenerate.md) - - [SearchNews - 信息检索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-searchnews.md) - [RunAbbreviationContent - 内容缩写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runabbreviationcontent.md) + - [SearchNews - 信息检索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-searchnews.md) + - [RunExpandContent - 内容扩写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runexpandcontent.md) + - [FeedbackDialogue - 反馈对话](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-feedbackdialogue.md) - [RunQuickWriting - 快速写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-runquickwriting.md) - - [GenerateImageTask - 生成智能配图任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-generateimagetask.md) - [ListBuildConfigs - 获取系统自定义预设](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-listbuildconfigs.md) + - [GenerateImageTask - 生成智能配图任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-generateimagetask.md) - [FetchImageTask - 获取图片任务执行结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-fetchimagetask.md) - - [FeedbackDialogue - 反馈对话](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-creative-articles/api-aimiaobi-2023-08-01-feedbackdialogue.md) - - **通用接口-通用配置** - - [CreateGeneralConfig - 通用配置-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-creategeneralconfig.md) - - [ListGeneralConfigs - 通用配置-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-listgeneralconfigs.md) - - [GetGeneralConfig - 通用配置-详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-getgeneralconfig.md) - - [DeleteGeneralConfig - 通用配置-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-deletegeneralconfig.md) - - [UpdateGeneralConfig - 通用配置-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-common-interface-common-configuration/api-aimiaobi-2023-08-01-updategeneralconfig.md) - **妙笔-文体仿写** - - [ListStyleLearningResult - 获取文体学习分析结果列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-liststylelearningresult.md) - - [RunStyleFeatureAnalysis - 内容特点分析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-runstylefeatureanalysis.md) - - [GetStyleLearningResult - 获取文体学习分析结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-getstylelearningresult.md) - [DeleteStyleLearningResult - 删除自定义文体](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-deletestylelearningresult.md) - [SaveStyleLearningResult - 保存文体学习分析结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-savestylelearningresult.md) + - [RunStyleFeatureAnalysis - 内容特点分析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-runstylefeatureanalysis.md) + - [ListStyleLearningResult - 获取文体学习分析结果列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-liststylelearningresult.md) + - [GetStyleLearningResult - 获取文体学习分析结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-getstylelearningresult.md) - [ListWritingStyles - 获取写作文体列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-style-imitation-writing/api-aimiaobi-2023-08-01-listwritingstyles.md) - **妙笔-视频审校** - [SubmitVideoAudit - 提交视频审校任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-review/api-aimiaobi-2023-08-01-submitvideoaudit.md) - [QueryVideoAuditResult - 查询视频审校结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-review/api-aimiaobi-2023-08-01-queryvideoauditresult.md) + - **妙笔-文章审校-事实性审核** + - [GetFactAuditUrl - 获取事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-getfactauditurl.md) + - [SubmitFactAuditUrl - 提交事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-submitfactauditurl.md) + - [DeleteFactAuditUrl - 删除事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-deletefactauditurl.md) + - **妙笔-文章审校-词库管理** + - [DeleteAuditTerms - 删除指定词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-deleteauditterms.md) + - [ListAuditTerms - 获取自定义词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-listauditterms.md) + - [AddAuditTerms - 添加自定义词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-addauditterms.md) + - [EditAuditTerms - 编辑自定义词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-editauditterms.md) + - [SubmitExportTermsTask - 提交导出词库任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-submitexporttermstask.md) + - [FetchImportTermsTask - 获取导入词库任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-fetchimporttermstask.md) + - [SubmitImportTermsTask - 提交导入词库任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-submitimporttermstask.md) + - [FetchExportTermsTask - 获取导出词库任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-fetchexporttermstask.md) - **妙笔-文章审校-规则库管理** - [SubmitAuditNote - 提交自定义规则库](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-submitauditnote.md) - [ConfirmAndPostProcessAuditNote - 确认提交规则库用于审核](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-confirmandpostprocessauditnote.md) - - [DownloadAuditNote - 下载规则库](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-downloadauditnote.md) - [DeleteAuditNote - 删除规则库](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-deleteauditnote.md) + - [DownloadAuditNote - 下载规则库](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-downloadauditnote.md) - [GetAuditNotePostProcessingStatus - 获取规则库后处理进度](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-getauditnotepostprocessingstatus.md) - [GetAuditNoteProcessingStatus - 查询规则库上传状态](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-getauditnoteprocessingstatus.md) - [GetAvailableAuditNotes - 查询可用规则库](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-proofreading-rule-library-management/api-aimiaobi-2023-08-01-getavailableauditnotes.md) - - **妙笔-文章审校-词库管理** - - [ListAuditTerms - 获取自定义词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-listauditterms.md) - - [AddAuditTerms - 添加自定义词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-addauditterms.md) - - [EditAuditTerms - 编辑自定义词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-editauditterms.md) - - [DeleteAuditTerms - 删除指定词库记录](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-deleteauditterms.md) - - [SubmitImportTermsTask - 提交导入词库任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-submitimporttermstask.md) - - [FetchImportTermsTask - 获取导入词库任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-fetchimporttermstask.md) - - [SubmitExportTermsTask - 提交导出词库任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-submitexporttermstask.md) - - [FetchExportTermsTask - 获取导出词库任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-thesaurus-management/api-aimiaobi-2023-08-01-fetchexporttermstask.md) - - **妙笔-文章审校-事实性审核** - - [SubmitFactAuditUrl - 提交事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-submitfactauditurl.md) - - [GetFactAuditUrl - 获取事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-getfactauditurl.md) - - [DeleteFactAuditUrl - 删除事实性审核 URL](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaobi-article-review-factual-review/api-aimiaobi-2023-08-01-deletefactauditurl.md) - **妙笔-文章审校** - - [QueryAuditTask - 查询审核结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-queryaudittask.md) - [SubmitSmartAudit - 提交智能审校任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-submitsmartaudit.md) - - [SubmitAuditTask - 提交审核任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-submitaudittask.md) - - [CancelAuditTask - 取消审核任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-cancelaudittask.md) - [GetSmartAuditResult - 查询智能审校结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-getsmartauditresult.md) - [ListAuditContentErrorTypes - 获取审校维度列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-listauditcontenterrortypes.md) - [ExportAuditContentResult - 导出智能审校报告](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-exportauditcontentresult.md) - - **妙笔-素材库** - - [SaveMaterialDocument - 保存素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-savematerialdocument.md) - - [DeleteMaterialById - 删除素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-deletematerialbyid.md) - - [UpdateMaterialDocument - 更新素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-updatematerialdocument.md) - - [GetMaterialById - 获取素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-getmaterialbyid.md) - - [ListMaterialDocuments - 获取素材列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-listmaterialdocuments.md) - - **妙笔-素材库-自定义文本** - - [GetCustomText - 获取自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-getcustomtext.md) - - [UpdateCustomText - 更新自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-updatecustomtext.md) - - [ListCustomText - 获取自定义文本列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-listcustomtext.md) - - [SaveCustomText - 保存自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-savecustomtext.md) - - [DocumentExtraction - 文档提取](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-documentextraction.md) - - [DeleteCustomText - 删除自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-deletecustomtext.md) - **妙笔-文档管理** - - [GenerateExportWordTask - 生成导出文档任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-generateexportwordtask.md) - [FetchExportWordTask - 获取导出文档任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-fetchexportwordtask.md) + - [GenerateExportWordTask - 生成导出文档任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-generateexportwordtask.md) - [CreateGeneratedContent - 保存文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-creategeneratedcontent.md) - [DeleteGeneratedContent - 删除文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-deletegeneratedcontent.md) - [UpdateGeneratedContent - 更新文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-updategeneratedcontent.md) - [GetGeneratedContent - 获取文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-getgeneratedcontent.md) - - [ListGeneratedContents - 获取文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-listgeneratedcontents.md) - [ExportGeneratedContent - 导出文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-exportgeneratedcontent.md) + - [ListGeneratedContents - 获取文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-document-management/api-aimiaobi-2023-08-01-listgeneratedcontents.md) - **妙笔-视频混剪** - [GetClipsBuildInResource - 获取智能混剪内置资源](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-getclipsbuildinresource.md) - [AsyncCreateClipsTimeLine - 创建剪辑口播时间线](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asynccreateclipstimeline.md) - - [AsyncUploadVideo - 异步上传视频剪辑素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asyncuploadvideo.md) - [AsyncEditTimeline - 编辑剪辑口播时间线](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asyncedittimeline.md) + - [AsyncUploadVideo - 异步上传视频剪辑素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asyncuploadvideo.md) - [GetAutoClipsTaskInfo - 获得剪辑任务信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-getautoclipstaskinfo.md) - [AsyncCreateClipsTask - 创建剪辑任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-asynccreateclipstask.md) - [ListAutoClipsTask - 智能混剪任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-video-mixed-cut/api-aimiaobi-2023-08-01-listautoclipstask.md) + - **妙笔-素材库-自定义文本** + - [GetCustomText - 获取自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-getcustomtext.md) + - [UpdateCustomText - 更新自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-updatecustomtext.md) + - [ListCustomText - 获取自定义文本列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-listcustomtext.md) + - [DeleteCustomText - 删除自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-deletecustomtext.md) + - [DocumentExtraction - 文档提取](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-documentextraction.md) + - [SaveCustomText - 保存自定义文本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library-custom-text/api-aimiaobi-2023-08-01-savecustomtext.md) + - **妙笔-素材库** + - [SaveMaterialDocument - 保存素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-savematerialdocument.md) + - [DeleteMaterialById - 删除素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-deletematerialbyid.md) + - [UpdateMaterialDocument - 更新素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-updatematerialdocument.md) + - [GetMaterialById - 获取素材](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-getmaterialbyid.md) + - [ListMaterialDocuments - 获取素材列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-material-library/api-aimiaobi-2023-08-01-listmaterialdocuments.md) + - **妙策-自定义数据源** + - [SubmitCustomSourceTopicAnalysis - 提交自定义源话题选题分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-submitcustomsourcetopicanalysis.md) + - [GetCustomSourceTopicAnalysisTask - 获取自定义源话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-getcustomsourcetopicanalysistask.md) + - [ExportCustomSourceAnalysisTask - 导出自定义源-话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-exportcustomsourceanalysistask.md) - **公文库检索** - [ListDocumentRetrieve - 公文库检索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-public-library-retrieval/api-aimiaobi-2023-08-01-listdocumentretrieve.md) - **妙策-选题热点** - - [RunTopicSelectionMerge - 选题热点融合](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-runtopicselectionmerge.md) - [ListHotNewsWithType - 获取选题热点列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotnewswithtype.md) + - [RunTopicSelectionMerge - 选题热点融合](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-runtopicselectionmerge.md) - [ListHotSources - 获取三方热榜源列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotsources.md) - [ListHotTopics - 获取热点话题列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhottopics.md) - - [ListHotViewPoints - 获取热门视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotviewpoints.md) - [GetTopicById - 获取热点对象](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-gettopicbyid.md) + - [ListHotViewPoints - 获取热门视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listhotviewpoints.md) - [ListTimedViewAttitude - 获取时效性视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listtimedviewattitude.md) - - [ListWebReviewPoints - 获取网友视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listwebreviewpoints.md) - [ListFreshViewPoints - 获取新颖视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listfreshviewpoints.md) + - [ListWebReviewPoints - 获取网友视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listwebreviewpoints.md) - [ListPlanningProposal - 获取选题策划列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-listplanningproposal.md) - [ExportHotTopicPlanningProposals - 导出选题策划文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaozi-hot-topics/api-aimiaobi-2023-08-01-exporthottopicplanningproposals.md) + - **妙策-openapi** + - [SubmitDocClusterTask - 提交内容聚合任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitdocclustertask.md) + - [GetDocClusterTask - 获取内容聚合任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getdocclustertask.md) + - [SubmitTopicSelectionPerspectiveAnalysisTask - 提交选题热点分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submittopicselectionperspectiveanalysistask.md) + - [SubmitCustomTopicSelectionPerspectiveAnalysisTask - 提交自定义热点选题视角分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitcustomtopicselectionperspectiveanalysistask.md) + - [GetTopicSelectionPerspectiveAnalysisTask - 获取选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-gettopicselectionperspectiveanalysistask.md) + - [GetCustomTopicSelectionPerspectiveAnalysisTask - 获取自定义选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getcustomtopicselectionperspectiveanalysistask.md) - **妙策-自定义话题** - [DeleteCustomTopicByTopic - 删除自定义热点事件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-deletecustomtopicbytopic.md) - - [ListTopicRecommendEventList - 获取热点推荐事件列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listtopicrecommendeventlist.md) - [ListTopicViewPointRecommendEventList - 获取热点事件推荐观点列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listtopicviewpointrecommendeventlist.md) - [RunCustomHotTopicAnalysis - 自定义热点话题分析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-runcustomhottopicanalysis.md) + - [ListTopicRecommendEventList - 获取热点推荐事件列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listtopicrecommendeventlist.md) - [RunCustomHotTopicViewPointAnalysis - 自定义选题视角分析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-runcustomhottopicviewpointanalysis.md) - [ListCustomViewPoints - 获取自定义视角列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-listcustomviewpoints.md) - [DeleteCustomTopicViewPointById - 删除自定义选题视角](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-custom-topic/api-aimiaobi-2023-08-01-deletecustomtopicviewpointbyid.md) - - **妙策-自定义数据源** - - [GetCustomSourceTopicAnalysisTask - 获取自定义源话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-getcustomsourcetopicanalysistask.md) - - [SubmitCustomSourceTopicAnalysis - 提交自定义源话题选题分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-submitcustomsourcetopicanalysis.md) - - [ExportCustomSourceAnalysisTask - 导出自定义源-话题分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-custom-data-source/api-aimiaobi-2023-08-01-exportcustomsourceanalysistask.md) - - **妙策-openapi** - - [SubmitDocClusterTask - 提交内容聚合任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitdocclustertask.md) - - [GetDocClusterTask - 获取内容聚合任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getdocclustertask.md) - - [SubmitTopicSelectionPerspectiveAnalysisTask - 提交选题热点分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submittopicselectionperspectiveanalysistask.md) - - [GetTopicSelectionPerspectiveAnalysisTask - 获取选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-gettopicselectionperspectiveanalysistask.md) - - [SubmitCustomTopicSelectionPerspectiveAnalysisTask - 提交自定义热点选题视角分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-submitcustomtopicselectionperspectiveanalysistask.md) - - [GetCustomTopicSelectionPerspectiveAnalysisTask - 获取自定义选题视角分析任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tips-openapi/api-aimiaobi-2023-08-01-getcustomtopicselectionperspectiveanalysistask.md) - - **妙策-新闻播报** - - [SubmitCustomHotTopicBroadcastJob - 提交自定义播报单任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-submitcustomhottopicbroadcastjob.md) - - [GetHotTopicBroadcast - 查询完整播报单（热榜）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-gethottopicbroadcast.md) - - [GetCustomHotTopicBroadcastJob - 获取自定义播报单任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-getcustomhottopicbroadcastjob.md) - - **妙搜-智能搜索** - - [ListSearchTasks - 查询妙搜搜索生成历史任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtasks.md) - - [ListSearchTaskDialogues - 查询妙搜搜索生成任务详情列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialogues.md) - - [ListSearchTaskDialogueDatas - 查询搜索生成任务对话详情中数据列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialoguedatas.md) - - [RunSearchGeneration - 妙搜-智能搜索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchgeneration.md) - - [RunSearchSimilarArticles - 妙搜-文搜文](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchsimilararticles.md) - **妙策-企业VOC挖掘** - [ExportAnalysisTagDetailByTaskId - 导出标签挖掘结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-exportanalysistagdetailbytaskid.md) - - [ValidateUploadTemplate - 校验VOC上传模板](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-validateuploadtemplate.md) - [SubmitEnterpriseVocAnalysisTask - 提交企业VOC分析任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-submitenterprisevocanalysistask.md) + - [ValidateUploadTemplate - 校验VOC上传模板](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-validateuploadtemplate.md) - [ListAnalysisTagDetailByTaskId - 根据任务ID获取标签分析明细列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-listanalysistagdetailbytaskid.md) - [GetEnterpriseVocAnalysisTask - 获取企业VOC挖掘任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-getenterprisevocanalysistask.md) - [GetCategoriesByTaskId - 根据任务ID获取分类列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-miaoce-enterprise-voc-mining/api-aimiaobi-2023-08-01-getcategoriesbytaskid.md) - - **妙搜-数据源** - - [CreateDataset - 数据源-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-createdataset.md) - - [UpdateDataset - 数据源-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-updatedataset.md) - - [GetDataset - 数据源-详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-getdataset.md) - - [DeleteDataset - 数据源-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-deletedataset.md) - - [ListDatasets - 数据源-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-listdatasets.md) - - [AddDatasetDocument - 数据源-添加文档到数据集](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-adddatasetdocument.md) - - [GetDatasetDocument - 数据源-获取文档详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-getdatasetdocument.md) - - [UpdateDatasetDocument - 数据源-修改文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-updatedatasetdocument.md) - - [ListDatasetDocuments - 数据源-文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-listdatasetdocuments.md) - - [SearchDatasetDocuments - 数据源-搜索文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-searchdatasetdocuments.md) - - [DeleteDatasetDocument - 数据源-删除数据集文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-deletedatasetdocument.md) + - **妙策-新闻播报** + - [GetHotTopicBroadcast - 查询完整播报单（热榜）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-gethottopicbroadcast.md) + - [GetCustomHotTopicBroadcastJob - 获取自定义播报单任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-getcustomhottopicbroadcastjob.md) + - [SubmitCustomHotTopicBroadcastJob - 提交自定义播报单任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-policy-news-broadcast/api-aimiaobi-2023-08-01-submitcustomhottopicbroadcastjob.md) - **系统配置-干预配置** - [ListInterveneCnt - 获得所有干预项的数量](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenecnt.md) - [ListIntervenes - 列出干预项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenes.md) - - [InsertInterveneGlobalReply - 插入干预全局回复项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertinterveneglobalreply.md) - [ImportInterveneFile - 同步导入干预项文件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-importintervenefile.md) - - [GetInterveneTemplateFileUrl - 获得干预导入模版文件地址](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getintervenetemplatefileurl.md) + - [InsertInterveneGlobalReply - 插入干预全局回复项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertinterveneglobalreply.md) - [ImportInterveneFileAsync - 异步导入干预项文件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-importintervenefileasync.md) + - [GetInterveneTemplateFileUrl - 获得干预导入模版文件地址](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getintervenetemplatefileurl.md) + - [GetInterveneGlobalReply - 获得干预全局回复内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneglobalreply.md) - [ClearIntervenes - 清除所有干预项](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-clearintervenes.md) - [ListInterveneRules - 列出干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listintervenerules.md) - - [GetInterveneGlobalReply - 获得干预全局回复内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneglobalreply.md) - - [GetInterveneRuleDetail - 获得干预规则的详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneruledetail.md) - - [InsertInterveneRule - 插入干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertintervenerule.md) - [ListInterveneImportTasks - 列出干预项导入任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-listinterveneimporttasks.md) - - [DeleteInterveneRule - 删除干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-deleteintervenerule.md) + - [InsertInterveneRule - 插入干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-insertintervenerule.md) - [ExportIntervenes - 导出干预项内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-exportintervenes.md) + - [DeleteInterveneRule - 删除干预规则](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-deleteintervenerule.md) + - [GetInterveneRuleDetail - 获得干预规则的详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneruledetail.md) - [GetInterveneImportTaskInfo - 获得干预项目导入任务信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-intervention-configuration/api-aimiaobi-2023-08-01-getinterveneimporttaskinfo.md) - - **妙读-抽取类** - - [RunHotword - 抽取关键词](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-extraction-class/api-aimiaobi-2023-08-01-runhotword.md) + - **妙搜-智能搜索** + - [ListSearchTasks - 查询妙搜搜索生成历史任务列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtasks.md) + - [ListSearchTaskDialogues - 查询妙搜搜索生成任务详情列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialogues.md) + - [ListSearchTaskDialogueDatas - 查询搜索生成任务对话详情中数据列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-listsearchtaskdialoguedatas.md) + - [RunSearchGeneration - 妙搜-智能搜索](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchgeneration.md) + - [RunSearchSimilarArticles - 妙搜-文搜文](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-smart-search/api-aimiaobi-2023-08-01-runsearchsimilararticles.md) + - **妙搜-数据源** + - [CreateDataset - 数据源-创建](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-createdataset.md) + - [GetDataset - 数据源-详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-getdataset.md) + - [UpdateDataset - 数据源-修改](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-updatedataset.md) + - [ListDatasets - 数据源-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-listdatasets.md) + - [DeleteDataset - 数据源-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-deletedataset.md) + - [AddDatasetDocument - 数据源-添加文档到数据集](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-adddatasetdocument.md) + - [GetDatasetDocument - 数据源-获取文档详情](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-getdatasetdocument.md) + - [UpdateDatasetDocument - 数据源-修改文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-updatedatasetdocument.md) + - [ListDatasetDocuments - 数据源-文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-listdatasetdocuments.md) + - [SearchDatasetDocuments - 数据源-搜索文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-searchdatasetdocuments.md) + - [DeleteDatasetDocument - 数据源-删除数据集文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-search-data-source/api-aimiaobi-2023-08-01-deletedatasetdocument.md) - **系统配置-信源管理** - [GetDataSourceOrderConfig - 获取信源配置权重数据](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-source-management/api-aimiaobi-2023-08-01-getdatasourceorderconfig.md) - [SaveDataSourceOrderConfig - 保存信源权重配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-system-configuration-source-management/api-aimiaobi-2023-08-01-savedatasourceorderconfig.md) - **妙读-基础操作类** - [GetDocInfo - 获取文档信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-getdocinfo.md) - [GetFileContentLength - 获取文件长度](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-getfilecontentlength.md) - - [UploadBook - 书籍上传](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-uploadbook.md) - [UploadDoc - 文档上传](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-uploaddoc.md) + - [UploadBook - 书籍上传](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-uploadbook.md) - [ListDocs - 获取文档列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-listdocs.md) - [DeleteDocs - 批量删除文档](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-basic-operation-class/api-aimiaobi-2023-08-01-deletedocs.md) - **妙读-生成类** - - [RunDocIntroduction - 文档导读](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocintroduction.md) - [RunMultiDocIntroduction - 多文档聚合摘要](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runmultidocintroduction.md) - [RunDocSummary - 文档摘要](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocsummary.md) - - [RunDocBrainmap - 全文脑图](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocbrainmap.md) - [RunDocWashing - 改写](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocwashing.md) + - [RunDocBrainmap - 全文脑图](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocbrainmap.md) + - [RunDocIntroduction - 文档导读](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-rundocintroduction.md) - [RunBookIntroduction - 书籍导读（抽取书籍卖点/书籍摘要）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runbookintroduction.md) - - [RunBookBrainmap - 书籍脑图](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runbookbrainmap.md) - [RunCommentGeneration - 客户之声预测](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runcommentgeneration.md) + - [RunBookBrainmap - 书籍脑图](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-generate-class/api-aimiaobi-2023-08-01-runbookbrainmap.md) + - **妙读-抽取类** + - [RunHotword - 抽取关键词](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-extraction-class/api-aimiaobi-2023-08-01-runhotword.md) - **妙读-问答类** - - [RunDocQa - 文档问答（文章问答/多模态文件问答）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-question-and-answer-class/api-aimiaobi-2023-08-01-rundocqa.md) - [RunGenerateQuestions - 猜你想问](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-question-and-answer-class/api-aimiaobi-2023-08-01-rungeneratequestions.md) + - [RunDocQa - 文档问答（文章问答/多模态文件问答）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-question-and-answer-class/api-aimiaobi-2023-08-01-rundocqa.md) - **妙读-其他** - - [RunDocSmartCard - 文档智能卡片](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-rundocsmartcard.md) - [RunDocTranslation - 文档翻译](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-rundoctranslation.md) + - [RunDocSmartCard - 文档智能卡片](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-rundocsmartcard.md) - [RunBookSmartCard - 书籍智能卡片](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-reading-other/api-aimiaobi-2023-08-01-runbooksmartcard.md) - **深度写作** - [SubmitDeepWriteTask - 提交深度写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-submitdeepwritetask.md) - [GetDeepWriteTask - 查询深度写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-getdeepwritetask.md) - - [CancelDeepWriteTask - 取消深度写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-canceldeepwritetask.md) - [GetDeepWriteTaskResult - 查询深度写作任务的结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-getdeepwritetaskresult.md) + - [CancelDeepWriteTask - 取消深度写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-canceldeepwritetask.md) - [RunDeepWriting - 查询深度写作事件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-deep-writing/api-aimiaobi-2023-08-01-rundeepwriting.md) + - **标书生成** + - [AsyncUploadTenderDoc - 招标文档解析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncuploadtenderdoc.md) + - [GetBiddingRemainLimitNum - 获得标书写作剩余额度](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-getbiddingremainlimitnum.md) + - [DownloadBiddingDoc - 下载标书文件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-downloadbiddingdoc.md) + - [EditBiddingDoc - 编辑标书内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-editbiddingdoc.md) + - [GetBiddingDocInfo - 获得标书写作结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-getbiddingdocinfo.md) + - [AsyncWritingBiddingDoc - 标书写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncwritingbiddingdoc.md) + - [ListBiddingDoc - 列出标书写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-listbiddingdoc.md) - **PPT生成** + - [ListPptTemplates - 查询PPT模板列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-listppttemplates.md) - [ListEnterprisePptTemplates - 查询企业专属PPT模板列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-listenterpriseppttemplates.md) - [InitiatePptCreationV2 - 初始化PPT创建操作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-initiatepptcreationv2.md) - [GetPptTemplateSelector - 查询PPT模板筛选器](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getppttemplateselector.md) - - [ListPptTemplates - 查询PPT模板列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-listppttemplates.md) - [GetPptArtifactExportResult - 查询PPT导出任务的结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getpptartifactexportresult.md) - [ExportPptArtifact - 导出PPT作品](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-exportpptartifact.md) - [GetPptArtifact - 查询PPT作品信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getpptartifact.md) - [RunPptOutlineGeneration - 生成PPT大纲内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-runpptoutlinegeneration.md) - [ListPptArtifacts - 查询PPT作品列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-listpptartifacts.md) - [InitiatePptCreation - 初始化用来创建PPT的会话](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-initiatepptcreation.md) - - [GetPptConfig - 获取PPT组件配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getpptconfig.md) - [BindPptArtifact - 绑定PPT作品信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-bindpptartifact.md) + - [GetPptConfig - 获取PPT组件配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-getpptconfig.md) - [DeletePptArtifact - 删除PPT作品](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-ppt-generation/api-aimiaobi-2023-08-01-deletepptartifact.md) - - **标书生成** - - [AsyncUploadTenderDoc - 招标文档解析](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncuploadtenderdoc.md) - - [GetBiddingRemainLimitNum - 获得标书写作剩余额度](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-getbiddingremainlimitnum.md) - - [GetBiddingDocInfo - 获得标书写作结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-getbiddingdocinfo.md) - - [EditBiddingDoc - 编辑标书内容](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-editbiddingdoc.md) - - [DownloadBiddingDoc - 下载标书文件](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-downloadbiddingdoc.md) - - [AsyncWritingBiddingDoc - 标书写作](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-asyncwritingbiddingdoc.md) - - [ListBiddingDoc - 列出标书写作任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-tender-generation/api-aimiaobi-2023-08-01-listbiddingdoc.md) - **其他** - [RunVideoScriptGenerate - AI生成视频剪辑脚本](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-runvideoscriptgenerate.md) - - [GetSmartClipTask - 获取智能剪辑任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-getsmartcliptask.md) - [SubmitSmartClipTask - 提交智能一键成片任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-submitsmartcliptask.md) - [SaveOrUpdateOssConfig - 配置-云存储-参数配置](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-saveorupdateossconfig.md) + - [GetSmartClipTask - 获取智能剪辑任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-getsmartcliptask.md) - [CreateDataPermissions - 权限-批量添加](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-createdatapermissions.md) - [DeleteDataPermissions - 权限-删除](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-deletedatapermissions.md) + - [GenerateViewPoint - 生成选题视角（已过时，不推荐使用）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-generateviewpoint.md) - [ListDataPermissions - 权限-列表](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-listdatapermissions.md) - [GetPptInfo - 查询PPT任务信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-getpptinfo.md) - - [GenerateViewPoint - 生成选题视角（已过时，不推荐使用）](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-generateviewpoint.md) - [FetchParseDocumentLayoutTask - 获取排版任务结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-other/api-aimiaobi-2023-08-01-fetchparsedocumentlayouttask.md) + - [CancelAuditTask - 取消审核任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-cancelaudittask.md) + - [QueryAuditTask - 查询审核结果](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-queryaudittask.md) + - [SubmitAuditTask - 提交审核任务](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-dir/api-aimiaobi-2023-08-01-dir-wonderful-pen-article-reviser/api-aimiaobi-2023-08-01-submitaudittask.md) - [服务接入点](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-endpoint.md) - - [API概览](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-overview.md) - [版本说明](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-changeset.md) + - [API概览](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-overview.md) - [授权信息](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-ram.md) - **更多** - - [全妙服务关联角色](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/quanmiao-slr.md) - [妙笔写作信源对接](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/miaobi-writing-source-docking.md) - - [妙搜数据集管理通过API引入数据源](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/miaosou-introduce-data-source-through-api.md) - - [全妙iframe嵌入方案](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/iframe-embedding-scheme.md) + - [全妙服务关联角色](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/quanmiao-slr.md) - [全妙Logo定制规范及部署方式](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/logo-customization-specification-and-deployment-method.md) - - [全妙云存储（OSS）设置指南](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/oss-setup-guide.md) + - [全妙iframe嵌入方案](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/iframe-embedding-scheme.md) + - [妙搜数据集管理通过API引入数据源](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/miaosou-introduce-data-source-through-api.md) - [全妙PaaS AgentKey 获取指南](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/quanmiao-paas-agentkey-get-guide.md) + - [全妙云存储（OSS）设置指南](raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/quanmiao-more/oss-setup-guide.md) - [官方应用-通义听悟Agent](raw/application-user-guide/application-gallery/official-application-tingwu-agent.md) - - [通义法睿](raw/application-user-guide/application-gallery/tongyi-farui.md) - [官方应用-析言GBI](raw/application-user-guide/application-gallery/xiyan-gbi.md) -- **应用观测** - - [应用观测](raw/application-user-guide/application-monitoring/application-observation.md) + - [通义法睿](raw/application-user-guide/application-gallery/tongyi-farui.md) +- **应用评测** + - **新版应用评测** + - [新版评测集](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/new-version-of-evaluation-set.md) + - [评测任务](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/evaluation-task.md) + - [标签管理](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/label-management.md) + - [评估器](raw/application-user-guide/application-evaluation/new-version-of-application-evaluation/grader.md) + - [自动评测](raw/application-user-guide/application-evaluation/application-auto-evaluation.md) + - [手动评测](raw/application-user-guide/application-evaluation/evaluate-manual-application.md) + - [评测集](raw/application-user-guide/application-evaluation/application-evaluation-dataset.md) +- **服务支持** + - [常见问题](raw/application-user-guide/application-support/application-faq.md) + - [相关协议](raw/application-user-guide/application-support/application-related-agreements.md) + - [阿里云百炼平台售后服务范围说明](raw/application-user-guide/application-support/application-after-sales-service-scope.md) - **权限管理** - [权限管理](raw/application-user-guide/application-permission-management/application-permission-management-overview.md) - **实践教程** - [在网站上增加一个AI助手](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-website-in-10-minutes.md) - - [10分钟让微信公众号成为智能客服](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-wechat-in-10-minutes.md) - [在企业微信中集成一个 AI 助手](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-work-wechat.md) + - [10分钟让微信公众号成为智能客服](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-wechat-in-10-minutes.md) - [在钉钉上增加一个AI机器人](raw/application-user-guide/application-use-cases/add-an-ai-assistant-to-your-dingtalk.md) - [基于本地知识库构建RAG应用](raw/application-user-guide/application-use-cases/build-rag-application-based-on-local-retrieval.md) -- **服务支持** - - [常见问题](raw/application-user-guide/application-support/application-faq.md) - - [相关协议](raw/application-user-guide/application-support/application-related-agreements.md) ## 模型 API 参考 @@ -959,9 +988,12 @@ - [错误码](raw/model-api-reference/preparations/error-code.md) - **图像生成** - **千问** + - [千问-图像生成与编辑3.0 API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-generation-and-editing-api-reference.md) - [千问-文生图API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md) - [千问-图像编辑API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-edit-api.md) - [千问-图像翻译API参考](raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-mt-image-api.md) + - **Z-Image** + - [Z-Image API参考](raw/model-api-reference/image-generation/z-image-generation-api-reference/z-image-api-reference.md) - **万相** - [万相-文生图V2版API参考](raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-v2-api-reference.md) - [万相-文生图V1版API参考](raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-api-reference.md) @@ -971,51 +1003,49 @@ - [万相-通用图像编辑API参考](raw/model-api-reference/image-generation/wan-image-api-reference/wanx-image-edit-api-reference.md) - [万相-涂鸦作画API参考](raw/model-api-reference/image-generation/wan-image-api-reference/wanx-sketch-to-image-api-reference.md) - [万相-图像局部重绘API参考](raw/model-api-reference/image-generation/wan-image-api-reference/vary-region-api-reference.md) - - **Z-Image** - - [Z-Image API参考](raw/model-api-reference/image-generation/z-image-generation-api-reference/z-image-api-reference.md) - - **可灵** - - [可灵-图像生成API参考](raw/model-api-reference/image-generation/kling-image-api-reference/kling-image-generation-api-reference.md) - **Vidu** - [Vidu-图像生成API参考](raw/model-api-reference/image-generation/vidu-image-models/vidu-image-generation-api-reference.md) + - **可灵** + - [可灵-图像生成API参考](raw/model-api-reference/image-generation/kling-image-api-reference/kling-image-generation-api-reference.md) - **创意工具** - [人像风格重绘API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/portrait-style-redraw-api-reference.md) - [图像画面扩展API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-scaling-api.md) - [虚拟模特API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/virtual-model-api-details.md) - - [鞋靴模特API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/shoe-model-api.md) - [创意海报生成API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md) + - [鞋靴模特API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/shoe-model-api.md) - [人物实例分割API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-instance-segmentation-api-reference.md) - [图像擦除补全API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/image-erase-completion-api-reference.md) - - [AI试衣OutfitAnyone](raw/model-api-reference/image-generation/image-creative-tools-api-reference/outfitanyone.md) - [图像背景生成API参考](raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md) - [人物写真生成FaceChain](raw/model-api-reference/image-generation/image-creative-tools-api-reference/facechain-portrait-generation.md) + - [AI试衣OutfitAnyone](raw/model-api-reference/image-generation/image-creative-tools-api-reference/outfitanyone.md) - [创意文字WordArt锦书](raw/model-api-reference/image-generation/image-creative-tools-api-reference/wordart-quick-start.md) - [常见问题](raw/model-api-reference/image-generation/image-faq.md) -- **3D模型生成** - - [Tripo-3D模型生成](raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md) - **实时多模态** - [客户端事件](raw/model-api-reference/omni-realtime-api/client-events.md) - [Python SDK](raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md) - - [Java SDK](raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md) - [服务端事件](raw/model-api-reference/omni-realtime-api/server-events.md) + - [Java SDK](raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md) - [实时多模态交互流程](raw/model-api-reference/omni-realtime-api/omni-realtime-interaction-process.md) - [声音复刻API参考](raw/model-api-reference/omni-realtime-api/qwen-omni-voice-cloning.md) +- **3D模型生成** + - [Tripo-3D模型生成](raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md) - **更多模型** - - [通义法睿大语言模型](raw/model-api-reference/more-models/tongyi-farui-api.md) - [意图理解能力](raw/model-api-reference/more-models/intent-detect-capability.md) + - [通义法睿大语言模型](raw/model-api-reference/more-models/tongyi-farui-api.md) - [Qwen-Deep-Research API 参考](raw/model-api-reference/more-models/qwen-deep-research-api.md) - [Qwen-MT API参考](raw/model-api-reference/more-models/qwen-mt-api.md) - - [GUI-Plus API参考](raw/model-api-reference/more-models/gui-plus-interface-interaction-model.md) - [Qwen-OCR API参考](raw/model-api-reference/more-models/qwen-vl-ocr-api-reference.md) + - [GUI-Plus API参考](raw/model-api-reference/more-models/gui-plus-interface-interaction-model.md) - **工具包/框架** - - [OpenAI Chat接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md) - - [OpenAI Responses接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md) - [completions 接口](raw/model-api-reference/toolkits-and-frameworks/completions.md) + - [OpenAI Responses接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md) + - [OpenAI Chat接口兼容](raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md) - [OpenAI Vision接口兼容](raw/model-api-reference/toolkits-and-frameworks/qwen-vl-compatible-with-openai.md) - [OpenAI文件接口兼容](raw/model-api-reference/toolkits-and-frameworks/openai-file-interface.md) - - [OpenAI兼容-Batch Chat](raw/model-api-reference/toolkits-and-frameworks/openai-compatible-batch-chat.md) - - [OpenAI Embedding接口兼容](raw/model-api-reference/toolkits-and-frameworks/embedding-interfaces-compatible-with-openai.md) - [OpenAI兼容-Batch（文件输入）](raw/model-api-reference/toolkits-and-frameworks/batch-interfaces-compatible-with-openai.md) - [OpenAI Conversations接口兼容](raw/model-api-reference/toolkits-and-frameworks/openai-compatible-conversations.md) + - [OpenAI兼容-Batch Chat](raw/model-api-reference/toolkits-and-frameworks/openai-compatible-batch-chat.md) + - [OpenAI Embedding接口兼容](raw/model-api-reference/toolkits-and-frameworks/embedding-interfaces-compatible-with-openai.md) - [在LangChain中使用阿里云百炼](raw/model-api-reference/toolkits-and-frameworks/use-bailian-in-langchain.md) - **模型生产** - [模型调优](raw/model-api-reference/model-production/fine-tuning-jobs-api.md) @@ -1024,22 +1054,22 @@ - [生成临时API Key](raw/model-api-reference/more-about-models/generate-temporary-api-key.md) - [异步任务管理 API](raw/model-api-reference/more-about-models/manage-asynchronous-tasks.md) - [通过HTTP回调URL或MQ接收异步任务完成通知](raw/model-api-reference/more-about-models/async-task-api.md) - - [子业务空间的模型调用](raw/model-api-reference/more-about-models/model-calling-in-sub-workspace.md) - [DashScope SDK连接复用配置](raw/model-api-reference/more-about-models/connection-multiplexing-configuration.md) + - [子业务空间的模型调用](raw/model-api-reference/more-about-models/model-calling-in-sub-workspace.md) - [上传本地文件获取临时URL](raw/model-api-reference/more-about-models/get-temporary-file-url.md) - **视频生成** - **HappyHorse** - [HappyHorse-文生视频API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md) - - [HappyHorse-参考生视频API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md) - [HappyHorse-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md) + - [HappyHorse-参考生视频API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md) - [HappyHorse-视频编辑API参考](raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md) - **万相** - **万相-早期视频模型（2.1-2.6）** - [万相-图生视频-基于首帧API参考（2.1-2.6）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-api-reference.md) - [万相-文生视频API参考（2.1-2.6）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-text-to-video-api-reference.md) - [万相-参考生视频API参考（2.6）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-reference-to-video-api-reference.md) - - [万相-首尾帧生视频API参考（2.2）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md) - [万相-视频编辑API参考（2.1）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wanx-vace-api-reference.md) + - [万相-首尾帧生视频API参考（2.2）](raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md) - [万相2.7-图生视频API参考](raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md) - [万相2.7-文生视频API参考](raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md) - [万相2.7-参考生视频API参考](raw/model-api-reference/video-generation-api/wan-api-reference/wan-video-to-video-api-reference.md) @@ -1047,28 +1077,28 @@ - [万相-图生动作API参考](raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md) - [万相-数字人](raw/model-api-reference/video-generation-api/wan-api-reference/wan-s2v-overview.md) - [万相-视频换人API参考](raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-mix-api.md) + - **人像驱动** + - [图生唱演视频-悦动人像EMO](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emo-quick-start.md) + - [图生舞蹈视频-舞动人像AnimateAnyone](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/animateanyone-quick-start.md) + - [图生播报视频-灵动人像LivePortrait](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/liveportrait-quick-start.md) + - [视频口型替换-声动人像VideoRetalk](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/videoretalk.md) + - [图生表情包视频-表情包Emoji](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emoji-quick-start.md) + - [视频风格重绘API参考](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/video-style-transform-api-reference.md) - **爱诗** - [爱诗-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-image-to-video-api-reference.md) - [爱诗-文生视频API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-text-to-video-api-reference.md) - - [爱诗-图生视频-基于首尾帧API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-keyframe-to-video-api-reference.md) - [爱诗-参考生视频API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-reference-to-video-api-reference.md) - - [爱诗-视频超清API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-upscale-api-reference.md) - [爱诗-视频对口型API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-lipsync-api-reference.md) + - [爱诗-图生视频-基于首尾帧API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-keyframe-to-video-api-reference.md) - [爱诗-视频动作模仿API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-motioncontrol-api-reference.md) - - **人像驱动** - - [图生舞蹈视频-舞动人像AnimateAnyone](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/animateanyone-quick-start.md) - - [图生唱演视频-悦动人像EMO](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emo-quick-start.md) - - [图生播报视频-灵动人像LivePortrait](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/liveportrait-quick-start.md) - - [图生表情包视频-表情包Emoji](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/emoji-quick-start.md) - - [视频口型替换-声动人像VideoRetalk](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/videoretalk.md) - - [视频风格重绘API参考](raw/model-api-reference/video-generation-api/portrait-animation-api-reference/video-style-transform-api-reference.md) + - [爱诗-视频超清API参考](raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-upscale-api-reference.md) + - **可灵** + - [可灵-视频生成API文档](raw/model-api-reference/video-generation-api/kling-api-reference/kling-video-generation-api-reference.md) - **Vidu** - [Vidu-文生视频API参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-text-to-video-api-reference.md) - [Vidu-图生视频-基于首帧API参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-image-to-video-api-reference.md) - [Vidu-图生视频-基于首尾帧API参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-keyframe-to-video-api-reference.md) - [Vidu-参考生视频 API 参考](raw/model-api-reference/video-generation-api/vidu-api-reference/vidu-reference-to-video-api-reference.md) - - **可灵** - - [可灵-视频生成API文档](raw/model-api-reference/video-generation-api/kling-api-reference/kling-video-generation-api-reference.md) - **音频** - **语音识别** - **实时语音识别（Fun-ASR）** @@ -1082,67 +1112,69 @@ - **实时语音识别（Qwen-ASR-Realtime）** - [Qwen-ASR实时语音识别WebSocket API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-interaction-process.md) - [实时语音识别（Qwen-ASR-Realtime）客户端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-client-events.md) - - [实时语音识别（Qwen-ASR-Realtime）服务端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-server-events.md) - [实时语音识别（Qwen-ASR-Realtime）Python SDK-API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-python-sdk.md) + - [实时语音识别（Qwen-ASR-Realtime）服务端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-server-events.md) - [实时语音识别（Qwen-ASR-Realtime）Java SDK-API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-java-sdk.md) + - **非实时语音识别（Fun-ASR）** + - [Fun-ASR非实时语音识别HTTP API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md) + - [Fun-ASR非实时语音识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md) + - [Fun-ASR非实时语音识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md) + - [Fun-ASR非实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md) + - [Fun-ASR非实时语音识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md) - **实时语音识别（Paraformer）** - [Paraformer实时语音识别WebSocket API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/websocket-for-paraformer-real-time-service.md) - - [实时语音识别（Paraformer）客户端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-client-events.md) - [实时语音识别（Paraformer）服务端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-server-events.md) + - [实时语音识别（Paraformer）客户端事件](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-client-events.md) - [Paraformer实时语音识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md) - - [Paraformer实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/android-sdk-for-paraformer-real-time-service.md) - [Paraformer实时语音识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md) + - [Paraformer实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/android-sdk-for-paraformer-real-time-service.md) - [Paraformer实时语音识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/ios-sdk-for-paraformer-real-time-service.md) - - **录音文件识别（Fun-ASR）** - - [Fun-ASR录音文件识别HTTP API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md) - - [Fun-ASR录音文件识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md) - - [Fun-ASR录音文件识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md) - - [Fun-ASR录音文件识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md) - - [Fun-ASR录音文件识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md) - - **录音文件识别（Paraformer）** - - [Paraformer录音文件识别RESTful API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-restful-api.md) - - [Paraformer录音文件识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md) - - [Paraformer录音文件识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-python-sdk.md) - - [Paraformer录音文件识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-android-sdk.md) - - [Paraformer录音文件识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-ios-sdk.md) + - **非实时语音识别（Paraformer）** + - [Paraformer非实时语音识别HTTP API](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-restful-api.md) + - [Paraformer非实时语音识别Python SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-python-sdk.md) + - [Paraformer非实时语音识别Android SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-android-sdk.md) + - [Paraformer非实时语音识别Java SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md) - [最佳实践](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-best-practices.md) + - [Paraformer非实时语音识别iOS SDK](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-ios-sdk.md) - **定制热词** - - [定制热词Python SDK参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-python-sdk.md) - [定制热词HTTP API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-http-api.md) + - [定制热词Python SDK参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-python-sdk.md) - [定制热词Java SDK参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/custom-hot-words/vocabulary-java-sdk.md) - - [录音文件识别（Qwen-ASR）API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md) + - [非实时语音识别（Fun-ASR-Realtime）API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-realtime.md) + - [非实时语音识别（Fun-ASR-Flash）API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-flash.md) + - [非实时语音识别（Qwen-ASR）API参考](raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md) - **语音合成** + - **实时语音合成（Qwen-TTS-Realtime）** + - [Qwen-TTS-Realtime WebSocket API 参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/interactive-process-of-qwen-tts-realtime-synthesis.md) + - [客户端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-client-events.md) + - [服务端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-server-events.md) + - [Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-python-sdk.md) + - [Java SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-java-sdk.md) - **实时语音合成（Qwen-Audio-TTS/CosyVoice）** - [Qwen-Audio-TTS/CosyVoice WebSocket API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md) - - [Qwen-Audio-TTS/CosyVoice客户端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md) - [Qwen-Audio-TTS/CosyVoice服务端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-server-events.md) + - [Qwen-Audio-TTS/CosyVoice客户端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md) - [实时语音合成Qwen-Audio-TTS/CosyVoice Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md) - [实时语音合成Qwen-Audio-TTS/CosyVoice Java SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md) - [语音合成Qwen-Audio-TTS/CosyVoice Android SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md) - [语音合成Qwen-Audio-TTS/CosyVoice iOS SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md) - - **实时语音合成（Qwen-TTS-Realtime）** - - [Qwen-TTS-Realtime WebSocket API 参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/interactive-process-of-qwen-tts-realtime-synthesis.md) - - [客户端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-client-events.md) - - [服务端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-server-events.md) - - [Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-python-sdk.md) - - [Java SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-realtime-api-reference/qwen-tts-realtime-java-sdk.md) - **实时语音合成（Sambert）** - [Sambert WebSocket API 参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-websocket-api.md) - [Sambert客户端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-client-events.md) - [Sambert服务端事件](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-server-events.md) + - [语音合成Sambert Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-python-sdk.md) - [语音合成Sambert Java SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-java-sdk.md) - [语音合成Sambert Android SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-android-sdk.md) - - [语音合成Sambert Python SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-python-sdk.md) - [语音合成Sambert iOS SDK](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sambert-speech-synthesis/sambert-ios-sdk.md) - - **非实时语音合成（MiniMax）** - - [MiniMax同步语音合成API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/minimax-speech-synthesis/minimax-synchronous-speech-synthesis-api.md) - **非实时语音合成（Qwen-Audio-TTS/CosyVoice）** - - [非实时语音合成Qwen-Audio-TTS/CosyVoice Python SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md) - [非实时语音合成Qwen-Audio-TTS/CosyVoice HTTP API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md) + - [非实时语音合成Qwen-Audio-TTS/CosyVoice Python SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md) - [非实时语音合成Qwen-Audio-TTS/CosyVoice Java SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md) + - **非实时语音合成（MiniMax）** + - [MiniMax同步语音合成API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/minimax-speech-synthesis/minimax-synchronous-speech-synthesis-api.md) - **声音复刻** - - [声音复刻HTTP API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md) - [声音复刻Java SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md) + - [声音复刻HTTP API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md) - [声音复刻Python SDK参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md) - [非实时语音合成（Qwen-TTS）API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/qwen-tts-api.md) - [声音设计API参考](raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/voice-design-api-references.md) @@ -1151,23 +1183,23 @@ - **语音翻译** - **实时音视频翻译（Qwen-Livetranslate-Realtime）** - [客户端事件](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/live-translator-client-events.md) - - [服务端事件](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/live-translator-server-events.md) - [实时音视频翻译（Qwen-LiveTranslate）Python SDK-API参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/qwen-livetranslate-python-sdk.md) + - [服务端事件](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/live-translator-server-events.md) - [实时音视频翻译（Qwen-LiveTranslate）Java SDK-API参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/live-translator-api/qwen-livetranslate-java-sdk.md) - [音视频翻译-通义千问 API 参考](raw/model-api-reference/audio-api-references/speech-translation-api-reference/qwen3-livetranslate-flash-api.md) - **语音对话** - **实时语音对话** + - [Qwen-Audio 实时语音对话WebSocket API参考](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/fun-audiochat-realtime-websocket-api.md) - [Qwen-Audio 实时语音对话客户端事件](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/fun-audiochat-client-events.md) - - [Qwen-Audio 实时语音对话WebSocket API参考](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/qwen-audio-realtime-websocket-api.md) - [Qwen-Audio 实时语音对话服务端事件](raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/qwen-audio-realtime-server-events.md) - **向量与排序** - **通用文本向量** - [同步接口API详情](raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-synchronous-api.md) - [批处理接口API详情](raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md) - - **排序模型（Rerank）** - - [文本排序](raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md) - **多模态向量** - [Multimodal-Embedding API详情](raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md) + - **排序模型（Rerank）** + - [文本排序](raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md) - [文本生成模型API参考](raw/model-api-reference/qwen-api-reference.md) - [文件管理](raw/model-api-reference/file-management-api.md) @@ -1181,51 +1213,61 @@ - [Session and Event](raw/application-api-reference/managed-agents-api/session-api.md) - [File](raw/application-api-reference/managed-agents-api/files-api.md) - [Skill](raw/application-api-reference/managed-agents-api/skills-api.md) +- **应用调用** + - **DashScope API** + - [新版智能体应用 API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/new-agent-application-api-reference.md) + - [应用 DashScope API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/agent-and-workflow-application-api-reference.md) + - **Responses API** + - [异步调用API参考](raw/application-api-reference/application-call/openai-responses-api/asynchronous-call-api-reference.md) + - [同步调用 API 参考](raw/application-api-reference/application-call/openai-responses-api/synchronous-call-api-reference.md) + - [获取APP ID和Workspace ID](raw/application-api-reference/application-call/obtain-the-app-id-and-workspace-id.md) +- **长期记忆** + - [长期记忆（新）API 参考](raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md) - **应用组件** - **API目录** + - **知识库** + - [CreateIndex - 创建知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md) + - [GetIndexJobStatus - 查询知识库创建任务状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-getindexjobstatus.md) + - [SubmitIndexJob - 提交知识库创建任务](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-submitindexjob.md) + - [Retrieve - 检索知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-retrieve.md) + - [SubmitIndexAddDocumentsJob - 提交知识库追加任务](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-submitindexadddocumentsjob.md) + - [ListIndexDocuments - 查询知识库下的文件列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindexdocuments.md) + - [ListIndexFileDetails - 查询知识库下的文件详情](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindexfiledetails.md) + - [UpdateIndex - 更新知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-updateindex.md) + - [ListIndices - 查询知识库列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindices.md) + - [DeleteIndexDocument - 删除知识库下的文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindexdocument.md) + - [DeleteIndex - 删除知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindex.md) + - [ListChunks - 查询索引下的分片列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listchunks.md) + - [UpdateChunk - 修改切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-updatechunk.md) + - [DeleteChunk - 删除切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deletechunk.md) + - [GetIndexMonitor - 获取知识库监控数据](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-getindexmonitor.md) - **数据连接（原应用数据）** - [AddCategory - 新增类目](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addcategory.md) - [ListCategory - 类目列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-listcategory.md) - [DeleteCategory - 删除类目](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-deletecategory.md) - - [ApplyFileUploadLease - 申请文件上传租约](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-applyfileuploadlease.md) - [AddFile - 添加文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addfile.md) + - [ApplyFileUploadLease - 申请文件上传租约](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-applyfileuploadlease.md) - [AddFilesFromAuthorizedOss - 从已授权OSS Bucket中导入文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addfilesfromauthorizedoss.md) - - [DescribeFile - 查询文件状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-describefile.md) - [ListFile - 文件列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-listfile.md) - [UpdateFileTag - 更新文件标签](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-updatefiletag.md) - - [BatchUpdateFileTag - 批量更新文档标签](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-batchupdatefiletag.md) + - [DescribeFile - 查询文件状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-describefile.md) - [DeleteFile - 删除文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-deletefile.md) + - [BatchUpdateFileTag - 批量更新文档标签](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-batchupdatefiletag.md) - [DeleteFiles - 批量删除文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-deletefiles.md) - - [GetAvailableParserTypes - 获取文件支持的解析器类型](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getavailableparsertypes.md) - [GetParseSettings - 获取类目解析设置](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getparsesettings.md) + - [GetAvailableParserTypes - 获取文件支持的解析器类型](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getavailableparsertypes.md) - [ChangeParseSetting - 修改类目解析设置](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-changeparsesetting.md) - [AddTable - 添加表格](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addtable.md) - [UpdateTableFromAuthorizedOss - 从已授权OSS Bucket中选择文件更新表格](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-updatetablefromauthorizedoss.md) - - [AddConnector - 新增连接器](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addconnector.md) - [GetConnector - 获取连接器信息](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-getconnector.md) + - [AddConnector - 新增连接器](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-addconnector.md) - [UpdateConnector - 编辑连接器](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-updateconnector.md) - - **知识库** - - [CreateIndex - 创建知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md) - - [GetIndexJobStatus - 查询知识库创建任务状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-getindexjobstatus.md) - - [SubmitIndexAddDocumentsJob - 提交知识库追加任务](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-submitindexadddocumentsjob.md) - - [SubmitIndexJob - 提交知识库创建任务](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-submitindexjob.md) - - [Retrieve - 检索知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-retrieve.md) - - [DeleteIndexDocument - 删除知识库下的文件](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindexdocument.md) - - [ListIndexFileDetails - 查询知识库下的文件详情](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindexfiledetails.md) - - [ListIndexDocuments - 查询知识库下的文件列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindexdocuments.md) - - [UpdateIndex - 更新知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-updateindex.md) - - [ListIndices - 查询知识库列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listindices.md) - - [DeleteIndex - 删除知识库](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deleteindex.md) - - [UpdateChunk - 修改切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-updatechunk.md) - - [ListChunks - 查询索引下的分片列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-listchunks.md) - - [DeleteChunk - 删除切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-deletechunk.md) - - [GetIndexMonitor - 获取知识库监控数据](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-getindexmonitor.md) - **Prompt工程** - [CreatePromptTemplate - 创建Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-createprompttemplate.md) - [GetPromptTemplate - 获取Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-getprompttemplate.md) - - [UpdatePromptTemplate - 更新Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-updateprompttemplate.md) - - [ListPromptTemplates - 获取Prompt模板列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-listprompttemplates.md) - [DeletePromptTemplate - 删除Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-deleteprompttemplate.md) + - [ListPromptTemplates - 获取Prompt模板列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-listprompttemplates.md) + - [UpdatePromptTemplate - 更新Prompt模板](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-updateprompttemplate.md) - **其他** - **长期记忆（旧）** - [CreateMemory - 创建长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-creatememory.md) @@ -1233,33 +1275,24 @@ - [GetMemory - 获取长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-getmemory.md) - [DeleteMemory - 删除长期记忆体](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-deletememory.md) - [ListMemories - 获取长期记忆体列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-listmemories.md) + - [CreateMemoryNode - 创建记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-creatememorynode.md) - [UpdateMemoryNode - 更新记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-updatememorynode.md) - [GetMemoryNode - 获取记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-getmemorynode.md) - - [CreateMemoryNode - 创建记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-creatememorynode.md) - [DeleteMemoryNode - 删除记忆片段](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-deletememorynode.md) - [ListMemoryNodes - 获取记忆片段列表](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-listmemorynodes.md) - [GetAlipayTransferStatus - 查询支付宝打赏状态](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-getalipaytransferstatus.md) - [GetAlipayUrl - 获取支付宝打赏URL](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-getalipayurl.md) - [ApplyTempStorageLease - 申请临时文件上传许可](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-applytempstoragelease.md) + - [AddChunk - 新增切片](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md) - [API概览](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md) - [服务接入点](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-endpoint.md) - [授权信息](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md) - [版本说明](raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-changeset.md) -- **应用调用** - - **DashScope API** - - [新版智能体应用 API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/new-agent-application-api-reference.md) - - [应用 DashScope API 参考](raw/application-api-reference/application-call/application-dashscope-api-reference/agent-and-workflow-application-api-reference.md) - - **Responses API** - - [同步调用 API 参考](raw/application-api-reference/application-call/openai-responses-api/synchronous-call-api-reference.md) - - [异步调用API参考](raw/application-api-reference/application-call/openai-responses-api/asynchronous-call-api-reference.md) - - [获取APP ID和Workspace ID](raw/application-api-reference/application-call/obtain-the-app-id-and-workspace-id.md) - **框架** - **Spring AI Alibaba** - - [使用Spring AI Alibaba集成阿里云百炼大模型应用](raw/application-api-reference/frameworks/spring-ai-alibaba/spring-ai-alibaba-integrate-llm-application.md) - [通过Spring AI Alibaba检索阿里云百炼知识库](raw/application-api-reference/frameworks/spring-ai-alibaba/spring-ai-alibaba-integrate-knowledge-base.md) + - [使用Spring AI Alibaba集成阿里云百炼大模型应用](raw/application-api-reference/frameworks/spring-ai-alibaba/spring-ai-alibaba-integrate-llm-application.md) - [通过LlamaIndex API构建RAG应用](raw/application-api-reference/frameworks/llamaindex.md) -- **长期记忆** - - [长期记忆（新）API 参考](raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md) - **更多** - [服务关联角色](raw/application-api-reference/more/bailian-service-linked-role.md) - [生成临时API Key](raw/application-api-reference/more/application-obtain-temporary-authentication-token.md) diff --git a/skills/bailian-docs-llm-wiki/models/families.jsonl b/skills/bailian-docs-llm-wiki/models/families.jsonl index 8bcd4a65..80cb7134 100644 --- a/skills/bailian-docs-llm-wiki/models/families.jsonl +++ b/skills/bailian-docs-llm-wiki/models/families.jsonl @@ -34,7 +34,7 @@ {"slug":"image-erase-completion","name":"图像擦除补全","description":"图像擦除补全通过指定图像mask中要删除的人体、宠物、物品、文字、水印等图像区域，在保留背景的同时移除图像中的一个或多个人物、物体、文字等元素，此功能不支持输入prompt的消除。擦除补全技术结合了计算机视觉、AIGC inpainting等先进技术，可以在多种场景下应用，从而满足用户对隐私保护、内容创作和图像编辑等方面需求。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"image-erase-completion","name":"图像擦除补全","capabilities":["IG"]}],"detailPath":"groups/image-erase-completion.json"} {"slug":"image-instance-segmentation","name":"人物实例分割","description":"人物实例分割运用了检测和分割技术，不仅能够在图像中识别出不同的对象，而且还能准确地画出每一个对象边界的像素级掩码（mask）。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"image-instance-segmentation","name":"人物实例分割","capabilities":["IG"]}],"detailPath":"groups/image-instance-segmentation.json"} {"slug":"image-out-painting","name":"图像画面扩展","description":"图像画面大模型，对输入图像进行画面自由扩展，支持旋转画面，支持按照扩展系数和扩展像素数两种方式进行扩图。用户可以通过指定宽度、高度画面扩展比例或者左、右、上、下的扩展的像素值来控制画面扩展，可用于创意娱乐、辅助作图、画面设计、影视后期制作等场景。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"image-out-painting","name":"图像画面扩展","capabilities":["IG"]}],"detailPath":"groups/image-out-painting.json"} -{"slug":"kimi-models-market-place","name":"Kimi","description":"由月之暗面提供的Kimi系列模型的API服务。","primaryCapability":"TG","capabilities":["TG","Reasoning","VU"],"providers":["moonshot-ai"],"itemCount":4,"items":[{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","contextWindow":262144,"capabilities":["TG","VU","Reasoning"]},{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]}],"detailPath":"groups/kimi-models-market-place.json","maxContextWindow":262144} +{"slug":"kimi-models-market-place","name":"Kimi","description":"由月之暗面提供的Kimi系列模型的API服务。","primaryCapability":"TG","capabilities":["TG","VU","Reasoning"],"providers":["moonshot-ai"],"itemCount":5,"items":[{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","contextWindow":262144,"capabilities":["TG","VU","Reasoning"]},{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","contextWindow":262144,"capabilities":["TG","Reasoning","VU"]},{"model":"kimi/kimi-k3","name":"kimi/kimi-k3","contextWindow":1048576,"capabilities":["TG","VU","Reasoning"]}],"detailPath":"groups/kimi-models-market-place.json","maxContextWindow":1048576} {"slug":"kling-models-market-place","name":"可灵AI","description":"由可灵AI提供的高质量视频与图像生成及编辑模型。","primaryCapability":"VG","capabilities":["VG","IG"],"providers":["kling"],"itemCount":4,"items":[{"model":"kling/kling-v3-image-generation","name":"Kling Image 3.0","capabilities":["IG"]},{"model":"kling/kling-v3-omni-image-generation","name":"Kling Image 3.0 Omni","capabilities":["IG"]},{"model":"kling/kling-v3-omni-video-generation","name":"Kling Video 3.0 Omni","capabilities":["VG"]},{"model":"kling/kling-v3-video-generation","name":"Kling Video 3.0","capabilities":["VG"]}],"detailPath":"groups/kling-models-market-place.json"} {"slug":"liveportrait-detect","name":"灵动人像LivePortrait-detect","description":"LivePortrait-detect是辅助LivePortrait的图像检测模型，用于检测图片中的人物形象是否符合视频生成要求。","primaryCapability":"VG","capabilities":["VG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"liveportrait-detect","name":"灵动人像LivePortrait-detect","capabilities":["VG"]}],"detailPath":"groups/liveportrait-detect.json"} {"slug":"liveportrait","name":"灵动人像LivePortrait","description":"LivePortrait是一款视频生成模型，可基于人物图片生成轻量化的人物肖像动态视频。","primaryCapability":"VG","capabilities":["VG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"liveportrait","name":"灵动人像LivePortrait","capabilities":["VG"]}],"detailPath":"groups/liveportrait.json"} @@ -54,18 +54,19 @@ {"slug":"pixverse-v6-market-place","name":"PixVerse V6","description":"由爱诗科技提供的PixVerse V系列视频大模型API服务。","primaryCapability":"VG","capabilities":["VG"],"providers":["pixverse"],"itemCount":4,"items":[{"model":"pixverse/pixverse-v6-it2v","name":"PixVerse-V6-it2v","capabilities":["VG"]},{"model":"pixverse/pixverse-v6-kf2v","name":"PixVerse-V6-kf2v","capabilities":["VG"]},{"model":"pixverse/pixverse-v6-r2v","name":"PixVerse-V6-r2v","capabilities":["VG"]},{"model":"pixverse/pixverse-v6-t2v","name":"PixVerse-V6-t2v","capabilities":["VG"]}],"detailPath":"groups/pixverse-v6-market-place.json"} {"slug":"qvq-max","name":"QVQ-Max","description":"千问QVQ视觉推理模型，支持视觉输入及思维链输出，在数学、编程、视觉分析、创作以及通用任务上都表现了更强的能力。","primaryCapability":"Reasoning","capabilities":["Reasoning","VU"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qvq-max","name":"QVQ-Max","contextWindow":131072,"capabilities":["Reasoning","VU"]}],"detailPath":"groups/qvq-max.json","maxContextWindow":131072} {"slug":"qvq-plus","name":"Qwen-QVQ-Plus","description":"千问QVQ视觉推理模型增强版，支持视觉输入及思维链输出，在数学、编程、视觉分析、创作以及通用任务上都表现了更强的能力。","primaryCapability":"Reasoning","capabilities":["Reasoning","VU"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qvq-plus","name":"QVQ-Plus","contextWindow":131072,"capabilities":["Reasoning","VU"]}],"detailPath":"groups/qvq-plus.json","maxContextWindow":131072} -{"slug":"qwen-audio-realtime-flash","name":"Qwen-Audio-Realtime-Flash","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Flash版更注重极致的响应速度","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","contextWindow":8192,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-flash.json","maxContextWindow":8192} -{"slug":"qwen-audio-realtime-plus","name":"Qwen-Audio-Realtime-Plus","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Plus版本更注重高质量的回复结果。","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","contextWindow":8192,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-plus.json","maxContextWindow":8192} +{"slug":"qwen-audio-realtime-flash","name":"Qwen-Audio-Realtime-Flash","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Flash版更注重极致的响应速度","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","contextWindow":40960,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-flash.json","maxContextWindow":40960} +{"slug":"qwen-audio-realtime-plus","name":"Qwen-Audio-Realtime-Plus","description":"Qwen-Audio-Realtime 是一款登顶全球权威评测的下一代实时双工语音大模型，模型兼顾了模型智商与双工对话节奏,在保持流畅、自然的实时交互体验的同时,语音推理能力不打折扣;并通过并行推理和全向流式等工程优化,将端到端响应时延控制在低水平,实现\"又快又聪明\"的对话体验。Plus版本更注重高质量的回复结果。","primaryCapability":"Realtime-Chatting","capabilities":["Realtime-Chatting"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","contextWindow":40960,"capabilities":["Realtime-Chatting"]}],"detailPath":"groups/qwen-audio-realtime-plus.json","maxContextWindow":40960} {"slug":"qwen-audio-tts","name":"Qwen-Audio-TTS","description":"Qwen-Audio-TTS是一款面向实时交互场景和高质量语音生成场景的语音合成大模型。模型支持多种小语种和中文方言，并具有Free-style 指令遵循能力、Context能力和细粒度标签控制能力，可更灵活地控制情绪、语气、角色、语速、音量等表达方式。","primaryCapability":"Realtime-Text-to-Speech","capabilities":["Realtime-Text-to-Speech"],"providers":["qwen"],"itemCount":2,"items":[{"model":"qwen-audio-3.0-tts-flash","name":"qwen-audio-3.0-tts-flash","capabilities":["Realtime-Text-to-Speech"]},{"model":"qwen-audio-3.0-tts-plus","name":"qwen-audio-3.0-tts-plus","capabilities":["Realtime-Text-to-Speech"]}],"detailPath":"groups/qwen-audio-tts.json"} {"slug":"qwen-coder-plus","name":"Qwen-Coder-Plus","description":"千问系列代码及编程模型是专门用于编程和代码生成的语言模型，性能出色，效果突出。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-coder-plus","name":"Qwen-Coder-Plus","contextWindow":131072,"capabilities":["TG"]}],"detailPath":"groups/qwen-coder-plus.json","maxContextWindow":131072} {"slug":"qwen-coder-turbo","name":"Qwen-Coder-Turbo","description":"Qwen-Coder-Turbo模型是专门用于编程和代码生成的语言模型，推理速度快，成本低。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-coder-turbo","name":"Qwen-Coder-Turbo","contextWindow":131072,"capabilities":["TG"]}],"detailPath":"groups/qwen-coder-turbo.json","maxContextWindow":131072} {"slug":"qwen-deep-research","name":"qwen-deep-research","description":"千问深入研究是一款面向复杂研究任务的高级智能体系统，具备多轮推理与全局规划能力，能够运用互联网搜索等多种工具，对任务进行精细化拆解，开展推理与分析，最终为用户生成可溯源、逻辑严谨的研究型报告。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-deep-research","name":"qwen-deep-research","contextWindow":1000000,"capabilities":["TG"]}],"detailPath":"groups/qwen-deep-research.json","maxContextWindow":1000000} {"slug":"qwen-doc-turbo","name":"Qwen-Doc-Turbo","description":"快速对文档进行精准信息抽取，打标分类，内容审核及摘要总结。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen-domain-model"],"itemCount":1,"items":[{"model":"qwen-doc-turbo","name":"Qwen-Doc-Turbo","contextWindow":262144,"capabilities":["TG"]}],"detailPath":"groups/qwen-doc-turbo.json","maxContextWindow":262144} -{"slug":"qwen-embedding","name":"Qwen-Embedding","description":"基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度。","primaryCapability":"TR","capabilities":["TR"],"providers":["qwen-domain-model"],"itemCount":6,"items":[{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","capabilities":["TR"]},{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","capabilities":["TR"]},{"model":"text-embedding-v1","name":"通用文本向量-v1","capabilities":["TR"]},{"model":"text-embedding-v2","name":"通用文本向量-v2","capabilities":["TR"]},{"model":"text-embedding-v3","name":"通用文本向量-v3","capabilities":["TR"]},{"model":"text-embedding-v4","name":"通用文本向量-v4","capabilities":["TR"]}],"detailPath":"groups/qwen-embedding.json"} +{"slug":"qwen-embedding","name":"Qwen-Embedding","description":"基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度。","primaryCapability":"TR","capabilities":["TR"],"providers":["qwen","qwen-domain-model"],"itemCount":7,"items":[{"model":"qwen3.7-text-embedding","name":"Qwen3.7-Text-Embedding","contextWindow":131072,"capabilities":["TR"]},{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","capabilities":["TR"]},{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","capabilities":["TR"]},{"model":"text-embedding-v1","name":"通用文本向量-v1","capabilities":["TR"]},{"model":"text-embedding-v2","name":"通用文本向量-v2","capabilities":["TR"]},{"model":"text-embedding-v3","name":"通用文本向量-v3","capabilities":["TR"]},{"model":"text-embedding-v4","name":"通用文本向量-v4","capabilities":["TR"]}],"detailPath":"groups/qwen-embedding.json","maxContextWindow":131072} {"slug":"qwen-flash-character","name":"Qwen-Flash-Character","description":"千问系列多语言角色扮演模型，本模型是动态更新版本，模型更新会提前通知，适合拟人化的角色扮演，同时优化了限定人设指令遵循、话题推进、倾听共情等能力，支持个性化角色的深度还原。","primaryCapability":"TG","capabilities":["TG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-flash-character","name":"Qwen-Flash-Character","contextWindow":8192,"capabilities":["TG"]}],"detailPath":"groups/qwen-flash-character.json","maxContextWindow":8192} {"slug":"qwen-flash","name":"Qwen-Flash","description":"Qwen3系列Flash模型，实现思考模式和非思考模式的有效融合，可在对话中切换模式。复杂推理类任务性能优秀，指令遵循、文本理解等能力显著提高。支持1M上下文长度，按照上下文长度进行阶梯计费。","primaryCapability":"Reasoning","capabilities":["Reasoning","TG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-flash","name":"Qwen-Flash","contextWindow":1000000,"capabilities":["Reasoning","TG"]}],"detailPath":"groups/qwen-flash.json","maxContextWindow":1000000} {"slug":"qwen-image-2.0-pro","name":"Qwen-Image-2.0-Pro","description":"Qwen-Image-2.0系列满血版模型，实现了图片生成和图片编辑的融合；具备更专业的文字渲染1k token指令支持能力、更细腻的真实质感，细腻刻画写实场景、更强的语义遵循能力。满血版具备2.0系列最强的文字渲染能力和真实质感。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-image-2.0-pro","name":"Qwen-Image-2.0-Pro","capabilities":["IG"]}],"detailPath":"groups/qwen-image-2.0-pro.json"} {"slug":"qwen-image-2.0","name":"Qwen-Image-2.0","description":"Qwen-Image-2.0系列加速版模型，实现了图片生成和图片编辑的融合；具备更专业的文字渲染1k token指令支持能力、更细腻的真实质感，细腻刻画写实场景、更强的语义遵循能力。加速版有效实现了模型效果和性能的最佳平衡。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-image-2.0","name":"Qwen-Image-2.0","capabilities":["IG"]}],"detailPath":"groups/qwen-image-2.0.json"} +{"slug":"qwen-image-3.0-pro","name":"Qwen-Image-3.0-Pro","description":"内容丰实：支持最大 4.5k token 输入，支持图中图密集信息排版，让报纸、分镜、菜单、试卷等复杂版面一次生成。\n细节真实：支持 10px 小字精准渲染，微表情、毛孔、发丝等细节生动还原，逼近真实摄影的质感。\n知识厚实：支持 12 国语言、20+ 字体原生渲染，主流网页、游戏、直播等界面仿真，外部知识全纳入。\nQwen-Image-3.0-Pro 不只是在追求\"好看\"，更在追求**“好用”**——让图像生成真正成为可落地的生产力工具。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-image-3.0-pro","name":"Qwen-Image-3.0-Pro","capabilities":["IG"]}],"detailPath":"groups/qwen-image-3.0-pro.json"} {"slug":"qwen-image-edit-max","name":"Qwen-Image-Edit-Max","description":"千问图像编辑模型Max系列，提供更稳定、更丰富的编辑能力：提升工业设计与几何推理能力；提升角色一致性；减轻偏移问题；集成Lora能力，可以进行更多功能的图像编辑。此版本为2026年1月16日快照。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-image-edit-max","name":"Qwen-Image-Edit-Max","capabilities":["IG"]}],"detailPath":"groups/qwen-image-edit-max.json"} {"slug":"qwen-image-edit","name":"Qwen-Image-Edit-Plus","description":"千问系列图像编辑Plus模型，在首版Edit模型基础上进一步优化了推理性能与系统稳定性，大幅缩短图像生成与编辑的响应时间；支持单次请求返回多张图片，显著提升用户体验。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":2,"items":[{"model":"qwen-image-edit","name":"Qwen-Image-Edit","capabilities":["IG"]},{"model":"qwen-image-edit-plus","name":"Qwen-Image-Edit-Plus","capabilities":["IG"]}],"detailPath":"groups/qwen-image-edit.json"} {"slug":"qwen-image-max","name":"Qwen-Image-Max","description":"千问图像生成模型Max系列，在各类生成任务中表现出色，相较Plus系列大幅度降低生成图片的AI感，提升图像真实性；具备更真实的人物质感、更细腻的自然纹理、更美观的文字渲染。","primaryCapability":"IG","capabilities":["IG"],"providers":["qwen"],"itemCount":1,"items":[{"model":"qwen-image-max","name":"Qwen-Image-Max","capabilities":["IG"]}],"detailPath":"groups/qwen-image-max.json"} diff --git a/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json b/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json index 1646ab45..9523e538 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json +++ b/skills/bailian-docs-llm-wiki/models/groups/kimi-models-market-place.json @@ -2,6 +2,117 @@ "name": "Kimi", "description": "由月之暗面提供的Kimi系列模型的API服务。", "items": [ + { + "inferenceMetadata": { + "response_modality": [ + "Text" + ], + "request_modality": [ + "Text", + "Image", + "Video" + ] + }, + "description": "Kimi K3 是 Kimi 迄今能力最强的旗舰模型，拥有 2.8 万亿参数，基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。它是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。", + "features": [ + "function-calling", + "structured-outputs", + "cache", + "prefix-completion" + ], + "provider": "moonshot-ai", + "model": "kimi/kimi-k3", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "20", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "100", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "2", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], + "qpmInfo": { + "model-default-actual": { + "count_limit_period": 60, + "usage_limit": 3000000, + "usage_limit_field": "total_tokens", + "count_limit": 500, + "usage_limit_period": 60, + "type": "model-default" + }, + "model-default": { + "count_limit_period": 60, + "usage_limit": 3000000, + "usage_limit_field": "total_tokens", + "count_limit": 500, + "usage_limit_period": 60, + "type": "model-default" + } + }, + "capabilities": [ + "TG", + "VU", + "Reasoning" + ], + "modelAlias": "", + "versionTag": "MAJOR", + "maxOutputTokens": 1048576, + "latestOnlineAt": "2026-07-17T08:23:12.000+00:00", + "contextWindow": 1048576, + "maxInputTokens": 1048576, + "inferenceProvider": "moonshot-ai", + "name": "kimi/kimi-k3", + "docUrl": "https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620", + "category": "Third-party", + "predictConfig": [ + { + "name": "system", + "key": "systemMessage", + "tip": "系统人设，例如“你是一个AI助手”。" + }, + { + "name": "top_p", + "key": "top_p", + "default": 0.8, + "tip": "控制核采样方法的概率阈值，取值越大，生成的随机性越高。", + "range": [ + 0.0001, + 1 + ] + }, + { + "name": "temperature", + "key": "temperature", + "default": 0.7, + "tip": "控制生成随机性和多样性，数值越高多样性越强，数值越低一致性越强，范围(0,2)。建议该参数和top_p只设置1个。", + "range": [ + 0, + 1.9999 + ] + } + ], + "samples": { + "openai": { + "completionsAPI": { + "curl": "curl --location 'https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n \"model\": \"kimi/kimi-k3\",\n \"messages\": [\n {\n \"role\": \"user\",\n \"content\": [\n {\"type\": \"image_url\", \"image_url\": {\"url\": \"https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241108/ctdzex/biaozhun.jpg\"}},\n {\"type\": \"text\", \"text\": \"请仅输出图像中的文本内容。\"}\n ]\n }]\n}'", + "python": "import os\nfrom openai import OpenAI\n\nclient = OpenAI(\n api_key=os.getenv(\"DASHSCOPE_API_KEY\"),\n base_url=\"https://dashscope.aliyuncs.com/compatible-mode/v1\",\n)\n\ncompletion = client.chat.completions.create(\n model=\"kimi/kimi-k3\",\n messages=[\n {\n \"role\": \"user\",\n \"content\": [\n {\n \"type\": \"image_url\",\n \"image_url\": {\n \"url\": \"https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241108/ctdzex/biaozhun.jpg\"\n },\n },\n {\"type\": \"text\", \"text\": \"请仅输出图像中的文本内容。\"},\n ],\n },\n ],\n)\nprint(completion.choices[0].message.content)", + "nodejs": "import OpenAI from \"openai\";\n\nconst openai = new OpenAI({\n // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey: \"sk-xxx\"\n apiKey: process.env.DASHSCOPE_API_KEY,\n baseURL: \"https://dashscope.aliyuncs.com/compatible-mode/v1\"\n});\n\nasync function main() {\n const response = await openai.chat.completions.create({\n model: \"kimi/kimi-k3\",\n messages: [\n {\n role: \"user\",\n content: [{\n type: \"image_url\",\n image_url: {\n \"url\": \"https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241108/ctdzex/biaozhun.jpg\"\n }\n },\n {\n type: \"text\",\n text: \"请仅输出图像中的文本内容。\"\n }\n ]\n }\n ]\n });\n console.log(response.choices[0].message.content);\n}\nmain()", + "docUrl": "https://help.aliyun.com/document_detail/3021620.html" + } + } + } + }, { "inferenceMetadata": { "response_modality": [ @@ -21,10 +132,27 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.7-code-highspeed", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "13", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "54", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "2.6", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 60, @@ -114,10 +242,27 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.7-code", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "6.5", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "27", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "1.3", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 60, @@ -207,10 +352,27 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.6", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "6.5", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "27", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "1.1", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 6, @@ -287,11 +449,28 @@ "cache" ], "provider": "moonshot-ai", - "limit": { - "message": "model not exist" - }, "model": "kimi/kimi-k2.5", "iconUrl": "https://img.alicdn.com/imgextra/i4/O1CN01KzHLBW1LISVEUaotl_!!6000000001276-2-tps-56-56.png", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "4", + "type": "input_token", + "priceName": "输入" + }, + { + "priceUnit": "每百万tokens", + "price": "21", + "type": "output_token", + "priceName": "输出" + }, + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "input_token_cache", + "priceName": "输入（缓存命中）" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 6, diff --git a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json index 52c4ecf2..f7459176 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json +++ b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-flash.json @@ -68,10 +68,10 @@ ], "modelAlias": "", "versionTag": "MAJOR", - "maxOutputTokens": 4096, - "latestOnlineAt": "2026-07-14T06:59:47.013+00:00", - "contextWindow": 8192, - "maxInputTokens": 4096, + "maxOutputTokens": 8192, + "latestOnlineAt": "2026-07-14T06:59:47.000+00:00", + "contextWindow": 40960, + "maxInputTokens": 16384, "inferenceProvider": "aliyun-bailian", "name": "千问实时语音对话大模型3.0（极速版）", "docUrl": "https://help.aliyun.com/document_detail/3041584.html", diff --git a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json index e02c2e41..e0e67a7c 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json +++ b/skills/bailian-docs-llm-wiki/models/groups/qwen-audio-realtime-plus.json @@ -68,10 +68,10 @@ ], "modelAlias": "", "versionTag": "MAJOR", - "maxOutputTokens": 4096, - "latestOnlineAt": "2026-07-14T06:59:43.526+00:00", - "contextWindow": 8192, - "maxInputTokens": 4096, + "maxOutputTokens": 8192, + "latestOnlineAt": "2026-07-14T06:59:43.000+00:00", + "contextWindow": 40960, + "maxInputTokens": 16384, "inferenceProvider": "aliyun-bailian", "name": "千问实时语音大模型 （标准版）", "docUrl": "https://help.aliyun.com/document_detail/3041584.html", diff --git a/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json b/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json index f4d5508c..0d655f22 100644 --- a/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json +++ b/skills/bailian-docs-llm-wiki/models/groups/qwen-embedding.json @@ -2,6 +2,75 @@ "name": "Qwen-Embedding", "description": "基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度。", "items": [ + { + "inferenceMetadata": { + "response_modality": [ + "Text" + ], + "request_modality": [ + "Text" + ] + }, + "description": "是通义实验室基于Qwen3.7训练的多语言文本统一向量模型，相较text-embedding-v4版本在文本检索、聚类、分类性能大幅提升；在MTEB多语言、中英、Code检索等评测任务上效果提升20%；支持256~2560维用户自定义向量维度。", + "collectionTag": "qwen3.7", + "features": [ + "model-experience" + ], + "provider": "qwen", + "model": "qwen3.7-text-embedding", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.5", + "type": "embedding_token", + "priceName": "文本输入" + } + ], + "qpmInfo": { + "model-default-actual": { + "count_limit_period": 6, + "usage_limit": 100000, + "usage_limit_field": "total_tokens", + "count_limit": 2400, + "usage_limit_period": 6, + "type": "model-default" + }, + "model-default": { + "count_limit_period": 6, + "usage_limit": 100000, + "usage_limit_field": "total_tokens", + "count_limit": 2400, + "usage_limit_period": 6, + "type": "model-default" + } + }, + "capabilities": [ + "TR" + ], + "modelAlias": "", + "versionTag": "MAJOR", + "latestOnlineAt": "2026-07-15T02:24:33.000+00:00", + "contextWindow": 131072, + "maxInputTokens": 131072, + "inferenceProvider": "aliyun-bailian", + "name": "Qwen3.7-Text-Embedding", + "docUrl": "https://help.aliyun.com/document_detail/2842587.html", + "category": "Embeddings", + "predictConfig": [ + { + "name": "topK" + } + ], + "samples": { + "dashscope": { + "default": { + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"qwen3.7-text-embedding\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"qwen3.7-text-embedding\",\ninput=input_texts\n)\nprint(resp)", + "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"qwen3.7-text-embedding\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" + } + } + } + }, { "inferenceMetadata": { "response_modality": [ @@ -16,10 +85,21 @@ "model-experience" ], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v4", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.25", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.5", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -44,7 +124,7 @@ "versionTag": "MAJOR", "latestOnlineAt": "2025-06-05T03:07:20.000+00:00", "offlineInfo": {}, - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v4", "docUrl": "https://help.aliyun.com/document_detail/2842587.html", "category": "Embeddings", @@ -56,7 +136,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v4\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v4\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v4\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v4\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -73,10 +153,21 @@ "description": "通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v3", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.25", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.5", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -100,7 +191,7 @@ ], "versionTag": "MAJOR", "latestOnlineAt": "2024-07-12T09:44:51.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v3", "docUrl": "https://help.aliyun.com/document_detail/2712515.html", "predictConfig": [ @@ -133,7 +224,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v3\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v3\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v3\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v3\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -150,10 +241,21 @@ "description": "通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v2", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.35", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -177,7 +279,7 @@ ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:03:19.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v2", "docUrl": "https://help.aliyun.com/document_detail/2712515.html", "predictConfig": [ @@ -210,7 +312,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v2\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v2\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -227,10 +329,21 @@ "description": "通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-v1", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.35", + "type": "embedding_token_batch", + "priceName": "向量输入（Batch File）" + }, + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "qpmInfo": { "model-default-actual": { "count_limit_period": 1, @@ -254,7 +367,7 @@ ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:02:12.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-v1", "docUrl": "https://help.aliyun.com/document_detail/2712515.html", "predictConfig": [ @@ -287,7 +400,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-v1\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-v1\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -304,16 +417,21 @@ "description": "通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，大模型服务平台会将结果信息存储在结果文件中供客户下载解析。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-async-v2", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "capabilities": [ "TR" ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:05:28.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-async-v2", "docUrl": "https://help.aliyun.com/document_detail/2712516.html", "predictConfig": [ @@ -346,7 +464,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v2\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-async-v2\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-async-v2\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } @@ -363,16 +481,21 @@ "description": "通用文本向量的批处理接口，通过这个接口客户可以以文本方式一次性的提交大批量的向量计算请求，在系统完成所有的计算之后，大模型服务平台会将结果信息存储在结果文件中供客户下载解析。", "features": [], "provider": "qwen-domain-model", - "limit": { - "message": "model not exist" - }, "model": "text-embedding-async-v1", + "prices": [ + { + "priceUnit": "每百万tokens", + "price": "0.7", + "type": "embedding_token", + "priceName": "文本输入" + } + ], "capabilities": [ "TR" ], "versionTag": "MAJOR", "latestOnlineAt": "2024-04-09T09:04:41.000+00:00", - "inferenceProvider": "bailian", + "inferenceProvider": "aliyun-bailian", "name": "通用文本向量-async-v1", "docUrl": "https://help.aliyun.com/document_detail/2712516.html", "predictConfig": [ @@ -405,7 +528,7 @@ "samples": { "dashscope": { "default": { - "curl": "curl --location 'https://ws-nckitja1d28cec5v.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--header 'Content-Type: application/json' \\\n--data '{\n\"model\": \"text-embedding-async-v1\",\n\"input\": {\n\"texts\":[\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"] \n}'", "python": "import dashscope\nfrom http import HTTPStatus\ninput_texts = \"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\"\n\nresp = dashscope.TextEmbedding.call(\nmodel=\"text-embedding-async-v1\",\ninput=input_texts\n)\nprint(resp)", "java": "import java.util.Arrays;\nimport java.util.concurrent.Semaphore;\nimport com.alibaba.dashscope.common.ResultCallback;\nimport com.alibaba.dashscope.embeddings.TextEmbedding;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingParam;\nimport com.alibaba.dashscope.embeddings.TextEmbeddingResult;\nimport com.alibaba.dashscope.exception.ApiException;\nimport com.alibaba.dashscope.exception.NoApiKeyException;\nimport com.alibaba.dashscope.utils.Constants;\n\npublic final class Main {\npublic static void main(String[] args) {\ntry {\nTextEmbeddingParam param = TextEmbeddingParam\n.builder()\n.model(\"text-embedding-async-v1\") \n.texts(Arrays.asList(\"衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买\")) \n.build();\nTextEmbedding textEmbedding = new TextEmbedding();\nTextEmbeddingResult result = textEmbedding.call(param);\n\nSystem.out.println(result);\n\n} catch (ApiException | NoApiKeyException e) {\nSystem.out.println(e.getMessage());\n}\n}\n}" } diff --git a/skills/bailian-docs-llm-wiki/models/groups/qwen-image-3.0-pro.json b/skills/bailian-docs-llm-wiki/models/groups/qwen-image-3.0-pro.json new file mode 100644 index 00000000..e25d65a4 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/models/groups/qwen-image-3.0-pro.json @@ -0,0 +1,78 @@ +{ + "name": "Qwen-Image-3.0-Pro", + "description": "内容丰实：支持最大 4.5k token 输入，支持图中图密集信息排版，让报纸、分镜、菜单、试卷等复杂版面一次生成。\n细节真实：支持 10px 小字精准渲染，微表情、毛孔、发丝等细节生动还原，逼近真实摄影的质感。\n知识厚实：支持 12 国语言、20+ 字体原生渲染，主流网页、游戏、直播等界面仿真，外部知识全纳入。\nQwen-Image-3.0-Pro 不只是在追求\"好看\"，更在追求**“好用”**——让图像生成真正成为可落地的生产力工具。", + "items": [ + { + "inferenceMetadata": { + "response_modality": [ + "Image" + ], + "request_modality": [ + "Image", + "Text" + ] + }, + "description": "内容丰实：支持最大 4.5k token 输入，支持图中图密集信息排版，让报纸、分镜、菜单、试卷等复杂版面一次生成。\n细节真实：支持 10px 小字精准渲染，微表情、毛孔、发丝等细节生动还原，逼近真实摄影的质感。\n知识厚实：支持 12 国语言、20+ 字体原生渲染，主流网页、游戏、直播等界面仿真，外部知识全纳入。\nQwen-Image-3.0-Pro 不只是在追求\"好看\"，更在追求**“好用”**——让图像生成真正成为可落地的生产力工具。", + "features": [ + "model-experience" + ], + "provider": "qwen", + "model": "qwen-image-3.0-pro", + "qpmInfo": { + "model-default-actual": { + "count_limit_period": 60, + "count_limit": 1, + "type": "model-default" + }, + "model-default": { + "count_limit_period": 60, + "count_limit": 1, + "type": "model-default" + } + }, + "capabilities": [ + "IG" + ], + "modelAlias": "", + "versionTag": "MAJOR", + "latestOnlineAt": "2026-07-20T14:02:23.000+00:00", + "inferenceProvider": "aliyun-bailian", + "name": "Qwen-Image-3.0-Pro", + "docUrl": "https://help.aliyun.com/document_detail/3047054.html", + "category": "Visual", + "predictConfig": [ + { + "name": "negative_prompt", + "key": "negativePrompt", + "tip": "通过指定用户不想看到的内容来优化模型输出，使模型产生更有针对性和理想的结果。" + }, + { + "name": "size", + "key": "size", + "default": "2048*2048", + "tip": "输出分辨率" + }, + { + "name": "n", + "key": "n", + "default": 1, + "tip": "本次请求生成的图片数量" + }, + { + "name": "智能改写", + "key": "prompt_extend", + "default": false, + "tip": "开启后会使用大模型对输入prompt进行智能改写，仅对正向提示词有效。对于较短的输prompt生成效果提升明显，但会增加3-4秒耗时。" + } + ], + "samples": { + "dashscope": { + "default": { + "curl": "curl --location 'https://[workspace-id].cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \\\n--header 'Content-Type: application/json' \\\n--header \"Authorization: Bearer $DASHSCOPE_API_KEY\" \\\n--data '{\n \"model\": \"qwen-image-3.0-pro\",\n \"input\": {\n \"messages\": [\n {\n \"role\": \"user\",\n \"content\": [\n {\n \"text\": \"画面是一张竖幅户外人像摄影，整体从上到下呈现温暖的午后街景氛围。顶部左侧到上方大面积被深绿色藤蔓和橙色小花覆盖，花叶从建筑檐口自然垂落，受阳光照射的叶片呈黄绿色高光，阴影处则偏深绿，形成浓密而柔和的背景层次。左上至中上区域是一块深蓝色横向招牌，招牌表面较暗、略带磨砂质感，上面以白色哥特体大字写着 Il Messaggero，文字位于画面左侧偏上，部分被前景花叶轻微遮挡，字体高对比、带装饰性尖角和粗细变化。招牌下方是报刊亭或书报摊的玻璃展示窗，黑色金属框架将橱窗分隔成多个矩形区域，内部陈列着许多报纸、杂志和书刊封面，但大多因景深虚化和光线反射而难以辨读，形成浅色纸张与深色边框交错的背景纹理。画面右上方是强烈的逆光区域，阳光从街道尽头照入，背景建筑被虚化成米灰色块面，边缘柔和，呈现明显的浅景深效果。画面中部偏右是一名年轻成年女性的半身至膝上人像，她回头面向镜头微笑，身体略向右转，肩背朝向观者，姿态自然放松。她有长而浓密的黑色波浪卷发，发丝被逆光勾勒出金色轮廓光，发梢在右侧向外散开，显得轻盈蓬松。她肤色白皙，脸型柔和偏鹅蛋形，眉形细致，眼睛明亮，眼妆清透，睫毛明显，面部带有自然高光，唇部为柔和珊瑚红色，笑容露齿，表情亲切明朗。她佩戴小巧耳饰，身穿黑色细肩带露背连衣裙，面料颜色深黑、轮廓简洁，细肩带从肩部向背部延伸，背部线条清晰。画面下部偏左到中部，她双手抱着一束玫瑰花，花束体积较大，主要由橙色、杏色、粉色和浅桃色玫瑰组成，花瓣层层卷曲，边缘被阳光照亮，绿色叶片和长花茎从花束下方垂出，花束与黑色裙装形成鲜明色彩对比。右侧背景是一条被阳光照亮的城市街道，地面呈暖灰与金黄色调，远处建筑、街边设施和一个模糊的红色圆形交通标志位于右下远景，均因焦外虚化而只保留色块和轮廓。整张照片采用暖色胶片感处理，带有细腻颗粒、柔和对比和明显逆光边缘光，人物位于视觉焦点，背景报刊亭、花藤、街道和阳光共同营造出浪漫、明亮、都市漫步式的氛围。\"\n }\n ]\n }\n ]\n },\n \"parameters\": {\n \"prompt_extend\": true\n }\n}'", + "docUrl": "https://help.aliyun.com/document_detail/3047054.html" + } + } + } + } + ] +} diff --git a/skills/bailian-docs-llm-wiki/models/index.json b/skills/bailian-docs-llm-wiki/models/index.json index c5024785..6f390cab 100644 --- a/skills/bailian-docs-llm-wiki/models/index.json +++ b/skills/bailian-docs-llm-wiki/models/index.json @@ -1,10 +1,10 @@ { - "updatedAt": "2026-07-16", - "totalFamilies": 170, - "totalModels": 385, + "updatedAt": "2026-07-23", + "totalFamilies": 171, + "totalModels": 388, "capabilityDistribution": { "TG": 35, - "IG": 30, + "IG": 31, "VG": 26, "TTS": 16, "Reasoning": 14, @@ -21,7 +21,7 @@ "3D-generation": 1 }, "providerDistribution": { - "qwen": 100, + "qwen": 102, "qwen-domain-model": 34, "wan": 13, "happyhorse": 4, @@ -635,20 +635,21 @@ "primaryCapability": "TG", "capabilities": [ "TG", - "Reasoning", - "VU" + "VU", + "Reasoning" ], "providers": [ "moonshot-ai" ], - "itemCount": 4, + "itemCount": 5, "items": [ "kimi/kimi-k2.5", "kimi/kimi-k2.6", "kimi/kimi-k2.7-code", - "kimi/kimi-k2.7-code-highspeed" + "kimi/kimi-k2.7-code-highspeed", + "kimi/kimi-k3" ], - "maxContextWindow": 262144 + "maxContextWindow": 1048576 }, { "slug": "kling-models-market-place", @@ -974,7 +975,7 @@ "items": [ "qwen-audio-3.0-realtime-flash" ], - "maxContextWindow": 8192 + "maxContextWindow": 40960 }, { "slug": "qwen-audio-realtime-plus", @@ -990,7 +991,7 @@ "items": [ "qwen-audio-3.0-realtime-plus" ], - "maxContextWindow": 8192 + "maxContextWindow": 40960 }, { "slug": "qwen-audio-tts", @@ -1080,17 +1081,20 @@ "TR" ], "providers": [ + "qwen", "qwen-domain-model" ], - "itemCount": 6, + "itemCount": 7, "items": [ + "qwen3.7-text-embedding", "text-embedding-async-v1", "text-embedding-async-v2", "text-embedding-v1", "text-embedding-v2", "text-embedding-v3", "text-embedding-v4" - ] + ], + "maxContextWindow": 131072 }, { "slug": "qwen-flash-character", @@ -1155,6 +1159,21 @@ "qwen-image-2.0" ] }, + { + "slug": "qwen-image-3.0-pro", + "name": "Qwen-Image-3.0-Pro", + "primaryCapability": "IG", + "capabilities": [ + "IG" + ], + "providers": [ + "qwen" + ], + "itemCount": 1, + "items": [ + "qwen-image-3.0-pro" + ] + }, { "slug": "qwen-image-edit-max", "name": "Qwen-Image-Edit-Max", diff --git a/skills/bailian-docs-llm-wiki/models/index.md b/skills/bailian-docs-llm-wiki/models/index.md index 16b4073f..164439ce 100644 --- a/skills/bailian-docs-llm-wiki/models/index.md +++ b/skills/bailian-docs-llm-wiki/models/index.md @@ -1,6 +1,6 @@ # 百炼模型市场索引 -> 自动生成 · 共 170 个模型家族 · 385 个主干模型 · 更新于 2026-07-16 +> 自动生成 · 共 171 个模型家族 · 388 个主干模型 · 更新于 2026-07-23 **机器查询走结构化文件**： @@ -20,7 +20,7 @@ join：`models.jsonl[].family == families.jsonl[].slug == index.json.families[]. - [Kimi](groups/Kimi-K2.json) — Kimi是由月之暗面提供的开源模型，包含k2.7-code、k2.6、k2.5、k2-thinking、k2-instruct等多模态和大语言模型。 - 模型：`kimi-k2-thinking`, `kimi-k2.5`, `kimi-k2.6`, `kimi-k2.7-code`, `Moonshot-Kimi-K2-Instruct` - [Kimi](groups/kimi-models-market-place.json) — 由月之暗面提供的Kimi系列模型的API服务。 - - 模型：`kimi/kimi-k2.5`, `kimi/kimi-k2.6`, `kimi/kimi-k2.7-code`, `kimi/kimi-k2.7-code-highspeed` + - 模型：`kimi/kimi-k2.5`, `kimi/kimi-k2.6`, `kimi/kimi-k2.7-code`, `kimi/kimi-k2.7-code-highspeed`, `kimi/kimi-k3` - [MiMo文本模型](groups/xiaomi-models-market-place.json) — 由小米MiMo提供的MiMo文本模型API服务 - 模型：`xiaomi/mimo-v2.5-pro` - [MiniMax文本模型](groups/minimax-models-market-place.json) — 由MiniMax提供的MiniMax-M系列文本模型API服务。 @@ -84,7 +84,7 @@ join：`models.jsonl[].family == families.jsonl[].slug == index.json.families[]. - [通义法睿-Plus-32K](groups/farui-plus.json) — 通义法睿是以通义千问为基座经法律行业数据和知识专门训练的法律行业大模型产品，综合运用了模型精调、强化学习、 RAG检索增强、法律Agent技术，具有回答法律问题、推理法律适用、推荐裁判类案、辅助案情分… - 模型：`farui-plus` -## 图像生成 `IG` — 30 个家族 +## 图像生成 `IG` — 31 个家族 - [AI试衣-Plus版](groups/aitryon-plus.json) — aitryon-plus是一款效果出众的虚拟试衣图片生成模型，可基于服饰平拍图片以及人物正面全身照，输出服饰的人物试衣效果图片。 相较于aitryon模型，aitryon-plus模型在图片清晰度、服… - 模型：`aitryon-plus` @@ -102,6 +102,8 @@ join：`models.jsonl[].family == families.jsonl[].slug == index.json.families[]. - 模型：`qwen-image-2.0` - [Qwen-Image-2.0-Pro](groups/qwen-image-2.0-pro.json) — Qwen-Image-2.0系列满血版模型，实现了图片生成和图片编辑的融合；具备更专业的文字渲染1k token指令支持能力、更细腻的真实质感，细腻刻画写实场景、更强的语义遵循能力。满血版具备2.0系… - 模型：`qwen-image-2.0-pro` +- [Qwen-Image-3.0-Pro](groups/qwen-image-3.0-pro.json) — 内容丰实：支持最大 4.5k token 输入，支持图中图密集信息排版，让报纸、分镜、菜单、试卷等复杂版面一次生成。 细节真实：支持 10px 小字精准渲染，微表情、毛孔、发丝等细节生动还原，逼近真实… + - 模型：`qwen-image-3.0-pro` - [Qwen-Image-Edit-Max](groups/qwen-image-edit-max.json) — 千问图像编辑模型Max系列，提供更稳定、更丰富的编辑能力：提升工业设计与几何推理能力；提升角色一致性；减轻偏移问题；集成Lora能力，可以进行更多功能的图像编辑。此版本为2026年1月16日快照。 - 模型：`qwen-image-edit-max` - [Qwen-Image-Edit-Plus](groups/qwen-image-edit.json) — 千问系列图像编辑Plus模型，在首版Edit模型基础上进一步优化了推理性能与系统稳定性，大幅缩短图像生成与编辑的响应时间；支持单次请求返回多张图片，显著提升用户体验。 @@ -390,7 +392,7 @@ join：`models.jsonl[].family == families.jsonl[].slug == index.json.families[]. ## 翻译 `TR` — 2 个家族 - [Qwen-Embedding](groups/qwen-embedding.json) — 基于Qwen模型基座训练的多语言文本统一向量模型，文本检索、聚类、分类性能大幅提升，多语言支持，适用于向量检索、向量化等等场景，可搭配检索增强、文档处理场景使用，支持64~2048维用户自定义向量维度… - - 模型：`text-embedding-async-v1`, `text-embedding-async-v2`, `text-embedding-v1`, `text-embedding-v2`, `text-embedding-v3`, `text-embedding-v4` + - 模型：`qwen3.7-text-embedding`, `text-embedding-async-v1`, `text-embedding-async-v2`, `text-embedding-v1`, `text-embedding-v2`, `text-embedding-v3`, `text-embedding-v4` - [Qwen-Rerank](groups/qwen-rerank.json) — 基于Qwen LLM底座训练的文本排序模型，对输入的Query和候选Docs进行相关性排序，支持100+语种和长文本输入，适用于文本检索、RAG等场景，效果对齐Qwen家族开源Rerank系列模型。 - 模型：`gte-rerank-v2`, `qwen3-rerank`, `qwen3-vl-rerank` diff --git a/skills/bailian-docs-llm-wiki/models/models.jsonl b/skills/bailian-docs-llm-wiki/models/models.jsonl index 5e7d3d5e..1483bb14 100644 --- a/skills/bailian-docs-llm-wiki/models/models.jsonl +++ b/skills/bailian-docs-llm-wiki/models/models.jsonl @@ -73,10 +73,11 @@ {"model":"image-erase-completion","name":"图像擦除补全","family":"image-erase-completion","familyName":"图像擦除补全","provider":"qwen","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2840907.html","detailPath":"groups/image-erase-completion.json"} {"model":"image-instance-segmentation","name":"人物实例分割","family":"image-instance-segmentation","familyName":"人物实例分割","provider":"qwen","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2840906.html","detailPath":"groups/image-instance-segmentation.json"} {"model":"image-out-painting","name":"图像画面扩展","family":"image-out-painting","familyName":"图像画面扩展","provider":"qwen","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2796845.html","detailPath":"groups/image-out-painting.json"} -{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} -{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} -{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","VU","Reasoning"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} -{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.5","name":"Kimi/Kimi K2.5","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"4"},{"type":"output_token","unit":"每百万tokens","price":"21"},{"type":"input_token_cache","unit":"每百万tokens","price":"0.7"}],"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.6","name":"Kimi/Kimi K2.6","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"6.5"},{"type":"output_token","unit":"每百万tokens","price":"27"},{"type":"input_token_cache","unit":"每百万tokens","price":"1.1"}],"qpmInfo":{"model-default-actual":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":50,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3021620.html","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.7-code","name":"kimi/kimi-k2.7-code","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","VU","Reasoning"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"6.5"},{"type":"output_token","unit":"每百万tokens","price":"27"},{"type":"input_token_cache","unit":"每百万tokens","price":"1.3"}],"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k2.7-code-highspeed","name":"kimi/kimi-k2.7-code-highspeed","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","Reasoning","VU"],"features":["function-calling","structured-outputs","prefix-completion","cache"],"contextWindow":262144,"maxInputTokens":262144,"maxOutputTokens":262144,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"13"},{"type":"output_token","unit":"每百万tokens","price":"54"},{"type":"input_token_cache","unit":"每百万tokens","price":"2.6"}],"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} +{"model":"kimi/kimi-k3","name":"kimi/kimi-k3","family":"kimi-models-market-place","familyName":"Kimi","provider":"moonshot-ai","capabilities":["TG","VU","Reasoning"],"features":["function-calling","structured-outputs","cache","prefix-completion"],"contextWindow":1048576,"maxInputTokens":1048576,"maxOutputTokens":1048576,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"prices":[{"type":"input_token","unit":"每百万tokens","price":"20"},{"type":"output_token","unit":"每百万tokens","price":"100"},{"type":"input_token_cache","unit":"每百万tokens","price":"2"}],"qpmInfo":{"model-default-actual":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":500,"count_limit_period":60,"usage_limit":3000000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://bailian.console.aliyun.com/cn-beijing?tab=doc#/doc/?type=model&url=3021620","detailPath":"groups/kimi-models-market-place.json"} {"model":"kling/kling-v3-image-generation","name":"Kling Image 3.0","family":"kling-models-market-place","familyName":"可灵AI","provider":"kling","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image","Text"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","detailPath":"groups/kling-models-market-place.json"} {"model":"kling/kling-v3-omni-image-generation","name":"Kling Image 3.0 Omni","family":"kling-models-market-place","familyName":"可灵AI","provider":"kling","capabilities":["IG"],"features":[],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image","Text"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","detailPath":"groups/kling-models-market-place.json"} {"model":"kling/kling-v3-omni-video-generation","name":"Kling Video 3.0 Omni","family":"kling-models-market-place","familyName":"可灵AI","provider":"kling","capabilities":["VG"],"features":[],"inferenceMetadata":{"response_modality":["Video"],"request_modality":["Image","Text","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","detailPath":"groups/kling-models-market-place.json"} @@ -113,24 +114,26 @@ {"model":"pixverse/pixverse-v6-t2v","name":"PixVerse-V6-t2v","family":"pixverse-v6-market-place","familyName":"PixVerse V6","provider":"pixverse","capabilities":["VG"],"features":[],"inferenceMetadata":{"response_modality":["Video"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":1},"model-default":{"count_limit":5,"count_limit_period":1}},"versionTag":"MAJOR","docUrl":"○ https://help.aliyun.com/document_detail/3025608.html","detailPath":"groups/pixverse-v6-market-place.json"} {"model":"qvq-max","name":"QVQ-Max","family":"qvq-max","familyName":"QVQ-Max","provider":"qwen","capabilities":["Reasoning","VU"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":106496,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":60,"count_limit_period":60,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":60,"count_limit_period":60,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2877996.html","detailPath":"groups/qvq-max.json"} {"model":"qvq-plus","name":"QVQ-Plus","family":"qvq-plus","familyName":"Qwen-QVQ-Plus","provider":"qwen","capabilities":["Reasoning","VU"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":106496,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text","Image","Video"]},"qpmInfo":{"model-default-actual":{"count_limit":5,"count_limit_period":5,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":5,"count_limit_period":5,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2877996.html","detailPath":"groups/qvq-plus.json"} -{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","family":"qwen-audio-realtime-flash","familyName":"Qwen-Audio-Realtime-Flash","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":8192,"maxInputTokens":4096,"maxOutputTokens":4096,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"30"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"3"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"30"},{"type":"audio_output_token","unit":"每百万tokens","price":"100"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-flash.json"} -{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","family":"qwen-audio-realtime-plus","familyName":"Qwen-Audio-Realtime-Plus","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":8192,"maxInputTokens":4096,"maxOutputTokens":4096,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"40"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"5"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"40"},{"type":"audio_output_token","unit":"每百万tokens","price":"150"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-plus.json"} +{"model":"qwen-audio-3.0-realtime-flash","name":"千问实时语音对话大模型3.0（极速版）","family":"qwen-audio-realtime-flash","familyName":"Qwen-Audio-Realtime-Flash","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":40960,"maxInputTokens":16384,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"30"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"3"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"30"},{"type":"audio_output_token","unit":"每百万tokens","price":"100"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-flash.json"} +{"model":"qwen-audio-3.0-realtime-plus","name":"千问实时语音大模型 （标准版）","family":"qwen-audio-realtime-plus","familyName":"Qwen-Audio-Realtime-Plus","provider":"qwen","capabilities":["Realtime-Chatting"],"features":["function-calling"],"contextWindow":40960,"maxInputTokens":16384,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Audio","Text"],"request_modality":["Audio","Text"]},"prices":[{"type":"audio_input_token","unit":"每百万tokens","price":"40"},{"type":"audio_text_input_token","unit":"每百万tokens","price":"5"},{"type":"audio_text_output_token","unit":"每百万tokens","price":"40"},{"type":"audio_output_token","unit":"每百万tokens","price":"150"}],"qpmInfo":{"model-default-actual":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":6,"count_limit_period":6,"usage_limit":10000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3041584.html","detailPath":"groups/qwen-audio-realtime-plus.json"} {"model":"qwen-audio-3.0-tts-flash","name":"qwen-audio-3.0-tts-flash","family":"qwen-audio-tts","familyName":"Qwen-Audio-TTS","provider":"qwen","capabilities":["Realtime-Text-to-Speech"],"features":[],"inferenceMetadata":{"response_modality":["Audio"],"request_modality":["Text"]},"prices":[{"type":"cosy_tts_number","unit":"每万字符","price":"1"}],"qpmInfo":{"model-default-actual":{"count_limit":3,"count_limit_period":1},"model-default":{"count_limit":3,"count_limit_period":1}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2938790.html","detailPath":"groups/qwen-audio-tts.json"} {"model":"qwen-audio-3.0-tts-plus","name":"qwen-audio-3.0-tts-plus","family":"qwen-audio-tts","familyName":"Qwen-Audio-TTS","provider":"qwen","capabilities":["Realtime-Text-to-Speech"],"features":[],"inferenceMetadata":{"response_modality":["Audio"],"request_modality":["Text"]},"prices":[{"type":"cosy_tts_number","unit":"每万字符","price":"1.4"}],"qpmInfo":{"model-default-actual":{"count_limit":3,"count_limit_period":1},"model-default":{"count_limit":3,"count_limit_period":1}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2938790.html","detailPath":"groups/qwen-audio-tts.json"} {"model":"qwen-coder-plus","name":"Qwen-Coder-Plus","family":"qwen-coder-plus","familyName":"Qwen-Coder-Plus","provider":"qwen-domain-model","capabilities":["TG"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":129024,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2850166.html","detailPath":"groups/qwen-coder-plus.json"} {"model":"qwen-coder-turbo","name":"Qwen-Coder-Turbo","family":"qwen-coder-turbo","familyName":"Qwen-Coder-Turbo","provider":"qwen-domain-model","capabilities":["TG"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":129024,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":20,"count_limit_period":1,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2850166.html","detailPath":"groups/qwen-coder-turbo.json"} {"model":"qwen-deep-research","name":"qwen-deep-research","family":"qwen-deep-research","familyName":"qwen-deep-research","provider":"qwen-domain-model","capabilities":["TG"],"features":[],"contextWindow":1000000,"maxInputTokens":997952,"maxOutputTokens":32768,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":120,"count_limit_period":60,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":120,"count_limit_period":60,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2975991.html","detailPath":"groups/qwen-deep-research.json"} {"model":"qwen-doc-turbo","name":"Qwen-Doc-Turbo","family":"qwen-doc-turbo","familyName":"Qwen-Doc-Turbo","provider":"qwen-domain-model","capabilities":["TG"],"features":["cache"],"contextWindow":262144,"maxInputTokens":253952,"maxOutputTokens":8192,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":60,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":60,"count_limit_period":6,"usage_limit":300000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2948885.html","detailPath":"groups/qwen-doc-turbo.json"} -{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v1","name":"通用文本向量-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v2","name":"通用文本向量-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v3","name":"通用文本向量-v3","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} -{"model":"text-embedding-v4","name":"通用文本向量-v4","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2842587.html","detailPath":"groups/qwen-embedding.json"} +{"model":"qwen3.7-text-embedding","name":"Qwen3.7-Text-Embedding","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen","capabilities":["TR"],"features":["model-experience"],"contextWindow":131072,"maxInputTokens":131072,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"prices":[{"type":"embedding_token","unit":"每百万tokens","price":"0.5"}],"qpmInfo":{"model-default-actual":{"count_limit":2400,"count_limit_period":6,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":2400,"count_limit_period":6,"usage_limit":100000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2842587.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-async-v1","name":"通用文本向量-async-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-async-v2","name":"通用文本向量-async-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712516.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v1","name":"通用文本向量-v1","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.35"},{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v2","name":"通用文本向量-v2","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.35"},{"type":"embedding_token","unit":"每百万tokens","price":"0.7"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v3","name":"通用文本向量-v3","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":[],"inferenceMetadata":{"response_modality":[],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.25"},{"type":"embedding_token","unit":"每百万tokens","price":"0.5"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":120000,"usage_limit_field":"total_tokens","usage_limit_period":6}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712515.html","detailPath":"groups/qwen-embedding.json"} +{"model":"text-embedding-v4","name":"通用文本向量-v4","family":"qwen-embedding","familyName":"Qwen-Embedding","provider":"qwen-domain-model","capabilities":["TR"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"prices":[{"type":"embedding_token_batch","unit":"每百万tokens","price":"0.25"},{"type":"embedding_token","unit":"每百万tokens","price":"0.5"}],"qpmInfo":{"model-default-actual":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":30,"count_limit_period":1,"usage_limit":1200000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2842587.html","detailPath":"groups/qwen-embedding.json"} {"model":"qwen-flash-character","name":"Qwen-Flash-Character","family":"qwen-flash-character","familyName":"Qwen-Flash-Character","provider":"qwen","capabilities":["TG"],"features":["model-experience","cache","web-search"],"contextWindow":8192,"maxInputTokens":8000,"maxOutputTokens":4096,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":120,"count_limit_period":60,"usage_limit":500000,"usage_limit_field":"total_tokens","usage_limit_period":60},"model-default":{"count_limit":120,"count_limit_period":60,"usage_limit":500000,"usage_limit_field":"total_tokens","usage_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2874763.html","detailPath":"groups/qwen-flash-character.json"} {"model":"qwen-flash","name":"Qwen-Flash","family":"qwen-flash","familyName":"Qwen-Flash","provider":"qwen","capabilities":["Reasoning","TG"],"features":["model-experience","function-calling","structured-outputs","web-search","prefix-completion","cache","batch"],"contextWindow":1000000,"maxInputTokens":997952,"maxOutputTokens":32768,"inferenceMetadata":{"response_modality":["Text"],"request_modality":["Text"]},"qpmInfo":{"model-default-actual":{"count_limit":15000,"count_limit_period":30,"usage_limit":5000000,"usage_limit_field":"total_tokens","usage_limit_period":30},"model-default":{"count_limit":15000,"count_limit_period":30,"usage_limit":5000000,"usage_limit_field":"total_tokens","usage_limit_period":30}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2712576.html","detailPath":"groups/qwen-flash.json"} {"model":"qwen-image-2.0-pro","name":"Qwen-Image-2.0-Pro","family":"qwen-image-2.0-pro","familyName":"Qwen-Image-2.0-Pro","provider":"qwen","capabilities":["IG"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Text","Image"]},"qpmInfo":{"model-default-actual":{"count_limit":2,"count_limit_period":60},"model-default":{"count_limit":2,"count_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2976416.html","detailPath":"groups/qwen-image-2.0-pro.json"} {"model":"qwen-image-2.0","name":"Qwen-Image-2.0","family":"qwen-image-2.0","familyName":"Qwen-Image-2.0","provider":"qwen","capabilities":["IG"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Text","Image"]},"qpmInfo":{"model-default-actual":{"count_limit":2,"count_limit_period":1},"model-default":{"count_limit":2,"count_limit_period":1}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2976416.html","detailPath":"groups/qwen-image-2.0.json"} +{"model":"qwen-image-3.0-pro","name":"Qwen-Image-3.0-Pro","family":"qwen-image-3.0-pro","familyName":"Qwen-Image-3.0-Pro","provider":"qwen","capabilities":["IG"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image","Text"]},"qpmInfo":{"model-default-actual":{"count_limit":1,"count_limit_period":60},"model-default":{"count_limit":1,"count_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/3047054.html","detailPath":"groups/qwen-image-3.0-pro.json"} {"model":"qwen-image-edit-max","name":"Qwen-Image-Edit-Max","family":"qwen-image-edit-max","familyName":"Qwen-Image-Edit-Max","provider":"qwen","capabilities":["IG"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Text","Image"]},"qpmInfo":{"model-default-actual":{"count_limit":2,"count_limit_period":60},"model-default":{"count_limit":2,"count_limit_period":60}},"versionTag":"MAJOR","docUrl":"https://help.aliyun.com/document_detail/2976416.html","detailPath":"groups/qwen-image-edit-max.json"} {"model":"qwen-image-edit","name":"Qwen-Image-Edit","family":"qwen-image-edit","familyName":"Qwen-Image-Edit-Plus","provider":"qwen","capabilities":["IG"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Text","Image"]},"qpmInfo":{"model-default-actual":{"count_limit":2,"count_limit_period":1},"model-default":{"count_limit":2,"count_limit_period":1}},"versionTag":"SNAPSHOT","docUrl":"https://help.aliyun.com/document_detail/2976416.html","detailPath":"groups/qwen-image-edit.json"} {"model":"qwen-image-edit-plus","name":"Qwen-Image-Edit-Plus","family":"qwen-image-edit","familyName":"Qwen-Image-Edit-Plus","provider":"qwen","capabilities":["IG"],"features":["model-experience"],"inferenceMetadata":{"response_modality":["Image"],"request_modality":["Image"]},"qpmInfo":{"model-default-actual":{"count_limit":2,"count_limit_period":1},"model-default":{"count_limit":2,"count_limit_period":1}},"versionTag":"SNAPSHOT","docUrl":"https://help.aliyun.com/document_detail/2976416.html","detailPath":"groups/qwen-image-edit.json"} diff --git a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md index 3b1ff1ad..04d60432 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md +++ b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md @@ -163,6 +163,8 @@ string 默认值为空，此时使用 text-embedding-v2 模型。 +text-embedding-v4 + RerankModelName string @@ -322,7 +324,7 @@ array 否 -创建知识库时可同步导入文件。此处通过指定类目 ID，可导入对应类目下的所有文件（建议导入不超过 10000 个。如有剩余文件，后续可调用 **SubmitIndexAddDocumentsJob** 接口继续导入）。 +创建知识库时可同步导入文件。此处通过指定类目 ID，可导入对应类目下的所有文件（建议导入不超过 500 个。如有剩余文件，后续可调用 **SubmitIndexAddDocumentsJob** 接口继续导入）。 string diff --git a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md new file mode 100644 index 00000000..807c00f2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md @@ -0,0 +1,233 @@ +# AddChunk - 新增切片 + +使用此API可为文档搜索类（document）、数据查询类（table）、图片问答类（image）知识库添加切片。 + +## 接口说明 + +- 对于文档搜索类（document）、数据查询类（table）、图片问答类（image）知识库，本接口可向指定知识库中添加切片内容；目前尚不支持对音视频搜索类（multimedia）知识库进行相关操作。仅当数据源为表格连接器(excel)时，对数据查询与图片问答类型知识库的操作方可生效。 + +- RAM 用户（子账号）需要首先获取阿里云百炼的 [API 权限](https://help.aliyun.com/zh/model-studio/grant-data-access-permission-to-ram-user)（需要`AliyunBailianDataFullAccess`，已包括 sfm:ChunkList 权限点），并[加入一个业务空间](https://help.aliyun.com/zh/model-studio/grant-the-business-space-permission-to-ram-users)后，方可调用本接口。阿里云账号（主账号）可直接调用无须授权。建议您通过最新版[阿里云百炼 SDK](https://api.aliyun.com/api-tools/sdk/bailian?version=2023-12-29)[阿里云百炼 SDK](https://api.alibabacloud.com/api-tools/sdk/bailian?version=2023-12-29)来调用本接口。 + +- 调用本接口前，请确保您的知识库已经创建完成且未被删除（即知识库 ID`IndexId`有效）。 + +- 本接口具有幂等性。 + + +**限流说明：** 本接口频繁调用会被限流，频率请勿超过 10 次/秒。如遇限流，请稍后重试。 + +## 调试 + +[您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。](https://api.aliyun.com/api/bailian/2023-12-29/AddChunk) + + [![](https://img.alicdn.com/tfs/TB16JcyXHr1gK0jSZR0XXbP8XXa-24-26.png) 调试](https://api.aliyun.com/api/bailian/2023-12-29/AddChunk) + +## **授权信息** + +当前API暂无授权信息透出。 + +## 请求语法 + +``` +POST /{WorkspaceId}/chunk/create HTTP/1.1 +``` + +## 路径参数 + +**名称** + +**类型** + +**必填** + +**描述** + +**示例值** + +WorkspaceId + +string + +是 + +工作区标识 + +llm-19hxxxxx7htdf9lh + +## 请求参数 + +**名称** + +**类型** + +**必填** + +**描述** + +**示例值** + +PipelineId + +string + +是 + +知识库 id + +79c0alxxxx + +dataId + +string + +否 + +文件 id + +doc\_xxx + +field + +object + +否 + +插入的切片内容信息，以键值对形式传入。文档搜索类知识库使用固定 key 列表： + +- content（**String**）：**必填**，切片正文内容 + +- title（**String**）**选填**，切片标题 + +- image\_urls（**Array**）：**选填**，切片包含的图片链接，最多 10 张 + + +数据查询类、图片问答类知识库 key 不固定，由该知识库的数据源表格决定：key 为 Excel 列标题，value 为对应列的值。 + +{ "content": "The Bailian platform supports parsing multiple document formats including PDF, Word, and PPT.", "title": "Document Parsing and Chunking", "image\_urls": \[ "https://example.com/images/chunk-flow.png", "https://example.com/images/parsing-result.png" \] } + +any + +否 + +插入切片的表头字段信息，仅数据查询类与图片问答类知识库支持。需要参与检索或参与回复的表头为必填。各类型取值要求： + +- **String 类型** ：最大长度 6000 + +- **时间 类型**：13 位时间戳（毫秒） + +- **Long 类型**：整数，最大 2147483647 + +- **Double 类型**：支持小数 + +- **image\_url 类型**：最多 5 张，多张用英文逗号拼接为一个字符串 + + +{"Product Name": "Wireless Bluetooth Headphones", "Publish Time": 1752624000000, "Stock Quantity": 1580, "Unit Price": 299.99, "image\_url":"https://example.com/images/headphones-front.jpg,https://example.com/images/headphones-side.jpg,https://example.com/images/headphones-package.jpg" } + +## **返回参数** + +**名称** + +**类型** + +**描述** + +**示例值** + +object + +Schema of Response + +RequestId + +string + +请求 id + +35A267BF-xxxx-54DB-8394-AA3B0742D833 + +Code + +string + +错误状态码 + +Index.InvalidParameter + +Message + +string + +错误信息 + +Required parameter(%s) missing or invalid, please check the request parameters. + +Success + +boolean + +接口调用是否成功 + +**枚举值：** + +- true : + + true + +- false : + + false + + +true + +Data + +boolean + +请求成功返回的业务数据 + +**枚举值：** + +- true : + + true + +- false : + + false + + +true + +Status + +string + +接口返回的状态码 + +200 + +## 示例 + +正常返回示例 + +`JSON`格式 + +``` +{ + "RequestId": "35A267BF-xxxx-54DB-8394-AA3B0742D833", + "Code": "Index.InvalidParameter", + "Message": "Required parameter(%s) missing or invalid, please check the request parameters.", + "Success": true, + "Data": true, + "Status": "200" +} +``` + +## 错误码 + +访问[错误中心](https://api.aliyun.com/document/bailian/2023-12-29/errorCode)查看更多错误码。 + +## **变更历史** + +更多信息，参考[变更详情](https://api.aliyun.com/document/bailian/2023-12-29/AddChunk#workbench-doc-change-demo)。 diff --git a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md index 70c29639..8d6507eb 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md +++ b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-overview.md @@ -373,3 +373,9 @@ API概述 申请临时文件上传许可 该接口用于高代码部署，其他场景暂不支持。用于申请临时文件上传许可，之后需要自己完成文件上传动作。 + +[AddChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addchunk) + +新增切片 + +使用此API可为文档搜索类（document）、数据查询类（table）、图片问答类（image）知识库添加切片。 diff --git a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md index fa10b5cc..ef5ee20d 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md +++ b/skills/bailian-docs-llm-wiki/raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md @@ -78,11 +78,11 @@ **关联操作** -sfm:ChangeParseSetting +sfm:ListCategory -[ChangeParseSetting](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-changeparsesetting) +[ListCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listcategory) -update +list \*全部资源 @@ -92,11 +92,11 @@ update 无 -sfm:UpdateFileTag +sfm:GetIndexJobStatus -[UpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatefiletag) +[GetIndexJobStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexjobstatus) -update +get \*全部资源 @@ -106,11 +106,11 @@ update 无 -sfm:DeleteCategory +sfm:AddCategory -[DeleteCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletecategory) +[AddCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addcategory) -delete +create \*全部资源 @@ -120,11 +120,11 @@ delete 无 -sfm:UpdatePromptTemplate +sfm:GetAlipayUrl -[UpdatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateprompttemplate) +[GetAlipayUrl](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipayurl) -update +none \*全部资源 @@ -134,11 +134,11 @@ update 无 -sfm:SubmitIndexJob +sfm:DeleteMemoryNode -[SubmitIndexJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexjob) +[DeleteMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememorynode) -create +delete \*全部资源 @@ -162,11 +162,11 @@ get 无 -sfm:DeleteChunk +sfm:SubmitIndexJob -[DeleteChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletechunk) +[SubmitIndexJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexjob) -delete +create \*全部资源 @@ -176,11 +176,11 @@ delete 无 -sfm:GetAlipayTransferStatus +sfm:DeleteCategory -[GetAlipayTransferStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipaytransferstatus) +[DeleteCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletecategory) -none +delete \*全部资源 @@ -190,11 +190,11 @@ none 无 -sfm:DeletePromptTemplate +sfm:ListIndexFileDetails -[DeletePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteprompttemplate) +[ListIndexFileDetails](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexfiledetails) -delete +list \*全部资源 @@ -204,11 +204,11 @@ delete 无 -sfm:ListIndex +sfm:UpdateConnector -[ListIndices](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindices) +[UpdateConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateconnector) -list +update \*全部资源 @@ -218,11 +218,11 @@ list 无 -sfm:CreateMemoryNode +sfm:ChangeParseSetting -[CreateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememorynode) +[ChangeParseSetting](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-changeparsesetting) -create +update \*全部资源 @@ -232,11 +232,11 @@ create 无 -sfm:UpdateMemory +sfm:GetMemory -[UpdateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememory) +[GetMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemory) -update +get \*全部资源 @@ -246,11 +246,11 @@ update 无 -sfm:ChunkList +sfm:GetAvailableParserTypes -[ListChunks](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listchunks) +[GetAvailableParserTypes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getavailableparsertypes) -list +get \*全部资源 @@ -260,11 +260,11 @@ list 无 -sfm:ListIndexFileDetails +sfm:UpdateMemory -[ListIndexFileDetails](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexfiledetails) +[UpdateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememory) -list +update \*全部资源 @@ -274,9 +274,9 @@ list 无 -sfm:SubmitIndexAddDocumentsJob +sfm:CreateMemory -[SubmitIndexAddDocumentsJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexadddocumentsjob) +[CreateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememory) create @@ -288,11 +288,11 @@ create 无 -sfm:UpdateIndex +sfm:ApplyFileUploadLease -[UpdateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateindex) +[ApplyFileUploadLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applyfileuploadlease) -update +none \*全部资源 @@ -316,25 +316,11 @@ list 无 -sfm:Retrieve - -[Retrieve](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-retrieve) - -none - -\*全部资源 - -`*****` - -无 - -无 - -sfm:AddConnector +sfm:DeleteConnector -[AddConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addconnector) +DeleteConnector -create +delete \*全部资源 @@ -344,11 +330,11 @@ create 无 -sfm:ListMemories +sfm:BatchUpdateFileTag -[ListMemories](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemories) +[BatchUpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-batchupdatefiletag) -list +update \*全部资源 @@ -372,11 +358,11 @@ create 无 -sfm:UpdateConnector +sfm:DeleteChunk -[UpdateConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateconnector) +[DeleteChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletechunk) -update +delete \*全部资源 @@ -386,9 +372,9 @@ update 无 -sfm:DeleteFile +sfm:DeleteMemory -[DeleteFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefile) +[DeleteMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememory) delete @@ -400,11 +386,11 @@ delete 无 -sfm:AddCategory +sfm:DeletePromptTemplate -[AddCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addcategory) +[DeletePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteprompttemplate) -create +delete \*全部资源 @@ -414,11 +400,11 @@ create 无 -sfm:BatchUpdateFileTag +sfm:ListMemories -[BatchUpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-batchupdatefiletag) +[ListMemories](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemories) -update +list \*全部资源 @@ -428,11 +414,11 @@ update 无 -sfm:ListIndexFiles +sfm:AddConnector -[ListIndexDocuments](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexdocuments) +[AddConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addconnector) -list +create \*全部资源 @@ -442,11 +428,11 @@ list 无 -sfm:ListMemoryNodes +sfm:GetConnector -[ListMemoryNodes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemorynodes) +[GetConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getconnector) -list +get \*全部资源 @@ -456,11 +442,11 @@ list 无 -sfm:DescribeFile +sfm:UpdatePromptTemplate -[DescribeFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-describefile) +[UpdatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateprompttemplate) -none +update \*全部资源 @@ -470,11 +456,11 @@ none 无 -sfm:CreateIndex +sfm:DeleteFiles -[CreateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createindex) +[DeleteFiles](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefiles) -create +delete \*全部资源 @@ -484,11 +470,11 @@ create 无 -sfm:ListCategory +sfm:GetMemoryNode -[ListCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listcategory) +[GetMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemorynode) -list +get \*全部资源 @@ -498,11 +484,11 @@ list 无 -sfm:AddTable +sfm:ApplyTempStorageLease -[AddTable](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addtable) +[ApplyTempStorageLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applytempstoragelease) -create +none \*全部资源 @@ -512,11 +498,11 @@ create 无 -sfm:UpdateMemoryNode +sfm:DeleteFile -[UpdateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememorynode) +[DeleteFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefile) -update +delete \*全部资源 @@ -526,11 +512,11 @@ update 无 -sfm:GetAvailableParserTypes +sfm:AddFilesFromAuthorizedOss -[GetAvailableParserTypes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getavailableparsertypes) +[AddFilesFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addfilesfromauthorizedoss) -get +create \*全部资源 @@ -540,11 +526,11 @@ get 无 -sfm:DeleteMemory +sfm:CreateMemoryNode -[DeleteMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememory) +[CreateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememorynode) -delete +create \*全部资源 @@ -554,11 +540,11 @@ delete 无 -sfm:DeleteConnector +sfm:UpdateChunk -DeleteConnector +[UpdateChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatechunk) -delete +update \*全部资源 @@ -568,11 +554,11 @@ delete 无 -sfm:UpdateTableFromAuthorizedOss +sfm:ListCategory -[UpdateTableFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatetablefromauthorizedoss) +[ListCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listcategory) -update +list \*全部资源 @@ -582,11 +568,11 @@ update 无 -sfm:ApplyTempStorageLease +sfm:GetIndexJobStatus -[ApplyTempStorageLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applytempstoragelease) +[GetIndexJobStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexjobstatus) -none +get \*全部资源 @@ -596,9 +582,9 @@ none 无 -sfm:GetConnector +sfm:GetParseSettings -[GetConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getconnector) +[GetParseSettings](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getparsesettings) get @@ -610,11 +596,11 @@ get 无 -sfm:DeleteMemoryNode +sfm:GetAlipayUrl -[DeleteMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememorynode) +[GetAlipayUrl](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipayurl) -delete +none \*全部资源 @@ -624,11 +610,11 @@ delete 无 -sfm:GetMemory +sfm:AddCategory -[GetMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemory) +[AddCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addcategory) -get +create \*全部资源 @@ -638,11 +624,11 @@ get 无 -sfm:DeleteIndex +sfm:SubmitIndexJob -[DeleteIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindex) +[SubmitIndexJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexjob) -none +create \*全部资源 @@ -652,9 +638,9 @@ none 无 -sfm:UpdateChunk +sfm:ChangeParseSetting -[UpdateChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatechunk) +[ChangeParseSetting](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-changeparsesetting) update @@ -666,9 +652,9 @@ update 无 -sfm:DeleteIndexDocument +sfm:DeleteMemoryNode -[DeleteIndexDocument](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindexdocument) +[DeleteMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememorynode) delete @@ -680,11 +666,11 @@ delete 无 -sfm:GetMemoryNode +sfm:UpdateConnector -[GetMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemorynode) +[UpdateConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateconnector) -get +update \*全部资源 @@ -694,9 +680,9 @@ get 无 -sfm:GetIndexJobStatus +sfm:GetMemory -[GetIndexJobStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexjobstatus) +[GetMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemory) get @@ -708,11 +694,11 @@ get 无 -sfm:ApplyFileUploadLease +sfm:ListIndexFileDetails -[ApplyFileUploadLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applyfileuploadlease) +[ListIndexFileDetails](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexfiledetails) -none +list \*全部资源 @@ -722,11 +708,25 @@ none 无 -sfm:GetPromptTemplate +sfm:DeleteConnector -[GetPromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getprompttemplate) +DeleteConnector -get +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateMemory + +[UpdateMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememory) + +update \*全部资源 @@ -750,9 +750,79 @@ create 无 -sfm:GetAlipayUrl +sfm:ListFile -[GetAlipayUrl](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipayurl) +[ListFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listfile) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteChunk + +[DeleteChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletechunk) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetAvailableParserTypes + +[GetAvailableParserTypes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getavailableparsertypes) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteCategory + +[DeleteCategory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletecategory) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListMemories + +[ListMemories](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemories) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ApplyFileUploadLease + +[ApplyFileUploadLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applyfileuploadlease) none @@ -764,11 +834,11 @@ none 无 -sfm:CreatePromptTemplate +sfm:BatchUpdateFileTag -[CreatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createprompttemplate) +[BatchUpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-batchupdatefiletag) -create +update \*全部资源 @@ -778,9 +848,9 @@ create 无 -sfm:GetIndexMonitor +sfm:GetConnector -[GetIndexMonitor](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexmonitor) +[GetConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getconnector) get @@ -792,6 +862,48 @@ get 无 +sfm:GetMemoryNode + +[GetMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getmemorynode) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:AddFile + +[AddFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addfile) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:AddConnector + +[AddConnector](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addconnector) + +create + +\*全部资源 + +`*****` + +无 + +无 + sfm:DeleteFiles [DeleteFiles](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefiles) @@ -806,6 +918,48 @@ delete 无 +sfm:DeleteFile + +[DeleteFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletefile) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeletePromptTemplate + +[DeletePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteprompttemplate) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdatePromptTemplate + +[UpdatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateprompttemplate) + +update + +\*全部资源 + +`*****` + +无 + +无 + sfm:AddFilesFromAuthorizedOss [AddFilesFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addfilesfromauthorizedoss) @@ -820,6 +974,174 @@ create 无 +sfm:CreateMemoryNode + +[CreateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-creatememorynode) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteMemory + +[DeleteMemory](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deletememory) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateChunk + +[UpdateChunk](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatechunk) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ApplyTempStorageLease + +[ApplyTempStorageLease](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-applytempstoragelease) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetIndexMonitor + +[GetIndexMonitor](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getindexmonitor) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:Retrieve + +[Retrieve](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-retrieve) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DeleteIndex + +[DeleteIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindex) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListMemoryNodes + +[ListMemoryNodes](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listmemorynodes) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListIndex + +[ListIndices](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindices) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateMemoryNode + +[UpdateMemoryNode](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatememorynode) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetPromptTemplate + +[GetPromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getprompttemplate) + +get + +\*全部资源 + +`*****` + +无 + +无 + +sfm:CreateIndex + +[CreateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createindex) + +create + +\*全部资源 + +`*****` + +无 + +无 + sfm:ListPromptTemplates [ListPromptTemplates](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listprompttemplates) @@ -834,6 +1156,160 @@ list 无 +sfm:DeleteIndexDocument + +[DeleteIndexDocument](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-deleteindexdocument) + +delete + +\*全部资源 + +`*****` + +无 + +无 + +sfm:SubmitIndexAddDocumentsJob + +[SubmitIndexAddDocumentsJob](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-submitindexadddocumentsjob) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateFileTag + +[UpdateFileTag](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatefiletag) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateTableFromAuthorizedOss + +[UpdateTableFromAuthorizedOss](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updatetablefromauthorizedoss) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ListIndexFiles + +[ListIndexDocuments](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listindexdocuments) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:UpdateIndex + +[UpdateIndex](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-updateindex) + +update + +\*全部资源 + +`*****` + +无 + +无 + +sfm:DescribeFile + +[DescribeFile](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-describefile) + +none + +\*全部资源 + +`*****` + +无 + +无 + +sfm:ChunkList + +[ListChunks](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-listchunks) + +list + +\*全部资源 + +`*****` + +无 + +无 + +sfm:AddTable + +[AddTable](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-addtable) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:CreatePromptTemplate + +[CreatePromptTemplate](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-createprompttemplate) + +create + +\*全部资源 + +`*****` + +无 + +无 + +sfm:GetAlipayTransferStatus + +[GetAlipayTransferStatus](https://help.aliyun.com/zh/model-studio/api-bailian-2023-12-29-getalipaytransferstatus) + +none + +\*全部资源 + +`*****` + +无 + +无 + ## 资源（Resource） 下表是_大模型服务平台百炼_定义的资源，这些资源可以在 RAM 权限策略语句的`Resource`元素中使用，用来授予对该资源执行具体操作的权限。 其中，资源 ARN 是资源在阿里云上的唯一标识。具体说明如下： diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md index 587f5b5c..0d68fb2b 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/multimodal-products/product-billing.md @@ -171,7 +171,7 @@ Fun-ASR、通义千问3-ASR-Flash-Realtime 语音合成 -CosyVoice-v3-Plus、通义千问3-TTS 系列 +Qwen-Audio-3.0-TTS-Plus、Qwen-Audio-3.0-TTS-Flash、CosyVoice-v3.5-Plus、CosyVoice-v3.5-Flash、CosyVoice-v3-Plus、通义千问3-TTS 系列 3x diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/lingque-ccai-dialogue-analytics-ram-subaccount-usage-and-authorization-procedures.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-and-authorize-ram-users-for-ccai-dialogue-analysis.md similarity index 100% rename from skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/lingque-ccai-dialogue-analytics-ram-subaccount-usage-and-authorization-procedures.md rename to skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/official-application-lingque-ccai-dialogue-analysis-aio/call-tyxm-ccai-aio-api/use-and-authorize-ram-users-for-ccai-dialogue-analysis.md diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-overview.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-overview.md index 8f161902..d2d7873d 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-overview.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-gallery/quanmiao-solution-products/ai-quan-miao-development-document/amb-api-reference/api-aimiaobi-2023-08-01-overview.md @@ -462,24 +462,6 @@ API API概述 -[QueryAuditTask](https://help.aliyun.com/zh/model-studio/api-aimiaobi-2023-08-01-queryaudittask) - -查询审核结果 - -查询审核结果。 - -[SubmitAuditTask](https://help.aliyun.com/zh/model-studio/api-aimiaobi-2023-08-01-submitaudittask) - -提交审核任务 - -提交审核任务 - -[CancelAuditTask](https://help.aliyun.com/zh/model-studio/api-aimiaobi-2023-08-01-cancelaudittask) - -取消审核任务 - -取消审核任务 - [SubmitSmartAudit](https://help.aliyun.com/zh/model-studio/api-aimiaobi-2023-08-01-submitsmartaudit) 提交智能审校任务 @@ -1607,3 +1589,21 @@ SubmitParseDocumentLayoutTask 获取排版任务结果 获取排版任务结果 + +[CancelAuditTask](https://help.aliyun.com/zh/model-studio/api-aimiaobi-2023-08-01-cancelaudittask) + +取消审核任务 + +取消审核任务 + +[QueryAuditTask](https://help.aliyun.com/zh/model-studio/api-aimiaobi-2023-08-01-queryaudittask) + +查询审核结果 + +查询审核结果。 + +[SubmitAuditTask](https://help.aliyun.com/zh/model-studio/api-aimiaobi-2023-08-01-submitaudittask) + +提交审核任务 + +提交审核任务 diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-support/application-after-sales-service-scope.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-support/application-after-sales-service-scope.md new file mode 100644 index 00000000..54844525 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-support/application-after-sales-service-scope.md @@ -0,0 +1,57 @@ +# 阿里云百炼平台售后服务范围说明 + +## **阿里云百炼平台售后服务范围说明** + +欢迎您使用阿里云百炼。本《**阿里云百炼平台售后服务范围说明》是对您使用阿里云百炼相关产品和服务时适用的售后服务范围的说明。** + +1\. 在您购买的服务期限内，我们将为您提供如下售后基础服务，即通过官网、电话及阿里云APP提供7×24的电话咨询（95187、400电话）、智能在线和标准工单支持。支持范围包括： + +（1）关于阿里云百炼模型服务与产品功能、架构的咨询； + +（2）使用、配置阿里云百炼模型服务的最佳实践； + +（3）阿里云百炼模型服务的使用咨询、技术问题及故障诊断； + +（4）阿里云百炼API及阿里云百炼官方SDK问题的故障诊断； + +（5）与阿里云百炼管理控制台相关的问题； + +（6）与阿里云相关的账号问题咨询支持； + +（7）与阿里云相关的财务、合同及计费问题的咨询支持。 + +2\. 阿里云百炼将以阿里云官网页面公布的[客户服务权益](https://www.aliyun.com/service/customer-service-benefits?spm=5176.support-home.J_3451238410.1.12d1156fPBBxO0)标准向您提供相应的售后服务支持。 + +3\. 阿里云百炼同时提供付费版的售后增值服务（包括支持计划等），该等服务需在阿里云官网订购后生效使用。您还可通过阿里云获得其他付费的售后服务，具体详见阿里云的网站相关页面的收费售后服务内容。如您的项目需要更深度的技术支持（如业务代码编写指导、定制化集成方案等），建议联系阿里云商务经理沟通定制化服务方案。 + +4\. 为了方便您的生产或使用，如您选择将阿里云百炼服务与外部（非阿里云百炼平台上的）第三方工具或产品进行对接，阿里云将尽商业上合理的努力为您提供第三方工具在接入阿里云百炼模型推理服务过程中的方向性建议，但针对非阿里云百炼服务相关的问题，我们无法提供专业意见。 + +（1）我们提供建议的范围包括： + +（i）确认阿里云百炼API接口及服务端的可用状态； + +（ii）阿里云百炼官方API调用示例及SDK使用说明参考； + +（iii）协助核查阿里云百炼服务端调用明细和计费记录； + +（iv）基本的连通性测试建议（如通过curl等标准工具测试阿里云百炼服务地址的可达性）。 + +**（2）我们提供建议的范围不包括：** + +（i）第三方工具（如Cursor、Windsurf、Cline、OpenClaw等）的安装、部署、配置、升级及日常使用指导； + +（ii）第三方工具的产品功能、交互逻辑及内部实现问题的排查； + +（iii）其他云厂商、企业或社区提供的产品或服务的配置与运维； + +（iv）用户业务代码的编写、调试与实现； + +（v）用户本地环境（含内网、代理、VPN、防火墙、操作系统等）导致的连通性或兼容性问题的排查； + +（vi）第三方工具内部显示的Token数量、费用预估值或调用统计与阿里云计费数据之间的差异解释； + +（vii）所有第三方工具的安装、补丁更新、测试、故障诊断、优化等日常运维服务； + +（viii）基于阿里云百炼模型服务原生能力之上的第三方自建业务相关支持。 + +5\. 但请您注意，除我们另有书面说明外，第三方工具不构成我们的代理、受托或联合服务主体，**我们不对外部第三方工具的任何陈述、承诺或行为承担责任。**您知悉并确认，阿里云仅负责阿里云百炼平台自身的运营维护，即百炼服务端的技术架构、API接口、计量计费系统、控制台功能等；**第三方工具的运行维护（如AI编程工具的安装配置、开源代理框架的部署调优等）由您及相应工具提供方负责。**当您的问题出现在百炼模型服务的使用过程中，但其原因、责任范围或依赖关系已超出阿里云百炼平台本身可直接提供支持和保障的范围时——通常涉及您侧系统、外部第三方服务、网络环境、账号权限、业务流程或非标集成，阿里云将协助进行初步排查。若经排查确认问题来源于非阿里云侧，阿里云将给予方向性建议并引导您联系相应的服务主体。 diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-support/application-related-agreements.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-support/application-related-agreements.md index 941388e9..87bc4bba 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-support/application-related-agreements.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/application-support/application-related-agreements.md @@ -2,6 +2,6 @@ - [阿里云百炼服务协议](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20230728213935489/20230728213935489.html?spm=5176.28197581.0.0.16e829a4HTC9FE) -- [阿里云百炼服务特别说明](https://help.aliyun.com/zh/model-studio/bailian-service-notes) +- [阿里云百炼体验功能特别说明](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20260716114753386/20260716114753386.html) - [开源模型协议条款说明](https://help.aliyun.com/zh/model-studio/open-source-model-terms) diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md index 29f6ac10..36597cef 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md @@ -271,7 +271,45 @@ ### **2.2 模型调用费用** -在创建、更新、检索、命中测试知识库时，会调用向量模型（用于内容向量化）和排序模型（Rerank，用于重排序），这些调用会产生费用。 +在创建、更新、检索知识库以及使用知识问答服务时，会调用以下模型，这些调用会产生独立于规格费用之外的模型调用费用： + +**模型类别** + +**模型名称** + +**用途** + +**向量模型** + +[text-embedding-v4](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v4)等 + +文档类知识库的文本向量化 + +[qwen3-vl-embedding](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-embedding) + +图片问答类、音视频搜索类知识库的多模态向量化 + +**排序模型** + +[qwen3-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank) + +文档类知识库检索结果的二次排序（可选） + +[qwen3-vl-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-rerank) + +图片问答类、音视频搜索类知识库检索结果的二次排序（可选） + +**路由模型** + +[qwen-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-plus-latest) + +开启知识库路由时，系统调用 qwen-plus 判断查询应路由至哪些知识库 + +**问答模型** + +[qwen3.7-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3.7-plus?serviceSite=asia-pacific-china) 等 + +知识问答服务中生成回答的大语言模型，由用户在应用中自行选择 **重要** @@ -281,20 +319,28 @@ **多个知识库计费规则：**阿里云百炼应用挂载了多个知识库时，会在多个知识库内执行检索，Token 消耗量（Query 向量化和 Rerank 排序）**按知识库数量倍数增加**（N 个知识库则消耗量 × N）。 -#### **2.2.1 创建/更新知识库** +#### **2.2.1 知识管理（创建与更新知识库）** - **调用场景：**上传新文件或增量更新时，调用向量模型对文本内容进行向量化处理。 - **计费说明：按新增内容的 Token 数量计费。**删除文件不产生模型调用费用。 +- **调用的模型：** + + - 文档搜索类知识库：[text-embedding-v4](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v4) 或 [text-embedding-v3](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v3)（文本向量模型）。 + + - 图片问答类、音视频搜索类知识库：[qwen3-vl-embedding](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-embedding)（多模态向量模型）。 + -#### **2.2.2 检索知识库** +#### **2.2.2 知识检索** - **调用场景** - 1. 调用向量模型，对用户的查询（Query）进行向量化。 + 1. **向量化：**调用向量模型，对用户的查询（Query）进行向量化。 + + 2. **知识库路由（可选）：**若应用关联了多个知识库并开启了知识库路由功能，系统会调用 [qwen-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-plus-latest) 判断用户查询应路由至哪些知识库，该调用按 qwen-plus 的 Token 用量计费。 - 2. 调用排序模型（Rerank），对初步检索到的结果进行重新排序，以提升最终答案的精准度。 + 3. **排序（可选）：**调用排序模型对初步检索到的结果进行重新排序，以提升最终答案的精准度。文档搜索类知识库使用 [qwen3-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank)，图片问答类和音视频搜索类知识库使用 [qwen3-vl-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-rerank)。 - **计费说明** @@ -304,7 +350,7 @@ - **检索流程与计费关系详解** - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0647879771/CAEQaxiBgMCFrtjd3BkiIDA2ZWRiNzYxYzZiNzRkNGM5Mzg4NGQ5ZjhlODBlOWZj6139615_20260107153729.136.svg) + ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6004524871/CAEQaxiBgMCFrtjd3BkiIDA2ZWRiNzYxYzZiNzRkNGM5Mzg4NGQ5ZjhlODBlOWZj6139615_20260107153729.136.svg) 1. **初步召回** 系统根据以下参数从知识库中召回文本切片： @@ -328,7 +374,22 @@ Rerank 模型排序后，系统会根据**最终召回最大数量**参数（例如 5）返回相应数量的切片。 -#### **2.2.3 费用优化建议** +#### **2.2.3 知识问答** + +通过百炼应用（智能体应用、工作流应用）使用知识库进行问答时，除了检索阶段的模型费用外，还会产生以下模型调用费用： + +- **问答生成模型：**系统根据您在应用中选择的问答模型（如 qwen-plus 等）生成回答，按该模型的 Token 用量计费。具体价格以[模型计费标准](https://help.aliyun.com/zh/model-studio/model-pricing)为准。 + +- **预文件解析（可选）：**当用户在对话中上传文件并开启预文件解析功能时，系统会调用 [qwen3-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank) 对文件内容进行排序处理，按排序模型的 Token 用量计费。 + +- **知识库路由（可选）：**若应用关联了多个知识库并开启了路由功能，系统会调用 [qwen-plus](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-plus-latest) 进行路由判断（详见 [2.2.2 知识检索](#c868ef3a653qx)）。 + + +**重要** + +知识问答服务的完整费用 = **规格费用**（知识库运行时长）+ **检索阶段的模型费用**（向量化 + 排序 + 路由）+ **问答阶段的模型费用**（问答生成 + 预文件解析）。各模型费用按实际 Token 消耗量独立计算，请关注[模型计费标准](https://help.aliyun.com/zh/model-studio/model-pricing)了解各模型的单价。 + +#### **2.2.4 费用优化建议** 有以下两种方式： @@ -366,6 +427,19 @@ 点击知识库卡片上的**命中测试**，进入配置调试页面进行测试，会产生相应的模型（向量模型、排序模型）调用计费。 +#### **2.2.5 节省计划抵扣说明** + +知识库使用的向量模型（如 text-embedding-v4）和排序模型（如 qwen3-rerank）属于百炼平台 A 类模型，其调用费用支持通过以下节省计划抵扣： + +- **AI 通用型节省计划**（推荐）：覆盖 A 类全部模型（含文本向量、多模态向量、排序模型），按月承诺消费享阶梯折扣。详情请参见[节省计划与资源包](https://help.aliyun.com/zh/model-studio/savings-plan-and-resource-package)。 + +- **向量及排序模型节省计划**：专门针对向量和排序模型的节省计划，一次性购买固定金额。详情请参见[节省计划与资源包 > 向量及排序模型节省计划](https://help.aliyun.com/zh/model-studio/savings-plan-and-resource-package)。 + + +**说明** + +节省计划仅可抵扣模型调用费用，不可抵扣知识库的规格费用（运行时长费用）。规格费用的优化请参见[资源包](#a06c023507qq3)。 + ## 3\. 计费示例 ### 3.1 连续运行 1 天 @@ -396,7 +470,7 @@ ### 3.2 创建、更新与检索知识库 -基于 **text-embedding-v4**（向量模型）与 **qwen3-rerank**（排序模型），价格均为 **0.0005 元/千 Token**。 +以下示例基于文档搜索类知识库，使用 [**text-embedding-v4**](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/text-embedding-v4)（向量模型）与 [**qwen3-rerank**](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-rerank)（排序模型），价格均为 **0.0005 元/千 Token**。图片问答类和音视频搜索类知识库使用的多模态模型（[qwen3-vl-embedding](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-embedding)、[qwen3-vl-rerank](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3-vl-rerank)）价格请参见对应模型详情页。 **计费逻辑**：费用 = Token 消耗量（以“千 Token”为单位） × 模型单价 @@ -550,7 +624,7 @@ 5. **为什么我的排序（Rerank）费用特别高？如何降低模型调用费用？** - 排序（Rerank）模型的费用与您最终返回的结果数量无关，而是由**初步召回**的文本切片总数决定的。降低模型调用费用详见本文[2.2.3 费用优化建议](#9a9e30ecc3pbe)内容。 + 排序（Rerank）模型的费用与您最终返回的结果数量无关，而是由**初步召回**的文本切片总数决定的。降低模型调用费用详见本文[2.2.4 费用优化建议](#9a9e30ecc3pbe)内容。 6. **如何彻底停止知识库的计费？删除库内文件可以吗？** diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md index c5cdc98d..73ce26f5 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/knowledge-base/rag-knowledge-base.md @@ -62,7 +62,7 @@ 2. 填写**知识库名称**和**知识库描述**，其余设置保持默认，点击**下一步**。 -3. 选择**默认类目**，上传[阿里云百炼系列手机产品介绍.docx](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250603/duuuxk/%E9%98%BF%E9%87%8C%E4%BA%91%E7%99%BE%E7%82%BC%E7%B3%BB%E5%88%97%E6%89%8B%E6%9C%BA%E4%BA%A7%E5%93%81%E4%BB%8B%E7%BB%8D.docx)文件。点击**下一步**，然后点击**完成**。 +3. 选择**配置类目**，上传[阿里云百炼系列手机产品介绍.docx](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250603/duuuxk/%E9%98%BF%E9%87%8C%E4%BA%91%E7%99%BE%E7%82%BC%E7%B3%BB%E5%88%97%E6%89%8B%E6%9C%BA%E4%BA%A7%E5%93%81%E4%BB%8B%E7%BB%8D.docx)文件。点击**下一步**，然后点击**完成**。 ### 2\. 集成到业务应用 @@ -184,12 +184,10 @@ 2. **填写基础信息** - 根据应用场景选择合适的**知识库类型**（单一知识库不支持同时选择多个类型）。选择**文档搜索**类型后，还需选择**使用场景**（基础文档问答、图文并茂回复、视觉理解（富文本文档）或极速问答）： + 根据应用场景选择合适的**知识库类型**（单一知识库不支持同时选择多个类型）。选择**文档搜索**类型后，还需选择**使用场景**（基础文档问答、视觉理解（富文本文档）或极速问答）： - **基础文档问答：**适用于纯文本文档的语义检索。 - - **图文并茂回复：**适用于需要返回图文混排内容的场景。 - - **视觉理解（富文本文档）：**使用多模态向量模型对 PDF、图片等富文本文档进行视觉级理解和索引，保留原始版面信息。适合含有复杂排版、图表、公式的文档，支持文字、图片和图文组合三种命中测试模式。 - **极速问答：**针对检索速度进行优化，适合高度结构化或简单文档类型（如 FAQ、产品参数表等），提供极速低延时的问答体验。索引配置与基础文档问答一致，差异在于后端检索策略针对低延迟场景进行了专项优化。仅支持文本查询，不支持图片输入。 @@ -466,7 +464,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ## **相似度阈值** @@ -534,7 +532,7 @@ > 文档搜索类知识库无法实现此效果。 - - 支持导入多个Excel文件，但要求各文件的**表结构完全一致**。 + - 支持导入单份xlsx、xls格式的文档，文件大小限制20MB以内。 - **选择连接器：**选择指定的数据连接器。如尚未创建数据连接器，请参阅[数据连接](https://help.aliyun.com/zh/model-studio/data-connection)。 @@ -609,7 +607,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ### **相似度阈值** @@ -721,7 +719,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ### **相似度阈值** @@ -865,7 +863,7 @@ - **知识库类型限制：**仅适用于文档搜索类、数据查询类、音视频搜索类知识库。**图片问答类知识库不支持**。 - - **使用场景限制：**仅「基础文档问答」和「图文并茂回复」两种使用场景支持。「视觉理解（富文本文档）」和「极速问答」**不支持**。 + - **使用场景限制：**仅**基础文档问答**使用场景支持。**视觉理解（富文本文档）**和**极速问答**不支持。 ### **相似度阈值** @@ -894,7 +892,7 @@ - **使用场景**可根据需求选择**基础文档问答**、**图文并茂回复**、**视觉理解（富文本文档）**或**极速问答**（适用于高度结构化或简单文档类型，任务明确，提供极低延迟的问答体验）。 + **使用场景**可根据需求选择**基础文档问答**、**视觉理解（富文本文档）**或**极速问答**（适用于高度结构化或简单文档类型，任务明确，提供极低延迟的问答体验）。 在请求高峰时段，创建过程可能需要数小时（取决于数据量），请耐心等待。 @@ -905,11 +903,15 @@ ## **文档搜索类知识库** -- **自动更新（推荐）** +1. **自动更新（推荐）** - 通过对象存储OSS管理文件，借助函数计算 FC 监听文件变更事件，自动同步更新至知识库，实现知识的实时更新。详见[告别手动操作，让AI知识库自动更新](https://www.aliyun.com/solution/tech-solution/auto-updated-knowledge-base)。 + 通过对象存储OSS类型连接器监听OSS内数据变动，自动同步更新至知识库，实现知识的实时更新。操作步骤如下： -- **手动更新** + 1. **创建连接器：**前往[创建连接器](https://bailian.console.aliyun.com/cn-beijing?tab=app#/connector/create)，创建**OSS**类型的连接器并选择进行监听的Bucket。 + + 2. **创建知识库：**创建一个知识库，在**选择数据**步骤的**数据来源**选项选择创建完成的OSS类型的连接器。 + +2. **手动更新** 在[知识库](https://bailian.console.aliyun.com/?tab=app#/knowledge-base)页面，找到目标知识库，单击卡片上的**查看详情**。 @@ -1230,22 +1232,12 @@ **方式一（仅适用智能体应用）** - 1. 在[构建知识库](#c0fa1080aerzp)时，知识库类型选择**文档搜索**，使用场景选择**图文并茂回复**。 - - > 选择图文并茂回复后，知识库将从文件插图中提取摘要，大模型根据摘要与问题的相关性自主决定是否插入图片。 + 1. 在[构建知识库](#c0fa1080aerzp)时，知识库类型选择**文档搜索**，使用场景选择**视觉理解（富文本文档）**。 - **重要** - - 上传文档时不能选择**电子文档解析**，否则无法获取图片内容。电子文档解析不识别文档中的图片，会导致图文并茂回复功能无法正常使用。 + > 选择视觉理解（富文本文档）回复后，知识库将从文件插图中提取摘要，大模型根据摘要与问题的相关性自主决定是否插入图片。 2. 创建或编辑智能体应用时，选择**千问-Plus**或**千问-Plus-Latest**模型（经测试，两款模型效果最佳）。点击**文档知识库**右侧的**+**按钮，添加上一步构建的知识库。 - **说明** - - 召回长度须小于文档实际长度。若召回长度超过文档实际长度，系统将直接返回完整文档内容，不执行图文并茂的逻辑判断。 - - > 注意：当前"图文并茂回复"与"展示回答来源"功能暂不支持同时开启。 - 3. 实际问答效果： ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1699676371/p903021.png) diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/application-introduction.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/application-introduction.md index 0e578a2d..2a13317b 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/application-introduction.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/application-introduction.md @@ -45,12 +45,15 @@ Python 编码（专业代码） AI 自主决策、动态规划 由大模型根据提示词自主规划任务步骤 + 由预定义流程精确控制 每一步都由预设的节点定义，逻辑确定 + 完全由代码控制 所有逻辑和执行路径由代码定义 + 适合人群 @@ -74,9 +77,9 @@ AI 工程师、开发者 - **智能体应用** - - 如何创建和配置？请参考：[新版智能体应用](https://help.aliyun.com/zh/model-studio/new-single-agent-application)（推荐）、[智能体应用](https://help.aliyun.com/zh/model-studio/single-agent-application)。 + - 如何创建和配置？请参考：[新版智能体应用（Agent 2.0）](https://help.aliyun.com/zh/model-studio/new-single-agent-application)（推荐）、[智能体应用（Agent 1.0）](https://help.aliyun.com/zh/model-studio/single-agent-application)。 - - 如何快速上手实际案例？请参考：[创建智能问答 AI 电商客服助手](https://help.aliyun.com/zh/document_detail/2878136.html#0a9fbaf6a71q7)、[集成高德 MCP 的旅行规划智能体](https://help.aliyun.com/zh/document_detail/2880695.html)。 + - 如何快速上手实际案例？请参考：[创建智能问答 AI 电商客服助手](https://help.aliyun.com/zh/document_detail/2878136.html#0a9fbaf6a71q7)、[集成高德 MCP 的旅行规划智能体](https://help.aliyun.com/zh/model-studio/use-cases/integrate-amap-mcp-travel-planning-agent)。 - 如何通过 API 调用？请参考：[新版智能体应用 API](https://help.aliyun.com/zh/model-studio/new-agent-application-api-reference)、[调用智能体应用](https://help.aliyun.com/zh/model-studio/call-single-agent-application/)。 diff --git a/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md b/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md index ede0fcdc..48466f2f 100644 --- a/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md +++ b/skills/bailian-docs-llm-wiki/raw/application-user-guide/llm-application/new-single-agent-application.md @@ -1,4 +1,4 @@ -# 新版智能体应用（Agent 2.0） +# 新版智能体应用 新版智能体应用（Agent 2.0）将知识库、MCP 等多种能力统一为工具，并通过自主思考和规划来调用，以解决复杂任务。 @@ -53,7 +53,7 @@ - **最长回复长度**：模型生成的长度限制，不包含提示词。 - - **temperature**：控制生成随机性和多样性，数值越高随机性越强。 + - **温度系数**：控制生成随机性和多样性，数值越高随机性越强。 - **enable\_thinking**：是否开启思考模式。开启思考模式有助于提升智能体的反思效果。不支持思考模式的模型无法配置 enable\_thinking 参数。 @@ -245,3 +245,15 @@ - 意图与技能的相关性：请评估问题的表述是否清晰，其意图是否能明确指向特定技能。如果意图模糊或与技能功能不相关，模型可能选择不调用。 - 执行轮次限制：请检查是否达到了 ReAct 轮次上限。智能体可能已规划调用该技能，但在执行到该步骤前因轮次耗尽而被强制终止。 + + +### 智能体应用是否支持上下文缓存？ + +支持**隐式缓存**，暂不支持在应用中配置**显式缓存**。 + +- **隐式缓存**：智能体在调用支持隐式缓存的模型时会自动生效，无需任何配置、也无法关闭。系统会自动识别并缓存请求的公共前缀（如相同的系统提示词、多轮对话历史、知识库召回内容等），命中缓存的输入 Token 按标准输入单价的 20% 计费，可相应降低模型调用成本。 + +- **显式缓存**：需要在模型调用请求中主动为指定内容创建缓存标记。智能体应用由平台统一构造模型请求，暂不支持配置显式缓存。 + + +上下文缓存的工作模式、支持的模型及计费详情，请参见[上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md index 62ca0940..382676af 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md @@ -21,7 +21,9 @@ Tripo 3D模型生成支持**文生3D模型**、**单图生3D模型和多图生3D ### **步骤1：创建任务获取任务ID** -**北京地域**：`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation` +**北京地域**：`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -35,7 +37,8 @@ Tripo 3D模型生成支持**文生3D模型**、**单图生3D模型和多图生3D ## 文生3D模型（有贴图） ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -53,7 +56,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## 单图生3D模型（有贴图） ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -71,7 +75,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## 多图生3D模型（有贴图） ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -96,7 +101,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener > 图片顺序为前、左、后、右，不需要的视角传入空对象`{}`即可。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -121,7 +127,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener > 需同时将`texture`和`pbr`设为`false`。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -324,7 +331,7 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ### **步骤2：根据任务ID查询结果** -**北京地域**：`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +**北京地域**：`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` **说明** @@ -343,7 +350,7 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-python-sdk.md index 601bfe7e..b7ba1534 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-real-time-speech-recognition-api-reference/fun-asr-realtime-python-sdk.md @@ -39,8 +39,6 @@ 点击查看完整示例 -示例中用到的音频为：[asr\_example.wav](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250210/iwaouc/asr_example.wav)。 - ``` from http import HTTPStatus import dashscope @@ -58,7 +56,7 @@ recognition = Recognition(model='fun-asr-realtime', format='wav', sample_rate=16000, callback=None) -result = recognition.call('asr_example.wav') +result = recognition.call('{YOUR_AUDIO_FILE}') if result.status_code == HTTPStatus.OK: print('识别结果：') print(result.get_sentence()) @@ -221,8 +219,6 @@ if __name__ == '__main__': ## 识别本地语音文件 -示例中用到的音频为：[asr\_example.wav](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250210/acoict/asr_example.wav)。 - ``` import os import time @@ -270,8 +266,8 @@ recognition = Recognition(model='fun-asr-realtime', try: audio_data: bytes = None - f = open("asr_example.wav", 'rb') - if os.path.getsize("asr_example.wav"): + f = open("{YOUR_AUDIO_FILE}", 'rb') + if os.path.getsize("{YOUR_AUDIO_FILE}"): # 一次性将文件数据全部读入buffer file_buffer = f.read() f.close() diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md index 10ee8202..3a99c0b6 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-android-sdk.md @@ -1,6 +1,6 @@ -# Fun-ASR录音文件识别Android SDK +# Fun-ASR非实时语音识别Android SDK -本文档提供了Fun-ASR录音文件识别Android SDK的详细使用指南，帮助您将语音转换为文本。 +本文档提供了Fun-ASR非实时语音识别Android SDK的详细使用指南，帮助您将语音转换为文本。 **用户指南：**[非实时语音识别](https://help.aliyun.com/zh/model-studio/non-realtime-speech-recognition-user-guide)。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 @@ -13,7 +13,7 @@ - [下载最新SDK整合包](https://help.aliyun.com/zh/isi/sdk-selection-and-download)。 - 解压 ZIP 包。在 `app/libs` 目录中获取 AAR 格式 SDK，并添加到项目依赖。 - 需要 Android CPP 接入时，使用 ZIP 包内的 `android_libs` 与 `android_include` 获取动态库和头文件。 + 需要 Android CPP 接入时，使用 ZIP 包内的 `android_libs` 与 `android_include` 获取动态库和头文件。 - 用 Android Studio 打开工程。示例代码位于`DashFunAsrFileTranscriberActivity.java`，替换 API Key 后体验功能。 @@ -99,7 +99,7 @@ 是 - 运行模式。录音文件识别固定为 `"1"`。 + 运行模式。非实时语音识别固定为 `"1"`。 `device_id` @@ -170,7 +170,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { @@ -596,7 +596,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md index 2dbd2ce9..2ccfc352 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-http-api.md @@ -1,12 +1,10 @@ -# Fun-ASR录音文件识别HTTP API参考 +# Fun-ASR非实时语音识别HTTP API参考 -本文介绍Fun-ASR录音文件识别HTTP API的参数和接口细节。 +本文介绍Fun-ASR非实时语音识别HTTP API的参数和接口细节。 **用户指南：**[非实时语音识别](https://help.aliyun.com/zh/model-studio/non-realtime-speech-recognition-user-guide)。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 -## **DashScope异步调用（Fun-ASR）** - -### **流程说明** +## **流程说明** 与DashScope同步调用（一次请求、立即返回结果）不同，异步调用专为处理长音频文件或耗时较长的任务设计，该模式采用“提交-轮询”的两步式流程，避免了因长时间等待而导致的请求超时： @@ -23,7 +21,7 @@ - 当任务处理完成后，结果查询接口将返回最终的识别结果。 -### **服务端点** +## **服务端点** ## 华北2（北京） @@ -56,7 +54,7 @@ 使用新版域名（`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`）提交任务时，请求体中必须包含`parameters`对象。即使无需设置任何参数，也必须传入空对象`{}`，否则任务可正常提交，但识别将失败。 -### **请求头** +## **请求头** **参数** @@ -90,11 +88,11 @@ string 异步任务标识。仅提交任务接口需要传入，固定为`enable`，请勿遗漏，否则无法提交任务。 -### **提交任务接口** +## **提交任务接口** 提交语音识别任务。该接口异步返回，业务侧需结合[查询任务接口](#480630e0582sb)轮询任务状态。 -#### **请求体** +### **请求体** 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 @@ -107,7 +105,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi "model": "fun-asr", "input": { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ] }, "parameters": { @@ -289,7 +287,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi - en: 英文 -#### **返回体** +### **返回体** ``` { @@ -319,11 +317,11 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi 任务状态。提交成功时返回`PENDING`。 -### **查询任务接口** +## **查询任务接口** 查询语音识别任务的执行情况和结果。建议轮询调用直至任务终态。 -#### **请求体** +### **请求体** 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 @@ -340,7 +338,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks 查询任务需指定其ID，该ID为[提交任务接口](#418f2ac8ecxm4)被调用后返回的`task_id`。 -#### **返回体** +### **返回体** ## 正常示例 @@ -355,7 +353,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks "end_time": "2024-09-12 15:11:40.903", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url": "{YOUR_AUDIO_URL}", "transcription_url": "https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/pre/filetrans-16k/20240912/15%3A11/409a4b92-445b-4dd8-8c1d-f110954d82d8-1.json?Expires=1726211500&OSSAccessKeyId=yourOSSAccessKeyId&Signature=v5Owy5qoAfT7mzGmQgH0g8C****%3D", "subtask_status": "SUCCEEDED" } @@ -383,7 +381,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "FILE_DOWNLOAD_FAILED", "message": "FILE_DOWNLOAD_FAILED", "subtask_status": "FAILED" @@ -485,11 +483,11 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks 失败的子任务数。 -### **其他接口：批量查询任务状态/取消任务** +## **其他接口：批量查询任务状态/取消任务** -详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的录音文件识别任务，同时支持取消`PENDING`（排队）状态的任务。 +详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的非实时语音识别任务，同时支持取消`PENDING`（排队）状态的任务。 -### **识别结果说明** +## **识别结果说明** 识别结果保存为JSON文件。 @@ -497,7 +495,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks ``` { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "properties":{ "audio_format":"pcm_s16le", "channels":[ @@ -637,887 +635,3 @@ punctuation string 预测出的词之后的标点符号（如有）。 - -## **DashScope同步调用（Fun-ASR-Flash）** - -**重要** - -该功能不支持SDK调用。 - -### **服务端点** - -## 华北2（北京） - -`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` - -调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - -## 新加坡 - -`POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` - -调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - -**重要** - -阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，能够为推理请求提供卓越的性能和更高的稳定性，建议迁移至新域名： - -- 华北2（北京）地域：从 `dashscope.aliyuncs.com` 迁移至 `{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - -- 新加坡地域：从 `dashscope-intl.aliyuncs.com` 迁移至 `{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` - - -`{WorkspaceId}`需要替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。现有域名仍可正常使用。 - -### **请求头** - -**参数** - -**类型** - -**是否必选** - -**说明** - -Authorization - -string - -是 - -鉴权令牌，格式为`Bearer `，使用时将"``"替换为实际的API Key。 - -Content-Type - -string - -是 - -请求体的媒体类型，固定为`application/json`。 - -X-DashScope-SSE - -string - -是 - -用于控制是否以SSE流式方式返回结果。设置为`enable`时开启SSE流式返回模式，服务端会分多次返回中间识别结果和最终结果；设置为`disable`或不传该参数则仅返回最终结果。 - -### **请求体** - -以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - -## 非流式 - -``` -curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ - --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ - --header "Content-Type: application/json" \ - --header "X-DashScope-SSE: disable" \ - --data '{ - "model": "fun-asr-flash-2026-06-15", - "input": { - "messages": [ - { - "role": "user", - "content": [ - { - "type": "input_audio", - "input_audio": { - "data": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" - } - } - ] - } - ] - }, - "parameters": { - "format": "wav", - "sample_rate": "16000" - } -}' -``` - -## 流式 - -``` -curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ - --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ - --header "Content-Type: application/json" \ - --header "X-DashScope-SSE: enable" \ - --data '{ - "model": "fun-asr-flash-2026-06-15", - "input": { - "messages": [ - { - "role": "user", - "content": [ - { - "type": "input_audio", - "input_audio": { - "data": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" - } - } - ] - } - ] - }, - "parameters": { - "format": "wav", - "sample_rate": "16000" - } -}' -``` - -## 携带上下文-非流式 - -``` -curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ - --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ - --header "Content-Type: application/json" \ - --header "X-DashScope-SSE: disable" \ - --data '{ - "model": "fun-asr-flash-2026-06-15", - "input": { - "messages": [ - { - "role": "user", - "content": [ - { - "type": "input_text", - "text": "你好啊" - } - ] - }, - { - "role": "assistant", - "content": [ - { - "type": "text", - "text": "你好啊，我是通义千问，有什么可以帮助你的？" - } - ] - }, - { - "role": "user", - "content": [ - { - "type": "input_audio", - "input_audio": { - "data": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" - } - } - ] - } - ] - }, - "parameters": { - "format": "wav", - "sample_rate": "16000" - } -}' -``` - -## 携带上下文-流式 - -``` -curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ - --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ - --header "Content-Type: application/json" \ - --header "X-DashScope-SSE: enable" \ - --data '{ - "model": "fun-asr-flash-2026-06-15", - "input": { - "messages": [ - { - "role": "user", - "content": [ - { - "type": "input_text", - "text": "你好啊" - } - ] - }, - { - "role": "assistant", - "content": [ - { - "type": "text", - "text": "你好啊，我是通义千问，有什么可以帮助你的？" - } - ] - }, - { - "role": "user", - "content": [ - { - "type": "input_audio", - "input_audio": { - "data": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" - } - } - ] - } - ] - }, - "parameters": { - "format": "wav", - "sample_rate": "16000" - } -}' -``` - -## Base64 - -可输入Base64编码数据（[Data URL](https://www.rfc-editor.org/rfc/rfc2397)），格式为：`data:;base64,`。 - -- ``：MIME类型 - - 因音频格式而异，例如： - - - WAV：`audio/wav` - - - MP3：`audio/mpeg` - -- ``：音频转成的Base64编码的字符串 - - Base64编码会增大体积，请控制原文件大小，确保编码后仍符合输入音频大小限制（10MB） - -- 示例：`data:audio/wav;base64,SUQzBAAAAAAAI1RTU0UAAAAPAAADTGF2ZjU4LjI5LjEwMAAAAAAAAAAAAAAA//PAxABQ/BXRbMPe4IQAhl9` - - **点击查看示例代码** - - Python - - ``` - import base64, pathlib - - # input.mp3为待识别的本地音频文件，请替换为自己的音频文件路径，确保其符合音频要求 - file_path = pathlib.Path("input.mp3") - base64_str = base64.b64encode(file_path.read_bytes()).decode() - data_uri = f"data:audio/mpeg;base64,{base64_str}" - ``` - - Java - - ``` - import java.nio.file.*; - import java.util.Base64; - - public class Main { - /** - * filePath为待识别的本地音频文件，请替换为自己的音频文件路径，确保其符合音频要求 - */ - public static String toDataUrl(String filePath) throws Exception { - byte[] bytes = Files.readAllBytes(Paths.get(filePath)); - String encoded = Base64.getEncoder().encodeToString(bytes); - return "data:audio/mpeg;base64," + encoded; - } - - public static void main(String[] args) throws Exception { - System.out.println(toDataUrl("input.mp3")); - } - } - ``` - - -``` -import base64, pathlib -import os -import requests - -# input.wav为待识别的本地音频文件，请替换为自己的音频文件路径，确保其符合音频要求 -file_path = pathlib.Path("input.wav") -base64_str = base64.b64encode(file_path.read_bytes()).decode() -data_uri = f"data:audio/wav;base64,{base64_str}" - -url = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation" - -headers = { - "Authorization": f"Bearer {os.environ['DASHSCOPE_API_KEY']}", - "Content-Type": "application/json", - "X-DashScope-SSE": "disable", -} - -payload = { - "model": "fun-asr-flash-2026-06-15", - "input": { - "messages": [ - { - "role": "user", - "content": [ - { - "type": "input_audio", - "input_audio": { - "data": data_uri, - }, - } - ], - } - ] - }, - "parameters": { - "format": "wav", - "sample_rate": "16000", - }, -} - -response = requests.post(url, headers=headers, json=payload) -print(response.status_code) -print(response.json()) -``` - -**model** `_string_` **（必选）** - -模型名称，固定为`fun-asr-flash-2026-06-15`。 - -**input** `_object_` **（必选）** - -输入信息。 - -**属性** - -**messages** `_array(object)_` **（必选）** - -消息列表。包含当前待识别的音频，以及可选的对话上下文（用于提升识别效果）。 - -**重要** - -上下文功能用于提升专有词汇的识别准确率，使用方法详见[快速开始](https://help.aliyun.com/zh/model-studio/improve-asr-accuracy#ctx-quickstart-sec)。约束：上下文消息（`input_text` 和 `text` 类型）各最多 5 条，超出时保留最近的 5 条。每轮上下文文本总长度（`user` 和 `assistant` 的 `text` 字段长度之和）不超过 400 个字符（按字符数计算，每个字符计为 1），超出部分从末尾截断。 - -**重要** - -携带上下文时，`messages` 中的消息顺序有要求：上下文消息必须按对话轮次排列，每轮中 `user`（`input_text` 类型）必须在对应的 `assistant`（`text` 类型）之前；包含 `input_audio` 的 `user` 消息必须放在 `messages` 数组的最后。 - -**属性** - -**role** `_string_` **（必选）** - -消息角色。取值范围： - -- `user`（必选）：用户消息。type为`input_audio`时表示当前待识别的音频；type为`input_text`时表示前几轮的识别结果或领域相关的词表（可选，上下文）。 - -- `assistant`（可选，上下文）：前几轮大语言模型的回复内容。 - - -**content** `_array(object)_` **（必选）** - -消息内容列表。 - -**属性** - -**type** `_string_` **（必选）** - -内容类型。每个请求至少需要一条`input_audio`类型的消息。取值范围： - -- `input_audio`（必选）：当前待识别的音频输入（role为user），需同时传入`input_audio`对象。 - -- `input_text`（可选，上下文）：前几轮用户语音的识别结果或领域相关的词表（role为user），需同时传入`text`字段。 - -- `text`（可选，上下文）：前几轮大语言模型的回复内容（role为assistant），需同时传入`text`字段。 - - -**input\_audio** `_object_` **（条件必选）** - -当`type`为`input_audio`时必填。 - -**属性** - -**data** `_string_` **（必选）** - -待识别音频数据。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。支持以下两种方式： - -- **音频文件URL**：直接传入可公开访问的音频文件地址。 - -- **Base64 Data URI**：采用Data URI格式传入Base64编码的音频数据，值由`data:{MIME_TYPE};base64,`前缀与Base64编码的音频数据拼接而成。支持的MIME类型包括`audio/wav`、`audio/mp3`等。 - - -示例（URL方式）：`https://example.com/audio/sample.wav` - -示例（Base64方式）：`data:audio/wav;base64,{BASE64_ENCODED_DATA}` - -**text** `_string_` **（条件必选）** - -当`type`为`input_text`时，填入前几轮用户语音的识别结果或领域相关的词表；当`type`为`text`时，填入前几轮大语言模型的回复内容。文本按字符数计算，每个字符计为 1。每轮上下文中所有消息的 `text` 字段长度之和不超过 400 个字符，超出部分从末尾截断。 - -**parameters** `_object_` **（必选）** - -模型参数。 - -**属性** - -**format** `_string_` **（必选）** - -音频格式。根据实际音频格式填写，支持`wav`、`mp3`、`opus`等。详情请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 - -**sample\_rate** `_string_` （可选） - -音频采样率，单位Hz。例如`16000`表示16kHz采样率。详情请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 - -### **返回体** - -## 非流式 - -``` -{ - "output": { - "sentence": { - "begin_time": 760, - "channel_id": 0, - "end_time": 3800, - "sentence_end": true, - "sentence_id": 1, - "text": "Hello World，这里是阿里巴巴语音实验室。", - "words": [ - {"begin_time": 760, "end_time": 1040, "fixed": true, "punctuation": "", "text": "Hello"}, - {"begin_time": 1040, "end_time": 1240, "fixed": true, "punctuation": "，", "text": " World"}, - {"begin_time": 1360, "end_time": 1880, "fixed": true, "punctuation": "", "text": "这里是"}, - {"begin_time": 1880, "end_time": 2520, "fixed": true, "punctuation": "", "text": "阿里巴巴"}, - {"begin_time": 2520, "end_time": 2840, "fixed": true, "punctuation": "", "text": "语音"}, - {"begin_time": 2840, "end_time": 3800, "fixed": true, "punctuation": "。", "text": "实验室"} - ] - }, - "text": "Hello World，这里是阿里巴巴语音实验室。" - }, - "usage": { - "duration": 4 - }, - "request_id": "40e0734d-096f-9ae3-86c1-a8c013287561" -} -``` - -## 流式 - -设置`X-DashScope-SSE: enable`时，服务端以Server-Sent Events协议返回识别结果。SSE事件格式如下： - -``` -id:{序列号} -event:result -:HTTP_STATUS/200 -data:{JSON数据} -``` - -返回示例： - -``` -id:1 -event:result -:HTTP_STATUS/200 -data:{"output":{"sentence":{"sentence_id":1,"sentence_end":true,"end_time":3800,"words":[{"end_time":1040,"punctuation":"","begin_time":760,"fixed":true,"text":"Hello"},{"end_time":1240,"punctuation":"，","begin_time":1040,"fixed":true,"text":" World"},{"end_time":1880,"punctuation":"","begin_time":1360,"fixed":true,"text":"这里是"},{"end_time":2520,"punctuation":"","begin_time":1880,"fixed":true,"text":"阿里巴巴"},{"end_time":2840,"punctuation":"","begin_time":2520,"fixed":true,"text":"语音"},{"end_time":3800,"punctuation":"。","begin_time":2840,"fixed":true,"text":"实验室"}],"begin_time":760,"text":"Hello World，这里是阿里巴巴语音实验室。","channel_id":0},"text":"Hello World，这里是阿里巴巴语音实验室。"},"usage":{"duration":4},"request_id":"fc1582e4-935c-9fc2-a482-a98bf43daa69"} -``` - -**request\_id** `_string_` - -本次请求的唯一标识。 - -**output** `_object_` - -输出结果。 - -**属性** - -**text** `_string_` - -当前累积的完整识别文本。 - -**sentence** `_object_` - -当前句子的详细信息。 - -**属性** - -**sentence\_id** `_integer_` - -句子编号，从1开始。 - -**sentence\_end** `_boolean_` - -是否为该句的最终结果。为`true`时表示该句识别完成。 - -**begin\_time** `_integer_` - -句子开始时间，单位毫秒。 - -**end\_time** `_integer_` - -句子结束时间，单位毫秒。仅在`sentence_end`为`true`时返回。 - -**text** `_string_` - -当前句子的识别文本。 - -**channel\_id** `_integer_` - -声道编号，从0开始。 - -**words** `_array_` - -词级别时间戳列表。 - -**属性** - -**text** `_string_` - -词文本。 - -**begin\_time** `_integer_` - -词开始时间，单位毫秒。 - -**end\_time** `_integer_` - -词结束时间，单位毫秒。 - -**punctuation** `_string_` - -词后的标点符号。无标点时为空字符串。 - -**fixed** `_boolean_` - -词是否已稳定。`false`表示后续事件中该词的时间戳可能调整。 - -**usage** `_object_` - -用量信息。仅在`sentence_end`为`true`时返回。 - -**属性** - -**duration** `_integer_` - -已处理的音频时长，单位秒。 - -### **SSE 流式结果处理逻辑** - -在流式模式下，客户端需关注以下处理要点： - -1. 每收到一个SSE事件，解析`data`字段中的JSON。 - -2. 通过`output.sentence.sentence_end`判断当前句子是否结束：当该值为`true`时，该句识别完成，词级时间戳已稳定，可作为最终结果使用；当该值为`false`时，识别仍在进行中，文本和时间戳可能在后续事件中更新。 - -3. `usage`信息仅在句子结束事件中返回，可用于计量音频处理时长。 - - -## **DashScope同步调用（Fun-ASR-R**ealtime**）** - -**重要** - -- 该功能只支持北京地域。 - -- 不支持SDK调用。 - - -### **服务端点** - -`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` - -调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - -**重要** - -阿里云百炼为华北2（北京）地域推出了业务空间专属域名，能够为推理请求提供卓越的性能和更高的稳定性，建议从 `dashscope.aliyuncs.com` 迁移至 `{WorkspaceId}.cn-beijing.maas.aliyuncs.com`。 - -`{WorkspaceId}`需要替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。现有域名仍可正常使用。 - -### **请求头** - -**参数** - -**类型** - -**是否必选** - -**说明** - -Authorization - -string - -是 - -鉴权令牌，格式为`Bearer `，使用时将“``”替换为实际的API Key。 - -Content-Type - -string - -是 - -请求体的媒体类型，固定为`application/json`。 - -X-DashScope-SSE - -string - -是 - -用于控制是否以SSE流式方式返回结果。设置为`enable`时开启SSE流式返回模式，服务端会分多次返回中间识别结果和最终结果；设置为`disable`或不传该参数则仅返回最终结果。 - -### **请求体** - -## 非流式 - -``` -curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ - --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ - --header "Content-Type: application/json" \ - --header "X-DashScope-SSE: disable" \ - --data '{ - "model": "fun-asr-realtime", - "input": { - "messages": [] - }, - "parameters": { - "audio_address": "https://example.com/audio/sample.mp3", - "format": "mp3" - }, - "resources": [] -}' -``` - -## 流式 - -``` -curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ - --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ - --header "Content-Type: application/json" \ - --header "X-DashScope-SSE: enable" \ - --data '{ - "model": "fun-asr-realtime", - "input": { - "messages": [] - }, - "parameters": { - "audio_address": "https://example.com/audio/sample.mp3", - "format": "mp3" - }, - "resources": [] -}' -``` - -**model** `_string_` **（必选）** - -模型名称。 - -取值范围： - -- `fun-asr-realtime`（稳定版模型） - -- `fun-asr-realtime-2026-02-28`（即 Fun-Realtime-ASR-preview） - - -**input** `_object_` **（条件必选）** - -输入信息。与输入音频文件URL方式（通过`parameters.audio_address`传入）二选一，使用Base64方式上传音频时需要填写。 - -**属性** - -**messages** `_array(object)_` **（必选）** - -消息列表。 - -**属性** - -**content** `_array(object)_` **（必选）** - -用户消息的内容。仅允许设置一组消息。 - -**属性** - -**audio** `_string_` **（必选）** - -待识别音频，采用Data URI格式传入Base64编码的音频数据。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 - -使用Base64方式上传音频时需要填写。 - -值由`data:{MIME_TYPE};base64,`前缀与Base64编码的音频数据拼接而成。支持的MIME类型包括`audio/wav`、`audio/mp3`等。 - -示例：`data:audio/wav;base64,{BASE64_ENCODED_DATA}` - -**role** `_string_` **（必选）** - -用户消息的角色，固定为`user`。使用Base64方式上传音频时需要填写。 - -**parameters** `_object_` **（必选）** - -模型参数。 - -**属性** - -**audio\_address** `_string_` **（条件必选）** - -音频文件URL地址。与Base64方式（通过`input.messages`传入）二选一，使用URL方式时必填。需为可公开访问的地址。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 - -**format** `_string_` **（必选）** - -音频格式。根据实际音频格式填写，支持`wav`、`mp3`、`opus`等。详情请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 - -**vad\_enabled** `_boolean_` （可选） - -是否启用端点检测（VAD）。 - -默认为`true`（启用 VAD 检测）。 - -设为 `false` 时关闭 VAD 检测；但当音频时长超过 1 分钟时，系统将自动启用 VAD 检测，忽略此参数设置。 - -**resources** `_array_` （可选） - -资源列表，预留字段，当前可传空数组`[]`。 - -### **返回体** - -## 非流式 - -``` -{ - "output": { - "sentence": { - "begin_time": 160, - "channel_id": 0, - "end_time": 1680, - "sentence_end": true, - "sentence_id": 1, - "text": "欢迎使用阿里云。", - "words": [ - {"begin_time": 160, "end_time": 520, "fixed": true, "punctuation": "", "text": "欢迎"}, - {"begin_time": 520, "end_time": 880, "fixed": true, "punctuation": "", "text": "使用"}, - {"begin_time": 880, "end_time": 1280, "fixed": true, "punctuation": "", "text": "阿里"}, - {"begin_time": 1280, "end_time": 1680, "fixed": true, "punctuation": "。", "text": "云"} - ] - }, - "text": "欢迎使用阿里云。" - }, - "usage": { - "duration": 2 - }, - "request_id": "eff4c092-2289-9b43-a4cd-80e591fa90f5" -} -``` - -## 流式 - -设置`X-DashScope-SSE: enable`时，服务端以Server-Sent Events协议分多次返回中间识别结果和最终结果。每个SSE事件格式如下： - -``` -id:{序列号} -event:result -:HTTP_STATUS/200 -data:{JSON数据} -``` - -中间结果（句子开始、词逐步增长）： - -``` -id:1 -event:result -:HTTP_STATUS/200 -data:{"output":{"sentence":{"sentence_id":1,"sentence_end":false,"sentence_begin":true,"words":[],"begin_time":0,"text":"","channel_id":0},"text":""},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} - -id:2 -event:result -:HTTP_STATUS/200 -data:{"output":{"sentence":{"words":[{"end_time":520,"punctuation":"","begin_time":160,"fixed":false,"text":"欢迎"}],"begin_time":160,"text":"欢迎","channel_id":0,"sentence_id":1,"sentence_end":false},"text":"欢迎"},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} - -id:3 -event:result -:HTTP_STATUS/200 -data:{"output":{"sentence":{"words":[{"end_time":520,"punctuation":"","begin_time":160,"fixed":false,"text":"欢迎"},{"end_time":880,"punctuation":"","begin_time":520,"fixed":false,"text":"使用"}],"begin_time":160,"text":"欢迎使用","channel_id":0,"sentence_id":1,"sentence_end":false},"text":"欢迎使用"},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} -``` - -最终结果（句子结束，包含`usage`）： - -``` -id:4 -event:result -:HTTP_STATUS/200 -data:{"output":{"sentence":{"sentence_id":1,"sentence_end":true,"end_time":1680,"words":[{"end_time":520,"punctuation":"","begin_time":160,"fixed":true,"text":"欢迎"},{"end_time":880,"punctuation":"","begin_time":520,"fixed":true,"text":"使用"},{"end_time":1280,"punctuation":"","begin_time":880,"fixed":true,"text":"阿里"},{"end_time":1680,"punctuation":"。","begin_time":1280,"fixed":true,"text":"云"}],"begin_time":160,"text":"欢迎使用阿里云。","channel_id":0},"text":"欢迎使用阿里云。"},"usage":{"duration":2},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} -``` - -**request\_id** `_string_` - -本次请求的唯一标识。 - -**output** `_object_` - -输出结果。 - -**属性** - -**text** `_string_` - -当前累积的完整识别文本。 - -**sentence** `_object_` - -当前句子的详细信息。 - -**属性** - -**sentence\_id** `_integer_` - -句子编号，从1开始。 - -**sentence\_end** `_boolean_` - -是否为该句的最终结果。为`true`时表示该句识别完成。 - -**begin\_time** `_integer_` - -句子开始时间，单位毫秒。 - -**end\_time** `_integer_` - -句子结束时间，单位毫秒。仅在`sentence_end`为`true`时返回。 - -**text** `_string_` - -当前句子的识别文本。 - -**channel\_id** `_integer_` - -声道编号，从0开始。 - -**words** `_array_` - -词级别时间戳列表。 - -**属性** - -**text** `_string_` - -词文本。 - -**begin\_time** `_integer_` - -词开始时间，单位毫秒。 - -**end\_time** `_integer_` - -词结束时间，单位毫秒。 - -**punctuation** `_string_` - -词后的标点符号。无标点时为空字符串。 - -**fixed** `_boolean_` - -词是否已稳定。`false`表示后续事件中该词的时间戳可能调整。 - -**usage** `_object_` - -用量信息。仅在`sentence_end`为`true`时返回。 - -**属性** - -**duration** `_integer_` - -已处理的音频时长，单位秒。 - -### **SSE 流式结果处理逻辑** - -在流式模式下，客户端需关注以下处理要点： - -1. 每收到一个SSE事件，解析`data`字段中的JSON。 - -2. 通过`output.sentence.sentence_end`判断当前句子是否结束：当该值为`true`时，该句识别完成，词级时间戳已稳定，可作为最终结果使用；当该值为`false`时，识别仍在进行中，文本和时间戳可能在后续事件中更新。 - -3. `usage`信息仅在句子结束事件中返回，可用于计量音频处理时长。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md index e59f1695..928864d9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-ios-sdk.md @@ -1,6 +1,6 @@ -# Fun-ASR录音文件识别iOS SDK +# Fun-ASR非实时语音识别iOS SDK -本文档提供了Fun-ASR录音文件识别iOS SDK的详细使用指南，帮助您将语音转换为文本。 +本文档提供了Fun-ASR非实时语音识别iOS SDK的详细使用指南，帮助您将语音转换为文本。 **用户指南：**[非实时语音识别](https://help.aliyun.com/zh/model-studio/non-realtime-speech-recognition-user-guide)。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 @@ -102,7 +102,7 @@ 是 - 运行模式。录音文件识别固定为 `"1"`。 + 运行模式。非实时语音识别固定为 `"1"`。 `device_id` @@ -173,7 +173,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { @@ -590,7 +590,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md index 8008ce57..47e93c0f 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/fun-asr-recorded-speech-recognition-java-sdk.md @@ -1,6 +1,6 @@ -# Fun-ASR录音文件识别Java SDK +# Fun-ASR非实时语音识别Java SDK -本文介绍Fun-ASR录音文件识别Java SDK的参数和接口细节。 +本文介绍Fun-ASR非实时语音识别Java SDK的参数和接口细节。 **重要** @@ -32,7 +32,7 @@ ## **快速开始** -[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行录音文件识别： +[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行非实时语音识别： - 异步提交任务+同步等待任务结束：提交任务后，阻塞当前线程直到任务结束并获取识别结果。 @@ -41,7 +41,7 @@ ### **异步提交任务+同步等待任务结束** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4867892871/CAEQURiBgMCO2_fRpxkiIDBlNzI4YmMyNTU3ODRlM2Y4NjUxZWU4YmUxNjliMmFl4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6278074871/CAEQURiBgMCO2_fRpxkiIDBlNzI4YmMyNTU3ODRlM2Y4NjUxZWU4YmUxNjliMmFl4709861_20241015153444.149.svg) 1. 配置[请求参数](#48ea212b1d08r)。 @@ -85,7 +85,7 @@ public class Main { .model("fun-asr") // 此处以fun-asr为例，可按需更换模型名称。模型列表：https://help.aliyun.com/zh/model-studio/models .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); try { Transcription transcription = new Transcription(); @@ -107,7 +107,7 @@ public class Main { ### **异步提交任务+异步查询任务执行结果** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4867892871/CAEQURiBgIDnxvjRpxkiIGI1NjJjOTgyNTVhMTRiMjM4OWVjYzFmZTExNGZjYzE14709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6278074871/CAEQURiBgIDnxvjRpxkiIGI1NjJjOTgyNTVhMTRiMjM4OWVjYzFmZTExNGZjYzE14709861_20241015153444.149.svg) 1. 配置[请求参数](#48ea212b1d08r)。 @@ -152,7 +152,7 @@ public class Main { .model("fun-asr") // 此处以fun-asr为例，可按需更换模型名称。模型列表：https://help.aliyun.com/zh/model-studio/models .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); try { Transcription transcription = new Transcription(); @@ -188,7 +188,7 @@ TranscriptionParam param = TranscriptionParam.builder() .model("fun-asr") .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); ``` @@ -507,7 +507,7 @@ public JsonObject getOutput() "end_time":"2025-02-13 16:12:10.189", "results":[ { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "transcription_url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/prod/paraformer-v2/20250213/16%3A12/3baafe5f-d09d-46c6-8b01-724927670edb-1.json?Expires=1739520730&OSSAccessKeyId=yourOSSAccessKeyId&Signature=BF7vPxlsJN9hkJlY%2BLReezxOwK8%3D", "subtask_status":"SUCCEEDED" } @@ -533,7 +533,7 @@ public JsonObject getOutput() "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" @@ -615,7 +615,7 @@ public String getMessage() ``` { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "properties":{ "audio_format":"pcm_s16le", "channels":[ @@ -775,7 +775,7 @@ TranscriptionParam param = .model("fun-asr") .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); try { Transcription transcription = new Transcription(); @@ -854,7 +854,7 @@ public TranscriptionResult fetch(TranscriptionQueryParam queryParam) ## **其他接口：批量查询任务状态/取消任务** -详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的录音文件识别任务，同时支持取消`PENDING`（排队）状态的任务。 +详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的非实时语音识别任务，同时支持取消`PENDING`（排队）状态的任务。 ## **错误码** @@ -873,7 +873,7 @@ public TranscriptionResult fetch(TranscriptionQueryParam queryParam) "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md index 97a0b5b3..051845e2 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/fun-asr-recorded-speech-recognition-api-reference/funauidio-asr-recorded-speech-recognition-python-sdk.md @@ -1,6 +1,6 @@ -# Fun-ASR录音文件识别Python SDK +# Fun-ASR非实时语音识别Python SDK -本文介绍Fun-ASR录音文件识别Python SDK的参数和接口细节。 +本文介绍Fun-ASR非实时语音识别Python SDK的参数和接口细节。 **重要** @@ -32,7 +32,7 @@ ## **快速开始** -[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行录音文件识别： +[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行非实时语音识别： - 异步提交任务+同步等待任务结束：提交任务后，阻塞当前线程直到任务结束并获取识别结果。 @@ -41,7 +41,7 @@ ### **异步提交任务+同步等待任务结束** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5594892871/CAEQURiBgMCvo5zjpxkiIDQyNzUwZjVjMWM3MjQ5Nzg4ODBjNDRjNzE1ZGFiOGFj4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3178074871/CAEQURiBgMCvo5zjpxkiIDQyNzUwZjVjMWM3MjQ5Nzg4ODBjNDRjNzE1ZGFiOGFj4709861_20241015153444.149.svg) 1. 调用[核心类（Transcription）](#adcb5e9bddbyq)的`async_call`方法并设置[请求参数](#340f6879fci7d)。 @@ -77,7 +77,7 @@ dashscope.api_key = os.getenv("DASHSCOPE_API_KEY") task_response = Transcription.async_call( model='fun-asr', - file_urls=['https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav'] + file_urls=['{YOUR_AUDIO_URL}'] ) transcribe_response = Transcription.wait(task=task_response.output.task_id) @@ -88,7 +88,7 @@ if transcribe_response.status_code == HTTPStatus.OK: ### **异步提交任务+异步查询任务执行结果** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5594892871/CAEQURiBgMCN3qzkpxkiIGE0YmU4YTdjMWNiNzRmYjJhMjFlMWZkZmFmOWQ1NmEx4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3178074871/CAEQURiBgMCN3qzkpxkiIGE0YmU4YTdjMWNiNzRmYjJhMjFlMWZkZmFmOWQ1NmEx4709861_20241015153444.149.svg) 1. 调用[核心类（Transcription）](#adcb5e9bddbyq)的`async_call`方法并设置[请求参数](#340f6879fci7d)。 @@ -124,7 +124,7 @@ dashscope.api_key = os.getenv("DASHSCOPE_API_KEY") transcribe_response = Transcription.async_call( model='fun-asr', - file_urls=['https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav'] + file_urls=['{YOUR_AUDIO_URL}'] ) while True: @@ -407,7 +407,7 @@ list\[str\] "end_time":"2025-02-13 17:31:21.867", "results":[ { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "transcription_url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/prod/paraformer-v2/20250213/17%3A31/20ee4e4f-0404-4806-b617-c7d4c62eed19-1.json?Expires=1739525481&OSSAccessKeyId=yourOSSAccessKeyId&Signature=3q%2B1uQmRwltd7FPn5HQM2mBKw74%3D", "subtask_status":"SUCCEEDED" } @@ -440,7 +440,7 @@ list\[str\] "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" @@ -563,7 +563,7 @@ transcription\_url "end_time":"2025-02-13 17:59:28.828", "results":[ { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "transcription_url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/prod/paraformer-v2/20250213/17%3A59/70e737cc-bf8c-418b-b0c8-83fab192a0fa-1.json?Expires=1739527168&OSSAccessKeyId=yourOSSAccessKeyId&Signature=AtGjIKI%2BdgbzjJIu%2BHsr1R5nSAY%3D", "subtask_status":"SUCCEEDED" } @@ -589,7 +589,7 @@ transcription\_url "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" @@ -657,7 +657,7 @@ transcription\_url ``` { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "properties":{ "audio_format":"pcm_s16le", "channels":[ @@ -857,7 +857,7 @@ def fetch(cls, ## **其他接口：批量查询任务状态/取消任务** -详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的录音文件识别任务，同时支持取消`PENDING`（排队）状态的任务。 +详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的非实时语音识别任务，同时支持取消`PENDING`（排队）状态的任务。 ## **错误码** @@ -876,7 +876,7 @@ def fetch(cls, "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-flash.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-flash.md new file mode 100644 index 00000000..ecf7e674 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-flash.md @@ -0,0 +1,561 @@ +# 非实时语音识别（Fun-ASR-Flash）API参考 + +本文介绍Fun-ASR-Flash非实时语音识别HTTP API的参数和接口细节。 + +**用户指南：**[非实时语音识别](https://help.aliyun.com/zh/model-studio/non-realtime-speech-recognition-user-guide)。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 + +**重要** + +该功能不支持SDK调用。 + +## **服务端点** + +## 华北2（北京） + +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` + +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 + +## 新加坡 + +`POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` + +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 + +**重要** + +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，能够为推理请求提供卓越的性能和更高的稳定性，建议迁移至新域名： + +- 华北2（北京）地域：从 `dashscope.aliyuncs.com` 迁移至 `{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `dashscope-intl.aliyuncs.com` 迁移至 `{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +`{WorkspaceId}`需要替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。现有域名仍可正常使用。 + +## **请求头** + +**参数** + +**类型** + +**是否必选** + +**说明** + +Authorization + +string + +是 + +鉴权令牌，格式为`Bearer `，使用时将"``"替换为实际的API Key。 + +Content-Type + +string + +是 + +请求体的媒体类型，固定为`application/json`。 + +X-DashScope-SSE + +string + +是 + +用于控制是否以SSE流式方式返回结果。设置为`enable`时开启SSE流式返回模式，服务端会分多次返回中间识别结果和最终结果；设置为`disable`或不传该参数则仅返回最终结果。 + +## **请求体** + +以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 + +## 非流式 + +``` +curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --header "X-DashScope-SSE: disable" \ + --data '{ + "model": "fun-asr-flash-2026-06-15", + "input": { + "messages": [ + { + "role": "user", + "content": [ + { + "type": "input_audio", + "input_audio": { + "data": "{YOUR_AUDIO_URL}" + } + } + ] + } + ] + }, + "parameters": { + "format": "wav", + "sample_rate": "16000" + } +}' +``` + +## 流式 + +``` +curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --header "X-DashScope-SSE: enable" \ + --data '{ + "model": "fun-asr-flash-2026-06-15", + "input": { + "messages": [ + { + "role": "user", + "content": [ + { + "type": "input_audio", + "input_audio": { + "data": "{YOUR_AUDIO_URL}" + } + } + ] + } + ] + }, + "parameters": { + "format": "wav", + "sample_rate": "16000" + } +}' +``` + +## 携带上下文-非流式 + +``` +curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --header "X-DashScope-SSE: disable" \ + --data '{ + "model": "fun-asr-flash-2026-06-15", + "input": { + "messages": [ + { + "role": "user", + "content": [ + { + "type": "input_text", + "text": "你好啊" + } + ] + }, + { + "role": "assistant", + "content": [ + { + "type": "text", + "text": "你好啊，我是通义千问，有什么可以帮助你的？" + } + ] + }, + { + "role": "user", + "content": [ + { + "type": "input_audio", + "input_audio": { + "data": "{YOUR_AUDIO_URL}" + } + } + ] + } + ] + }, + "parameters": { + "format": "wav", + "sample_rate": "16000" + } +}' +``` + +## 携带上下文-流式 + +``` +curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --header "X-DashScope-SSE: enable" \ + --data '{ + "model": "fun-asr-flash-2026-06-15", + "input": { + "messages": [ + { + "role": "user", + "content": [ + { + "type": "input_text", + "text": "你好啊" + } + ] + }, + { + "role": "assistant", + "content": [ + { + "type": "text", + "text": "你好啊，我是通义千问，有什么可以帮助你的？" + } + ] + }, + { + "role": "user", + "content": [ + { + "type": "input_audio", + "input_audio": { + "data": "{YOUR_AUDIO_URL}" + } + } + ] + } + ] + }, + "parameters": { + "format": "wav", + "sample_rate": "16000" + } +}' +``` + +## Base64 + +可输入Base64编码数据（[Data URL](https://www.rfc-editor.org/rfc/rfc2397)），格式为：`data:;base64,`。 + +- ``：MIME类型 + + 因音频格式而异，例如： + + - WAV：`audio/wav` + + - MP3：`audio/mpeg` + +- ``：音频转成的Base64编码的字符串 + + Base64编码会增大体积，请控制原文件大小，确保编码后仍符合输入音频大小限制（10MB） + +- 示例：`data:audio/wav;base64,SUQzBAAAAAAAI1RTU0UAAAAPAAADTGF2ZjU4LjI5LjEwMAAAAAAAAAAAAAAA//PAxABQ/BXRbMPe4IQAhl9` + + **点击查看示例代码** + + Python + + ``` + import base64, pathlib + + # 请替换为自己的音频文件路径，确保其符合音频要求 + file_path = pathlib.Path("{YOUR_AUDIO_FILE}") + base64_str = base64.b64encode(file_path.read_bytes()).decode() + data_uri = f"data:audio/mpeg;base64,{base64_str}" + ``` + + Java + + ``` + import java.nio.file.*; + import java.util.Base64; + + public class Main { + /** + * 请替换为自己的音频文件路径，确保其符合音频要求 + */ + public static String toDataUrl(String filePath) throws Exception { + byte[] bytes = Files.readAllBytes(Paths.get(filePath)); + String encoded = Base64.getEncoder().encodeToString(bytes); + return "data:audio/mpeg;base64," + encoded; + } + + public static void main(String[] args) throws Exception { + System.out.println(toDataUrl("{YOUR_AUDIO_FILE}")); + } + } + ``` + + +``` +import base64, pathlib +import os +import requests + +# 请替换为自己的音频文件路径，确保其符合音频要求 +file_path = pathlib.Path("{YOUR_AUDIO_FILE}") +base64_str = base64.b64encode(file_path.read_bytes()).decode() +data_uri = f"data:audio/wav;base64,{base64_str}" + +url = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation" + +headers = { + "Authorization": f"Bearer {os.environ['DASHSCOPE_API_KEY']}", + "Content-Type": "application/json", + "X-DashScope-SSE": "disable", +} + +payload = { + "model": "fun-asr-flash-2026-06-15", + "input": { + "messages": [ + { + "role": "user", + "content": [ + { + "type": "input_audio", + "input_audio": { + "data": data_uri, + }, + } + ], + } + ] + }, + "parameters": { + "format": "wav", + "sample_rate": "16000", + }, +} + +response = requests.post(url, headers=headers, json=payload) +print(response.status_code) +print(response.json()) +``` + +**model** `_string_` **（必选）** + +模型名称，固定为`fun-asr-flash-2026-06-15`。 + +**input** `_object_` **（必选）** + +输入信息。 + +**属性** + +**messages** `_array(object)_` **（必选）** + +消息列表。包含当前待识别的音频，以及可选的对话上下文（用于提升识别效果）。 + +**重要** + +上下文功能用于提升专有词汇的识别准确率，使用方法详见[快速开始](https://help.aliyun.com/zh/model-studio/improve-asr-accuracy#ctx-quickstart-sec)。约束：上下文消息（`input_text` 和 `text` 类型）各最多 5 条，超出时保留最近的 5 条。每轮上下文文本总长度（`user` 和 `assistant` 的 `text` 字段长度之和）不超过 400 个字符（按字符数计算，每个字符计为 1），超出部分从末尾截断。 + +**重要** + +携带上下文时，`messages` 中的消息顺序有要求：上下文消息必须按对话轮次排列，每轮中 `user`（`input_text` 类型）必须在对应的 `assistant`（`text` 类型）之前；包含 `input_audio` 的 `user` 消息必须放在 `messages` 数组的最后。 + +**属性** + +**role** `_string_` **（必选）** + +消息角色。取值范围： + +- `user`（必选）：用户消息。type为`input_audio`时表示当前待识别的音频；type为`input_text`时表示前几轮的识别结果或领域相关的词表（可选，上下文）。 + +- `assistant`（可选，上下文）：前几轮大语言模型的回复内容。 + + +**content** `_array(object)_` **（必选）** + +消息内容列表。 + +**属性** + +**type** `_string_` **（必选）** + +内容类型。每个请求至少需要一条`input_audio`类型的消息。取值范围： + +- `input_audio`（必选）：当前待识别的音频输入（role为user），需同时传入`input_audio`对象。 + +- `input_text`（可选，上下文）：前几轮用户语音的识别结果或领域相关的词表（role为user），需同时传入`text`字段。 + +- `text`（可选，上下文）：前几轮大语言模型的回复内容（role为assistant），需同时传入`text`字段。 + + +**input\_audio** `_object_` **（条件必选）** + +当`type`为`input_audio`时必填。 + +**属性** + +**data** `_string_` **（必选）** + +待识别音频数据。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。支持以下两种方式： + +- **音频文件URL**：直接传入可公开访问的音频文件地址。 + +- **Base64 Data URI**：采用Data URI格式传入Base64编码的音频数据，值由`data:{MIME_TYPE};base64,`前缀与Base64编码的音频数据拼接而成。支持的MIME类型包括`audio/wav`、`audio/mp3`等。 + + +示例（URL方式）：`https://example.com/audio/sample.wav` + +示例（Base64方式）：`data:audio/wav;base64,{BASE64_ENCODED_DATA}` + +**text** `_string_` **（条件必选）** + +当`type`为`input_text`时，填入前几轮用户语音的识别结果或领域相关的词表；当`type`为`text`时，填入前几轮大语言模型的回复内容。文本按字符数计算，每个字符计为 1。每轮上下文中所有消息的 `text` 字段长度之和不超过 400 个字符，超出部分从末尾截断。 + +**parameters** `_object_` **（必选）** + +模型参数。 + +**属性** + +**format** `_string_` **（必选）** + +音频格式。根据实际音频格式填写，支持`wav`、`mp3`、`opus`等。详情请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 + +**sample\_rate** `_string_` （可选） + +音频采样率，单位Hz。例如`16000`表示16kHz采样率。详情请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 + +## **返回体** + +## 非流式 + +``` +{ + "output": { + "sentence": { + "begin_time": 760, + "channel_id": 0, + "end_time": 3800, + "sentence_end": true, + "sentence_id": 1, + "text": "Hello World，这里是阿里巴巴语音实验室。", + "words": [ + {"begin_time": 760, "end_time": 1040, "fixed": true, "punctuation": "", "text": "Hello"}, + {"begin_time": 1040, "end_time": 1240, "fixed": true, "punctuation": "，", "text": " World"}, + {"begin_time": 1360, "end_time": 1880, "fixed": true, "punctuation": "", "text": "这里是"}, + {"begin_time": 1880, "end_time": 2520, "fixed": true, "punctuation": "", "text": "阿里巴巴"}, + {"begin_time": 2520, "end_time": 2840, "fixed": true, "punctuation": "", "text": "语音"}, + {"begin_time": 2840, "end_time": 3800, "fixed": true, "punctuation": "。", "text": "实验室"} + ] + }, + "text": "Hello World，这里是阿里巴巴语音实验室。" + }, + "usage": { + "duration": 4 + }, + "request_id": "40e0734d-096f-9ae3-86c1-a8c013287561" +} +``` + +## 流式 + +设置`X-DashScope-SSE: enable`时，服务端以Server-Sent Events协议返回识别结果。SSE事件格式如下： + +``` +id:{序列号} +event:result +:HTTP_STATUS/200 +data:{JSON数据} +``` + +返回示例： + +``` +id:1 +event:result +:HTTP_STATUS/200 +data:{"output":{"sentence":{"sentence_id":1,"sentence_end":true,"end_time":3800,"words":[{"end_time":1040,"punctuation":"","begin_time":760,"fixed":true,"text":"Hello"},{"end_time":1240,"punctuation":"，","begin_time":1040,"fixed":true,"text":" World"},{"end_time":1880,"punctuation":"","begin_time":1360,"fixed":true,"text":"这里是"},{"end_time":2520,"punctuation":"","begin_time":1880,"fixed":true,"text":"阿里巴巴"},{"end_time":2840,"punctuation":"","begin_time":2520,"fixed":true,"text":"语音"},{"end_time":3800,"punctuation":"。","begin_time":2840,"fixed":true,"text":"实验室"}],"begin_time":760,"text":"Hello World，这里是阿里巴巴语音实验室。","channel_id":0},"text":"Hello World，这里是阿里巴巴语音实验室。"},"usage":{"duration":4},"request_id":"fc1582e4-935c-9fc2-a482-a98bf43daa69"} +``` + +**request\_id** `_string_` + +本次请求的唯一标识。 + +**output** `_object_` + +输出结果。 + +**属性** + +**text** `_string_` + +当前累积的完整识别文本。 + +**sentence** `_object_` + +当前句子的详细信息。 + +**属性** + +**sentence\_id** `_integer_` + +句子编号，从1开始。 + +**sentence\_end** `_boolean_` + +是否为该句的最终结果。为`true`时表示该句识别完成。 + +**begin\_time** `_integer_` + +句子开始时间，单位毫秒。 + +**end\_time** `_integer_` + +句子结束时间，单位毫秒。仅在`sentence_end`为`true`时返回。 + +**text** `_string_` + +当前句子的识别文本。 + +**channel\_id** `_integer_` + +声道编号，从0开始。 + +**words** `_array_` + +词级别时间戳列表。 + +**属性** + +**text** `_string_` + +词文本。 + +**begin\_time** `_integer_` + +词开始时间，单位毫秒。 + +**end\_time** `_integer_` + +词结束时间，单位毫秒。 + +**punctuation** `_string_` + +词后的标点符号。无标点时为空字符串。 + +**fixed** `_boolean_` + +词是否已稳定。`false`表示后续事件中该词的时间戳可能调整。 + +**usage** `_object_` + +用量信息。仅在`sentence_end`为`true`时返回。 + +**属性** + +**duration** `_integer_` + +已处理的音频时长，单位秒。 + +## **SSE 流式结果处理逻辑** + +在流式模式下，客户端需关注以下处理要点： + +1. 每收到一个SSE事件，解析`data`字段中的JSON。 + +2. 通过`output.sentence.sentence_end`判断当前句子是否结束：当该值为`true`时，该句识别完成，词级时间戳已稳定，可作为最终结果使用；当该值为`false`时，识别仍在进行中，文本和时间戳可能在后续事件中更新。 + +3. `usage`信息仅在句子结束事件中返回，可用于计量音频处理时长。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-realtime.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-realtime.md new file mode 100644 index 00000000..3c19542d --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/non-real-time-speech-recognition-for-fun-asr-realtime.md @@ -0,0 +1,328 @@ +# 非实时语音识别（Fun-ASR-Realtime）API参考 + +本文介绍Fun-ASR-Realtime非实时语音识别HTTP API的参数和接口细节。 + +**用户指南：**[非实时语音识别](https://help.aliyun.com/zh/model-studio/non-realtime-speech-recognition-user-guide)。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 + +**重要** + +- 该功能只支持北京地域。 + +- 不支持SDK调用。 + + +## **服务端点** + +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` + +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 + +**重要** + +阿里云百炼为华北2（北京）地域推出了业务空间专属域名，能够为推理请求提供卓越的性能和更高的稳定性，建议从 `dashscope.aliyuncs.com` 迁移至 `{WorkspaceId}.cn-beijing.maas.aliyuncs.com`。 + +`{WorkspaceId}`需要替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。现有域名仍可正常使用。 + +## **请求头** + +**参数** + +**类型** + +**是否必选** + +**说明** + +Authorization + +string + +是 + +鉴权令牌，格式为`Bearer `，使用时将“``”替换为实际的API Key。 + +Content-Type + +string + +是 + +请求体的媒体类型，固定为`application/json`。 + +X-DashScope-SSE + +string + +是 + +用于控制是否以SSE流式方式返回结果。设置为`enable`时开启SSE流式返回模式，服务端会分多次返回中间识别结果和最终结果；设置为`disable`或不传该参数则仅返回最终结果。 + +## **请求体** + +## 非流式 + +``` +curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --header "X-DashScope-SSE: disable" \ + --data '{ + "model": "fun-asr-realtime", + "input": { + "messages": [] + }, + "parameters": { + "audio_address": "https://example.com/audio/sample.mp3", + "format": "mp3" + }, + "resources": [] +}' +``` + +## 流式 + +``` +curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --header "X-DashScope-SSE: enable" \ + --data '{ + "model": "fun-asr-realtime", + "input": { + "messages": [] + }, + "parameters": { + "audio_address": "https://example.com/audio/sample.mp3", + "format": "mp3" + }, + "resources": [] +}' +``` + +**model** `_string_` **（必选）** + +模型名称。 + +取值范围： + +- `fun-asr-realtime`（稳定版模型） + +- `fun-asr-realtime-2026-02-28`（即 Fun-Realtime-ASR-preview） + + +**input** `_object_` **（条件必选）** + +输入信息。与输入音频文件URL方式（通过`parameters.audio_address`传入）二选一，使用Base64方式上传音频时需要填写。 + +**属性** + +**messages** `_array(object)_` **（必选）** + +消息列表。 + +**属性** + +**content** `_array(object)_` **（必选）** + +用户消息的内容。仅允许设置一组消息。 + +**属性** + +**audio** `_string_` **（必选）** + +待识别音频，采用Data URI格式传入Base64编码的音频数据。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 + +使用Base64方式上传音频时需要填写。 + +值由`data:{MIME_TYPE};base64,`前缀与Base64编码的音频数据拼接而成。支持的MIME类型包括`audio/wav`、`audio/mp3`等。 + +示例：`data:audio/wav;base64,{BASE64_ENCODED_DATA}` + +**role** `_string_` **（必选）** + +用户消息的角色，固定为`user`。使用Base64方式上传音频时需要填写。 + +**parameters** `_object_` **（必选）** + +模型参数。 + +**属性** + +**audio\_address** `_string_` **（条件必选）** + +音频文件URL地址。与Base64方式（通过`input.messages`传入）二选一，使用URL方式时必填。需为可公开访问的地址。关于支持的音频格式、文件大小限制、时长限制等输入要求，请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 + +**format** `_string_` **（必选）** + +音频格式。根据实际音频格式填写，支持`wav`、`mp3`、`opus`等。详情请参见[音频规格](https://help.aliyun.com/zh/model-studio/asr-model/#asr-audio-spec02)。 + +**vad\_enabled** `_boolean_` （可选） + +是否启用端点检测（VAD）。 + +默认为`true`（启用 VAD 检测）。 + +设为 `false` 时关闭 VAD 检测；但当音频时长超过 1 分钟时，系统将自动启用 VAD 检测，忽略此参数设置。 + +**resources** `_array_` （可选） + +资源列表，预留字段，当前可传空数组`[]`。 + +## **返回体** + +## 非流式 + +``` +{ + "output": { + "sentence": { + "begin_time": 160, + "channel_id": 0, + "end_time": 1680, + "sentence_end": true, + "sentence_id": 1, + "text": "欢迎使用阿里云。", + "words": [ + {"begin_time": 160, "end_time": 520, "fixed": true, "punctuation": "", "text": "欢迎"}, + {"begin_time": 520, "end_time": 880, "fixed": true, "punctuation": "", "text": "使用"}, + {"begin_time": 880, "end_time": 1280, "fixed": true, "punctuation": "", "text": "阿里"}, + {"begin_time": 1280, "end_time": 1680, "fixed": true, "punctuation": "。", "text": "云"} + ] + }, + "text": "欢迎使用阿里云。" + }, + "usage": { + "duration": 2 + }, + "request_id": "eff4c092-2289-9b43-a4cd-80e591fa90f5" +} +``` + +## 流式 + +设置`X-DashScope-SSE: enable`时，服务端以Server-Sent Events协议分多次返回中间识别结果和最终结果。每个SSE事件格式如下： + +``` +id:{序列号} +event:result +:HTTP_STATUS/200 +data:{JSON数据} +``` + +中间结果（句子开始、词逐步增长）： + +``` +id:1 +event:result +:HTTP_STATUS/200 +data:{"output":{"sentence":{"sentence_id":1,"sentence_end":false,"sentence_begin":true,"words":[],"begin_time":0,"text":"","channel_id":0},"text":""},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} + +id:2 +event:result +:HTTP_STATUS/200 +data:{"output":{"sentence":{"words":[{"end_time":520,"punctuation":"","begin_time":160,"fixed":false,"text":"欢迎"}],"begin_time":160,"text":"欢迎","channel_id":0,"sentence_id":1,"sentence_end":false},"text":"欢迎"},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} + +id:3 +event:result +:HTTP_STATUS/200 +data:{"output":{"sentence":{"words":[{"end_time":520,"punctuation":"","begin_time":160,"fixed":false,"text":"欢迎"},{"end_time":880,"punctuation":"","begin_time":520,"fixed":false,"text":"使用"}],"begin_time":160,"text":"欢迎使用","channel_id":0,"sentence_id":1,"sentence_end":false},"text":"欢迎使用"},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} +``` + +最终结果（句子结束，包含`usage`）： + +``` +id:4 +event:result +:HTTP_STATUS/200 +data:{"output":{"sentence":{"sentence_id":1,"sentence_end":true,"end_time":1680,"words":[{"end_time":520,"punctuation":"","begin_time":160,"fixed":true,"text":"欢迎"},{"end_time":880,"punctuation":"","begin_time":520,"fixed":true,"text":"使用"},{"end_time":1280,"punctuation":"","begin_time":880,"fixed":true,"text":"阿里"},{"end_time":1680,"punctuation":"。","begin_time":1280,"fixed":true,"text":"云"}],"begin_time":160,"text":"欢迎使用阿里云。","channel_id":0},"text":"欢迎使用阿里云。"},"usage":{"duration":2},"request_id":"372d19b3-993f-9288-adf0-a99f7606bd30"} +``` + +**request\_id** `_string_` + +本次请求的唯一标识。 + +**output** `_object_` + +输出结果。 + +**属性** + +**text** `_string_` + +当前累积的完整识别文本。 + +**sentence** `_object_` + +当前句子的详细信息。 + +**属性** + +**sentence\_id** `_integer_` + +句子编号，从1开始。 + +**sentence\_end** `_boolean_` + +是否为该句的最终结果。为`true`时表示该句识别完成。 + +**begin\_time** `_integer_` + +句子开始时间，单位毫秒。 + +**end\_time** `_integer_` + +句子结束时间，单位毫秒。仅在`sentence_end`为`true`时返回。 + +**text** `_string_` + +当前句子的识别文本。 + +**channel\_id** `_integer_` + +声道编号，从0开始。 + +**words** `_array_` + +词级别时间戳列表。 + +**属性** + +**text** `_string_` + +词文本。 + +**begin\_time** `_integer_` + +词开始时间，单位毫秒。 + +**end\_time** `_integer_` + +词结束时间，单位毫秒。 + +**punctuation** `_string_` + +词后的标点符号。无标点时为空字符串。 + +**fixed** `_boolean_` + +词是否已稳定。`false`表示后续事件中该词的时间戳可能调整。 + +**usage** `_object_` + +用量信息。仅在`sentence_end`为`true`时返回。 + +**属性** + +**duration** `_integer_` + +已处理的音频时长，单位秒。 + +## **SSE 流式结果处理逻辑** + +在流式模式下，客户端需关注以下处理要点： + +1. 每收到一个SSE事件，解析`data`字段中的JSON。 + +2. 通过`output.sentence.sentence_end`判断当前句子是否结束：当该值为`true`时，该句识别完成，词级时间戳已稳定，可作为最终结果使用；当该值为`false`时，识别仍在进行中，文本和时间戳可能在后续事件中更新。 + +3. `usage`信息仅在句子结束事件中返回，可用于计量音频处理时长。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md index 2872f1a4..b9a5a871 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-java-sdk.md @@ -143,14 +143,12 @@ 提交单个语音实时转写任务，通过传入本地文件的方式同步阻塞地拿到转写结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9365892871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3558074871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) 实例化[Recognition类](#adcb5e9bddbyq)，调用`call`方法绑定[请求参数](#d72d661a1brzp)和待识别文件，进行识别并最终获取识别结果。 点击查看完整示例 -示例中用到的音频为：[asr\_example.wav](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250210/elouas/asr_example.wav)。 - ``` import com.alibaba.dashscope.audio.asr.recognition.Recognition; import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam; @@ -161,7 +159,7 @@ import java.io.File; public class Main { public static void main(String[] args) { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; // 创建Recognition实例 Recognition recognizer = new Recognition(); // 创建RecognitionParam @@ -177,7 +175,7 @@ public class Main { .build(); try { - System.out.println("识别结果：" + recognizer.call(param, new File("asr_example.wav"))); + System.out.println("识别结果：" + recognizer.call(param, new File("{YOUR_AUDIO_FILE}"))); } catch (Exception e) { e.printStackTrace(); } finally { @@ -200,7 +198,7 @@ public class Main { 提交单个语音实时转写任务，通过实现回调接口的方式流式输出实时识别结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9365892871/CAEQURiBgID1ooWUpxkiIDcyOTEyYjZiZmUxNzRkZjVhMTNhYmNkYjI2NzYzYTMy4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3558074871/CAEQURiBgID1ooWUpxkiIDcyOTEyYjZiZmUxNzRkZjVhMTNhYmNkYjI2NzYzYTMy4709861_20241015153444.149.svg) 1. 启动流式语音识别 @@ -244,7 +242,7 @@ import java.util.concurrent.TimeUnit; public class Main { public static void main(String[] args) throws InterruptedException { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; ExecutorService executorService = Executors.newSingleThreadExecutor(); executorService.submit(new RealtimeRecognitionTask()); executorService.shutdown(); @@ -332,8 +330,6 @@ class RealtimeRecognitionTask implements Runnable { ## 识别本地语音文件 -示例中用到的音频为：[asr\_example.wav](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250210/oiydrd/asr_example.wav)。 - ``` import com.alibaba.dashscope.audio.asr.recognition.Recognition; import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam; @@ -364,9 +360,9 @@ class TimeUtils { public class Main { public static void main(String[] args) throws InterruptedException { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; ExecutorService executorService = Executors.newSingleThreadExecutor(); - executorService.submit(new RealtimeRecognitionTask(Paths.get(System.getProperty("user.dir"), "asr_example.wav"))); + executorService.submit(new RealtimeRecognitionTask(Paths.get(System.getProperty("user.dir"), "{YOUR_AUDIO_FILE}"))); executorService.shutdown(); // wait for all tasks to complete @@ -503,7 +499,7 @@ import java.nio.ByteBuffer; public class Main { public static void main(String[] args) throws NoApiKeyException { // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 - Constants.baseWebsocketApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference"; // 创建一个Flowable Flowable audioSource = Flowable.create( diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md index bba41596..38973852 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-real-time-speech-recognition-api-reference/paraformer-real-time-speech-recognition-python-sdk.md @@ -143,19 +143,17 @@ 提交单个语音实时转写任务，通过传入本地文件的方式同步阻塞地拿到转写结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6455892871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4858074871/CAEQURiBgMDS0c2RpxkiIDNmYjBlMTE3ODQxYTQ3Nzk4MGMxNTc5MjY3OWVjZjlj4709861_20241015153444.149.svg) 实例化[Recognition类](#d6bc1f133f871)绑定[请求参数](#555007db2033f)，调用`call`进行识别/翻译并最终获取[识别结果（RecognitionResult）](#bc3e1a43d6hhy)。 点击查看完整示例 -示例中用到的音频为：[asr\_example.wav](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250210/iwaouc/asr_example.wav)。 - ``` from http import HTTPStatus from dashscope.audio.asr import Recognition # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 -dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" +dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference" # 若没有将API Key配置到环境变量中，需将下面这行代码注释放开，并将apiKey替换为自己的API Key # import dashscope @@ -167,13 +165,15 @@ recognition = Recognition(model='paraformer-realtime-v2', # “language_hints”只支持paraformer-realtime-v2模型 language_hints=['zh', 'en'], callback=None) -result = recognition.call('asr_example.wav') +result = recognition.call('{YOUR_AUDIO_FILE}') if result.status_code == HTTPStatus.OK: print('识别结果：') - print(result.get_sentence()) + sentences = result.get_sentence() + for sentence in sentences: + print(sentence['text']) else: print('Error: ', result.message) - + print( '[Metric] requestId: {}, first package delay ms: {}, last package delay ms: {}' .format( @@ -183,11 +183,15 @@ print( )) ``` +`result.get_sentence()`在非流式调用（`call`）中返回**句子列表**（`List[Dict]`），每个元素为`Dict[str, Any]`，包含`text`（识别文本）、`begin_time` / `end_time`（时间戳）、`words`（字时间戳）等字段。如需获取识别文本，需遍历列表并通过`sentence['text']`提取。 + +在流式回调（`on_event`）中，`result.get_sentence()`返回**单句信息**（`Dict[str, Any]`），可直接使用`sentence['text']`获取识别文本。两种调用模式的返回值类型不同，详见[识别结果（RecognitionResult）](#bc3e1a43d6hhy)中的`get_sentence`方法说明。 + ### **双向流式调用** 提交单个语音实时转写任务，通过实现回调接口的方式流式输出实时识别结果。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6455892871/CAEQURiBgIDvi..2pxkiIGE4NTc3Njg4ZGM2YzQ2NzVhZGI3MzE2YWUwYTA3OGEy4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4858074871/CAEQURiBgIDvi..2pxkiIGE4NTc3Njg4ZGM2YzQ2NzVhZGI3MzE2YWUwYTA3OGEy4709861_20241015153444.149.svg) 1. 启动流式语音识别 @@ -221,7 +225,7 @@ import dashscope import pyaudio from dashscope.audio.asr import * # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 -dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" +dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference" mic = None stream = None @@ -342,14 +346,12 @@ if __name__ == '__main__': ## 识别本地语音文件 -示例中用到的音频为：[asr\_example.wav](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250210/acoict/asr_example.wav)。 - ``` import os import time from dashscope.audio.asr import * # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 -dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" +dashscope.base_websocket_api_url = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference" # 若没有将API Key配置到环境变量中，需将下面这行代码注释放开，并将apiKey替换为自己的API Key # import dashscope @@ -393,8 +395,8 @@ recognition.start() try: audio_data: bytes = None - f = open("asr_example.wav", 'rb') - if os.path.getsize("asr_example.wav"): + f = open("{YOUR_AUDIO_FILE}", 'rb') + if os.path.getsize("{YOUR_AUDIO_FILE}"): while True: audio_data = f.read(3200) if not audio_data: diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-android-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-android-sdk.md index ff800b01..697261be 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-android-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-android-sdk.md @@ -1,6 +1,6 @@ -# Paraformer录音文件识别Android SDK +# Paraformer非实时语音识别Android SDK -本文档提供了Paraformer录音文件识别Android SDK的详细使用指南，帮助您将语音转换为文本。 +本文档提供了Paraformer非实时语音识别Android SDK的详细使用指南，帮助您将语音转换为文本。 **用户指南：**[非实时语音识别](https://help.aliyun.com/zh/model-studio/non-realtime-speech-recognition-user-guide) @@ -17,7 +17,10 @@ - [下载最新SDK整合包](https://help.aliyun.com/zh/isi/sdk-selection-and-download)。 - 解压 ZIP 包。在 `app/libs` 目录中获取 AAR 格式 SDK，并添加到项目依赖。 - 需要 Android CPP 接入时，使用 ZIP 包内的 `android_libs` 与 `android_include` 获取动态库和头文件。 + 需要 Android CPP 接入时，使用 ZIP 包内的 `android_libs` 与 `android_include` 获取动态库和头文件。 + + + - 用 Android Studio 打开工程。示例代码位于`DashParaformerFileTranscriberActivity.java`，替换 API Key 后体验功能。 @@ -103,7 +106,7 @@ 是 - 运行模式。录音文件识别固定为 `"1"`。 + 运行模式。非实时语音识别固定为 `"1"`。 `device_id` @@ -174,7 +177,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { @@ -617,7 +620,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-ios-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-ios-sdk.md index 2147dda6..0ecf2ea8 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-ios-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-ios-sdk.md @@ -1,6 +1,6 @@ -# Paraformer录音文件识别iOS SDK +# Paraformer非实时语音识别iOS SDK -本文档提供了Paraformer录音文件识别iOS SDK的详细使用指南，帮助您将语音转换为文本。 +本文档提供了Paraformer非实时语音识别iOS SDK的详细使用指南，帮助您将语音转换为文本。 **用户指南：**[非实时语音识别](https://help.aliyun.com/zh/model-studio/non-realtime-speech-recognition-user-guide) @@ -106,7 +106,7 @@ 是 - 运行模式。录音文件识别固定为 `"1"`。 + 运行模式。非实时语音识别固定为 `"1"`。 `device_id` @@ -177,7 +177,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { @@ -611,7 +611,7 @@ ``` { "file_urls": [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ], "async_request": false, "nls_config": { diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md index b3d42809..65269d08 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-java-sdk.md @@ -1,6 +1,6 @@ -# Paraformer录音文件识别Java SDK +# Paraformer非实时语音识别Java SDK -本文介绍Paraformer录音文件识别Java SDK的参数和接口细节。 +本文介绍Paraformer非实时语音识别Java SDK的参数和接口细节。 **重要** @@ -27,7 +27,7 @@ ## **快速开始** -[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行录音文件识别： +[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行非实时语音识别： - 异步提交任务+同步等待任务结束：提交任务后，阻塞当前线程直到任务结束并获取识别结果。 @@ -36,7 +36,7 @@ ### **异步提交任务+同步等待任务结束** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7695892871/CAEQURiBgMCO2_fRpxkiIDBlNzI4YmMyNTU3ODRlM2Y4NjUxZWU4YmUxNjliMmFl4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0509074871/CAEQURiBgMCO2_fRpxkiIDBlNzI4YmMyNTU3ODRlM2Y4NjUxZWU4YmUxNjliMmFl4709861_20241015153444.149.svg) 1. 配置[请求参数](#48ea212b1d08r)。 @@ -80,7 +80,7 @@ public class Main { .parameter("language_hints", new String[]{"zh", "en"}) .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); try { Transcription transcription = new Transcription(); @@ -102,7 +102,7 @@ public class Main { ### **异步提交任务+异步查询任务执行结果** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7695892871/CAEQURiBgIDnxvjRpxkiIGI1NjJjOTgyNTVhMTRiMjM4OWVjYzFmZTExNGZjYzE14709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0509074871/CAEQURiBgIDnxvjRpxkiIGI1NjJjOTgyNTVhMTRiMjM4OWVjYzFmZTExNGZjYzE14709861_20241015153444.149.svg) 1. 配置[请求参数](#48ea212b1d08r)。 @@ -147,7 +147,7 @@ public class Main { .parameter("language_hints", new String[]{"zh", "en"}) .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); try { Transcription transcription = new Transcription(); @@ -185,7 +185,7 @@ TranscriptionParam param = TranscriptionParam.builder() .parameter("language_hints", new String[]{"zh", "en"}) .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); ``` @@ -537,7 +537,7 @@ public JsonObject getOutput() "end_time":"2025-02-13 16:12:10.189", "results":[ { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "transcription_url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/prod/paraformer-v2/20250213/16%3A12/3baafe5f-d09d-46c6-8b01-724927670edb-1.json?Expires=1739520730&OSSAccessKeyId=yourOSSAccessKeyId&Signature=BF7vPxlsJN9hkJlY%2BLReezxOwK8%3D", "subtask_status":"SUCCEEDED" } @@ -563,7 +563,7 @@ public JsonObject getOutput() "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" @@ -645,7 +645,7 @@ public String getMessage() ``` { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "properties":{ "audio_format":"pcm_s16le", "channels":[ @@ -807,7 +807,7 @@ TranscriptionParam param = .parameter("language_hints", new String[]{"zh", "en"}) .fileUrls( Arrays.asList( - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav")) + "{YOUR_AUDIO_URL}")) .build(); try { Transcription transcription = new Transcription(); @@ -886,7 +886,7 @@ public TranscriptionResult fetch(TranscriptionQueryParam queryParam) ## **其他接口：批量查询任务状态/取消任务** -详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的录音文件识别任务，同时支持取消`PENDING`（排队）状态的任务。 +详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的非实时语音识别任务，同时支持取消`PENDING`（排队）状态的任务。 ## **错误码** @@ -907,7 +907,7 @@ public TranscriptionResult fetch(TranscriptionQueryParam queryParam) "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-python-sdk.md index e3ffe0b6..175befce 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-python-sdk.md @@ -1,6 +1,6 @@ -# Paraformer录音文件识别Python SDK +# Paraformer非实时语音识别Python SDK -本文介绍Paraformer录音文件识别Python SDK的参数和接口细节。 +本文介绍Paraformer非实时语音识别Python SDK的参数和接口细节。 **重要** @@ -27,7 +27,7 @@ ## **快速开始** -[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行录音文件识别： +[核心类（Transcription）](#adcb5e9bddbyq)提供了异步提交任务、同步等待任务结束和异步查询任务执行结果的接口。可通过如下两种调用方式进行非实时语音识别： - 异步提交任务+同步等待任务结束：提交任务后，阻塞当前线程直到任务结束并获取识别结果。 @@ -36,7 +36,7 @@ ### **异步提交任务+同步等待任务结束** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/2057892871/CAEQURiBgMCvo5zjpxkiIDQyNzUwZjVjMWM3MjQ5Nzg4ODBjNDRjNzE1ZGFiOGFj4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1609074871/CAEQURiBgMCvo5zjpxkiIDQyNzUwZjVjMWM3MjQ5Nzg4ODBjNDRjNzE1ZGFiOGFj4709861_20241015153444.149.svg) 1. 调用[核心类（Transcription）](#adcb5e9bddbyq)的`async_call`方法并设置[请求参数](#340f6879fci7d)。 @@ -69,7 +69,7 @@ dashscope.base_http_api_url = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.co task_response = Transcription.async_call( model='paraformer-v2', - file_urls=['https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav'], + file_urls=['{YOUR_AUDIO_URL}'], language_hints=['zh', 'en'] # “language_hints”只支持paraformer-v2模型 ) @@ -81,7 +81,7 @@ if transcribe_response.status_code == HTTPStatus.OK: ### **异步提交任务+异步查询任务执行结果** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/2057892871/CAEQURiBgMCN3qzkpxkiIGE0YmU4YTdjMWNiNzRmYjJhMjFlMWZkZmFmOWQ1NmEx4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/2609074871/CAEQURiBgMCN3qzkpxkiIGE0YmU4YTdjMWNiNzRmYjJhMjFlMWZkZmFmOWQ1NmEx4709861_20241015153444.149.svg) 1. 调用[核心类（Transcription）](#adcb5e9bddbyq)的`async_call`方法并设置[请求参数](#340f6879fci7d)。 @@ -114,7 +114,7 @@ dashscope.base_http_api_url = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.co transcribe_response = Transcription.async_call( model='paraformer-v2', - file_urls=['https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav'], + file_urls=['{YOUR_AUDIO_URL}'], language_hints=['zh', 'en'] # “language_hints”只支持paraformer-v2模型 ) @@ -451,7 +451,7 @@ int "end_time":"2025-02-13 17:31:21.867", "results":[ { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "transcription_url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/prod/paraformer-v2/20250213/17%3A31/20ee4e4f-0404-4806-b617-c7d4c62eed19-1.json?Expires=1739525481&OSSAccessKeyId=yourOSSAccessKeyId&Signature=3q%2B1uQmRwltd7FPn5HQM2mBKw74%3D", "subtask_status":"SUCCEEDED" } @@ -484,7 +484,7 @@ int "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" @@ -607,7 +607,7 @@ transcription\_url "end_time":"2025-02-13 17:59:28.828", "results":[ { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "transcription_url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/prod/paraformer-v2/20250213/17%3A59/70e737cc-bf8c-418b-b0c8-83fab192a0fa-1.json?Expires=1739527168&OSSAccessKeyId=yourOSSAccessKeyId&Signature=AtGjIKI%2BdgbzjJIu%2BHsr1R5nSAY%3D", "subtask_status":"SUCCEEDED" } @@ -633,7 +633,7 @@ transcription\_url "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" @@ -701,7 +701,7 @@ transcription\_url ``` { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "properties":{ "audio_format":"pcm_s16le", "channels":[ @@ -903,7 +903,7 @@ def fetch(cls, ## **其他接口：批量查询任务状态/取消任务** -详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的录音文件识别任务，同时支持取消`PENDING`（排队）状态的任务。 +详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的非实时语音识别任务，同时支持取消`PENDING`（排队）状态的任务。 ## **错误码** @@ -924,7 +924,7 @@ def fetch(cls, "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-restful-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-restful-api.md index 971b8184..2fb481c4 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-restful-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/paraformer-recorded-speech-recognition-api-reference/paraformer-recorded-speech-recognition-restful-api.md @@ -1,6 +1,6 @@ -# Paraformer录音文件识别RESTful API +# Paraformer非实时语音识别HTTP API -本文介绍Paraformer录音文件识别RESTful API的参数和接口细节。 +本文介绍Paraformer非实时语音识别HTTP API的参数和接口细节。 **重要** @@ -59,7 +59,7 @@ X-DashScope-Async: enable // 请勿遗漏该请求头，否则无法提交任务 "model":"paraformer-v2", //模型名，必选 "input":{ "file_urls":[ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav" + "{YOUR_AUDIO_URL}" ] //待识别文件，必选 } "parameters":{ @@ -90,7 +90,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header "Content-Type: application/json" \ --header "X-DashScope-Async: enable" \ - --data '{"model":"paraformer-v2","input":{"file_urls":["https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav"]},"parameters":{"channel_id":[0]}}' + --data '{"model":"paraformer-v2","input":{"file_urls":["{YOUR_AUDIO_URL}"]},"parameters":{"channel_id":[0]}}' ``` **参数** @@ -450,7 +450,7 @@ string "end_time": "2024-09-12 15:11:40.903", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url": "{YOUR_AUDIO_URL}", "transcription_url": "https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/pre/filetrans-16k/20240912/15%3A11/409a4b92-445b-4dd8-8c1d-f110954d82d8-1.json?Expires=1726211500&OSSAccessKeyId=yourOSSAccessKeyId&Signature=v5Owy5qoAfT7mzGmQgH0g8C****%3D", "subtask_status": "SUCCEEDED" } @@ -480,7 +480,7 @@ string "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" @@ -546,7 +546,7 @@ JSON数据中各字段含义请参见[识别结果说明](#a9021178ccl7s)。 ``` { - "file_url":"https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "file_url":"{YOUR_AUDIO_URL}", "properties":{ "audio_format":"pcm_s16le", "channels":[ @@ -689,7 +689,7 @@ string ## **其他接口：批量查询任务状态/取消任务** -详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的录音文件识别任务，同时支持取消`PENDING`（排队）状态的任务。 +详情请参见[管理异步任务](https://help.aliyun.com/zh/model-studio/manage-asynchronous-tasks)：支持批量查询24小时内提交的非实时语音识别任务，同时支持取消`PENDING`（排队）状态的任务。 ## **完整示例** @@ -704,7 +704,7 @@ import time api_key = "your-dashscope-api-key" # 在此处替换为您的API Key file_urls = [ - "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/paraformer/hello_world_female2.wav", + "{YOUR_AUDIO_URL}", ] language_hints = ["zh", "en"] @@ -797,7 +797,7 @@ print("transcription result: ", result) "end_time": "2024-12-16 16:31:02.375", "results": [ { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/sensevoice/rich_text_exaple_1.wav", + "file_url": "{YOUR_AUDIO_URL}", "code": "InvalidFile.DownloadFailed", "message": "The audio file cannot be downloaded.", "subtask_status": "FAILED" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md index 4a80c542..e847488f 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-api-reference.md @@ -1,4 +1,4 @@ -# 录音文件识别（Qwen-ASR）API参考 +# 非实时语音识别（Qwen-ASR）API参考 本文介绍 Qwen-ASR 模型的输入与输出参数。可通过OpenAI 兼容或DashScope协议调用 API。 @@ -70,7 +70,7 @@ try: # 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key # 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：api_key = "sk-xxx", api_key=os.getenv("DASHSCOPE_API_KEY"), - # 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", ) @@ -84,7 +84,7 @@ try: { "type": "input_audio", "input_audio": { - "data": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + "data": "{YOUR_AUDIO_URL}" } } ], @@ -130,7 +130,7 @@ const client = new OpenAI({ // 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key // 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：apiKey: "sk-xxx", apiKey: process.env.DASHSCOPE_API_KEY, - // 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 baseURL: "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", }); @@ -146,7 +146,7 @@ async function main() { { type: "input_audio", input_audio: { - data: "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + data: "{YOUR_AUDIO_URL}" } } ] @@ -157,11 +157,9 @@ async function main() { // stream_options: { // "include_usage": true // }, - extra_body: { - asr_options: { - // language: "zh", - enable_itn: false - } + asr_options: { + // language: "zh", + enable_itn: false } }); @@ -191,7 +189,7 @@ main(); #### cURL -以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 +以下为华北2（北京）地域的配置，调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)，各地域的配置不同。 ``` curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/chat/completions' \ @@ -205,7 +203,7 @@ curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode { "type": "input_audio", "input_audio": { - "data": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + "data": "{YOUR_AUDIO_URL}" } } ], @@ -245,7 +243,7 @@ curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode import base64, pathlib # input.mp3为用于声音复刻的本地音频文件，请替换为自己的音频文件路径，确保其符合音频要求 - file_path = pathlib.Path("input.mp3") + file_path = pathlib.Path("{YOUR_AUDIO_FILE}") base64_str = base64.b64encode(file_path.read_bytes()).decode() data_uri = f"data:audio/mpeg;base64,{base64_str}" ``` @@ -268,7 +266,7 @@ curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode // 使用示例 public static void main(String[] args) throws Exception { - System.out.println(toDataUrl("input.mp3")); + System.out.println(toDataUrl("{YOUR_AUDIO_FILE}")); } } ``` @@ -276,8 +274,6 @@ curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode #### Python SDK -示例中用到的音频文件为：[welcome.mp3](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260105/wotsae/welcome.mp3)。 - ``` import base64 from openai import OpenAI @@ -286,7 +282,7 @@ import pathlib try: # 请替换为实际的音频文件路径 - file_path = "welcome.mp3" + file_path = "{YOUR_AUDIO_FILE}" # 请替换为实际的音频文件MIME类型 audio_mime_type = "audio/mpeg" @@ -301,7 +297,7 @@ try: # 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key # 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：api_key = "sk-xxx", api_key=os.getenv("DASHSCOPE_API_KEY"), - # 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + # 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", ) @@ -349,8 +345,6 @@ except Exception as e: #### Node.js SDK -示例中用到的音频文件为：[welcome.mp3](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260105/wotsae/welcome.mp3)。 - ``` // 运行前的准备工作: // Windows/Mac/Linux 通用: @@ -364,8 +358,8 @@ const client = new OpenAI({ // 新加坡和北京地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key // 若没有配置环境变量，请用阿里云百炼API Key将下行替换为：apiKey: "sk-xxx", apiKey: process.env.DASHSCOPE_API_KEY, - // 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 - baseURL: "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 + baseURL: "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", }); const encodeAudioFile = (audioFilePath) => { @@ -374,7 +368,7 @@ const encodeAudioFile = (audioFilePath) => { }; // 请替换为实际的音频文件路径 -const dataUri = `data:audio/mpeg;base64,${encodeAudioFile("welcome.mp3")}`; +const dataUri = `data:audio/mpeg;base64,${encodeAudioFile("{YOUR_AUDIO_FILE}")}`; async function main() { try { @@ -399,11 +393,9 @@ async function main() { // stream_options: { // "include_usage": true // }, - extra_body: { - asr_options: { - // language: "zh", - enable_itn: false - } + asr_options: { + // language: "zh", + enable_itn: false } }); @@ -443,7 +435,7 @@ main(); System Message `_object_`（可选） -模型的目标或角色。如果设置系统消息，请放在messages列表的第一位。 +用于为语音识别提供上下文（Context），如背景文本和实体词表等参考信息，不支持设置模型角色等传统系统提示词。如果设置系统消息，请放在messages列表的第一位。 **属性** @@ -912,15 +904,7 @@ curl -X POST "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services { "content": [ { - "text": "" - } - ], - "role": "system" - }, - { - "content": [ - { - "audio": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + "audio": "{YOUR_AUDIO_URL}" } ], "role": "user" @@ -961,7 +945,7 @@ public class Main { MultiModalMessage userMessage = MultiModalMessage.builder() .role(Role.USER.getValue()) .content(Arrays.asList( - Collections.singletonMap("audio", "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3"))) + Collections.singletonMap("audio", "{YOUR_AUDIO_URL}"))) .build(); Map asrOptions = new HashMap<>(); @@ -981,7 +965,7 @@ public class Main { } public static void main(String[] args) { try { - // 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 + // 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; simpleMultiModalConversationCall(); } catch (ApiException | NoApiKeyException | UploadFileException e) { @@ -998,11 +982,11 @@ public class Main { import os import dashscope -# 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 +# 以下为华北2（北京）地域的配置，调用时请将"{WorkspaceId}"替换为真实的业务空间ID，各地域的配置不同。 dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' messages = [ - {"role": "user", "content": [{"audio": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3"}]} + {"role": "user", "content": [{"audio": "{YOUR_AUDIO_URL}"}]} ] response = dashscope.MultiModalConversation.call( @@ -1035,7 +1019,7 @@ print(response) System Message `_object_`（可选） -模型的目标或角色。如果设置系统消息，请放在messages列表的第一位。 +用于为语音识别提供上下文（Context），如背景文本和实体词表等参考信息，不支持设置模型角色等传统系统提示词。如果设置系统消息，请放在messages列表的第一位。 仅千问3-ASR-Flash支持该参数。 @@ -1460,7 +1444,7 @@ curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.c --data '{ "model": "qwen3-asr-flash-filetrans", "input": { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + "file_url": "{YOUR_AUDIO_URL}" }, "parameters": { "channel_id":[ @@ -1498,7 +1482,7 @@ public class Main { { "model": "qwen3-asr-flash-filetrans", "input": { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + "file_url": "{YOUR_AUDIO_URL}" }, "parameters": { "channel_id": [0], @@ -1514,7 +1498,7 @@ public class Main { { "model": "qwen3-asr-flash-filetrans", "input": { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + "file_url": "{YOUR_AUDIO_URL}" }, "parameters": { "channel_id": [0], @@ -1595,7 +1579,7 @@ headers = { payload = { "model": "qwen3-asr-flash-filetrans", "input": { - "file_url": "https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3" + "file_url": "{YOUR_AUDIO_URL}" }, "parameters": { "channel_id": [0], @@ -2010,6 +1994,14 @@ print(response.json()) + + + + + + + + 详情参见[异步调用识别结果说明](#2c27ad3e80p4y)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-interaction-process.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-interaction-process.md index 9839c136..d5bc3a81 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-interaction-process.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-recognition-api-reference/qwen-asr-realtime-api/qwen-asr-realtime-interaction-process.md @@ -100,7 +100,7 @@ Authorization 鉴权在 WebSocket 握手阶段验证。如果 API Key 无效或 **启用方式：**配置客户端`[session.update](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-client-events#af43722339yva)`事件的`session.turn_detection`参数。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1592892871/CAEQaxiBgICW9b6H3RkiIGM5MDgwMTNkMjBjMDRlNTNiOGZlODNjZGJhNDQ3NGJm5812623_20251022102739.334.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7151064871/CAEQaxiBgICW9b6H3RkiIGM5MDgwMTNkMjBjMDRlNTNiOGZlODNjZGJhNDQ3NGJm5812623_20251022102739.334.svg) - 客户端通过发送`[input_audio_buffer.append](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-client-events#a42f8e9111n72)`事件将音频追加到缓冲区。 @@ -112,6 +112,10 @@ Authorization 鉴权在 WebSocket 握手阶段验证。如果 API Key 无效或 - 客户端在音频提交完后，发送`[session.finish](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-client-events#147ce70052d4z)`事件通知服务端结束当前会话。 + **警告** + + 在 VAD 模式下，推完音频后必须先发送`[session.finish](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-client-events#147ce70052d4z)`事件再关闭连接。如果客户端直接关闭 WebSocket 连接而未发送该事件，服务端将丢弃当前 in\_progress item，`conversation.item.input_audio_transcription.completed` 等事件将不会到达。建议在调用 `ws.Close()` 之前，先发送 `{"type":"session.finish"}`，并等待收到`[session.finished](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-server-events#6eaa77339djdv)`事件后再关闭连接。 + - 服务端在检测到语音结束时返回`[input_audio_buffer.speech_stopped](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-server-events#3d73b074cak7k)`事件。 - 服务端返回`[input_audio_buffer.committed](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-server-events#1108a3764an0e)`事件。 @@ -131,7 +135,7 @@ Authorization 鉴权在 WebSocket 握手阶段验证。如果 API Key 无效或 **启用方式：**将客户端`[session.update](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-client-events#af43722339yva)`事件的`session.turn_detection`设为null。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1592892871/CAEQaxiBgMDUp8qH3RkiIGEyYTc0NTI1ZmQ1OTQ5NjliNWE0OTYwYTAwMDBlMjBm5812623_20251022102739.334.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/8151064871/CAEQaxiBgMDUp8qH3RkiIGEyYTc0NTI1ZmQ1OTQ5NjliNWE0OTYwYTAwMDBlMjBm5812623_20251022102739.334.svg) - 客户端通过发送`[input_audio_buffer.append](https://help.aliyun.com/zh/model-studio/qwen-asr-realtime-client-events#a42f8e9111n72)`事件将音频追加到缓冲区。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md index 3d4ec241..2c798bb3 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-android-sdk.md @@ -277,7 +277,7 @@ API Key。建议使用时效性短、安全性更高的[临时API Key](https://h 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -394,7 +394,7 @@ SSML 的使用限制（支持的模型、音色和接口），请参见[使用 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 > 时间戳结果在[INativeStreamInputTtsCallback](#secstreamcallback)的all\_response中。 @@ -440,7 +440,7 @@ cosyvoice-v1不支持该参数。 - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -460,9 +460,15 @@ cosyvoice-v1不支持该参数。 - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 `instruction` @@ -834,6 +840,7 @@ STREAM\_INPUT\_TTS\_EVENT\_TASK\_FAILED - 解压 ZIP 包。在 `app/libs` 目录中获取 AAR 格式 SDK，并添加到项目依赖。 需要 Android CPP 接入时，使用 ZIP 包内的 `android_libs` 与 `android_include` 获取动态库和头文件。 + - 用 Android Studio 打开工程。示例代码位于`DashCosyVoiceStreamTtsActivity.java`，替换 API Key 后体验功能。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md index dabe4c85..69c32225 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-client-events.md @@ -91,7 +91,7 @@ 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -173,7 +173,7 @@ SSML 的使用限制（支持的模型、音色和接口），请参见[使用 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **seed** `_integer_` （可选） @@ -209,7 +209,7 @@ cosyvoice-v1不支持该参数。 - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -229,9 +229,15 @@ cosyvoice-v1不支持该参数。 - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 **instruction** `_string_` （可选） @@ -365,7 +371,7 @@ qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v2、cosyvoice-v1 ## **finish-task** -**说明**：通知服务端文本发送完毕，请求结束任务。 +**说明**：通知服务端文本发送完毕，请求结束任务。如需取消当前轮次的语音合成任务，可在 `input` 中设置 `directive` 为 `cancel`。 **发送时机**：所有文本发送完毕后立即发送。 @@ -400,10 +406,41 @@ qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v2、cosyvoice-v1 } ``` +**取消任务示例**： + +``` +{ + "header": { + "action": "finish-task", + "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx", + "streaming": "duplex" + }, + "payload": { + "input": { + "directive": "cancel" + } + } +} +``` + **payload** `_object_` **（必选）** **属性** **input** `_object_` **（必选）** -固定为 `{}`。 +任务输入。为空对象 `{}` 时表示正常结束任务；包含 `directive` 时可用于取消当前轮次的语音合成任务。 + +**directive** `_string_` （可选） + +控制任务结束行为。当前仅支持取值为 `cancel`，表示取消当前轮次的语音合成任务，服务端会立即返回 `task-finished` 事件，且不会输出后续音频。 + +取消后，可在当前 WebSocket 连接上重新发起语音合成任务（发送新的 `run-task` 事件），无需重新建立连接。 + +**重要** + +**模型限制**： + +- 华北2（北京）地域：Qwen-Audio-TTS 系列模型的所有模型都支持该功能；CosyVoice 系列模型仅 v2 及以上版本支持该功能。 + +- 新加坡地域：Qwen-Audio-TTS 系列模型的所有模型都支持该功能；CosyVoice 系列模型不支持该功能。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md index 5a534022..6631da6e 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-ios-sdk.md @@ -243,7 +243,7 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 语音合成所使用的音色。 - - **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) + - **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -360,7 +360,7 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 默认值：false。 - 仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 + 仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 > 时间戳结果在[onStreamInputTtsEventCallback](#bea29bbafcosq)的all\_response中。 @@ -406,7 +406,7 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 - zh：中文 - - en：英文 + - en：英语 - fr：法语 @@ -426,9 +426,15 @@ Qwen-Audio-TTS/CosyVoice 支持一次性输入和流式输入两种调用方式 - vi：越南语 + - es：西班牙语 + - it：意大利语 - - ms：马来语 + - ms：马来西亚语 + + - fil：菲律宾语 + + - ar：阿拉伯语 `instruction` diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md index f3e4feda..d8dec276 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-java-sdk.md @@ -121,6 +121,29 @@ public void streamingComplete() 结束双向流式调用，通知服务端所有文本已发送完毕。 +### **streamingCancel() - 取消双向流式调用** + +**方法签名**： + +``` +public void streamingCancel() +``` + +**说明**：取消当前轮次的双向流式语音合成任务。调用后，SDK 会立即结束当前任务。取消后可在当前连接上继续发起新的合成任务，无需重新初始化 `SpeechSynthesizer` 实例。 + +**重要** + +**版本要求**：使用该功能需要 Java SDK 版本不低于 2.22.26。 + +**重要** + +**模型限制**： + +- 华北2（北京）地域：Qwen-Audio-TTS 系列模型的所有模型都支持该功能；CosyVoice 系列模型仅 v2 及以上版本支持该功能。 + +- 新加坡地域：Qwen-Audio-TTS 系列模型的所有模型都支持该功能；CosyVoice 系列模型不支持该功能。 + + ### **callAsFlowable() - 单向流式合成（响应式）** **方法签名**： @@ -242,7 +265,7 @@ public long getFirstPackageDelay() ``` SpeechSynthesisParam param = SpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 模型 - .voice("longanlingxi") // 音色 + .voice("longanhuan_v3.6") // 音色 .format(SpeechSynthesisAudioFormat.WAV_8000HZ_MONO_16BIT) // 音频编码格式、采样率 .volume(50) // 音量，取值范围：[0, 100] .speechRate(1.0f) // 语速，取值范围：[0.5, 2] @@ -278,7 +301,7 @@ String 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -345,7 +368,7 @@ boolean 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 `seed(int)` @@ -391,7 +414,7 @@ List - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -411,9 +434,15 @@ List - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 `instruction(String)` @@ -458,7 +487,7 @@ paramHotFix.setReplace(replaceItems); SpeechSynthesisParam param = SpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 模型 - .voice("your_voice") // 替换成qwen-audio-3.0-tts-flash复刻音色 + .voice("longanhuan_v3.6") // 音色 .hotFix(paramHotFix) .build(); ``` @@ -488,7 +517,7 @@ Map ``` SpeechSynthesisParam param = SpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_markdown_filter", true) .build(); ``` @@ -842,7 +871,7 @@ SDK提供了语音合成的关键接口，支持以下几种调用方式： ### **非流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1094204871/CAEQURiBgIDHpsn4phkiIDQ0ZGE2OTk3NmY5NTRhNDVhZDQwNWE3ZGZiMzk4Yjk54709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6538354871/CAEQURiBgIDHpsn4phkiIDQ0ZGE2OTk3NmY5NTRhNDVhZDQwNWE3ZGZiMzk4Yjk54709861_20241015153444.149.svg) 发送的文本长度不得超过20000字符。 @@ -864,7 +893,7 @@ public class Main { // 模型 private static String model = "qwen-audio-3.0-tts-flash"; // 音色 - private static String voice = "longanlingxi"; + private static String voice = "longanhuan_v3.6"; public static void streamAudioDataToSpeaker() { // 请求参数 @@ -917,7 +946,7 @@ public class Main { ### **单向流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1094204871/CAEQVRiBgMCfo..hrBkiIGEyMjNkZjVlMWZiYzRhZDU4ZjEyZjdjMmMzYjM1YzMz4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7538354871/CAEQVRiBgMCfo..hrBkiIGEyMjNkZjVlMWZiYzRhZDU4ZjEyZjdjMmMzYjM1YzMz4709861_20241015153444.149.svg) 发送的文本长度不得超过20000字符。 @@ -949,7 +978,7 @@ public class Main { // 模型 private static String model = "qwen-audio-3.0-tts-flash"; // 音色 - private static String voice = "longanlingxi"; + private static String voice = "longanhuan_v3.6"; public static void streamAudioDataToSpeaker() { CountDownLatch latch = new CountDownLatch(1); @@ -1024,7 +1053,7 @@ public class Main { ### 双向流式调用 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1094204871/CAEQVRiBgICHxPGhrBkiIGE3ZTVmMzY0YzI3NzQxYTFiYWE2MmU2NTBhMDgzZGM14709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7538354871/CAEQVRiBgICHxPGhrBkiIGE3ZTVmMzY0YzI3NzQxYTFiYWE2MmU2NTBhMDgzZGM14709861_20241015153444.149.svg) 单次发送文本长度不得超过 20000 字符，且累计发送文本总长度不得超过 20 万字符。 @@ -1076,7 +1105,7 @@ public class Main { "减少了用户等待时间。", "适用于调用大规模", "语言模型（LLM），以", "流式输入文本的方式", "进行语音合成的场景。"}; private static String model = "qwen-audio-3.0-tts-flash"; // 模型 - private static String voice = "longanlingxi"; // 音色 + private static String voice = "longanhuan_v3.6"; // 音色 public static void streamAudioDataToSpeaker() { // 配置回调函数 @@ -1177,7 +1206,7 @@ class TimeUtils { public class Main { private static String model = "qwen-audio-3.0-tts-flash"; // 模型 - private static String voice = "longanlingxi"; // 音色 + private static String voice = "longanhuan_v3.6"; // 音色 public static void streamAudioDataToSpeaker() throws NoApiKeyException { // 请求参数 @@ -1252,7 +1281,7 @@ public class Main { "减少了用户等待时间。", "适用于调用大规模", "语言模型（LLM），以", "流式输入文本的方式", "进行语音合成的场景。"}; private static String model = "qwen-audio-3.0-tts-flash"; - private static String voice = "longanlingxi"; + private static String voice = "longanhuan_v3.6"; public static void streamAudioDataToSpeaker() throws NoApiKeyException { // 模拟流式输入 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md index 8e94f9c5..4d00d326 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-python-sdk.md @@ -125,6 +125,47 @@ def streaming_complete(self) -> None **说明**：通知服务端所有文本已发送完毕，阻塞当前线程直到剩余文本合成完成并返回所有音频数据。未调用此方法可能导致尾部文本无法转换为语音。 +### **streaming\_cancel() - 取消流式合成** + +**方法签名**： + +``` +def streaming_cancel(self, complete_timeout_millis: int = 10000) -> None +``` + +**参数说明**： + +**参数** + +**类型** + +**必填** + +**说明** + +complete\_timeout\_millis + +int + +否 + +等待服务端返回 task-finished 事件的超时时间，单位毫秒。默认值：10000。 + +**说明**：取消当前轮次的流式语音合成任务。调用后，SDK 会立即结束当前任务。取消后可在当前连接上继续发起新的合成任务，无需重新初始化 `SpeechSynthesizer` 实例。 + +**重要** + +**版本要求**：使用该功能需要 Python SDK 版本不低于 1.26.4。 + +**重要** + +**模型限制**： + +- 华北2（北京）地域：Qwen-Audio-TTS 系列模型的所有模型都支持该功能；CosyVoice 系列模型仅 v2 及以上版本支持该功能。 + +- 新加坡地域：Qwen-Audio-TTS 系列模型的所有模型都支持该功能；CosyVoice 系列模型不支持该功能。 + + ### **get\_last\_request\_id() - 获取请求ID** **方法签名**： @@ -185,7 +226,7 @@ str 语音合成所使用的音色。 -- **系统音色**：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- **系统音色**：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - **复刻音色**：通过声音复刻功能定制 @@ -263,7 +304,7 @@ int ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="longanlingxi", + voice="longanhuan_v3.6", additional_params={"bit_rate": 128000} ) ``` @@ -278,7 +319,7 @@ bool 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **说明** @@ -287,7 +328,7 @@ bool ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="your_voice", + voice="longanhuan_v3.6", additional_params={"word_timestamp_enabled": True} ) ``` @@ -334,7 +375,7 @@ list\[str\] - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -354,9 +395,15 @@ list\[str\] - vi：越南语 +- es：西班牙语 + - it：意大利语 -- ms：马来语 +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 instruction @@ -388,7 +435,7 @@ bool ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="longanlingxi", + voice="longanhuan_v3.6", additional_params={ "enable_aigc_tag": True, "aigc_propagator": "your_propagator", @@ -447,7 +494,7 @@ qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v2、cosyvoice-v1 ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="your_voice", # 替换成qwen-audio-3.0-tts-flash复刻音色 + voice="longanhuan_v3.6", # 音色 hot_fix={ "pronunciation": [{"天气": "tian1 qi4"}], "replace": [{"今天": "金天"}] @@ -483,7 +530,7 @@ bool ``` synthesizer = SpeechSynthesizer( model="qwen-audio-3.0-tts-flash", - voice="your_voice", # 替换成qwen-audio-3.0-tts-flash复刻音色 + voice="longanhuan_v3.6", # 音色 additional_params={"enable_markdown_filter": True} ) ``` @@ -693,7 +740,7 @@ SDK提供了语音合成的关键接口，支持以下几种调用方式： ### **非流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1194204871/CAEQURiBgMDRr9T4phkiIGNmYzBiZjFkZjQ4MDQzZGU4NDIyZDU2NWJjYjkyZTQ04709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0658354871/CAEQURiBgMDRr9T4phkiIGNmYzBiZjFkZjQ4MDQzZGU4NDIyZDU2NWJjYjkyZTQ04709861_20241015153444.149.svg) 单次调用发送的文本长度不得超过20000字符，超出限制将返回错误。 @@ -718,7 +765,7 @@ dashscope.base_websocket_api_url='wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.c # 模型 model = "qwen-audio-3.0-tts-flash" # 音色 -voice = "longanlingxi" +voice = "longanhuan_v3.6" # 实例化SpeechSynthesizer，并在构造方法中传入模型（model）、音色（voice）等请求参数 synthesizer = SpeechSynthesizer(model=model, voice=voice) @@ -736,7 +783,7 @@ with open('output.mp3', 'wb') as f: ### **单向流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1194204871/CAEQVRiBgIDv9fShrBkiIDhmNTk5YmQ1ZDgwNzRjZjRiN2VlMTU5YzI1ZGMwMTlm4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0658354871/CAEQVRiBgIDv9fShrBkiIDhmNTk5YmQ1ZDgwNzRjZjRiN2VlMTU5YzI1ZGMwMTlm4709861_20241015153444.149.svg) 单次调用发送的文本长度不得超过20000字符，超出限制将返回错误。 @@ -769,7 +816,7 @@ dashscope.base_websocket_api_url='wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.c # 模型 model = "qwen-audio-3.0-tts-flash" # 音色 -voice = "longanlingxi" +voice = "longanhuan_v3.6" # 定义回调接口 class Callback(ResultCallback): @@ -823,7 +870,7 @@ synthesizer.call("今天天气怎么样？") ### **双向流式调用** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1194204871/CAEQVRiBgMDb7PahrBkiIDVkNjEwOTMxYjEwOTRmOWFhMmI1OTRiY2Q3ZDgzZmE54709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0658354871/CAEQVRiBgMDb7PahrBkiIDVkNjEwOTMxYjEwOTRmOWFhMmI1OTRiY2Q3ZDgzZmE54709861_20241015153444.149.svg) 单次发送文本长度不得超过 20000 字符，且累计发送文本总长度不得超过 20 万字符。 @@ -888,7 +935,7 @@ dashscope.base_websocket_api_url='wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.c # 模型 model = "qwen-audio-3.0-tts-flash" # 音色 -voice = "longanlingxi" +voice = "longanhuan_v3.6" # 定义回调接口 class Callback(ResultCallback): diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md index 90389819..56124c1b 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/cosyvoice-large-model-for-speech-synthesis/cosyvoice-websocket-api.md @@ -87,7 +87,7 @@ Authorization 鉴权在 WebSocket 握手阶段验证。如果 API Key 无效或 ## 交互流程 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/8684204871/CAEQaxiBgID50pCW3hkiIDVlOWNkODdhOGYyYjQ2ZDFiMzgyYjNmMmUzOGZkNGVh4709861_20241015153444.149.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9336814871/CAEQaxiBgID50pCW3hkiIDVlOWNkODdhOGYyYjQ2ZDFiMzgyYjNmMmUzOGZkNGVh4709861_20241015153444.149.svg) 客户端事件和服务端事件的详细说明，请参见[客户端事件](https://help.aliyun.com/zh/model-studio/cosyvoice-client-events)和[服务端事件](https://help.aliyun.com/zh/model-studio/cosyvoice-server-events)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md index e78e4fb1..a25c2588 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-http-api.md @@ -66,7 +66,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ "model": "qwen-audio-3.0-tts-flash", "input": { "text": "我家的后面有一个很大的花园。", - "voice": "longanlingxi", + "voice": "longanhuan_v3.6", "format": "wav", "sample_rate": 24000 } @@ -84,7 +84,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ "model": "qwen-audio-3.0-tts-flash", "input": { "text": "我家的后面有一个很大的花园。", - "voice": "longanlingxi", + "voice": "longanhuan_v3.6", "format": "wav", "sample_rate": 24000 } @@ -135,7 +135,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ 取值范围： -- 系统音色：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- 系统音色：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - 声音复刻音色：如何创建音色请参见[CosyVoice声音复刻/设计API](https://help.aliyun.com/zh/model-studio/cosyvoice-clone-design-api) @@ -211,7 +211,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **seed** `_integer_` （可选） @@ -245,7 +245,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -265,6 +265,16 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ - vi：越南语 +- es：西班牙语 + +- it：意大利语 + +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 + **instruction** `_string_` （可选） diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md index 7e77c178..1c261549 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-java-sdk.md @@ -207,7 +207,7 @@ String 取值范围： -- 系统音色：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- 系统音色：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - 声音复刻音色：如何创建音色请参见[CosyVoice声音复刻/设计API](https://help.aliyun.com/zh/model-studio/cosyvoice-clone-design-api) @@ -301,7 +301,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("你好") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_ssml", true) .build(); ``` @@ -312,7 +312,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("你好") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("enable_ssml", true)) .build(); ``` @@ -327,7 +327,7 @@ boolean 默认值：false。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 **说明** @@ -339,7 +339,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("word_timestamp_enabled", true) .build(); ``` @@ -350,7 +350,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("word_timestamp_enabled", true)) .build(); ``` @@ -377,7 +377,7 @@ int HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("seed", 1234) .build(); ``` @@ -388,7 +388,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("seed", 1234)) .build(); ``` @@ -421,7 +421,7 @@ List - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -441,6 +441,16 @@ List - vi：越南语 +- es：西班牙语 + +- it：意大利语 + +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 + **说明** @@ -452,7 +462,7 @@ List HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("language_hints", Arrays.asList("zh")) .build(); ``` @@ -463,7 +473,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("language_hints", Arrays.asList("zh"))) .build(); ``` @@ -488,7 +498,7 @@ String HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("instruction", "请用非常开心的语气说话。") .build(); ``` @@ -499,7 +509,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("instruction", "请用非常开心的语气说话。")) .build(); ``` @@ -530,7 +540,7 @@ int HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .format("opus") .parameter("bit_rate", 32) .build(); @@ -542,7 +552,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .format("opus") .parameters(Collections.singletonMap("bit_rate", 32)) .build(); @@ -570,7 +580,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_aigc_tag", true) .build(); ``` @@ -581,7 +591,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("enable_aigc_tag", true)) .build(); ``` @@ -608,7 +618,7 @@ String HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_aigc_tag", true) .parameter("aigc_propagator", "xxxx") .build(); @@ -624,7 +634,7 @@ map.put("aigc_propagator", "xxxx"); HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(map) .build(); ``` @@ -651,7 +661,7 @@ String HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_aigc_tag", true) .parameter("aigc_propagate_id", "xxxx") .build(); @@ -667,7 +677,7 @@ map.put("aigc_propagate_id", "xxxx"); HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(map) .build(); ``` @@ -726,7 +736,7 @@ hotFix.put("replace", replace); HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("今天天气真好。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("hot_fix", hotFix) .build(); ``` @@ -738,7 +748,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("今天天气真好。") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("hot_fix", hotFix)) .build(); ``` @@ -774,7 +784,7 @@ boolean HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("# 标题\n正文内容") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameter("enable_markdown_filter", true) .build(); ``` @@ -785,7 +795,7 @@ HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() HttpSpeechSynthesisParam param = HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") .text("# 标题\n正文内容") - .voice("longanlingxi") + .voice("longanhuan_v3.6") .parameters(Collections.singletonMap("enable_markdown_filter", true)) .build(); ``` @@ -837,7 +847,7 @@ public class CosyVoiceSyncExample { HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 更换模型时，需同步更换为对应版本的音色 .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 + .voice("longanhuan_v3.6") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 .format("wav") .sampleRate(24000) // 未配置环境变量时，将下行替换为：apiKey("sk-xxx")，即替换为实际的API Key @@ -877,7 +887,7 @@ public class CosyVoiceSyncExample { HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 更换模型时，需同步更换为对应版本的音色 .text("我家的后面有一个很大的花园。") - .voice("longanlingxi") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 + .voice("longanhuan_v3.6") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 .format("wav") .sampleRate(24000) // 未配置环境变量时，将下行替换为：apiKey("sk-xxx")，即替换为实际的API Key @@ -938,7 +948,7 @@ public class CosyVoiceStreamExample { HttpSpeechSynthesisParam.builder() .model("qwen-audio-3.0-tts-flash") // 更换模型时，需同步更换为对应版本的音色 .text("今天天气真好，适合出去玩。") - .voice("longanlingxi") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 + .voice("longanhuan_v3.6") // 该音色适用于qwen-audio-3.0-tts系列，cosyvoice-v3请使用longanyang等v3音色，cosyvoice-v2请使用longxiaochun_v2等v2音色 .format("wav") .sampleRate(24000) // 未配置环境变量时，将下行替换为：apiKey("sk-xxx")，即替换为实际的API Key diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md index 7143911a..a3f50903 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/non-realtime-cosyvoice-api/cosyvoice-tts-python-sdk.md @@ -109,7 +109,7 @@ str 取值范围： -- 系统音色：参见[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) +- 系统音色：参见[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list) - 声音复刻音色：如何创建音色请参见[CosyVoice声音复刻/设计API](https://help.aliyun.com/zh/model-studio/cosyvoice-clone-design-api) @@ -222,7 +222,7 @@ bool - False：关闭。 -仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 +仅在流式输出模式下可用。支持的音色范围：cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash、cosyvoice-v3-plus和cosyvoice-v2模型的复刻音色，以及[Qwen-Audio-TTS音色列表](https://help.aliyun.com/zh/model-studio/qwen-audio-tts-voice-list)、[CosyVoice音色列表](https://help.aliyun.com/zh/model-studio/cosyvoice-voice-list)中标记为支持的系统音色。qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash及其他模型的复刻音色不支持此功能。 seed @@ -264,7 +264,7 @@ list - zh：中文 -- en：英文 +- en：英语 - fr：法语 @@ -284,6 +284,16 @@ list - vi：越南语 +- es：西班牙语 + +- it：意大利语 + +- ms：马来西亚语 + +- fil：菲律宾语 + +- ar：阿拉伯语 + instruction @@ -443,7 +453,7 @@ dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.co result = HttpSpeechSynthesizer.call( model="qwen-audio-3.0-tts-flash", # 更换模型时，需同步更换为对应版本的音色 text="今天是个好日子，适合构建人们喜爱的产品！", - voice="longanhuan", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 + voice="longanhuan_v3.6", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 format="wav", sample_rate=24000, stream=False, @@ -478,7 +488,7 @@ dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.co stream_result = HttpSpeechSynthesizer.call( model="qwen-audio-3.0-tts-flash", # 更换模型时，需同步更换为对应版本的音色 text="今天是个好日子，适合构建人们喜爱的产品！", - voice="longanhuan", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 + voice="longanhuan_v3.6", # 该音色适用于cosyvoice-v3系列，cosyvoice-v2请使用longxiaochun_v2等v2音色 format="wav", sample_rate=24000, stream=True, diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md index 2673fe86..a2402160 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-design-http-api.md @@ -181,7 +181,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 辅助模型识别样本音频的语种，从而更准确地提取音色特征，提升复刻效果。若设置的语种与实际音频语种不符（例如为中文音频设置 `en`），系统将忽略该设置并自动检测语种。 @@ -189,11 +189,11 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ 取值范围（因模型而异）： -- qwen-audio-3.0-tts-flash： +- qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash： - zh：中文 - - en：英文 + - en：英语 - fr：法语 @@ -215,7 +215,13 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ - it：意大利语 - - ms：马来语 + - es：西班牙语 + + - ms：马来西亚语 + + - fil：菲律宾语 + + - ar：阿拉伯语 - cosyvoice-v3-plus： @@ -297,7 +303,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 音频预处理后用于声音复刻的参考音频最大时长（秒）。取值范围：\[3.0, 30.0\]。时间越长效果越好。 @@ -307,7 +313,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/ **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 是否开启音频预处理（降噪、音频增强、音量规整）。有背景噪音时建议开启；安静环境建议关闭以最大程度还原音色。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md index be92e944..36aa6d87 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-java-sdk.md @@ -121,7 +121,7 @@ customParam 否 -自定义参数，可指定languageHints、maxPromptAudioLength等。 +自定义参数，可通过 parameter() 方法指定 language\_hints、max\_prompt\_audio\_length 等参数。 **返回值**：`Voice` 对象，通过 `getVoiceId()` 方法获取音色ID。 @@ -283,108 +283,11 @@ String 声音复刻模型，固定为"voice-enrollment"。 -languageHints(List) - -List - -**重要** - -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 - -辅助模型识别样本音频的语种，从而更准确地提取音色特征，提升复刻效果。若设置的语种与实际音频语种不符（例如为中文音频设置 `en`），系统将忽略该设置并自动检测语种。 - -此参数为数组，但当前版本仅处理第一个元素。 - -取值范围（因模型而异）： - -- qwen-audio-3.0-tts-flash： - - - zh：中文 - - - en：英文 - - - fr：法语 - - - de：德语 - - - ja：日语 - - - ko：韩语 - - - ru：俄语 - - - pt：葡萄牙语 - - - th：泰语 - - - id：印尼语 - - - vi：越南语 - - - it：意大利语 - - - ms：马来语 - -- cosyvoice-v3-plus： - - - zh：中文 - - - en：英文 - - - fr：法语 - - - de：德语 - - - ja：日语 - - - ko：韩语 - - - ru：俄语 - -- cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-flash： - - - zh：中文 - - - en：英文 - - - fr：法语 - - - de：德语 - - - ja：日语 - - - ko：韩语 - - - ru：俄语 - - - pt：葡萄牙语 - - - th：泰语 - - - id：印尼语 - - - vi：越南语 - - -默认值：\["zh"\]。 - -maxPromptAudioLength(Float) - -Float - -**重要** - -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 - -音频预处理后用于声音复刻的参考音频最大时长（秒）。取值范围：\[3.0, 30.0\]。时间越长效果越好。 - -默认值：10.0。 - parameter(String, Object) Object -设置[扩展参数](#a18b66cba924j)，如 parameter("enable\_preprocess", false)。 +设置自定义参数，如 parameter("language\_hints", Arrays.asList("zh"))、parameter("max\_prompt\_audio\_length", 10.0f)、parameter("enable\_preprocess", false)。 ### **扩展参数** @@ -404,7 +307,7 @@ boolean **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 是否开启音频预处理（降噪、音频增强、音量规整）。有背景噪音时建议开启；安静环境建议关闭以最大程度还原音色。 @@ -422,7 +325,7 @@ import com.alibaba.dashscope.utils.Constants; import org.slf4j.Logger; import org.slf4j.LoggerFactory; -import java.util.Collections; +import java.util.Arrays; public class Main { private static final Logger logger = LoggerFactory.getLogger(Main.class); @@ -444,8 +347,8 @@ public class Main { fileUrl, VoiceEnrollmentParam.builder() .model(cloneModelName) - .languageHints(Collections.singletonList("zh")) - // .maxPromptAudioLength(10.0f) + .parameter("language_hints", Arrays.asList("zh")) + // .parameter("max_prompt_audio_length", 10.0f) // .parameter("enable_preprocess", false) .build()); diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md index 14b73cd2..42410c27 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/speech-synthesis-api-reference/sound-reengraving/voice-clone-python-sdk.md @@ -112,7 +112,7 @@ List\[str\] **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash、v3-plus和v3-flash模型支持。 辅助模型识别样本音频的语种，从而更准确地提取音色特征，提升复刻效果。若设置的语种与实际音频语种不符（例如为中文音频设置 `en`），系统将忽略该设置并自动检测语种。 @@ -120,11 +120,11 @@ List\[str\] 取值范围（因模型而异）： -- qwen-audio-3.0-tts-flash： +- qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash： - zh：中文 - - en：英文 + - en：英语 - fr：法语 @@ -146,7 +146,13 @@ List\[str\] - it：意大利语 - - ms：马来语 + - es：西班牙语 + + - ms：马来西亚语 + + - fil：菲律宾语 + + - ar：阿拉伯语 - cosyvoice-v3-plus： @@ -199,7 +205,7 @@ float **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 音频预处理后用于声音复刻的参考音频最大时长（秒）。取值范围：\[3.0, 30.0\]。时间越长效果越好。 @@ -213,7 +219,7 @@ bool **重要** -仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 +仅适用于Qwen-Audio-TTS/CosyVoice声音复刻（model为`voice-enrollment`时），且仅qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash、cosyvoice-v3.5-plus、v3.5-flash和v3-flash模型支持。 是否开启音频预处理（降噪、音频增强、音量规整）。有背景噪音时建议开启；安静环境建议关闭以最大程度还原音色。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/qwen-audio-realtime-websocket-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/fun-audiochat-realtime-websocket-api.md similarity index 67% rename from skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/qwen-audio-realtime-websocket-api.md rename to skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/fun-audiochat-realtime-websocket-api.md index 25294168..75868574 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/qwen-audio-realtime-websocket-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/audio-api-references/voice-conversation-api-references/real-time-voice-conversation-api-references/fun-audiochat-realtime-websocket-api.md @@ -127,7 +127,7 @@ Qwen-Audio Realtime API 支持三种交互模式，通过 `session.update` 事 下图展示了 server\_vad 模式下的典型交互时序： -服务端 客户端 服务端 客户端 会话初始化 语音输入 loop \[用户说话中\] loop \[用户说话中\] 响应生成 loop \[流式输出\] loop \[多轮交互\] connect session.created session.update session.updated input\_audio\_buffer.append input\_audio\_buffer.speech\_started input\_audio\_buffer.append conversation.item.input\_audio\_transcription.delta input\_audio\_buffer.speech\_stopped conversation.item.input\_audio\_transcription.completed commit audio buffer input\_audio\_buffer.committed conversation.item.created response.created response.output\_item.added conversation.item.created response.content\_part.added response.audio\_transcript.delta response.audio.delta response.audio\_transcript.done response.audio.done response.content\_part.done response.output\_item.done response.done +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7268354871/p1088432.svg) 按时间顺序，客户端与服务端的交互流程如下： @@ -148,7 +148,7 @@ Qwen-Audio Realtime API 支持三种交互模式，通过 `session.update` 事 模型播报期间，若 VAD 检测到用户开始说话，服务端会取消当前响应（返回 `response.done`，状态为 `cancelled`），随后开始新一轮语音输入和响应。下图展示了用户打断的交互时序： -服务端 客户端 服务端 客户端 服务端正在流式输出 loop \[流式输出中\] 用户打断 新一轮语音输入 loop \[用户说话中\] 新一轮推理 response.audio.delta input\_audio\_buffer.append（用户开始说话） response.done（status=cancelled） input\_audio\_buffer.speech\_started input\_audio\_buffer.append conversation.item.input\_audio\_transcription.delta input\_audio\_buffer.speech\_stopped conversation.item.input\_audio\_transcription.completed commit audio buffer input\_audio\_buffer.committed conversation.item.created response.created +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7268354871/p1088435.svg) ### **smart\_turn 模式** @@ -160,7 +160,7 @@ Qwen-Audio Realtime API 支持三种交互模式，通过 `session.update` 事 下图展示了 smart\_turn 模式下的典型交互时序： -服务端 客户端 服务端 客户端 会话初始化 loop \[用户说话中\] 无效语音（可能出现 0~N 次） loop \[用户说话中\] loop \[用户说话中\] 响应生成 loop \[流式输出\] loop \[多轮交互\] connect session.created session.update session.updated input\_audio\_buffer.append conversation.item.ambient\_audio\_transcription.delta conversation.item.ambient\_audio\_transcription.completed input\_audio\_buffer.append input\_audio\_buffer.speech\_started input\_audio\_buffer.append conversation.item.input\_audio\_transcription.delta input\_audio\_buffer.speech\_stopped conversation.item.input\_audio\_transcription.completed commit audio buffer input\_audio\_buffer.committed conversation.item.created response.created response.output\_item.added conversation.item.created response.content\_part.added response.audio\_transcript.delta response.audio.delta response.audio\_transcript.done response.audio.done response.content\_part.done response.output\_item.done response.done +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7268354871/p1088441.svg) 与 server\_vad 模式的主要区别： @@ -175,13 +175,13 @@ Qwen-Audio Realtime API 支持三种交互模式，通过 `session.update` 事 与 server\_vad 模式的打断处理基本一致。下图展示了用户打断的交互时序： -服务端 客户端 服务端 客户端 服务端正在流式输出 loop \[流式输出中\] 用户打断 新一轮语音输入 loop \[用户说话中\] 新一轮推理 response.audio.delta input\_audio\_buffer.append（用户开始说话） response.done（status=cancelled） input\_audio\_buffer.speech\_started input\_audio\_buffer.append conversation.item.input\_audio\_transcription.delta conversation.item.input\_audio\_transcription.completed input\_audio\_buffer.speech\_stopped commit audio buffer input\_audio\_buffer.committed conversation.item.created response.created +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7268354871/p1088443.svg) ## **无效轮次** 已判定有效的语音可能被撤回（`input_audio_buffer.speech_stopped` 返回 `reason=turn_invalid`），此时不触发推理，客户端应继续发送音频等待下一轮有效语音。下图展示了无效轮次的交互时序： -服务端 客户端 服务端 客户端 loop \[用户说话中\] loop \[用户说话中\] 轮次无效 继续发送音频，等待下一轮 input\_audio\_buffer.append input\_audio\_buffer.speech\_started input\_audio\_buffer.append conversation.item.input\_audio\_transcription.delta input\_audio\_buffer.speech\_stopped（reason=turn\_invalid） +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7268354871/p1088444.svg) ### **说话人增强配置流程** @@ -216,7 +216,7 @@ Qwen-Audio Realtime API 支持三种交互模式，通过 `session.update` 事 下图展示了 push-to-talk 模式下的典型交互时序： -服务端 客户端 服务端 客户端 会话初始化 语音输入 loop \[用户说话中\] 响应生成 loop \[流式输出\] loop \[多轮交互\] connect session.created session.update session.updated input\_audio\_buffer.append conversation.item.input\_audio\_transcription.delta input\_audio\_buffer.commit（用户松开按键） conversation.item.input\_audio\_transcription.completed input\_audio\_buffer.committed conversation.item.created response.create（手动触发推理） response.created response.output\_item.added conversation.item.created response.content\_part.added response.audio\_transcript.delta response.audio.delta response.audio\_transcript.done response.audio.done response.content\_part.done response.output\_item.done response.done +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7268354871/p1088447.svg) 按时间顺序，客户端与服务端的交互流程如下： @@ -233,7 +233,7 @@ Qwen-Audio Realtime API 支持三种交互模式，通过 `session.update` 事 客户端发送 `response.cancel` 取消当前响应，服务端返回 `response.done`（状态为 `cancelled`，原因为 `client_cancelled`）。下图展示了用户打断的交互时序： -服务端 客户端 服务端 客户端 服务端正在流式输出 loop \[流式输出中\] 用户打断 新一轮语音输入 loop \[用户说话中\] 新一轮推理 response.audio\_transcript.delta response.audio.delta response.cancel response.done（status=cancelled, reason=client\_cancelled） input\_audio\_buffer.append conversation.item.input\_audio\_transcription.delta input\_audio\_buffer.commit conversation.item.input\_audio\_transcription.completed input\_audio\_buffer.committed conversation.item.created response.create response.created +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7268354871/p1088449.svg) ## **各模式操作约束** diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md index 0a687e48..96d7ae74 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/creative-poster-generation-api.md @@ -80,7 +80,6 @@ curl --location --request POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.c "generate_mode":"generate", "generate_num":1 }, - "auxiliary_parameters": "WMq4SC4......", "parameters":{} }' ``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md index 720eeeec..825a4dde 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/image-creative-tools-api-reference/wanx-background-generation-api-reference.md @@ -71,14 +71,16 @@ wanx-background-generation-v2 ### **步骤1：创建任务获取任务ID** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/background-generation/generation/` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/background-generation/generation` #### **请求头（Headers）** ## 图像背景生成 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 + ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/background-generation/generation/' \ +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/background-generation/generation' \ --header 'X-DashScope-Async: enable' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ @@ -396,7 +398,7 @@ foreground\_edge图像列表和background\_edge图像列表之和不得超过10 ### **步骤2：根据任务ID查询结果** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` #### **请求头（Headers）** @@ -404,10 +406,10 @@ foreground\_edge图像列表和background\_edge图像列表之和不得超过10 请将`86ecf553-d340-4e21-xxxxxxxxx`替换为真实的task\_id。 -> 若使用新加坡地域的模型，需将base\_url替换为https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx，其中WorkspaceId需替换为真实的业务空间ID。 +> 若使用新加坡地域的模型，需将base\_url替换为https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx，其中{WorkspaceId}需替换为真实的业务空间ID。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-generation-and-editing-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-generation-and-editing-api-reference.md new file mode 100644 index 00000000..1537ef67 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-generation-and-editing-api-reference.md @@ -0,0 +1,459 @@ +# 千问-图像生成与编辑3.0 API参考 + +千问-图像生成与编辑3.0模型同时支持文生图（T2I）和图生图/图像编辑（I2I），可根据文本提示词直接生成图像，也可基于1-3张参考图结合编辑指令进行精确编辑。 + +**重要** + +该模型目前处于邀测阶段，您需要前往模型广场申请开通后方可使用。 + +## **模型概览** + +**模型名称** + +**模型简介** + +**输出图像规格** + +qwen-image-3.0-pro + +千问图像生成与编辑3.0模型，同时支持文生图（T2I）和图生图/图像编辑（I2I）。 + +图像分辨率： + +- **文生图（T2I）**：总像素需在512\*512至2048\*2048之间。 + +- **图生图（I2I）**：总像素需在512\*512至2048\*2048之间。 + +- **默认**：不指定`size`时，模型根据提示词自动推荐分辨率。 + + +图像格式：png + +## **前提条件** + +在调用前，您需要[获取API Key](https://help.aliyun.com/zh/model-studio/get-api-key)，再[配置API Key到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 + +如需通过SDK进行调用，请[安装DashScope SDK](https://help.aliyun.com/zh/model-studio/install-sdk)。目前，该SDK已支持Python和Java。 + +**重要** + +华北2（北京）和新加坡地域拥有独立的 **API Key** 与**请求地址**，不可混用，跨地域调用将导致鉴权失败或服务报错。 + +**重要** + +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： + +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 + +## HTTP调用 + +**北京地域**：`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` + +**新加坡地域**：`POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` + +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 + +#### 请求参数 + +## 文生图（T2I） + +``` +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ +--header 'Content-Type: application/json' \ +--header "Authorization: Bearer $DASHSCOPE_API_KEY" \ +--data '{ + "model": "qwen-image-3.0-pro", + "input": { + "messages": [ + { + "role": "user", + "content": [ + { + "text": "画面是一张竖幅户外人像摄影，整体从上到下呈现温暖的午后街景氛围。顶部左侧到上方大面积被深绿色藤蔓和橙色小花覆盖，花叶从建筑檐口自然垂落，受阳光照射的叶片呈黄绿色高光，阴影处则偏深绿，形成浓密而柔和的背景层次。左上至中上区域是一块深蓝色横向招牌，招牌表面较暗、略带磨砂质感，上面以白色哥特体大字写着 Il Messaggero，文字位于画面左侧偏上，部分被前景花叶轻微遮挡，字体高对比、带装饰性尖角和粗细变化。招牌下方是报刊亭或书报摊的玻璃展示窗，黑色金属框架将橱窗分隔成多个矩形区域，内部陈列着许多报纸、杂志和书刊封面，但大多因景深虚化和光线反射而难以辨读，形成浅色纸张与深色边框交错的背景纹理。画面右上方是强烈的逆光区域，阳光从街道尽头照入，背景建筑被虚化成米灰色块面，边缘柔和，呈现明显的浅景深效果。画面中部偏右是一名年轻成年女性的半身至膝上人像，她回头面向镜头微笑，身体略向右转，肩背朝向观者，姿态自然放松。她有长而浓密的黑色波浪卷发，发丝被逆光勾勒出金色轮廓光，发梢在右侧向外散开，显得轻盈蓬松。她肤色白皙，脸型柔和偏鹅蛋形，眉形细致，眼睛明亮，眼妆清透，睫毛明显，面部带有自然高光，唇部为柔和珊瑚红色，笑容露齿，表情亲切明朗。她佩戴小巧耳饰，身穿黑色细肩带露背连衣裙，面料颜色深黑、轮廓简洁，细肩带从肩部向背部延伸，背部线条清晰。画面下部偏左到中部，她双手抱着一束玫瑰花，花束体积较大，主要由橙色、杏色、粉色和浅桃色玫瑰组成，花瓣层层卷曲，边缘被阳光照亮，绿色叶片和长花茎从花束下方垂出，花束与黑色裙装形成鲜明色彩对比。右侧背景是一条被阳光照亮的城市街道，地面呈暖灰与金黄色调，远处建筑、街边设施和一个模糊的红色圆形交通标志位于右下远景，均因焦外虚化而只保留色块和轮廓。整张照片采用暖色胶片感处理，带有细腻颗粒、柔和对比和明显逆光边缘光，人物位于视觉焦点，背景报刊亭、花藤、街道和阳光共同营造出浪漫、明亮、都市漫步式的氛围。" + } + ] + } + ] + }, + "parameters": { + "prompt_extend": true + } +}' +``` + +## 图生图/图像编辑（I2I） + +``` +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \ +--header 'Content-Type: application/json' \ +--header "Authorization: Bearer $DASHSCOPE_API_KEY" \ +--data '{ + "model": "qwen-image-3.0-pro", + "input": { + "messages": [ + { + "role": "user", + "content": [ + { + "image": "https://alidocs.oss-cn-zhangjiakou.aliyuncs.com/res/yBRq1ZPYEaXdyOdv/img/33a80a19-7ac7-4c64-b0fa-7d685b7046a0.png" + }, + { + "text": "帮我生成一张充满高级感的都市风格女性写真，画面中人物完美保留输入图片中这位年轻女性的面部特征与一头柔顺的黑色长发。人物脱下原本的米色针织上衣，换上一套彰显高雅气质的都市职场穿搭，身穿一件质感垂顺的香槟色真丝衬衫，外搭一件剪裁利落的深灰色休闲西装外套，下身搭配同色系的高腰阔腿裤，整体造型既干练又富有女人味。场景设定在一家装修现代简约的高端咖啡店内，背景是通透的落地玻璃窗，窗外隐约可见繁华的城市街景，室内摆放着深色实木长桌和舒适的皮质座椅，桌面上放置着一台打开的银色笔记本电脑、一份文件和一杯热气腾腾的美式咖啡。人物呈现出慵懒而放松的办公姿态，身体微微后仰倚靠在椅背上，一只手臂自然搭在扶手上，另一只手轻轻握着咖啡杯置于桌边，头部微侧，眼神清澈从容且带有一丝慵懒地直视镜头，嘴角挂着一抹优雅自信的微笑。人物化着精致得体的正式场合妆容，底妆清透干净，眉眼线条清晰利落，唇部涂抹着显气色的豆沙色口红，展现出成熟知性的魅力。光线采用午后柔和的自然光，从侧面透过落地窗洒入，在人物的面部轮廓和衣物褶皱上留下细腻的光影过渡，背景呈现自然的景深虚化效果，色彩以大地色、灰色和暖白色为主调，营造出宁静、高级且充满故事感的都市办公氛围，构图采用经典的竖幅七分身人像视角，人物位于画面视觉中心略偏右，比例协调，画质清晰细腻。" + } + ] + } + ] + }, + "parameters": { + "prompt_extend": true + } +}' +``` + +##### 请求头（Headers） + +**Content-Type** `_string_` **（必选）** + +请求内容类型。此参数必须设置为`application/json`。 + +**Authorization** `_string_`**（必选）** + +请求身份认证。接口使用阿里云百炼API Key进行身份认证。示例值：Bearer sk-xxxx。 + +##### 请求体（Request Body） + +**model** `_string_` **（必选）** + +模型名称，当前可用模型为`qwen-image-3.0-pro`。 + +**input** `_object_` **（必选）** + +输入参数对象，包含以下字段： + +**属性** + +**messages** `_array_` **（必选）** + +请求内容数组。**当前仅支持单轮对话**，因此数组内**有且只有一个对象**，该对象包含`role`和`content`两个属性。 + +**属性** + +**role** `_string_` **（必选）** + +消息发送者角色，必须设置为`user`。 + +**content** `_array_` **（必选）** + +消息内容数组，根据使用场景有不同的组合方式： + +- **文生图（T2I）**：仅包含一个`{"text": "..."}`对象。 + +- **图生图（I2I）**：包含1-3个`{"image": "..."}`对象和1个`{"text": "..."}`对象。 + + +**属性** + +**image** `_string_` （可选） + +输入图像的 URL 或 Base64 编码数据。I2I场景下支持传入1-3张图像。多图输入时，按照数组顺序定义图像顺序。 + +**图像要求：** + +- 图像格式：JPG、JPEG、PNG、BMP、TIFF、WEBP和GIF。 + +- 图像分辨率：建议图像的宽和高均在384像素至2048像素之间。 + +- 图像大小：不超过10MB。 + + +**支持的输入格式** + +1. 公网URL：支持 HTTP 和 HTTPS 协议。您也可在此[获取临时公网URL](https://help.aliyun.com/zh/model-studio/get-temporary-file-url)。 + +2. Base64 编码：格式为`data:{MIME_type};base64,{base64_data}`。 + + +**text** `_string_` **（必选）** + +正向提示词，用于描述您期望生成或编辑的图像内容、风格和构图。支持中英文。 + +**注意**：仅支持传入一个text，不传或传入多个将报错。 + +**parameters** `_object_` （可选） + +控制图像生成的附加参数。 + +**属性** + +**prompt\_extend** `_boolean_` （可选） + +是否开启提示词智能改写，默认值为 `true`（建议开启）。开启后，模型会优化正向提示词，对描述较简单的提示词效果提升明显。 + +**n** `_integer_` （可选） + +输出图像的数量，支持输出1-6张图片，默认值为1。 + +**size** `_string_` （可选） + +设置输出图像的分辨率，格式为`宽*高`，例如`"1024*1024"`。未指定时由模型根据提示词自动推荐分辨率。 + +- **文生图（T2I）**：像素范围512\*512至2048\*2048。 + +- **图生图（I2I）**：像素范围512\*512至2048\*2048。 + + +**negative\_prompt** `_string_` （可选） + +反向提示词，用来描述不希望在画面中看到的内容，可以对画面进行限制。 + +**seed** `_integer_` （可选） + +随机数种子，取值范围`[0, 2147483647]`。固定种子可使生成结果相对稳定。 + +**watermark** `_boolean_` （可选） + +是否添加水印，默认值为 `false`。 + +#### 响应参数 + +## 任务执行成功 + +任务数据（如任务状态、图像URL等）仅保留24小时，超时后会被自动清除。请您务必及时保存生成的图像。 + +``` +{ + "output": { + "choices": [ + { + "finish_reason": "stop", + "message": { + "content": [ + { + "image": "https://dashscope-result-sz.oss-cn-shenzhen.aliyuncs.com/xxx.png?Expires=xxx" + } + ], + "role": "assistant" + } + } + ] + }, + "usage": { + "width": 1024, + "height": 1024, + "image_count": 1 + }, + "request_id": "571ae02f-5c9d-436c-83c2-f221e6df0xxx" +} +``` + +## 任务执行异常 + +如果因为某种原因导致任务执行失败，将返回相关信息，可以通过code和message字段明确指示错误原因。请参见[错误码](https://help.aliyun.com/zh/model-studio/error-code)进行解决。 + +``` +{ + "request_id": "31f808fd-8eef-9004-xxxxx", + "code": "InvalidApiKey", + "message": "Invalid API-key provided." +} +``` + +**output** `_object_` + +包含模型生成结果。 + +**属性** + +**choices** `_array_` + +结果选项列表。 + +**属性** + +**finish\_reason** `_string_` + +任务停止原因，自然停止时为`stop`。 + +**message** `_object_` + +模型返回的消息。 + +**属性** + +**role** `_string_` + +消息的角色，固定为`assistant`。 + +**content** `_array_` + +消息内容，包含生成的图像信息。 + +**属性** + +**image** `_string_` + +生成图像的 URL，格式为PNG。**链接有效期为24小时**，请及时下载并保存图像。 + +**usage** `_object_` + +本次调用的资源使用情况，仅调用成功时返回。 + +**属性** + +**width** `_integer_` + +生成图像的宽度（像素）。 + +**height** `_integer_` + +生成图像的高度（像素）。 + +**image\_count** `_integer_` + +生成图像的张数。 + +**request\_id** `_string_` + +请求唯一标识。可用于请求明细溯源和问题排查。 + +**code** `_string_` + +请求失败的错误码。请求成功时不会返回此参数，详情请参见[错误码](https://help.aliyun.com/zh/model-studio/error-code)。 + +**message** `_string_` + +请求失败的详细信息。请求成功时不会返回此参数，详情请参见[错误码](https://help.aliyun.com/zh/model-studio/error-code)。 + +## SDK调用 + +以下以图生图/图像编辑（I2I）为示例，展示Python和Java SDK的调用方式。 + +## Python + +``` +import os +import base64 +import mimetypes +import dashscope +from dashscope import MultiModalConversation + +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' + +def encode_file(file_path): + mime_type, _ = mimetypes.guess_type(file_path) + if not mime_type or not mime_type.startswith("image/"): + raise ValueError("Unsupported or unrecognized image format") + with open(file_path, "rb") as image_file: + encoded_string = base64.b64encode(image_file.read()).decode('utf-8') + return f"data:{mime_type};base64,{encoded_string}" + +# [方法一] 使用公网图像URL +image_url = "https://alidocs.oss-cn-zhangjiakou.aliyuncs.com/res/yBRq1ZPYEaXdyOdv/img/33a80a19-7ac7-4c64-b0fa-7d685b7046a0.png" + +# [方法二] 使用Base64编码图像 +# image_url = encode_file("./your_image.png") + +response = MultiModalConversation.call( + api_key=os.getenv("DASHSCOPE_API_KEY"), + model="qwen-image-3.0-pro", + messages=[{ + "role": "user", + "content": [ + {"image": image_url}, + {"text": "帮我生成一张充满高级感的都市风格女性写真，画面中人物完美保留输入图片中这位年轻女性的面部特征与一头柔顺的黑色长发。人物换上一套彰显高雅气质的都市职场穿搭，场景设定在一家装修现代简约的高端咖啡店内。"} + ] + }], + prompt_extend=True +) + +print(response) +if response.status_code == 200: + url = response.output.choices[0].message.content[0]["image"] + print(f"Generated image URL: {url}") +else: + print(f"Error: {response.code} - {response.message}") +``` + +## Java + +``` +import java.util.Arrays; +import java.util.Base64; +import java.util.Collections; +import java.io.IOException; +import java.nio.file.Files; +import java.nio.file.Path; +import java.nio.file.Paths; +import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversation; +import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationParam; +import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationResult; +import com.alibaba.dashscope.common.MultiModalMessage; +import com.alibaba.dashscope.common.Role; +import com.alibaba.dashscope.utils.Constants; + +public class ImageEditExample { + public static void main(String[] args) { + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; + + // [方法一] 使用公网图像URL + String imageUrl = "https://alidocs.oss-cn-zhangjiakou.aliyuncs.com/res/yBRq1ZPYEaXdyOdv/img/33a80a19-7ac7-4c64-b0fa-7d685b7046a0.png"; + + // [方法二] 使用Base64编码图像 + // String imageUrl = encodeFile("/path/to/your/image.png"); + + MultiModalConversation conv = new MultiModalConversation(); + MultiModalMessage userMessage = MultiModalMessage.builder() + .role(Role.USER.getValue()) + .content(Arrays.asList( + Collections.singletonMap("image", imageUrl), + Collections.singletonMap("text", "帮我生成一张充满高级感的都市风格女性写真，画面中人物完美保留输入图片中这位年轻女性的面部特征与一头柔顺的黑色长发。人物换上一套彰显高雅气质的都市职场穿搭，场景设定在一家装修现代简约的高端咖啡店内。") + )) + .build(); + MultiModalConversationParam param = MultiModalConversationParam.builder() + .apiKey(System.getenv("DASHSCOPE_API_KEY")) + .model("qwen-image-3.0-pro") + .messages(Arrays.asList(userMessage)) + .parameter("prompt_extend", true) + .build(); + try { + MultiModalConversationResult result = conv.call(param); + System.out.println(result); + } catch (Exception e) { + e.printStackTrace(); + } + } + + public static String encodeFile(String filePath) { + Path path = Paths.get(filePath); + if (!Files.exists(path)) { + throw new IllegalArgumentException("File does not exist: " + filePath); + } + String mimeType = null; + try { + mimeType = Files.probeContentType(path); + } catch (IOException e) { + throw new IllegalArgumentException("Cannot detect file type: " + filePath); + } + if (mimeType == null || !mimeType.startsWith("image/")) { + throw new IllegalArgumentException("Unsupported or unrecognized image format"); + } + byte[] fileBytes = null; + try { + fileBytes = Files.readAllBytes(path); + } catch (IOException e) { + throw new IllegalArgumentException("Cannot read file content: " + filePath); + } + String encodedString = Base64.getEncoder().encodeToString(fileBytes); + return "data:" + mimeType + ";base64," + encodedString; + } +} +``` + +## **错误码** + +如果模型调用失败并返回报错信息，请参见[错误码](https://help.aliyun.com/zh/model-studio/error-code)进行解决。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/client-events.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/client-events.md index bb4d9f20..0441479a 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/client-events.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/client-events.md @@ -89,7 +89,7 @@ Qwen-Omni-Realtime API的客户端事件参考。 默认音色： -- Qwen3.5-Omni-Realtime 系列：`Tina` +- Qwen3.5-Omni-Realtime 系列模型：`Tina` - Qwen3-Omni-Flash-Realtime：`Cherry` @@ -135,7 +135,7 @@ VAD 类型，可选值： - `server_vad`（默认值）：基于声学特征检测语音结束。 -- `semantic_vad`：基于语义有效性检测语音结束，可过滤回应语、背景音等无意义声音。仅 `qwen3.5-omni-realtime` 模型支持。 +- `semantic_vad`：基于语义有效性检测语音结束，可过滤回应语、背景音等无意义声音。仅 `qwen3.5-omni-realtime` 系列模型支持。 **threshold** `_float_`（可选） @@ -160,7 +160,7 @@ VAD 灵敏度。值越低，VAD 越灵敏，越容易将微弱声音（包括背 **enable\_search** `_boolean_`（可选） -**仅在使用 Qwen3.5-Omni-Realtime 模型时生效。** +**仅在使用 Qwen3.5-Omni-Realtime 系列模型时生效。** 是否启用联网搜索。设为 `true` 启用，默认为 `false`。启用后，模型可自主判断是否需要联网搜索来回答用户问题。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md index 0aece341..5d4f89d4 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md @@ -176,7 +176,7 @@ VAD类型，取值如下： - `server_vad`（默认值）：基于声学特征检测用户语音结束。 -- `semantic_vad`：基于语义有效性检测用户语音结束，可过滤无意义语音（如回应语、背景音）。仅`qwen3.5-omni-realtime`模型支持。 +- `semantic_vad`：基于语义有效性检测用户语音结束，可过滤无意义语音（如回应语、背景音）。仅`qwen3.5-omni-realtime`系列模型支持。 turnDetectionThreshold @@ -210,7 +210,7 @@ enable\_search Boolean -**仅在使用 Qwen3.5-Omni-Realtime 模型时生效。** +**仅在使用 Qwen3.5-Omni-Realtime 系列模型时生效。** 是否启用联网搜索功能。设置为 `true` 启用，默认为 `false`。启用后，模型可自主判断是否需要搜索来回应用户的即时问题。 @@ -230,7 +230,7 @@ tools List> -**仅在使用 Qwen3.5-Omni-Realtime 模型时生效。** +**仅在使用 Qwen3.5-Omni-Realtime 系列模型时生效。** 工具定义列表。启用后，模型可自主判断是否需要调用外部工具来回应用户的问题。命中工具调用时，模型不生成音频，仅返回工具调用参数。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md index 869f563c..cd0f1593 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md @@ -95,7 +95,7 @@ str 默认音色： -- `Qwen3.5-Omni-Realtime`: `"Tina"` +- `Qwen3.5-Omni-Realtime`系列模型: `"Tina"` - `Qwen3-Omni-Flash-Realtime`: `"Cherry"` @@ -157,7 +157,7 @@ VAD类型，取值如下： - `server_vad`（默认值）：基于声学特征检测用户语音结束。 -- `semantic_vad`：基于语义有效性检测用户语音结束，可过滤无意义语音（如回应语、背景音）。仅`Qwen3.5-Omni-Realtime`模型支持。 +- `semantic_vad`：基于语义有效性检测用户语音结束，可过滤无意义语音（如回应语、背景音）。仅`Qwen3.5-Omni-Realtime`系列模型支持。 turn\_detection\_threshold @@ -191,7 +191,7 @@ enable\_search bool -**仅在使用 Qwen3.5-Omni-Realtime 模型时生效。** +**仅在使用 Qwen3.5-Omni-Realtime 系列模型时生效。** 是否启用联网搜索功能。设置为 `true` 启用，默认为 `false`。启用后，模型可自主判断是否需要搜索来回应用户的即时问题。 @@ -209,7 +209,7 @@ tools list\[dict\] -**仅在使用 Qwen3.5-Omni-Realtime 模型时生效。** +**仅在使用 Qwen3.5-Omni-Realtime 系列模型时生效。** 工具定义列表。启用后，模型可自主判断是否需要调用外部工具来回应用户的问题。命中工具调用时，模型不生成音频，仅返回工具调用参数。 @@ -244,7 +244,7 @@ temperature越高，生成的内容更多样，反之，生成的内容更确定 由于temperature与top\_p均可以控制生成内容的多样性，因此建议只设置其中一个值。 -- `Qwen3.5-Omni-Realtime`系列：0.7 +- `Qwen3.5-Omni-Realtime`系列模型：0.7 - `Qwen3-Omni-Flash-Realtime`系列：0.9 @@ -267,7 +267,7 @@ top\_p越高，生成的内容更多样。反之，生成的内容更确定。 top\_p默认值： -- `Qwen3.5-Omni-Realtime`系列：0.8 +- `Qwen3.5-Omni-Realtime`系列模型：0.8 - `Qwen3-Omni-Flash-Realtime`系列：1.0 @@ -286,7 +286,7 @@ integer top\_k默认值： -- `Qwen3.5-Omni-Realtime`系列：20 +- `Qwen3.5-Omni-Realtime`系列模型：20 - `Qwen3-Omni-Flash-Realtime`系列：50 @@ -317,7 +317,7 @@ float repetition\_penalty默认值： -- `Qwen3.5-Omni-Realtime`系列：1.0 +- `Qwen3.5-Omni-Realtime`系列模型：1.0 - 其他模型：1.05 @@ -334,7 +334,7 @@ float presence\_penalty默认值： -- `Qwen3.5-Omni-Realtime`系列：1.5 +- `Qwen3.5-Omni-Realtime`系列模型：1.5 - 其他模型：0.0 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/server-events.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/server-events.md index 1b9a731f..98d52374 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/server-events.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/omni-realtime-api/server-events.md @@ -162,7 +162,7 @@ VAD检测阈值。 **enable\_search** `_boolean_` -是否启用联网搜索功能。仅 Qwen3.5-Omni-Realtime 模型支持。 +是否启用联网搜索功能。仅 Qwen3.5-Omni-Realtime 系列模型支持。 **search\_options** `_object_` @@ -308,7 +308,7 @@ VAD检测阈值。 **enable\_search** `_boolean_`（可选） -是否启用联网搜索功能。仅 Qwen3.5-Omni-Realtime 模型支持。 +是否启用联网搜索功能。仅 Qwen3.5-Omni-Realtime 系列模型支持。 **search\_options** `_object_`（可选） diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/preparations/error-code.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/preparations/error-code.md index 59f0dda7..d2ab3b8a 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/preparations/error-code.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/preparations/error-code.md @@ -767,13 +767,13 @@ AI 助理准确分析出原因，并给出解决方案： ### **request timeout after 23 seconds.** -**原因：** 超过23秒未向服务发送数据。该报错信息在使用[实时语音合成（Sambert）](https://help.aliyun.com/zh/model-studio/sambert-speech-synthesis/)、[语音识别（Paraformer）](https://help.aliyun.com/zh/model-studio/paraformer-speech-recognition)和[实时语音合成（CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)时产生。 +**原因：** 超过23秒未向服务发送数据。该报错信息在使用[实时语音合成（Sambert）](https://help.aliyun.com/zh/model-studio/sambert-speech-synthesis/)、[语音识别（Paraformer）](https://help.aliyun.com/zh/model-studio/paraformer-speech-recognition)和[实时语音合成（Qwen-Audio-TTS/CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)时产生。 **解决方案：** 请检查为什么长时间未向服务器发送数据。如果长时间（超过23秒）不向服务端发送消息，请及时结束任务。 ### **Please ensure input text is valid.** -**原因：** 若您使用[实时语音合成（CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，此错误通常是由于未发送待合成文本引起的。可能原因包括：参数遗漏（未为 `text` 参数赋值）或代码异常（导致对 `text` 参数的赋值失败）。 +**原因：** 若您使用[实时语音合成（Qwen-Audio-TTS/CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，此错误通常是由于未发送待合成文本引起的。可能原因包括：参数遗漏（未为 `text` 参数赋值）或代码异常（导致对 `text` 参数的赋值失败）。 **解决方案：** 请排查代码，确保 `text` 参数被正确赋值并发送。 @@ -816,7 +816,7 @@ AI 助理准确分析出原因，并给出解决方案： ### **\[tts:\]Engine return error code: 418** -**原因：** 使用[实时语音合成（CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，请求参数 `voice`（音色）不正确，或 `model`（模型）与 `voice`（音色）版本不匹配。 +**原因：** 使用[实时语音合成（Qwen-Audio-TTS/CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，请求参数 `voice`（音色）不正确，或 `model`（模型）与 `voice`（音色）版本不匹配。 **解决方案：** @@ -831,7 +831,7 @@ AI 助理准确分析出原因，并给出解决方案： ### **Request voice is invalid!** -**原因：** 若您使用[实时语音合成（CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，此错误通常是因为未设置音色。 +**原因：** 若您使用[实时语音合成（Qwen-Audio-TTS/CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，此错误通常是因为未设置音色。 **解决方案：** 请检查是否对`voice`参数赋值。若您使用[WebSocket API参考](https://help.aliyun.com/zh/model-studio/cosyvoice-websocket-api)，请参照API文档按照正确JSON格式配置参数。 @@ -1015,7 +1015,7 @@ AI 助理准确分析出原因，并给出解决方案： **解决方案：**前往[费用与成本](https://usercenter2.aliyun.com/home)查看是否欠费： -- 未欠费：请确认该 API Key 是否属于当前账号； +- 未欠费：请确认该 API Key 是否属于当前账号。如果账号不存在欠费的情况，可能账户出现异常，详情请联系客服进一步排查。 - 欠费：请及时充值。充值后，系统余额可能存在延迟，请稍等后重试。 @@ -1745,7 +1745,7 @@ A：请核对资源包的可抵扣范围。以qwen-plus/qwen-plus-latest系列 - **填写错误**：阿里云百炼的 API Key 以 `sk-` 开头，请确认未误填其他模型提供商的密钥，且复制时未包含多余空格或换行符。 -- **套餐专属 API Key（Coding Plan / Token Plan 团队版）**：Coding Plan 与 Token Plan 团队版均提供以 `sk-sp-` 开头的专属 API Key，**必须配合各自的专属 Base URL 使用**，不可与通用 API Key/Base URL 混用（混用会返回本鉴权错误）。其中 Coding Plan 的专属地址为 https://coding.dashscope.aliyuncs.com/v1；Token Plan 团队版的专属 Base URL 可在控制台**我的订阅**的 API Key 区域查看。请确认同时更新了 API Key 和 Base URL，具体配置方法请分别参见[接入AI工具](https://help.aliyun.com/zh/model-studio/use-coding-plan-in-ai-tools/)与[快速开始](https://help.aliyun.com/zh/model-studio/token-plan-quickstart)。 +- **套餐专属 API Key（Coding Plan / Token Plan 团队版）**：Coding Plan 与 Token Plan 团队版均提供以 `sk-sp-` 开头的专属 API Key，**必须配合各自的专属 Base URL 使用**，不可与通用 API Key/Base URL 混用（混用会返回本鉴权错误）。其中 Coding Plan 的专属地址为 https://coding.dashscope.aliyuncs.com/v1；Token Plan 团队版的专属 Base URL 可在控制台**我的订阅**的 API Key 区域查看。请确认同时更新了 API Key 和 Base URL，具体配置方法请分别参见[接入AI工具](https://help.aliyun.com/zh/model-studio/use-coding-plan-in-ai-tools/)与[快速开始](https://help.aliyun.com/zh/model-studio/token-plan-team-quickstart)。 - **地域不匹配**：API Key 和 Base URL 属于不同的地域，例如使用了华北2（北京）地域的 API Key 和新加坡地域的 Base URL。请确认您使用的 API Key 位于[北京](https://bailian.console.aliyun.com/?tab=globalset#/efm/api_key)地域页面或[新加坡](https://modelstudio.console.aliyun.com/?tab=globalset#/efm/api_key)地域页面，或[美国](https://modelstudio.console.aliyun.com/us-east-1)地域页面。各地域对应的 Base URL 如下： @@ -1958,6 +1958,8 @@ A：请核对资源包的可抵扣范围。以qwen-plus/qwen-plus-latest系列 - 请前往模型广场开通模型服务。 +- 如果您通过国际站 API 端点（如 `dashscope-us.aliyuncs.com`）发起调用，请注意不同地域可用的模型列表不同。调用前请确认目标模型是否在该地域可用，部分模型在美国地域需使用带 `-us` 后缀的模型名称（如 `qwen-max-us`）。 + ## **404-**model\_not\_supported @@ -2186,7 +2188,7 @@ A：请核对资源包的可抵扣范围。以qwen-plus/qwen-plus-latest系列 **原因：** 语音合成中使用的音色不存在。 -**解决方案：** 请检查`voice`参数，确保指定了正确的音色名称。可用音色请参见[实时语音合成（CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)。 +**解决方案：** 请检查`voice`参数，确保指定了正确的音色名称。可用音色请参见[实时语音合成（Qwen-Audio-TTS/CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)。 ## **500-**InternalError.FileUpload @@ -2438,7 +2440,7 @@ A：请核对资源包的可抵扣范围。以qwen-plus/qwen-plus-latest系列 ### **Cannot resolve symbol 'ttsv2'** -**原因：** 若您使用[实时语音合成（CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，出现该问题的原因是DashScope SDK版本过低。 +**原因：** 若您使用[实时语音合成（Qwen-Audio-TTS/CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)，出现该问题的原因是DashScope SDK版本过低。 **解决方案：** 请[安装最新版 DashScope SDK](https://help.aliyun.com/zh/model-studio/install-sdk#f80a232bb24v7)。 @@ -2458,7 +2460,7 @@ A：请核对资源包的可抵扣范围。以qwen-plus/qwen-plus-latest系列 ### **InputRequiredException: Parameter invalid: text is null** -**原因**：使用[实时语音合成（CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)时未发送待合成文本。 +**原因**：使用[实时语音合成（Qwen-Audio-TTS/CosyVoice）](https://help.aliyun.com/zh/model-studio/cosyvoice-large-model-for-speech-synthesis/)时未发送待合成文本。 **解决方案：**调用语音合成接口时为 `text` 参数赋值。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md index 53fb9ef1..455f7550 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md @@ -19,7 +19,39 @@ ## 支持的模型 -`qwen3-max`、`qwen3-max-2026-01-23`、`qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.7-max-2026-06-08`、`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.6-plus`、`qwen3.6-plus-2026-04-02`、`qwen3.5-plus`、`qwen3.5-plus-2026-02-15`、`qwen3.5-plus-2026-04-20`、`qwen3.6-flash`、`qwen3.6-flash-2026-04-16`、`qwen3.5-flash`、`qwen3.5-flash-2026-02-23`、`qwen3.6-35b-a3b`、`qwen3.5-397b-a17b`、`qwen3.5-122b-a10b`、`qwen3.5-27b`、`qwen3.5-35b-a3b`、`qwen-plus`、`qwen-flash`、`qwen3-coder-plus`、`qwen3-coder-flash`、`qwen3-coder-next`。 +### 华北2（北京） + +**中国内地部署范围** + +`qwen3.8-max-preview`（[Token Plan](https://help.aliyun.com/zh/model-studio/token-plan-overview)）、`qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.7-max-2026-06-08`、`qwen3-max`、`qwen3-max-2026-01-23`、`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.6-plus`、`qwen3.6-plus-2026-04-02`、`qwen3.5-plus`、`qwen3.5-plus-2026-04-20`、`qwen3.5-plus-2026-02-15`、`qwen3.6-flash`、`qwen3.6-flash-2026-04-16`、`qwen3.5-flash`、`qwen3.5-flash-2026-02-23`、`qwen3.6-35b-a3b`、`qwen3.5-397b-a17b`、`qwen3.5-122b-a10b`、`qwen3.5-27b`、`qwen3.5-35b-a3b`、`qwen-plus`、`qwen-flash`、`qwen3-coder-plus`、`qwen3-coder-flash`、`qwen3.5-ocr`、`qwen-plus-character`、`qwen-flash-character` + +### 新加坡 + +**国际部署范围** + +`qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.7-max-2026-06-08`、`qwen3-max`、`qwen3-max-2026-01-23`、`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.6-plus`、`qwen3.6-plus-2026-04-02`、`qwen3.5-plus`、`qwen3.5-plus-2026-04-20`、`qwen3.5-plus-2026-02-15`、`qwen3.6-flash`、`qwen3.6-flash-2026-04-16`、`qwen3.5-flash`、`qwen3.5-flash-2026-02-23`、`qwen3.6-35b-a3b`、`qwen3.5-397b-a17b`、`qwen3.5-122b-a10b`、`qwen3.5-27b`、`qwen3.5-35b-a3b`、`qwen-plus`、`qwen-flash`、`qwen3-coder-plus`、`qwen3-coder-flash`、`qwen-plus-character`、`qwen-flash-character` + +### 美国（弗吉尼亚） + +**全球部署范围** + +`` `qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.7-max-2026-06-08`、`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.6-plus`、`qwen3.6-plus-2026-04-02`、`qwen3.5-plus`、`qwen3.5-plus-2026-02-15`、`qwen3.6-flash`、`qwen3.6-flash-2026-04-16`、`qwen3.5-flash`、`qwen3.5-flash-2026-02-23`、`qwen3.6-35b-a3b`、`qwen3.5-397b-a17b`、`qwen3.5-122b-a10b`、`qwen3.5-27b`、`qwen3.5-35b-a3b` `` + +### 德国（法兰克福） + +**全球部署范围** + +`qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.7-max-2026-06-08`、`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.5-397b-a17b`、`qwen3.5-122b-a10b`、`qwen3.5-35b-a3b`、`qwen3.5-27b` + +### 日本（东京） + +**日本部署范围** + +`qwen3.7-plus`、`qwen3.7-plus-2026-05-26` + +**全球部署范围** + +`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.6-plus`、`qwen3.6-plus-2026-04-02`、`qwen3.6-flash`、`qwen3.6-flash-2026-04-16` ## 服务地址 @@ -771,7 +803,7 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/ **使用方式**：在请求 Header 中添加 `x-dashscope-session-cache: enable` 开启，或设置为 `disable` 关闭。默认值为 `disable`。 -**支持的模型：**`qwen3-max`、`qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.7-max-2026-06-08`、`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.6-plus`、`qwen3.5-plus`、`qwen3.6-flash`、`qwen3.5-flash`、`qwen-plus`、`qwen-flash`、`qwen3-coder-plus`、`qwen3-coder-flash` +**支持的模型：**`qwen3.8-max-preview`、`qwen3.7-max`、`qwen3.7-max-2026-05-20`、`qwen3.7-max-2026-06-08`、`qwen3.7-plus`、`qwen3.7-plus-2026-05-26`、`qwen3.6-plus`、`qwen3.5-plus`、`qwen3.6-flash`、`qwen3.5-flash`、`qwen3-max`、`qwen-plus`、`qwen-flash`、`qwen3-coder-plus`、`qwen3-coder-flash` > Session 缓存 最小可缓存提示词长度为 1024 Token，缓存有效期为 5 分钟。相关约束限制与[显式缓存](https://help.aliyun.com/zh/model-studio/context-cache)一致。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md index d94c7a68..480aa12c 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md @@ -64,9 +64,7 @@ text-embedding-async-v1 通用文本向量批处理接口API支持通过HTTP和DashScope SDK进行调用。 -在调用前，您需要[获取API Key](https://help.aliyun.com/zh/model-studio/get-api-key)，再[配置API Key到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 - -如需通过SDK进行调用，请[安装DashScope SDK](https://help.aliyun.com/zh/model-studio/install-sdk)。目前，该SDK已支持Python和Java。 +在调用前，先[获取API Key](https://help.aliyun.com/zh/model-studio/get-api-key)，再[配置API Key到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。如需通过SDK进行调用，请[安装DashScope SDK](https://help.aliyun.com/zh/model-studio/install-sdk)。 ## HTTP调用 @@ -79,14 +77,16 @@ HTTP调用仅支持异步模式，需通过两步完成： **通过HTTP调用时需配置的endpoint：** -`POST https://dashscope.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ### 创建任务 ##### **请求参数** ``` -curl -X POST 'https://dashscope.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \ +curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ -H 'X-DashScope-Async: enable' \ @@ -232,7 +232,7 @@ url `_string_` **（必选）** ### **根据任务ID查询结果** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` ##### **请求参数** @@ -240,10 +240,10 @@ url `_string_` **（必选）** 请将`86ecf553-d340-4e21-xxxxxxxxx`替换为真实的task\_id。 -> 若使用新加坡地域的模型，需将base\_url替换为https://dashscope-intl.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx +> 若使用新加坡地域的模型，需将base\_url替换为https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx，其中{WorkspaceId}需替换为真实的业务空间ID。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` @@ -398,6 +398,9 @@ SDK与HTTP接口的参数名基本一致，参数结构根据不同语言的SDK ``` from dashscope import BatchTextEmbedding +import dashscope +# 以下为华北2（北京）地域的配置，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的配置不同。 +dashscope.base_http_api_url = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" result = BatchTextEmbedding.call(BatchTextEmbedding.Models.text_embedding_async_v1, url="https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241016/nigwvr/text_embedding_file.txt", @@ -416,8 +419,11 @@ import com.alibaba.dashscope.exception.NoApiKeyException; import com.alibaba.dashscope.task.AsyncTaskListParam; import com.alibaba.dashscope.task.AsyncTaskListResult; import com.alibaba.dashscope.utils.JsonUtils; +import com.alibaba.dashscope.utils.Constants; public class Main { + // 以下为华北2（北京）地域的配置，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的配置不同。 + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; public static void basicCall() throws ApiException, NoApiKeyException { BatchTextEmbeddingParam param = BatchTextEmbeddingParam.builder() .model(BatchTextEmbedding.Models.TEXT_EMBEDDING_ASYNC_V1) @@ -430,6 +436,8 @@ public class Main { } public static void main(String[] args) { + // 以下为华北2（北京）地域的配置，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的配置不同。 + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; try { basicCall(); } catch (ApiException | NoApiKeyException e) { @@ -446,7 +454,10 @@ public class Main { ``` from dashscope import BatchTextEmbedding +import dashscope from http import HTTPStatus +# 以下为华北2（北京）地域的配置，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的配置不同。 +dashscope.base_http_api_url = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1" # 创建异步任务 def create_async_task(): @@ -508,8 +519,11 @@ import com.alibaba.dashscope.exception.NoApiKeyException; import com.alibaba.dashscope.task.AsyncTaskListParam; import com.alibaba.dashscope.task.AsyncTaskListResult; import com.alibaba.dashscope.utils.JsonUtils; +import com.alibaba.dashscope.utils.Constants; public class Main { + // 以下为华北2（北京）地域的配置，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的配置不同。 + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; /**创建批处理任务*/ public static BatchTextEmbeddingResult createTask() throws ApiException, NoApiKeyException { @@ -738,7 +752,7 @@ url `_string_` **（必选）** 任务状态 -- SUCCESSED: 任务执行成功 +- SUCCEEDED: 任务执行成功 - FAILED: 任务执行失败 diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md index 79c7fb66..c8e22c77 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-image-to-video-api-reference.md @@ -4,13 +4,13 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 ## 适用范围 -为确保调用成功，请务必保证模型、endpoint URL 和 API Key 均属于**同一地域**。跨地域调用将会失败。 +为确保调用成功，请务必保证模型、endpoint URL和API Key 均属于**同一地域**。跨地域调用将会失败。 - [**选择模型**](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all)：确认模型所属的地域。 - **选择 URL**：选择对应的地域 Endpoint URL，支持HTTP URL。 -- **配置 API Key**：获取该地域的[API Key](https://help.aliyun.com/zh/model-studio/get-api-key)，再[配置API Key到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 +- **配置API Key**：获取该地域的[API Key](https://help.aliyun.com/zh/model-studio/get-api-key)，再[配置API Key到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 **说明** @@ -19,14 +19,14 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse图生视频模型，以首帧图片为基础，支持通过文本描 ## 图生视频-基于首帧 ``` +# 以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -169,7 +166,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi 1. 公网URL： - - 支持 HTTP 或 HTTPS 协议。 + - 支持HTTP或HTTPS协议。 - 示例值：https://xxx/xxx.png。 @@ -326,14 +323,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -342,8 +335,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频生成过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -363,7 +354,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md index b93ad55b..97c7bc86 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-reference-to-video-api-reference.md @@ -19,14 +19,14 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse-参考生视频模型支持传入**多张参考图像**，通过**文 ## 参考生视频（多图像） ``` +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -368,14 +365,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -384,8 +377,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频生成过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -403,7 +394,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md index 385ff8f8..2db67804 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-text-to-video-api-reference.md @@ -19,14 +19,14 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse文生视频模型，输入文本提示词生成物理真实、运动 ## 文生视频 ``` +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -266,14 +263,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -282,8 +275,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频生成过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -303,7 +294,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md index edfc94c8..b5a84b4f 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/happyhorse-api-reference/happyhorse-video-edit-api-reference.md @@ -19,14 +19,14 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 **重要** -百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： - 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -38,14 +38,10 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 `POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -54,7 +50,7 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -68,6 +64,7 @@ HappyHorse 视频编辑模型支持输入视频与参考图，结合文本指令 ## 视频编辑（指令+参考图） ``` +# 以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ @@ -369,14 +366,10 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **美国（弗吉尼亚）** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -385,8 +378,6 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - **说明** - **轮询建议**：视频编辑过程约需数分钟，建议采用**轮询**机制，并设置合理的查询间隔（如 15 秒）来获取结果。 @@ -404,7 +395,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md index 08695f0a..083f04cc 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md @@ -29,9 +29,14 @@ **重要** -百炼为新加坡地域推出了业务空间专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`，**能够为推理请求提供卓越的性能和更高的稳定性**，建议从 `https://dashscope-intl.aliyuncs.com` 迁移至新域名。 +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -45,13 +50,13 @@ ## **北京** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -67,7 +72,8 @@ 基于首帧图像和音频生成视频。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -101,7 +107,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 传入首帧和尾帧生成视频。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -134,7 +141,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 基于首段视频片段，让模型生成后续内容。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -526,13 +534,13 @@ duration直接影响费用，按秒计费，请在调用前确认[模型价格]( ## **北京** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -553,10 +561,10 @@ duration直接影响费用，按秒计费，请在调用前确认[模型价格]( ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` @@ -754,13 +762,13 @@ SDK 的参数命名与[HTTP接口](#9c71bffa84zm6)基本一致，参数结构根 ## **北京** -`dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1'` +`dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1'` ## **新加坡** `dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -773,8 +781,8 @@ from dashscope import VideoSynthesis import dashscope import os -# 以下为北京地域URL，各地域的URL不同，获取URL：https://help.aliyun.com/zh/model-studio/image-to-video-general-api-reference -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -854,8 +862,8 @@ from dashscope import VideoSynthesis import dashscope import os -# 以下为北京地域URL，各地域的URL不同，获取URL：https://help.aliyun.com/zh/model-studio/image-to-video-general-api-reference -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -973,13 +981,13 @@ if __name__ == '__main__': ## **北京** -`Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"` +`Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"` ## **新加坡** `Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1"` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -1005,29 +1013,12 @@ import java.util.List; public class Image2Video { static { - // 以下为华北2（北京）地域的URL，各地域的URL不同。 - -import com.alibaba.dashscope.aigc.videosynthesis.VideoSynthesis; -import com.alibaba.dashscope.aigc.videosynthesis.VideoSynthesisParam; -import com.alibaba.dashscope.aigc.videosynthesis.VideoSynthesisResult; -import com.alibaba.dashscope.exception.ApiException; -import com.alibaba.dashscope.exception.InputRequiredException; -import com.alibaba.dashscope.exception.NoApiKeyException; -import com.alibaba.dashscope.utils.Constants; -import com.alibaba.dashscope.utils.JsonUtils; - -import java.util.ArrayList; -import java.util.List; - -public class Image2Video { - - static { - // 以下为新加坡地域URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 - Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" - // 各地域的API Key不同。获取API Key：https://www.alibabacloud.com/help/en/model-studio/get-api-key + // 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key static String apiKey = System.getenv("DASHSCOPE_API_KEY"); public static void syncCall() { @@ -1093,29 +1084,12 @@ import java.util.List; public class Image2Video { static { - // 以下为华北2（北京）地域的URL，各地域的URL不同。 - -import com.alibaba.dashscope.aigc.videosynthesis.VideoSynthesis; -import com.alibaba.dashscope.aigc.videosynthesis.VideoSynthesisParam; -import com.alibaba.dashscope.aigc.videosynthesis.VideoSynthesisResult; -import com.alibaba.dashscope.exception.ApiException; -import com.alibaba.dashscope.exception.InputRequiredException; -import com.alibaba.dashscope.exception.NoApiKeyException; -import com.alibaba.dashscope.utils.Constants; -import com.alibaba.dashscope.utils.JsonUtils; - -import java.util.ArrayList; -import java.util.List; - -public class Image2Video { - - static { - // 以下为新加坡地域URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 - Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" - // 各地域的API Key不同。获取API Key：https://www.alibabacloud.com/help/en/model-studio/get-api-key + // 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key static String apiKey = System.getenv("DASHSCOPE_API_KEY"); public static void asyncCall() { diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-api-reference.md index bf2dd8df..352341c9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-api-reference.md @@ -29,9 +29,14 @@ **重要** -百炼为新加坡地域推出了业务空间专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`，**能够为推理请求提供卓越的性能和更高的稳定性**，建议从 `https://dashscope-intl.aliyuncs.com` 迁移至新域名。 +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -41,14 +46,12 @@ ## **北京** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **弗吉尼亚** `POST https://dashscope-us.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` @@ -57,7 +60,7 @@ `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -75,7 +78,9 @@ 可通过设置`"prompt_extend": true`和`"shot_type":"multi"`启用。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -102,7 +107,9 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 若不提供 `input.audio_url` ，模型将根据视频内容自动生成匹配的背景音乐或音效。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -127,7 +134,9 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 如需为视频指定背景音乐或配音，可通过 `input.audio_url` 参数传入自定义音频的 URL。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -156,7 +165,9 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -182,7 +193,9 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 示例：下载[img\_base64](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20250722/pmcjis/img_base64.txt)文件，并将完整内容粘贴至`img_url`参数中。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -203,11 +216,13 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener - prompt 字段将被忽略，建议留空。 -- 特效的可用性与模型相关。调用前请查阅[万相-图生视频-视频特效](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 +- 特效的可用性与模型相关。调用前请查阅[万相-图生视频-视频特效列表](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -228,7 +243,9 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 通过 negative\_prompt 指定生成的视频避免出现“花朵”元素。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -322,7 +339,7 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 支持输入的格式： -1. 公网URL: +1. 公网URL： - 支持 HTTP 或 HTTPS 协议。 @@ -381,7 +398,7 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 视频特效模板的名称。若未填写，表示不使用任何视频特效。 -不同模型支持不同的特效模板。调用前请查阅[万相-图生视频-视频特效](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 +不同模型支持不同的特效模板。调用前请查阅[万相-图生视频-视频特效列表](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 示例值：flying，表示使用“魔法悬浮”特效。 @@ -596,14 +613,12 @@ audio直接影响费用，有声视频与无声视频价格不同，请前往百 ## **北京** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **弗吉尼亚** `GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id}` @@ -612,7 +627,7 @@ audio直接影响费用，有声视频与无声视频价格不同，请前往百 `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -633,10 +648,10 @@ audio直接影响费用，有声视频与无声视频价格不同，请前往百 ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` @@ -881,18 +896,16 @@ SDK 的参数命名与[HTTP接口](#42703589880ts)基本一致，参数结构根 若版本过低，可能会触发 “url error, please check url!” 等错误。请参考[安装SDK](https://help.aliyun.com/zh/model-studio/install-sdk)进行更新。 -根据模型所在地域设置 `**base_http_api_url**`: +根据模型所在地域设置 `**base_http_api_url**`： ## **北京** -`dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1'` +`dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1'` ## **新加坡** `dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **弗吉尼亚** `dashscope.base_http_api_url = 'https://dashscope-us.aliyuncs.com/api/v1'` @@ -901,7 +914,7 @@ SDK 的参数命名与[HTTP接口](#42703589880ts)基本一致，参数结构根 `dashscope.base_http_api_url = 'https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 #### **示例代码** @@ -919,8 +932,9 @@ from dashscope import VideoSynthesis import mimetypes import dashscope -# 以下为北京地域url，获取url：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +# 获取URL：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -1032,8 +1046,9 @@ from http import HTTPStatus from dashscope import VideoSynthesis import dashscope -# 以下为北京地域url，获取url：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +# 获取URL：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -1145,18 +1160,16 @@ if __name__ == '__main__': 若版本过低，可能会触发 “url error, please check url!” 等错误。请参考[安装SDK](https://help.aliyun.com/zh/model-studio/install-sdk)进行更新。 -根据模型所在地域设置 `**baseHttpApiUrl**`: +根据模型所在地域设置 `**baseHttpApiUrl**`： ## **北京** -`Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1";` +`Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1";` ## **新加坡** `Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1";` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 - ## **弗吉尼亚** `Constants.baseHttpApiUrl = "https://dashscope-us.aliyuncs.com/api/v1";` @@ -1165,7 +1178,7 @@ if __name__ == '__main__': `Constants.baseHttpApiUrl = "https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1";` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 #### **示例代码** @@ -1198,8 +1211,9 @@ import java.util.Map; public class Image2Video { static { - // 以下为北京地域url，获取url：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + // 获取URL：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" @@ -1351,8 +1365,9 @@ import java.util.Map; public class Image2Video { static { - // 以下为北京地域url，获取url：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + // 获取URL：https://help.aliyun.com/zh/model-studio/image-to-video-api-reference + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md index 7dc1d88e..dd4f30e4 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md @@ -23,9 +23,14 @@ **重要** -百炼为新加坡地域推出了业务空间专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`，**能够为推理请求提供卓越的性能和更高的稳定性**，建议从 `https://dashscope-intl.aliyuncs.com` 迁移至新域名。 +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -35,13 +40,15 @@ ## **北京** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -57,7 +64,8 @@ 根据首帧、尾帧和prompt生成视频。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -82,7 +90,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video 格式参见[如何输入图像](https://help.aliyun.com/zh/model-studio/image-to-video-first-and-last-frames-guide#69308edfbebnx)。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -104,10 +113,11 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video 必须传入`first_frame_url`和`template`，无需传入prompt和last\_frame\_url。 -不同模型支持不同的特效模板。调用前请查阅[万相-图生视频-视频特效](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 +不同模型支持不同的特效模板。调用前请查阅[万相-图生视频-视频特效列表](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -129,7 +139,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video 通过 negative\_prompt 指定生成的视频避免出现“人物”元素。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -274,7 +285,7 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video 视频特效模板的名称。使用此参数时，仅需传入 `first_frame_url`。 -不同模型支持不同的特效模板。调用前请查阅[万相-图生视频-视频特效](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 +不同模型支持不同的特效模板。调用前请查阅[万相-图生视频-视频特效列表](https://help.aliyun.com/zh/model-studio/wanx-video-effects)，以免调用失败。 示例值：hufu-1，表示使用“唐韵翩然”特效。 @@ -412,13 +423,15 @@ duration直接影响费用，按秒计费，调用前请确认百炼控制台。 ## **北京** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -441,10 +454,10 @@ duration直接影响费用，按秒计费，调用前请确认百炼控制台。 请将`86ecf553-d340-4e21-xxxxxxxxx`替换为真实的task\_id。 -> 若使用新加坡地域的模型，需将base\_url替换为https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx，其中WorkspaceId需替换为真实的业务空间ID。 +> 若使用新加坡地域的模型，需将base\_url替换为https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx，其中{WorkspaceId}需替换为真实的业务空间ID。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` @@ -641,13 +654,15 @@ SDK 的参数命名与[HTTP接口](https://help.aliyun.com/zh/model-studio/text- ## **北京** -`dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1'` +`dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1'` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 #### **示例代码** @@ -666,7 +681,7 @@ import mimetypes import dashscope # 以下为北京地域URL，各地域的URL不同，获取URL：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -768,7 +783,7 @@ from http import HTTPStatus from dashscope import VideoSynthesis import dashscope -# 以下为华北2（北京）地域的URL，各地域的URL不同。 +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 ``` ### Java SDK调用 @@ -816,7 +831,7 @@ import java.util.Map; public class Kf2vSync { static { - // 以下为华北2（北京）地域的URL，各地域的URL不同。 + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 ``` ## 异步调用 @@ -851,7 +866,7 @@ import java.util.Map; public class Kf2vAsync { static { - // 以下为华北2（北京）地域的URL，各地域的URL不同。 + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 ``` ## **使用限制** diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-reference-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-reference-to-video-api-reference.md index 8477b7b4..b5562bbf 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-reference-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-reference-to-video-api-reference.md @@ -21,9 +21,14 @@ **重要** -百炼为新加坡地域推出了业务空间专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`，**能够为推理请求提供卓越的性能和更高的稳定性**，建议从 `https://dashscope-intl.aliyuncs.com` 迁移至新域名。 +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -37,13 +42,15 @@ ## **北京** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **弗吉尼亚** @@ -53,7 +60,7 @@ `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -69,7 +76,8 @@ 通过`reference_urls`传入图像和视频URL。同时设置`shot_type`为`multi`，生成多镜头视频。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -99,7 +107,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 通过`reference_urls`传入多个视频URL。同时设置`shot_type`为`multi`，生成多镜头视频。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -125,7 +134,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 通过`reference_urls`传入单个视频URL。同时设置`shot_type`为`multi`，生成多镜头视频。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -150,7 +160,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 当生成无声视频时，**必须显式设置** `parameters.audio = false`。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -505,13 +516,15 @@ audio直接影响费用，有声视频与无声视频价格不同，请在调用 ## **北京** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **弗吉尼亚** @@ -521,7 +534,7 @@ audio直接影响费用，有声视频与无声视频价格不同，请在调用 `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -542,10 +555,10 @@ audio直接影响费用，有声视频与无声视频价格不同，请在调用 ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` @@ -735,13 +748,15 @@ SDK 的参数命名与[HTTP接口](#42703589880ts)基本一致，参数结构根 ## **北京** -`dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1'` +`dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1'` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 美国 @@ -751,7 +766,7 @@ SDK 的参数命名与[HTTP接口](#42703589880ts)基本一致，参数结构根 `dashscope.base_http_api_url = 'https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -766,7 +781,7 @@ import dashscope import os # 以下为北京地域URL，各地域的URL不同 -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -814,7 +829,7 @@ from dashscope import VideoSynthesis import dashscope # 以下为北京地域URL，各地域的URL不同 -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -877,19 +892,21 @@ if __name__ == '__main__': ## **北京** -`Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1";` +`Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1";` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1";` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **法兰克福** `Constants.baseHttpApiUrl = "https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1";` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -916,7 +933,7 @@ public class Ref2Video26 { static { // 以下为北京地域url，各地域的url不同 - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" @@ -986,7 +1003,7 @@ public class Ref2Video26Async { static { // 以下为北京地域url，各地域的url不同 - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-text-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-text-to-video-api-reference.md index 03862462..b5ad73b5 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-text-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-text-to-video-api-reference.md @@ -23,9 +23,14 @@ **重要** -百炼为新加坡地域推出了业务空间专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`，**能够为推理请求提供卓越的性能和更高的稳定性**，建议从 `https://dashscope-intl.aliyuncs.com` 迁移至新域名。 +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -39,13 +44,15 @@ ## **北京** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **弗吉尼亚** @@ -55,7 +62,7 @@ `POST https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -74,7 +81,8 @@ ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -100,7 +108,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 可通过 `input.audio_url` 参数传入自定义音频的 URL。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -125,7 +134,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 若不提供 `input.audio_url` ，模型将根据视频内容自动生成匹配的背景音乐或音效。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -149,7 +159,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener > wan2.6 及wan2.5系列模型默认生成有声视频。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -172,7 +183,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener 通过 negative\_prompt 排除“花朵”元素，避免其出现在视频画面中。 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -477,13 +489,15 @@ duration直接影响费用。费用 = 单价（基于分辨率）× 时长（秒 ## **北京** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **弗吉尼亚** @@ -493,7 +507,7 @@ duration直接影响费用。费用 = 单价（基于分辨率）× 时长（秒 `GET https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -514,10 +528,10 @@ duration直接影响费用。费用 = 单价（基于分辨率）× 时长（秒 ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` @@ -743,13 +757,15 @@ SDK 的参数命名与HTTP接口基本一致，参数结构根据语言特性进 ## **北京** -`dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1'` +`dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1'` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **弗吉尼亚** @@ -759,7 +775,7 @@ SDK 的参数命名与HTTP接口基本一致，参数结构根据语言特性进 `dashscope.base_http_api_url = 'https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -771,8 +787,8 @@ from dashscope import VideoSynthesis import dashscope import os -# 以下为北京地域URL，各地域的URL不同，获取URL：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。获取URL：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -844,8 +860,8 @@ from dashscope import VideoSynthesis import dashscope import os -# 以下为北京地域URL，各地域的URL不同，获取URL：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。获取URL：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -955,13 +971,15 @@ if __name__ == '__main__': ## **北京** -`Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1";` +`Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1";` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1";` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **弗吉尼亚** @@ -971,7 +989,7 @@ if __name__ == '__main__': `Constants.baseHttpApiUrl = "https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/api/v1";` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -994,8 +1012,8 @@ import java.util.Map; public class Text2Video { static { - // 以下为北京地域url，各地域的url不同，获取url：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。获取URL：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" @@ -1093,8 +1111,8 @@ public class Text2Video { static { - // 以下为北京地域url，各地域的url不同，获取url：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。获取URL：https://help.aliyun.com/zh/model-studio/text-to-video-api-reference + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wanx-vace-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wanx-vace-api-reference.md index 0fea1012..eb4e31d9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wanx-vace-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wanx-vace-api-reference.md @@ -21,9 +21,14 @@ **重要** -百炼为新加坡地域推出了业务空间专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`，**能够为推理请求提供卓越的性能和更高的稳定性**，建议从 `https://dashscope-intl.aliyuncs.com` 迁移至新域名。 +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -33,20 +38,23 @@ ## **北京** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 #### 请求参数 ## **多图参考** ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ --header 'X-DashScope-Async: enable' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ @@ -71,7 +79,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## 视频重绘 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ --header 'X-DashScope-Async: enable' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ @@ -92,8 +101,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## **局部编辑** ``` -# 如果使用华北2（北京）地域的模型，需要将url替换为：https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ --header 'X-DashScope-Async: enable' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ @@ -117,7 +126,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## 视频延展 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ --header 'X-DashScope-Async: enable' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ @@ -137,7 +147,8 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## 视频画面扩展 ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ --header 'X-DashScope-Async: enable' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ @@ -1168,22 +1179,24 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## **北京** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` + +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 #### 请求参数 ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md index 9fa72fb6..4c0b78dd 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md @@ -465,7 +465,7 @@ duration直接影响费用，按秒计费，请在调用前确认[模型价格]( ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-mix-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-mix-api.md index a7b65d67..e6707b3c 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-mix-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-mix-api.md @@ -53,6 +53,8 @@ **新加坡地域**：`POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis` +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 + **说明** - 创建成功后，使用接口返回的 `task_id` 查询结果，task\_id 有效期为 24 小时。**请勿重复创建任务**，轮询获取即可。 @@ -64,7 +66,7 @@ ## 视频换人 -以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 +以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 ``` curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \ @@ -256,13 +258,13 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 #### 新加坡 `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -285,7 +287,7 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi 请将`0385dc79-5ff8-4d82-bcb6-xxxxxx`替换为真实的task\_id。 -> 以下为华北2（北京）地域的URL，调用时请将WorkspaceId替换为真实的业务空间ID，各地域的URL不同。 +> 以下为华北2（北京）地域的URL。请将 {WorkspaceId} 替换为您的百炼业务空间ID，各地域的URL不同。 ``` curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/0385dc79-5ff8-4d82-bcb6-xxxxxx \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md index dbdb443a..3808f5dd 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md @@ -253,13 +253,13 @@ curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/servi `GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 #### 新加坡 `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** diff --git a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-video-editing-api-reference.md b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-video-editing-api-reference.md index 24b5e582..d6728f38 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-video-editing-api-reference.md +++ b/skills/bailian-docs-llm-wiki/raw/model-api-reference/video-generation-api/wan-api-reference/wan-video-editing-api-reference.md @@ -21,9 +21,14 @@ **重要** -百炼为新加坡地域推出了业务空间专属域名 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`，**能够为推理请求提供卓越的性能和更高的稳定性**，建议从 `https://dashscope-intl.aliyuncs.com` 迁移至新域名。 +阿里云百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，**能够为推理请求提供卓越的性能和更高的稳定性**，建议迁移至新域名： -其中 `{WorkspaceId}` 为您的业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 +- 华北2（北京）地域：从 `https://dashscope.aliyuncs.com` 迁移至 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` + +- 新加坡地域：从 `https://dashscope-intl.aliyuncs.com` 迁移至 `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + + +其中 `{WorkspaceId}` 为您的业务空间 ID，可在阿里云百炼控制台的**业务空间详情**页面查看。现有域名仍可正常使用。 ## HTTP调用 @@ -33,13 +38,13 @@ ## **北京** -`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` +`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` ## **新加坡** `POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -53,7 +58,7 @@ ## 纯指令编辑（修改视频风格） ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -79,7 +84,7 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## **指令+参考图编辑（局部替换）** ``` -curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ -H 'X-DashScope-Async: enable' \ -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ @@ -499,13 +504,13 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## **北京** -`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +`GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}` ## **新加坡** `GET https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/tasks/{task_id}` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 **说明** @@ -526,10 +531,10 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/video-gener ## 查询任务结果 -将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时。 +将`{task_id}`完整替换为上一步接口返回的`task_id`的值。`task_id`查询有效期为24小时，并请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ``` -curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} \ +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" ``` @@ -729,13 +734,13 @@ SDK 的参数命名与[HTTP接口](#e9e21dd3a6945)基本一致，参数结构根 ## **北京** -`dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1'` +`dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1'` ## **新加坡** `dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -749,8 +754,8 @@ from dashscope import VideoSynthesis import dashscope import os -# 以下为北京地域URL，各地域的URL不同 -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -855,8 +860,8 @@ from dashscope import VideoSynthesis import dashscope import os -# 以下为北京地域URL，各地域的URL不同 -dashscope.base_http_api_url = 'https://dashscope.aliyuncs.com/api/v1' +# 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 +dashscope.base_http_api_url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1' # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx" # 各地域的API Key不同。获取API Key：https://help.aliyun.com/zh/model-studio/get-api-key @@ -997,13 +1002,13 @@ if __name__ == '__main__': ## **北京** -`Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1";` +`Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1";` ## **新加坡** `Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1";` -调用时请将`WorkspaceId`替换为真实的[Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 +调用时请将`{WorkspaceId}`替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu)。 ## 同步调用 @@ -1034,8 +1039,8 @@ import java.util.Base64; public class VideoEdit { static { - // 以下为北京地域url，各地域的url不同 - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" @@ -1184,8 +1189,8 @@ import java.util.Base64; public class VideoEdit { static { - // 以下为北京地域url，各地域的url不同 - Constants.baseHttpApiUrl = "https://dashscope.aliyuncs.com/api/v1"; + // 以下为华北2（北京）地域的URL，调用时请将 {WorkspaceId} 替换为真实的业务空间ID，各地域的URL不同。 + Constants.baseHttpApiUrl = "https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1"; } // 若没有配置环境变量，请用百炼API Key将下行替换为：apiKey="sk-xxx" diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md index 732930c9..a9d58fee 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md @@ -4,7 +4,7 @@ ## **模型调优流程** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/8010204871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3396534871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) ## **步骤一：选择调优方式** @@ -776,3 +776,21 @@ Checkpoint 有保存时长限制，超过保存时长后将被自动清理，届 **说明** 您可以在模型调优任务列表中，点击训练失败任务右侧的**日志**，查看具体的训练失败原因。 + +### **微调后模型体验仍回答基座模型身份怎么办？** + +**原因说明** + +控制台**模型体验**页面不支持设置 system prompt，导致微调后的身份设定无法生效。 + +**解决方案** + +可以通过以下方式验证微调模型的身份设定效果： + +- **方案一：通过 API 调用传入 system prompt** + + 调用 API 时，在请求的 `system` 字段中填写身份设定内容，即可让模型按照微调后的设定进行回答。 + +- **方案二：在百炼控制台模型调试页面测试** + + 前往百炼控制台**模型调试**页面，在系统提示词输入框中填写身份设定内容，再进行测试。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md index ae2396d5..27d187cf 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md @@ -25,7 +25,7 @@ ### **模型调优流程** -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/2700204871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7786534871/CAEQZhiBgMDg9PGS2hkiIDNlZDFiMGRlMTJhOTQ1YzJhMmNjNDM3NzQ1ZjNiOGZk4608430_20240830103738.564.svg) 详情参见： diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md index e688c82e..5c1b36a4 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md @@ -115,6 +115,144 @@ curl --location --request POST 'https://dashscope.aliyuncs.com/api/v1/files' \ 请将`<替换为训练数据集的文件id>`完整替换为上一步获取的`file_id`。完整参数说明与格式约束请参见[超参数](https://help.aliyun.com/zh/model-studio/wan-generation-finetune-api-reference#5f391e4b3cezf)。 +**超参数** + +**字段** + +**类型** + +**必选** + +**描述** + +**推荐值** + +max\_steps + +int + +是 + +**训练总步数**。控制训练时长的核心参数。max\_steps 决定训练迭代次数，max\_token\_length 决定每步处理的数据量。建议不少于 500 步以确保模型充分收敛；大数据集可适当增加步数。 + +800 + +eval\_steps + +int + +是 + +**验证间隔**。取值需≥0。训练期间每隔多少个 steps 进行一次验证评估，用于阶段性评估模型训练效果。同时保存当前 step 的模型文件。 + +200 + +learning\_rate + +float + +是 + +**学习率**。控制模型权重更新的幅度。过高可能导致模型变差，过低则变化不明显。推荐使用默认值。 + +3e-5 + +generation\_type + +string + +是 + +**生成模式**。`"t2i"`：文生图模式；`"i2i"`：图生图模式。决定训练数据格式和推理方式。 + +t2i + +max\_pixels + +string + +是 + +**训练图片的最大分辨率**。例如 "1k"、"2k"（1K 即 1024×1024，2K 即 2048×2048）。设置训练集中图片分辨率的像素总数（宽×高）上限，系统仅对超过该值的图片进行缩放处理，未超限的图片保持原样。建议三个分辨率参数（max\_pixels、max\_token\_length、val\_img\_size）保持一致。 + +文生图："2k" +图生图："1k" + + +val\_img\_size + +string + +是 + +**验证图生成分辨率**。例如 "1k"、"2k"（1K 即 1024×1024，2K 即 2048×2048）。训练过程中验证评估时生成图片的目标分辨率。 + +文生图："2k" +图生图："1k" + + +max\_token\_length + +string + +是 + +**每步训练的最大 Token 长度**。例如 "1k"、"2k"。与 max\_steps 共同控制训练过程：max\_steps 决定迭代次数，max\_token\_length 决定每步处理的数据量。 + +文生图："2k" +图生图："1k" + + +gradient\_clip + +float + +是 + +**梯度裁剪**。对所有可训练参数做全局梯度范数裁剪的阈值，防止梯度爆炸。设为 -1 表示不裁剪。 + +0.5 + +weight\_decay + +float + +是 + +**权重衰减**。AdamW 解耦式权重衰减系数，对所有可训练参数生效，用于正则化防止过拟合。 + +0.02 + +lora\_rank + +int + +是 + +**LoRA 低秩矩阵的维数**。该值决定了微调参数量的大小。数值越大，模型拟合能力越强，但训练速度会变慢。取值必须为 2n（如 16、32、64）。 + +32 + +save\_total\_limit + +int + +否 + +**Checkpoint 保存数量上限**。限制最多保存的模型数量。系统将始终只保存训练生成的最后 N 个 Checkpoint（N 为该参数值）。 + +10 + +split + +float + +否 + +**训练集划分比例**。取值范围为 (0, 1)。仅在未指定 `validation_datasets` 时生效。此参数用于从训练集中自动按比例拆分出验证集。例如，0.9 表示 90% 训练集，10% 验证集。 + +0.9 + ``` curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \ --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md index 34eb3507..955a59f1 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md @@ -109,10 +109,6 @@ curl --location --request POST 'https://dashscope.aliyuncs.com/api/v1/files' \ 使用步骤1中的文件ID启动训练任务。 -**说明** - -不同模型的微调参数的值有所差异，超参数设置请参见[超参数](https://help.aliyun.com/zh/model-studio/wan-generation-finetune-api-reference#5f391e4b3cezf)，更多调用示例请参见[请求示例](https://help.aliyun.com/zh/model-studio/wan-generation-finetune-api-reference#1a9196bd16o9h)。 - **请求示例** 请将`<替换为训练数据集的文件id>`完整替换为上一步获取的`file_id`。 @@ -130,12 +126,12 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \ ], "training_type": "efficient_sft", "hyper_parameters": { - "n_epochs": 400, + "n_epochs": 50, "batch_size": 1, "learning_rate": 2e-5, "split": 0.9, "max_split_val_dataset_sample": 5, - "eval_epochs": 50, + "eval_epochs": 20, "max_pixels": 102400, "save_total_limit": 10, "lora_rank": 32, @@ -157,12 +153,12 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \ ], "training_type": "efficient_sft", "hyper_parameters": { - "n_epochs": 400, + "n_epochs": 50, "batch_size": 4, "learning_rate": 2e-5, "split": 0.9, "max_split_val_dataset_sample": 5, - "eval_epochs": 50, + "eval_epochs": 20, "max_pixels": 262144, "save_total_limit": 10, "lora_rank": 32, @@ -171,6 +167,140 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \ }' ``` +**超参数（hyper\_parameters）** + +**字段** + +**类型** + +**必选** + +**描述** + +**推荐值** + +batch\_size + +int + +是 + +**批次大小**。一次性送入模型进行训练的数据条数。 + +- wan2.7-i2v：推荐为 1。 + +- wan2.5-i2v-preview：推荐为 4。 + +- wan2.2-i2v-flash：推荐为 4。 + +- wan2.2-kf2v-flash：推荐为 4。 + + +以模型为准 + +n\_epochs + +int + +是 + +**训练循环次数**。steps = n\_epochs × ⌈数据集大小 / batch\_size⌉。建议总步数 ≥ 800。 + +> 例如：数据集 5 条，batch\_size=2，每轮步数=⌈5/2⌉=3，最小 n\_epochs = 800/3 ≈ 267。 + +> 推荐训练轮数会根据数据量自动调整。数据越少，需要更多轮数来充分学习；数据越多，每轮包含的样本越多，因此所需轮数会减少。50 epochs 主要适用于 2 条左右的小数据集；当数据量达到 50-60 条视频时，通常建议训练约 3000-5000 steps 即可。 + +50 + +learning\_rate + +float + +是 + +**学习率**。控制模型权重更新幅度。过高可能导致模型变差，过低则变化不明显。 + +2e-5 + +eval\_epochs + +int + +是 + +**验证间隔**。取值需 ≥ `n_epochs/10`。每隔多少个 epoch 进行一次验证评估并保存 Checkpoint。 + +20 + +max\_pixels + +int + +是 + +**训练视频的最大分辨率**（像素总数 = 宽×高）。系统仅对超过该值的视频进行缩放处理。 + +- wan2.7-i2v：推荐 102400。范围 36864～123904。 + +- wan2.5-i2v-preview：推荐 36864。范围 16384～36864。 + +- wan2.2-i2v-flash：推荐 262144。范围 65536～262144。 + +- wan2.2-kf2v-flash：推荐 262144。范围 65536～262144。 + + +以模型为准 + +split + +float + +否 + +**训练集划分比例**。取值 (0,1)，仅在未指定 validation\_datasets 时生效。 + +0.9 + +max\_split\_val\_dataset\_sample + +int + +否 + +**自动划分验证集的最大样本数**。验证集数量 = min(总数×(1−split), 此值)。 + +5 + +save\_total\_limit + +int + +否 + +**Checkpoint 保存数量上限**。系统只保存最后 N 个 Checkpoint。 + +10 + +lora\_rank + +int + +否 + +**LoRA 低秩矩阵维数**。取值须为 2n（16/32/64）。 + +32 + +lora\_alpha + +int + +否 + +**LoRA 权重缩放系数**。取值须为 2n（16/32/64）。 + +32 + **响应示例** 关注 `output` 中的三个关键参数： @@ -1276,7 +1406,7 @@ curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为微 - **n\_epochs (训练轮数)** - - 默认值：**400**，推荐使用默认值。若需调整，请遵循 **“总训练步数 (Steps) ≥ 800”** 的原则。 + - 默认值：**50**，推荐使用默认值。若需调整，请遵循 **”总训练步数 (Steps) ≥ 800”** 的原则。 - 总步数计算公式： `steps = n_epochs × 向上取整（训练集大小 / batch_size）。` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md index bb37de23..895966ad 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/models.md @@ -12,6 +12,16 @@ [ +qwen3.8-max-preview + +](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +仅 Token Plan 可用 + +qwen3.8-max-preview 目前仅面向 Token Plan 订阅用户提供，[前往开通 Token Plan →](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +[ + qwen3.7-max ](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-max) @@ -558,92 +568,20 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/a [ -kimi-k2.7-code +kimi/kimi-k3 -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi-k2.7-code) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi%2Fkimi-k3?serviceSite=asia-pacific-china) -华北2（北京）新加坡德国（法兰克福）美国（弗吉尼亚） +华北2（北京） -OpenAI 兼容Anthropic 兼容DashScope +OpenAI 兼容 -模型 ID`kimi-k2.7-code` +模型 ID`kimi/kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/compatible-mode/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope - -模型 ID`kimi-k2.7-code` - -Base URL`https://dashscope-us.aliyuncs.com/compatible-mode/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://dashscope-us.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://dashscope-us.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) - [ glm-5.2 @@ -888,7 +826,7 @@ qwen3.5-omni-plus 华北2（北京）新加坡 -OpenAI 兼容Anthropic 兼容DashScope +OpenAI 兼容 模型 ID`qwen3.5-omni-plus` @@ -896,19 +834,7 @@ Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?t API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope +OpenAI 兼容 模型 ID`qwen3.5-omni-plus` @@ -916,106 +842,22 @@ Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-south API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -模型 ID`qwen3.5-omni-plus` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - [ -kimi-k2.7-code +kimi/kimi-k3 -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi-k2.7-code) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/kimi%2Fkimi-k3?serviceSite=asia-pacific-china) -华北2（北京）新加坡德国（法兰克福）美国（弗吉尼亚） +华北2（北京） -OpenAI 兼容Anthropic 兼容DashScope +OpenAI 兼容 -模型 ID`kimi-k2.7-code` +模型 ID`kimi/kimi-k3` Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/compatible-mode/v1` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/compatible-mode/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/eu-central-1?tab=globalset#/efm/business_management).eu-central-1.maas.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/eu-central-1?tab=model#/api-key) - -OpenAI 兼容Anthropic 兼容DashScope - -模型 ID`kimi-k2.7-code` - -Base URL`https://dashscope-us.aliyuncs.com/compatible-mode/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://dashscope-us.aliyuncs.com/apps/anthropic` - -API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) - -模型 ID`kimi-k2.7-code` - -Base URL`https://dashscope-us.aliyuncs.com/api/v1` - -API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/api-key) - ### 生成 通过文本或图片生成图像与视频，支持编辑、参考与高分辨率输出 @@ -1024,41 +866,41 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/us-east-1?tab=model#/a [ -wan2.7-image-pro +qwen-image-3.0-pro -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/wan2.7-image-pro) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen-image-3.0-pro) 华北2（北京）新加坡 -模型 ID`wan2.7-image-pro` +模型 ID`qwen-image-3.0-pro` -Request URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image-generation/generation` +Request URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`wan2.7-image-pro` +模型 ID`qwen-image-3.0-pro` -Request URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/image-generation/generation` +Request URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) [ -qwen-image-2.0-pro +wan2.7-image-pro -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen-image-2.0-pro) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/wan2.7-image-pro) 华北2（北京）新加坡 -模型 ID`qwen-image-2.0-pro` +模型 ID`wan2.7-image-pro` -Request URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` +Request URL`https://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/image-generation/generation` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`qwen-image-2.0-pro` +模型 ID`wan2.7-image-pro` -Request URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation` +Request URL`https://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api/v1/services/aigc/image-generation/generation` API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) @@ -1258,18 +1100,24 @@ API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api- [ -cosyvoice-v3.5-plus +qwen-audio-3.0-tts-plus -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/cosyvoice-v3.5-plus) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen-audio-3.0-tts-plus) -华北2（北京） +华北2（北京）新加坡 -模型 ID`cosyvoice-v3.5-plus` +模型 ID`qwen-audio-3.0-tts-plus` Request URL`wss://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api-ws/v1/inference` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) +模型 ID`qwen-audio-3.0-tts-plus` + +Request URL`wss://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference` + +API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) + [ MiniMax/speech-2.8-hd @@ -1426,24 +1274,18 @@ API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=mod [ -qwen3.5-omni-plus-realtime +qwen-audio-3.0-realtime-plus -](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.5-omni-plus-realtime) +](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen-audio-3.0-realtime-plus) -华北2（北京）新加坡 +华北2（北京） -模型 ID`qwen3.5-omni-plus-realtime` +模型 ID`qwen-audio-3.0-realtime-plus` Request URL`wss://[{WorkspaceId}](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management).cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime` API Key[获取↗](https://bailian.console.aliyun.com/cn-beijing?tab=model#/api-key) -模型 ID`qwen3.5-omni-plus-realtime` - -Request URL`wss://[{WorkspaceId}](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=globalset#/efm/business_management).ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime` - -API Key[获取↗](https://modelstudio.console.aliyun.com/ap-southeast-1?tab=model#/api-key) - [ qwen3.5-omni-plus diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md index 8e375ee1..fbd2a16b 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/rate-limit.md @@ -665,6 +665,14 @@ qwen3.6-flash-2026-04-16 1,000,000 +qwen3.6-flash-us + +美国 + +15,000 + +5,000,000 + qwen3.5-plus 全球 @@ -2161,17 +2169,17 @@ qwen-vl-ocr-latest 中国内地 -1,200 +6,000 -6,000,000 +30,000,000 qwen-vl-ocr-2025-11-20 中国内地 -1,200 +6,000 -6,000,000 +30,000,000 qwen-vl-ocr-2025-08-28 @@ -4695,17 +4703,21 @@ kimi-k2.7-code > **含输入与输出Token** -kimi/kimi-k2.7-code-highspeed +kimi/kimi-k3 中国内地 500 -> 同一个阿里云百炼API Key 下，在 4 个模型中共享 500 RPM 限流配额。即这 4 个模型的每分钟请求总数加起来不能超过 500。 +> 同一个阿里云百炼API Key 下，在 5 个模型中共享 500 RPM 限流配额。即这 5 个模型的每分钟请求总数加起来不能超过 500。 3,000,000 -> 同一个阿里云百炼API Key 下，在 4 个模型中共享 3000000 TPM 限流配额。即这 4 个模型的每分钟 Token 消耗总数加起来不能超过 3000000。 +> 同一个阿里云百炼API Key 下，在 5 个模型中共享 3000000 TPM 限流配额。即这 5 个模型的每分钟 Token 消耗总数加起来不能超过 3000000。 + +kimi/kimi-k2.7-code-highspeed + +中国内地 kimi/kimi-k2.7-code @@ -4907,7 +4919,15 @@ glm-5.1 glm-5.2 -全球 +国际 + +500 + +1,000,000 + +glm-5.1 + +国际 500 @@ -4945,7 +4965,7 @@ ZHIPU/GLM-5.1 200 -10,000,000 +3,000,000 ZHIPU/GLM-5 @@ -5107,6 +5127,14 @@ stepfun/step-3.7-flash **同时处理中任务数量（并发数）** +qwen-image-3.0-pro + +中国内地 + +1 次/分钟 + +同步接口无限制 + qwen-image-2.0-pro 中国内地 @@ -5263,6 +5291,14 @@ qwen-mt-image **同时处理中任务数量（并发数）** +qwen-image-3.0-pro + +国际 + +1 次/分钟 + +同步接口无限制 + qwen-image-2.0-pro 国际 @@ -5273,7 +5309,7 @@ qwen-image-2.0-pro qwen-image-2.0-pro-2026-06-22 -中国内地 +国际 2 次/分钟 @@ -7223,7 +7259,7 @@ happyhorse-1.1-t2v 中国内地 -10 +5 5 @@ -7231,7 +7267,7 @@ happyhorse-1.1-i2v 中国内地 -10 +5 5 @@ -7239,7 +7275,7 @@ happyhorse-1.1-r2v 中国内地 -10 +5 5 @@ -7247,7 +7283,7 @@ happyhorse-1.0-t2v 中国内地 -10 +5 5 @@ -7255,7 +7291,7 @@ happyhorse-1.0-i2v 中国内地 -10 +5 5 @@ -7263,7 +7299,7 @@ happyhorse-1.0-r2v 中国内地 -10 +5 5 @@ -7271,7 +7307,7 @@ happyhorse-1.0-video-edit 中国内地 -10 +5 5 @@ -7291,7 +7327,7 @@ happyhorse-1.1-t2v 全球 -10 +5 5 @@ -7299,7 +7335,7 @@ happyhorse-1.1-i2v 全球 -10 +5 5 @@ -7307,7 +7343,7 @@ happyhorse-1.1-r2v 全球 -10 +5 5 @@ -7315,7 +7351,7 @@ happyhorse-1.0-t2v 全球 -10 +5 5 @@ -7323,7 +7359,7 @@ happyhorse-1.0-i2v 全球 -10 +5 5 @@ -7331,7 +7367,7 @@ happyhorse-1.0-r2v 全球 -10 +5 5 @@ -7339,7 +7375,7 @@ happyhorse-1.0-video-edit 全球 -10 +5 5 @@ -7359,7 +7395,7 @@ happyhorse-1.1-t2v 国际 -10 +5 5 @@ -7367,7 +7403,7 @@ happyhorse-1.1-i2v 国际 -10 +5 5 @@ -7375,7 +7411,7 @@ happyhorse-1.1-r2v 国际 -10 +5 5 @@ -7383,7 +7419,7 @@ happyhorse-1.0-t2v 国际 -10 +5 5 @@ -7391,7 +7427,7 @@ happyhorse-1.0-i2v 国际 -10 +5 5 @@ -7399,7 +7435,7 @@ happyhorse-1.0-r2v 国际 -10 +5 5 @@ -7407,7 +7443,7 @@ happyhorse-1.0-video-edit 国际 -10 +5 5 @@ -7427,7 +7463,7 @@ happyhorse-1.1-t2v 全球 -10 +5 5 @@ -7435,7 +7471,7 @@ happyhorse-1.1-i2v 全球 -10 +5 5 @@ -7443,7 +7479,7 @@ happyhorse-1.1-r2v 全球 -10 +5 5 @@ -7451,7 +7487,7 @@ happyhorse-1.0-t2v 全球 -10 +5 5 @@ -7459,7 +7495,7 @@ happyhorse-1.0-i2v 全球 -10 +5 5 @@ -7467,7 +7503,7 @@ happyhorse-1.0-r2v 全球 -10 +5 5 @@ -7475,7 +7511,7 @@ happyhorse-1.0-video-edit 全球 -10 +5 5 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md index d9c3ff39..775296d9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/get-started-with-models/regions.md @@ -18,7 +18,7 @@ 3. 推理结果回到接入地域存储，再响应给应用（用户静态数据始终存于所选地域）。 -![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7478182871/CAEQchiBgIDPq_PR9xkiIDJhZDdiNzAxMGFiODRhNmRiMDYxYjNjNGU2NTJkMDYw7466796_20260515102254.505.svg) +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5407814871/CAEQchiBgIDPq_PR9xkiIDJhZDdiNzAxMGFiODRhNmRiMDYxYjNjNGU2NTJkMDYw7466796_20260515102254.505.svg) ## 选择地域和服务部署范围 @@ -104,7 +104,7 @@ 推荐在生产环境中使用，具备更高并发承载能力与网络隔离性，保障大流量场景下的稳定、低延迟访问体验。 -存量业务兼容，建议[迁移至业务空间专属域名](#section-migrate-domain)。 +存量业务兼容，建议迁移至[业务空间专属域名](#section-migrate-domain)。 快速体验、功能验证，不建议用于生产环境。 @@ -247,13 +247,9 @@ HTTP、SSE 从 Dashscope 域名或试用域名迁移到业务空间专属域名只需两步，无需修改业务逻辑代码： -1. **获取业务空间专属域名**： +1. **获取业务空间专属域名**：在[业务空间管理](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management)页面，复制 **API Host** 列的内容。 - - 方式一：在[API Key 创建](https://bailian.console.aliyun.com/cn-beijing#/api-key)后的弹窗中，复制 **API Host** 。 - - - 方式二：在[业务空间管理](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management)页面，复制 **API Host** 列的内容。 - -2. **替换 Base URL 中的域名**：将原域名替换为业务空间专属域名。以华北2（北京）地域为例，`llm-xxx` 为业务空间 ID： +2. **替换请求地址中的域名**：将复制的 API Host（如 `llm-xxx.cn-beijing.maas.aliyuncs.com`）替换代码中原有的域名部分，以华北2（北京）地域为例，`llm-xxx` 为业务空间 ID： - OpenAI 兼容接口：从 `https://dashscope.aliyuncs.com/compatible-mode/v1` 替换为 `https://llm-xxx.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-data-overview/model-log-backflow.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-data-overview/model-log-backflow.md new file mode 100644 index 00000000..6d7dae69 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-data-overview/model-log-backflow.md @@ -0,0 +1,330 @@ +# 日志回流 + +日志回流将 SLS（日志服务）推理日志转化为可用于模型微调或评测的结构化数据集。 + +## 功能概述 + +日志回流功能将 SLS（日志服务）中的推理日志数据回流到百炼平台，经过格式化处理后生成结构化数据集（JSONL 格式），可用于模型微调或模型评测。回流产出的是结构化数据，而非原始日志的直接副本。 + +### 支持范围 + +日志回流支持创建以下两类数据集： + +- **训练集**：训练场景为文本生成，训练方式支持 SFT（监督微调）、DPO（直接偏好优化）和 CPT（持续预训练）。 + +- **评测集**：支持文本生成场景。 + + +日志回流目前仅在**华北2（北京）**和**新加坡** Region 可用，其他 Region 不显示日志回流入口。单次回流上限为 10 万条，可多次回流到同一数据集的不同版本以积累更多数据。 + +日志回流支持**平台存储**（默认）和对象存储 **OSS 挂载**（需额外授权）两种存储方式。存储方式的差异和选择指引，请参见[创建日志回流数据集](#sec-create)。 + +回流生成的数据集可直接用于下游任务：训练集可用于[模型调优](https://help.aliyun.com/zh/model-studio/model-training-on-console#topic-2529531)，评测集用于模型评测。数据也支持后续进行[数据清洗](https://help.aliyun.com/zh/model-studio/data-processing#topic-2761062)。 + +## 开通并授权相关服务 + +使用日志回流前，请确认当前 Region 为华北2（北京）或新加坡（其他 Region 不显示日志回流入口），并在[模型监控](https://bailian.console.aliyun.com/#/model-telemetry)页面完成以下服务开通和权限授权。全部完成后授权配置抽屉自动关闭，进入日志回流表单。 + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3463064871/p1086527.png) + +### 开启审计日志和推理日志 + +审计日志和推理日志各需完成三个步骤，共六个条件全部满足后才能使用日志回流。审计日志是推理日志的前置依赖，必须先完成审计日志的全部步骤。 + +**审计日志** + +1. 授权 SLS 服务关联角色：单击**立即授权**，授权 AliyunServiceRoleForSFMAccessSLS 角色。未授权时显示红色**未授权**标签。 + +2. 开通 SLS 日志服务：未开通时显示**未开通**状态和跳转链接，单击后前往 SLS 控制台完成开通。 + +3. 开启审计日志：单击**创建并开启审计日志**，系统创建 LogStore（日志库）实例并轮询等待就绪（最多 60 秒）。 + + +**推理日志** + +1. 授权推理日志的 SLS 服务关联角色。 + +2. 确认 SLS 日志服务已开通。 + +3. 开启推理日志：审计日志未开启时该按钮置灰，需先完成审计日志开启。 + + +**重要** + +开启必须按序：先审计日志，再推理日志。关闭必须反序：先关闭推理日志，再关闭审计日志。关闭日志后已有数据不可复原，操作前请确认不再需要日志数据。推理日志开启后 SLS 持续产生存储和读写费用，不再需要时应及时关闭。 + +### OSS 多角色授权（仅 OSS 挂载模式） + +选择 OSS 挂载存储方式时，需额外完成以下授权： + +1. 在弹出的授权弹窗中，勾选数据访问授权协议。 + +2. 单击**一键授权**，系统自动授权以下两个服务关联角色： + + - AliyunServiceRoleForAccessCusOss（OSS 写入角色） + + - AliyunServiceRoleForSFMDataHubOSSImport（DataHub 导入角色） + + +下表汇总了日志回流涉及的服务关联角色。 + +**角色名称** + +**用途** + +**授权时机** + +AliyunServiceRoleForSFMAccessSLS + +百炼访问 SLS 日志数据 + +审计日志和推理日志各授权一次 + +AliyunServiceRoleForAccessCusOss + +OSS 数据写入 + +选择 OSS 挂载存储时 + +AliyunServiceRoleForSFMDataHubOSSImport + +DataHub 数据导入 + +选择 OSS 挂载存储时 + +## 创建日志回流数据集 + +日志回流提供三个入口，均可进入配置表单创建数据集： + +### 模型监控列表页 + +在[**模型监控**列表页](https://bailian.console.aliyun.com/#/model-telemetry)顶部，单击**日志回流**。首次使用时先完成授权配置，授权通过后自动展示日志回流表单。 + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3463064871/p1086529.png) + +### 模型监控详情页 + +在模型监控详情页的时间选择器区域，单击**日志回流**。从此入口进入时，表单自动预填当前页面的时间范围、API Key 和模型，且模型不可修改。 + +### 数据管理页 + +在**数据管理**页面新建数据集时，导入方式选择**日志回流**。该选项仅在训练集（文本生成 + SFT）或评测集（文本生成）时可见。 + +### 配置回流参数 + +进入日志回流表单后，按从上到下的顺序配置以下参数。部分参数有前置依赖：API Key 过滤需先选时间范围，模型选择需先选时间范围和 API Key。修改时间范围、数据类型、训练场景或训练方式会联动重置其他参数，建议严格按顺序填写。各参数取值说明见下表。 + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3463064871/p1086595.png) + +**预估日志回流数据**：系统根据筛选条件显示预估的回流数据条数。超过 10 万条时红色警告，超出部分不会被回流。查询结果过多时，**确定**按钮禁用，需缩小筛选范围。 + +**说明** + +表单联动重置规则：修改时间范围会重置 API Key（回到**全部**）和模型选择（清空）；修改数据类型、训练场景或训练方式会重置存储位置和导入方式。 + +**重要** + +存储方式、数据类型和训练方式在创建后均不可更改，选择前请仔细确认。 + +**参数** + +**说明** + +**是否必填** + +**取值说明** + +回流位置 + +数据集的存储方式 + +是 + +平台存储（默认）或 OSS 挂载。评测集时 OSS 挂载禁用。创建后不可更改 + +数据集名称 + +数据集在列表中的显示名称 + +是 + +中文、英文、数字、下划线、斜杠、连字符，最大 50 字符。建议采用 功能场景\_模型名\_时间 格式命名。创建后不可修改 + +数据集描述 + +数据集用途补充说明 + +否 + +最大 200 字符 + +类型与格式 + +数据集用途类型 + +是 + +训练集或评测集。选择评测集时训练场景和训练方式隐藏。创建后不可更改 + +训练场景 + +训练场景类型（仅训练集显示） + +是 + +当前仅支持文本生成 + +训练方式 + +微调方法（仅训练集显示） + +是 + +SFT、DPO、CPT，选项由系统动态展示。创建后锁定 + +时间范围 + +回流日志的时间段 + +是 + +最近 30 天（含当天），精确到时分秒。修改会重置 API Key 和模型选择 + +API Key 过滤 + +按 API Key 筛选日志数据 + +是 + +全部（不过滤）、其他（排除已列出 Key）、或选择具体 Key（多选） + +模型选择 + +回流目标模型 + +是 + +最多 10 个，按能力类型过滤不匹配模型置灰 + +OSS 文件夹路径 + +数据存储的目标目录（仅 OSS 挂载模式显示） + +是 + +Bucket 需在同一 Region + +## 查看回流结果 + +提交日志回流任务后，在[**数据管理**列表页](https://bailian.console.aliyun.com/#/efm/data_ass)查看数据集和导入进度。 + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3463064871/p1088579.png) + +### 列表页展示 + +日志回流创建的数据集在列表页中的导入方式显示为**日志回流**，存储位置根据创建时的选择显示为**平台存储**或**OSS 挂载**。 + +可在列表页查看任务的导入状态。任务失败时，可查看系统返回的具体失败原因。 + +平台存储模式下，导入完成后系统自动发布数据集版本，无需手动操作。 + +### 详情页信息 + +数据集详情页展示的信息根据存储方式有所不同： + +- **OSS 挂载**：展示发布状态、数据量、创建时间、FileID、数据类型、导入状态和 OSS 挂载地址。 + +- **平台存储（OSS 导入）**：展示发布状态、数据量、创建时间、FileID、数据类型、导入状态和 OSS 导入地址。 + +- 其他情况：展示发布状态、数据量、创建时间、FileID、数据类型和导入状态。 + + +## 追加日志回流数据 + +在[数据管理](https://bailian.console.aliyun.com/#/efm/data_ass)页面，向已有数据集追加新一批日志回流数据，有以下两种方式： + +### 导入数据页 + +进入已有数据集的**导入数据**页面，选择**日志回流**作为导入方式。表单参数与创建流程一致，详见[创建日志回流数据集](#sec-create)。此方式额外支持按工作空间过滤。 + +此方式适用于所有存储类型的数据集，包括 OSS 挂载数据集。 + +### 新增版本弹窗 + +在数据集详情页，单击**新增版本**，在弹窗中选择日志回流导入方式。仅平台存储数据集可用此方式。 + +**说明** + +OSS 挂载数据集不支持**新增版本**操作，按钮置灰。需通过**导入数据**页追加。 + +### 增量回流最佳实践 + +推荐分批次回流，针对不同时段或不同模型分别执行回流任务，逐步积累高质量训练集。每批次可精准选择表现良好的模型和业务高峰时段的数据，确保数据质量优于一次性大量回流。 + +## 常见问题 + +**API Key 过滤的「其他」包含哪些请求？** + +**问题**：API Key 过滤中**其他**包含哪些请求？ + +**其他**过滤掉已列出 Key 的请求，包含已删除的 Key 或其他工作空间产生的日志。**全部**则不按 Key 过滤。三种模式（全部/其他/逐个选择）的完整说明见[创建日志回流数据集](#sec-create)的 API Key 过滤参数。 + +**10 万条上限是数据集总量限制吗？** + +**问题**：单次回流上限 10 万条，是否意味着数据集总量也被限制在 10 万条？ + +不是。10 万条是单次回流的上限，并非数据集的总量上限。可以多次回流到同一数据集的不同版本，累计数据量不受此限制。例如分批次针对不同时段回流，每次 10 万条以内，最终数据集可以积累远超 10 万条的数据。 + +**平台存储和 OSS 挂载有什么区别？** + +**问题**：两种存储方式除了数据存储位置不同，还有哪些差异？ + +两种存储方式的核心差异对比如下。 + +**维度** + +**平台存储** + +**OSS 挂载** + +额外授权 + +无需额外授权 + +需授权两个服务关联角色并勾选数据访问协议 + +新增版本 + +支持 + +不支持（按钮置灰），需通过导入数据页追加 + +数据访问 + +通过控制台访问 + +可在 OSS Bucket 直接查看和管理 JSONL 文件 + +评测集 + +支持 + +不支持（选项禁用） + +自动发布 + +导入完成后自动发布版本 + +不自动发布 + +**审计日志和推理日志是同一个操作吗？** + +**问题**：开启日志需要分别操作审计日志和推理日志，两者有什么关系？ + +两者需分别开启，且必须先完成审计日志才能开启推理日志。操作步骤详见[开通并授权相关服务](#sec-authorize)。 + +**预估数据量为什么和实际回流结果不一致？** + +**问题**：提交前显示的预估数据量与回流完成后的实际条数有差异。 + +预估数据量是基于筛选条件的近似估算值，实际回流完成后的数据条数可能略有差异，这是正常现象。预估值用于帮助判断是否需要调整筛选条件（如超过 10 万条时提示缩小范围），不代表精确计数。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md index fbf3abc6..5b3f64e9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/model-deployment-introduction.md @@ -108,7 +108,7 @@ 1. 预付费按天计费。无法提前退费 -2. 如果单位时间内使用超出购买的吞吐量，将自动切换成百炼提供的[模型调用](https://help.aliyun.com/zh/model-studio/model-pricing)服务。 +2. 如果单位时间内使用超出购买的吞吐量，按创建时选择的溢出策略处理：自动溢出则切换为该模型的[模型调用](https://help.aliyun.com/zh/model-studio/model-pricing)按量付费，仅使用 PTU 容量则返回 429。 预付费购买后，若在首月内提前退订，日单价（≈ 月单价 / 30）将按 **1.2** 倍计费 @@ -137,9 +137,9 @@ - 后付费时，如果账户欠费，部署的资源将继续保留并计费 24 小时，在这 24 小时内服务仍可正常使用。超过 24 小时后系统停止计费，模型部署进入欠费状态，底层资源将被删除，但模型部署任务仍会保留。补足欠费后，系统将重新分配资源并恢复使用（恢复后继续产生费用）。如果您不希望继续产生费用，可删除模型部署任务，删除成功后将不再计费。 -当模型输入超过最长输入 Token 或 超出购买的 TPM 量时，相关调用将自动切换为当前模型的按量付费模式。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 +当模型输入超过最长输入 Token 时，相关调用将自动切换为当前模型的按量付费模式；超出购买的 TPM 量时，按创建时选择的溢出策略处理（「自动溢出」切换为按量付费，「仅使用 PTU 容量」返回 429）。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 -- 此时，调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 +- 此时（仅「自动溢出」策略下），调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 - TPM 统计请前往：[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)。 @@ -483,15 +483,33 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-35B-A3B qwen3.6-35b-a3b -MU8 x 1 +MU1 x 8 -¥47 +¥432 -¥22,400 +¥208,944 + +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 MU9 x 1 @@ -509,6 +527,12 @@ MU1 x 2 ¥52,236 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-Plus-2026-04-02 qwen3.6-plus-2026-04-02 @@ -529,12 +553,6 @@ PD分离模式：¥417,888 qwen3.5-397b-a17b -MU2 x 8 - -¥504 - -¥240,288 - MU3 x 8 MU3 x 16（PD分离模式） @@ -547,6 +565,12 @@ PD分离模式：¥2,192 PD分离模式：¥1,055,504 +MU6 x 16 + +¥400 + +¥193,424 + 千问3.5-122B-A10B qwen3.5-122b-a10b @@ -557,11 +581,17 @@ MU1 x 4 ¥104,472 -MU2 x 8 +MU3 x 8 -¥504 +¥1,096 -¥240,288 +¥527,752 + +MU6 x 16 + +¥400 + +¥193,424 千问3.5-35B-A3B @@ -579,10 +609,40 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + +MU9 x 1 + +¥51 + +¥24,600 + 千问3.5-27B qwen3.5-27b +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 + +MU8 x 1 + +¥47 + +¥22,400 + MU9 x 1 ¥51 @@ -599,6 +659,12 @@ MU1 x 2 ¥52,236 +MU2 x 2 + +¥126 + +¥60,072 + MU8 x 1 ¥47 @@ -625,12 +691,24 @@ MU1 x 2 qwen3.5-plus-2026-02-15 +MU1 x 8 + MU1 x 16（PD分离模式） +¥432 + PD分离模式：¥864 +¥208,944 + PD分离模式：¥417,888 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 8 MU3 x 16（PD分离模式） @@ -659,57 +737,25 @@ MU2 x 8 ¥240,288 -千问3-Next-80B-A3B-Instruct - -qwen3-next-80b-a3b-instruct - -MU1 x 2 - -¥108 - -¥52,236 - 千问3-32B qwen3-32b -MU1 x 4 - -¥216 - -¥104,472 - -MU6 x 4 - -¥100 - -¥48,356 - -千问3-30B-A3B - -qwen3-30b-a3b - -MU9 x 2 - -¥102 - -¥49,200 - -千问3-30B-A3B-Instruct-2507 +MU6 x 16 -qwen3-30b-a3b-instruct-2507 +¥400 -MU1 x 4 +¥193,424 -¥216 +千问3-30B-A3B-Thinking-2507 -¥104,472 +qwen3-30b-a3b-thinking-2507 -MU2 x 8 +MU1 x 2 -¥504 +¥108 -¥240,288 +¥52,236 千问3-8B @@ -759,12 +805,6 @@ MU1 x 2 ¥52,236 -MU5 x 1 - -¥21 - -¥10,139 - 千问3-Embedding-0.6B qwen3-embedding-0.6b @@ -837,11 +877,11 @@ MU5 x 1 qwen2.5-72b-instruct -MU1 x 4 +MU1 x 8 -¥216 +¥432 -¥104,472 +¥208,944 千问2.5-开源版-32B @@ -879,26 +919,6 @@ MU5 x 1 ¥10,139 -千问2.5-开源版-3B - -qwen2.5-3b-instruct - -MU5 x 1 - -¥21 - -¥10,139 - -千问-Flash-2025-07-28 - -qwen-flash-2025-07-28 - -MU1 x 4 - -¥216 - -¥104,472 - 千问-Plus-2025-07-28 qwen-plus-2025-07-28 @@ -955,6 +975,12 @@ GLM-5.1 glm-5.1 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 16（PD分离模式） PD分离模式：¥2,192 @@ -987,6 +1013,16 @@ PD分离模式：¥800 PD分离模式：¥386,848 +GLM-4.7-Flash + +glm-4.7-flash + +MU3 x 16（PD分离模式） + +PD分离模式：¥2,192 + +PD分离模式：¥1,055,504 + #### DeepSeek **模型名称** @@ -1007,11 +1043,11 @@ DeepSeek-v4-Flash deepseek-v4-flash -MU1 x 8 +MU3 x 8 -¥432 +¥1,096 -¥208,944 +¥527,752 DeepSeek-v3.2 @@ -1039,16 +1075,6 @@ PD分离模式：¥480,576 **最小计费：天** -MiniMax-M2.5 - -MiniMax-M2.5 - -MU1 x 16（PD分离模式） - -PD分离模式：¥864 - -PD分离模式：¥417,888 - Kimi-K2.5 kimi-k2.5 @@ -1091,15 +1117,21 @@ MU2 x 8 **最小计费：天** -千问3-VL-235B-A22B-Instruct +千问3-VL-32B-Instruct -qwen3-vl-235b-a22b-instruct +qwen3-vl-32b-instruct -MU1 x 4 +MU2 x 8 -¥216 +¥504 -¥104,472 +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 千问3-VL-8B-Instruct @@ -1111,6 +1143,12 @@ MU1 x 2 ¥52,236 +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-4B-Instruct qwen3-vl-4b-instruct @@ -1131,6 +1169,16 @@ MU5 x 1 ¥10,139 +千问3-VL-Embedding-2B + +qwen3-vl-embedding-2b + +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-Flash-2025-10-15 qwen3-vl-flash-2025-10-15 @@ -1161,16 +1209,6 @@ MU6 x 4 ¥48,356 -千问VL-OCR-2025-11-20 - -qwen-vl-ocr-2025-11-20 - -MU6 x 4 - -¥100 - -¥48,356 - #### 千问 Omni **模型名称** @@ -1251,6 +1289,14 @@ MU5 **元/千Token** +千问3.5-27B（邀测中） + +qwen3.5-27b + +¥0.0018 + +¥0.0048 + 千问3-32B qwen3-32b @@ -1281,6 +1327,16 @@ qwen3-8b 思考模式：¥0.005 +千问3-4B-Instruct-2507 + +qwen3-4b-instruct-2507 + +¥0.0003 + +非思考模式：¥0.0012 + +思考模式：¥0.003 + 千问2.5-开源版-72B qwen2.5-72b-instruct @@ -1313,6 +1369,14 @@ qwen2.5-7b-instruct ¥0.001 +千问2-开源版-7B + +qwen2-7b-instruct + +¥0.001 + +¥0.002 + #### 千问VL **基础模型** @@ -1359,6 +1423,14 @@ qwen2.5-vl-7b-instruct ¥0.005 +千问2.5-VL-3B-Instruct + +qwen2.5-vl-3b-instruct + +¥0.0012 + +¥0.0036 + 如果需要部署更多模型，请参考此[解决方案](https://www.aliyun.com/solution/tech-solution/deepseek-r1-for-platforms)并结合具体业务需求选择最适合的部署方案。 ## 部署方法 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md index 37f2cbeb..230abbfc 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md @@ -1,6 +1,6 @@ # 预置吞吐长输入与缓存 -本文介绍 PTU（预置吞吐）部署的长输入和前缀缓存能力，包括额度消耗规则、容量计算器使用方法和 API 响应字段说明。 +本文介绍 PTU（预置吞吐）部署的长输入和前缀缓存能力，包括额度消耗规则、**预置吞吐额度计算器**使用方法和 API 响应字段说明。 ## 功能概述 @@ -12,12 +12,12 @@ PTU 部署支持长输入请求（部分模型最高 200K token）和前缀缓 - 前缀缓存优惠：部分模型支持前缀缓存，命中缓存的输入 token 按折扣系数消耗额度（具体折扣率因模型而异），可降低多轮对话和重复前缀场景的额度消耗。 -- 自动转按量计费：超出 PTU 额度或输入超过模型上限（千问 128K / DeepSeek 64K）时，请求自动转为按量计费，无需修改调用代码。 +- 溢出策略：创建 PTU 时可选——自动溢出至按量计费（默认，业务不中断）或仅使用 PTU 容量（超出返回 429、不产生额外费用）。输入超过模型上限（千问 128K / DeepSeek 64K）仍自动转为按量计费。 **重要** -自动转按量计费后，费用按对应模型的按量付费单价计算。建议通过容量计算器合理规划 PTU 额度，避免意外费用。 +自动溢出策略下转为按量计费后，费用按对应模型的按量付费单价计算（仅使用 PTU 容量策略下超出返回 429、不产生额外费用）。建议通过**预置吞吐额度计算器**合理规划 PTU 额度，避免意外费用。 常见于长文档分析（合同、研报摘要）和多轮对话（客服、编程助手）等输入超 32K token 的场景。 @@ -44,6 +44,8 @@ glm-5.1 \[0, 32K)：输入 1.0 / 输出 1.0 \[32K, 200K\]：输入 1.33 / 输出 1.17 + + deepseek-v4-pro @@ -87,17 +89,17 @@ qwen3.7-plus-2026-05-26 输入合计 = 31.940 KTPM（比无缓存节省 43%） ``` -## 使用容量计算器估算额度 +## 使用**预置吞吐额度计算器**估算额度 **说明** 建议在创建或扩容前使用计算器评估长输入场景的额度需求，避免额度不足导致请求转为按量计费。购买上限以控制台实际展示为准。 -前提条件：已开通百炼服务并具备 PTU 部署权限。登录[百炼控制台](https://bailian.console.aliyun.com/#/efm/model_deploy/create)，在**模型部署** > **创建部署**页面（或在已有部署详情页单击**扩容**），选择可部署的PTU（预置吞吐）模型后，展开**容量计算器**。 +前提条件：已开通百炼服务并具备 PTU 部署权限。登录[百炼控制台](https://bailian.console.aliyun.com/#/efm/model_deploy/create)，在**模型部署** > **创建部署**页面（或在已有部署详情页单击**扩容**），选择可部署的PTU（预置吞吐）模型后，展开**预置吞吐额度计算器**。 ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4645961871/p1082157.png) -容量计算器根据业务负载自动推荐 TPM 额度。填写以下参数后，计算器输出推荐的输入 TPM 和输出 TPM。 +**预置吞吐额度计算器**根据业务负载自动推荐额度。填写以下参数后，计算器输出建议购买的输入 KTPM 和输出 KTPM。 **参数** @@ -109,25 +111,25 @@ qwen3.7-plus-2026-05-26 业务高峰期每分钟的请求数。 -RPM 越大，建议购买的输入和输出 TPM 同比增大。 +RPM 越大，建议购买输入 KTPM 和输出 KTPM 同比增大。 平均输入长度（token） 每条请求的平均输入 token 数。 -输入越长，所处阶梯越高，系数越大，建议购买的输入 TPM 越高。不同模型的阶梯边界不同，以控制台实际展示为准。 +输入越长，所处阶梯越高，系数越大，建议购买输入 KTPM 越高。不同模型的阶梯边界不同，以控制台实际展示为准。 平均输出长度（token） 每条请求的平均输出 token 数。 -输出越长，系数可能越大，建议购买的输出 TPM 越高。 +输出越长，系数可能越大，建议购买输出 KTPM 越高。 -预估缓存命中率（%） +缓存命中率（%） 请求中重复前缀被缓存命中的比例。实际命中率取决于请求内容的重复程度，以运行结果为准。 -命中率越高，输入容量消耗越慢，建议购买的输入 TPM 越低。仅影响输入 TPM，不影响输出 TPM。 +命中率越高，输入容量消耗越慢，建议购买输入 KTPM 越低。仅影响输入 KTPM，不影响输出 KTPM。 ## API 响应字段说明 @@ -271,7 +273,7 @@ PTU 部署的运行监控通过百炼平台的模型监控功能实现，支持 - Token 用量与缓存命中：包含 `cached_tokens` 数据系列，可查看缓存命中量占总输入的比例。 -- 配额内/外调用次数：了解超出 PTU 额度后转为按量计费的请求占比。 +- 配额内/外调用次数：了解超出 PTU 额度后的请求占比（自动溢出策略下转为按量计费，仅使用 PTU 容量策略下返回 429）。 更多监控指标和操作方式，请参见[模型监控](https://help.aliyun.com/zh/model-studio/model-telemetry)。 @@ -280,7 +282,7 @@ PTU 部署的运行监控通过百炼平台的模型监控功能实现，支持 **Q: 超出 PTU 额度时会怎样？** -请求自动转为按量计费。API 响应中 `service_tier` 字段不返回或返回 `default`，同时响应头包含 `x-dashscope-ptu-overflow:true`。业务不会中断。 +取决于创建时选择的溢出策略：「自动溢出」策略下，请求自动转为按量计费，API 响应中 `service_tier` 字段不返回或返回 `default`，同时响应头包含 `x-dashscope-ptu-overflow:true`，业务不会中断；「仅使用 PTU 容量」策略下，超出请求返回 429 错误，不产生额外费用。 **Q: 单次输入超过模型上限时会怎样？** @@ -296,4 +298,4 @@ PTU 部署的运行监控通过百炼平台的模型监控功能实现，支持 **Q: 利用率为什么超过 100%？** -部分模型（如 glm-5.1）的长输入阶梯系数使实际额度消耗高于原始 token 数。利用率 = 折算后消耗 ÷ 购买额度。超过 100% 表示消耗速度超过购买额度，超出部分自动转为按量计费，不影响服务可用性。 +部分模型（如 glm-5.1）的长输入阶梯系数使实际额度消耗高于原始 token 数。利用率 = 折算后消耗 ÷ 购买额度。超过 100% 表示消耗速度超过购买额度，超出部分按溢出策略处理（自动溢出则转为按量计费、不影响服务可用性；仅使用 PTU 容量则返回 429）。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/image-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/image-model.md index 5e614b57..eee5b087 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/image-model.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/image-model.md @@ -43,20 +43,22 @@ FLUX.2 - 写实人像和产品照片 -### 何时使用qwen-image-2.0-pro +### 何时使用Qwen Image - 需要使用负向提示词排除输出中的特定元素 - 需要每次调用生成最多6张图片变体（Wan标准模式最多支持4张） +- 需要复杂版面生成、小字精准渲染或多语言字体支持 → 选择 qwen-image-3.0-pro（邀测中） + ## 图片编辑 推荐使用`wan2.7-image-pro`，它支持多图参考（最多9张输入图片）、边界框交互式编辑以及角色一致性多图生成。详细使用方法请参见[图像编辑-千问](https://help.aliyun.com/zh/model-studio/qwen-image-edit-guide)和[图像编辑-万相2.7/2.6/2.5](https://help.aliyun.com/zh/model-studio/wan-image-edit)。 -### 何时使用qwen-image-2.0-pro +### 何时使用Qwen Image -如果编辑时需要使用负向提示词，请使用`qwen-image-2.0-pro`（生成和编辑使用同一个模型ID）。 +如果编辑时需要使用负向提示词，请使用`qwen-image-3.0-pro`（邀测中）或`qwen-image-2.0-pro`（生成和编辑使用同一个模型ID）。 ## 推荐模型 @@ -108,9 +110,9 @@ FLUX.2 2048x2048 -`qwen-image-2.0-pro` +`qwen-image-3.0-pro` -负向提示词、最多6张图片变体 +复杂版面生成、小字渲染、多语言字体 支持 @@ -272,6 +274,16 @@ qwen-image-2.0-pro的快速版本 **最大分辨率** +`qwen-image-3.0-pro` + +支持 + +支持 + +6 + +2048x2048 + `qwen-image-2.0-pro` 支持 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md index 9a3c0b1a..dc841b66 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/s2s-model.md @@ -14,13 +14,13 @@ OpenAI GPT Realtime、Gemini 3.1 Live -`qwen3.5-omni-plus-realtime` +`qwen-audio-3.0-realtime-plus` 成本敏感对话 OpenAI gpt-4o-mini Realtime -`qwen3.5-omni-flash-realtime` +`qwen-audio-3.0-realtime-flash` 实时翻译 / 同传 @@ -74,7 +74,7 @@ Gemini 3.1 Live ## 实时还是文件模式？ -- **实时（WebSocket）**：适用于语音助手、呼叫中心、同声传译等实时语音交互场景。音频流式输入，语音流式输出。模型名称中包含`-realtime`。 +- **实时（WebSocket）**：适用于语音助手、呼叫中心、同声传译等实时语音交互场景。音频流式输入，语音流式输出。 - **文件模式（HTTP）**：可以用延迟换取更好的效果，适用于视频配音、播客翻译、离线内容处理等场景。文件模式下还支持 Function Calling、联网搜索、思考模式、视频上下文等附带能力（详见下方“S2S 单模型的附带能力”）。 @@ -91,13 +91,13 @@ Gemini 3.1 Live 语音助手 / 客服对话 -`qwen3.5-omni-plus-realtime` +`qwen-audio-3.0-realtime-plus` WebSocket 成本敏感的对话 -`qwen3.5-omni-flash-realtime` +`qwen-audio-3.0-realtime-flash` WebSocket @@ -127,27 +127,27 @@ WebSocket ## S2S 单模型的附带能力 -以下能力由 Qwen3.5-Omni / Qwen3-Omni 模型在 S2S 单模型路线下直接提供。Pipeline 路线中，对应能力需要由其中的 LLM 等组件分别支持。 +以下能力由 Qwen3.5-Omni / Qwen3-Omni 模型在 S2S 单模型路线下直接提供；其中 Function Calling 也可由 Qwen-Audio Realtime 提供。Qwen-Audio Realtime 不支持联网搜索和思考模式。Pipeline 路线中，对应能力需要由其中的 LLM 等组件分别支持。 ### Function Calling -让模型根据听到和看到的内容执行操作 -- 查询知识库、查询日程、触发工作流。使用Qwen3.5 Omni（WebSocket与HTTP模式） 或 Qwen3 Omni（HTTP模式）。 +让模型根据听到和看到的内容执行操作 -- 查询知识库、查询日程、触发工作流。使用 Qwen3.5 Omni（WebSocket 与 HTTP 模式）、Qwen3 Omni（HTTP 模式）或 Qwen-Audio Realtime（WebSocket 模式）。 **说明** -Qwen3.5-Omni/Qwen3-Omni实时（WebSocket）模式和Livetranslate模型不支持此功能。Qwen-Audio Realtime（WebSocket）支持Function Calling。 +Qwen3.5-Omni / Qwen3-Omni 实时（WebSocket）模式和 Livetranslate 模型不支持此功能。 ### 联网搜索 -让模型检索实时信息，回答关于时事、股价、天气等问题。使用Qwen3.5 Omni（HTTP和WebSocket），包括Plus和Flash系列。模型自主决定是否搜索。 +让模型检索实时信息，回答关于时事、股价、天气等问题。使用 Qwen3.5 Omni（HTTP 和 WebSocket），包括 Plus 和 Flash 系列。模型自主决定是否搜索。Qwen-Audio Realtime 不支持此功能。 **说明** -Qwen3-Omni-Flash和Livetranslate模型不支持此功能。 +Qwen3-Omni-Flash 和 Livetranslate 模型不支持此功能。 ### 思考模式 -当回答质量比延迟更重要时，使用Qwen3 Omni（HTTP模式）。模型在回复前会逐步推理，适用于视频分析、批量打标等场景。 +当回答质量比延迟更重要时，使用 Qwen3 Omni（HTTP 模式）。模型在回复前会逐步推理，适用于视频分析、批量打标等场景。Qwen-Audio Realtime 不支持此功能。 **说明** @@ -157,7 +157,7 @@ Qwen3-Omni-Flash和Livetranslate模型不支持此功能。 以下模型系列均支持语音翻译： -- **Qwen3.5-Livetranslate**：支持 60 种语言互译，其中 29 种支持音频+文本输出、31 种仅支持文本输出，覆盖中文、英语、法语、德语、俄语、日语、韩语、西班牙语、葡萄牙语、阿拉伯语等主流语种。。 +- **Qwen3.5-Livetranslate**：支持 60 种语言互译，其中 29 种支持音频+文本输出、31 种仅支持文本输出，覆盖中文、英语、法语、德语、俄语、日语、韩语、西班牙语、葡萄牙语、阿拉伯语等主流语种。 - **Qwen3-Livetranslate**：支持18种语言 + 5种中文方言，约3秒延迟，开箱即用。文件模式支持输入视频以获得上下文感知的翻译精度。其中7种语言仅输出文本（不输出语音）。 @@ -992,6 +992,50 @@ HTTP ## 所有模型 +### Qwen-Audio + +**模型** + +**API** + +**输入** + +**Function Calling** + +**联网搜索** + +**思考模式** + +**翻译** + +`qwen-audio-3.0-realtime-plus` + +WebSocket + +音频、文本 + +支持 + +\-- + +\-- + +\-- + +`qwen-audio-3.0-realtime-flash` + +WebSocket + +音频、文本 + +支持 + +\-- + +\-- + +\-- + ### Qwen3.5-Omni **模型** @@ -1256,50 +1300,6 @@ HTTP 18 -### Qwen-Audio - -**模型** - -**API** - -**输入** - -**Function Calling** - -**联网搜索** - -**思考模式** - -**翻译** - -`qwen-audio-3.0-realtime-plus` - -WebSocket - -音频、文本 - -支持 - -\-- - -\-- - -\-- - -`qwen-audio-3.0-realtime-flash` - -WebSocket - -音频、文本 - -支持 - -\-- - -\-- - -\-- - ### 旧版模型 以下模型不再更新，新项目建议使用Qwen3.5-Omni。 @@ -1356,6 +1356,8 @@ WebSocket 选定模型后，参考对应的调用文档： +- Qwen-Audio Realtime（WebSocket，实时语音对话）→ [实时语音对话（Qwen-Audio-Realtime）](https://help.aliyun.com/zh/model-studio/qwen-audio-realtime-user-guides) + - Qwen3.5-Omni / Qwen3-Omni（WebSocket，实时）→ [实时（Qwen-Omni-Realtime）](https://help.aliyun.com/zh/model-studio/realtime) - Qwen3.5-Omni / Qwen3-Omni（HTTP，文件）→ [非实时（Qwen-Omni）](https://help.aliyun.com/zh/model-studio/qwen-omni) @@ -1363,5 +1365,3 @@ WebSocket - Qwen3.5-Livetranslate（WebSocket，实时）→ [实时语音/音视频翻译-千问](https://help.aliyun.com/zh/model-studio/qwen3-5-livetranslate-flash-realtime) - Qwen3-Livetranslate（HTTP，文件）→ [音视频文件翻译-千问](https://help.aliyun.com/zh/model-studio/qwen3-livetranslate-flash) - -- Qwen-Audio Realtime（WebSocket，实时语音对话）→ [实时语音对话（Qwen-Audio-Realtime）](https://help.aliyun.com/zh/model-studio/qwen-audio-realtime-user-guides) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md index 560fb0a8..6f2eda70 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/text-generation-model.md @@ -4,7 +4,7 @@ ## 做 AI 编程或 Agent 开发（OpenClaw、Claude Code、Hermes 等）该选哪个模型？ -推荐 `qwen3.7-plus`——能力与成本均衡，完整工具调用支持，1M 上下文适合大型代码库。如需最强推理能力，可选择 `qwen3.7-max`。 +推荐 `qwen3.7-plus`——能力与成本均衡，完整工具调用支持，1M 上下文适合大型代码库。如需最强推理能力，可选择`qwen3.8-max-preview`（ Token Plan 可用），或 `qwen3.7-max`。 ## 从闭源模型迁移到百炼? @@ -18,7 +18,7 @@ GPT-5.5、Claude Opus 4.7、Gemini 3.1 Pro -`qwen3.7-max` +`qwen3.7-max`、`qwen3.8-max-preview`（仅 Token Plan 可用） 平衡 @@ -34,7 +34,7 @@ GPT-5.4-mini、Claude Haiku 4.5、Gemini 3.1 Flash ## 应用场景 -聊天机器人、内容生成、摘要总结、文档处理等场景，推荐使用 `qwen3.7-plus`，能力与成本均衡，拥有100万上下文窗口和完整的内置工具。确认效果满足需求后，可以尝试 `qwen3.6-flash` 来降低成本，效果接近旗舰模型，且拥有相同的上下文长度和功能支持。如需最强推理能力，可选择 `qwen3.7-max`（百万 token 上下文），但成本较高。 +聊天机器人、内容生成、摘要总结、文档处理等场景，推荐使用 `qwen3.7-plus`，能力与成本均衡，拥有100万上下文窗口和完整的内置工具。确认效果满足需求后，可以尝试 `qwen3.6-flash` 来降低成本，效果接近旗舰模型，且拥有相同的上下文长度和功能支持。如需最强推理能力，可选择 `qwen3.7-max`（百万 token 上下文）；也可选择 `qwen3.8-max-preview`（ Token Plan 可用）。 ### 办公场景（非编程） @@ -42,7 +42,7 @@ GPT-5.4-mini、Claude Haiku 4.5、Gemini 3.1 Flash 确认效果满足需求后，可尝试 `qwen3.6-flash` 降低成本，效果接近旗舰模型，且拥有相同的上下文长度和功能支持。 -如需最强推理能力（如复杂数据分析、多步逻辑推演），可选择 `qwen3.7-max`，但成本较高。 +如需最强推理能力（如复杂数据分析、多步逻辑推演），可选择 `qwen3.7-max`，但成本较高；也可选择 `qwen3.8-max-preview`（仅 Token Plan 可用）。 处理超长文档（如同时审阅多份合同、大规模文献梳理）时，推荐 `qwen-long`——上下文窗口达 1000 万 Token，可完整处理大体量文档。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md index 65c53e25..e784e1ba 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-experience/tts-model.md @@ -54,7 +54,7 @@ ElevenLabs Multilingual v3 `qwen-audio-3.0-tts-plus`、`MiniMax/speech-2.8-hd` -`qwen-audio-3.0-tts-flash`（声音复刻）、`cosyvoice-v3.5-plus`（声音设计）、`MiniMax/speech-2.8-hd`（声音复刻） +`qwen-audio-3.0-tts-plus`（声音复刻）、`cosyvoice-v3.5-plus`（声音设计）、`MiniMax/speech-2.8-hd`（声音复刻） - **使用标准语音合成**：当内置音色库能满足需求，希望快速上手、无需额外配置时。 @@ -89,7 +89,7 @@ ElevenLabs Multilingual v3 推荐模型 -`qwen-audio-3.0-tts-flash`、`MiniMax/speech-2.8-hd` +`qwen-audio-3.0-tts-plus`、`qwen-audio-3.0-tts-flash`、`MiniMax/speech-2.8-hd` `cosyvoice-v3.5-plus`、`cosyvoice-v3.5-flash` @@ -145,7 +145,7 @@ Qwen-Audio-TTS WebSocket / HTTP -不支持 +支持 不支持 @@ -205,7 +205,7 @@ HTTP WebSocket / HTTP -不支持 +支持 不支持 @@ -225,7 +225,7 @@ WebSocket / HTTP - 系统音色（因音色而异）：中文（普通话）、英文 -- 声音复刻音色（方言通过指令控制功能进行设置）：中文（普通话、广东话、重庆话、东北话、甘肃话、贵州话、浙江话、河北话、河南话、湖北话、湖南话、江西话、宁波话、宁夏话、青岛话、陕西话、山西话、山东话、上海话、四川话、云南话）、英文、日语、韩语、德语、法语、意大利语、俄语、葡萄牙语、泰语、印尼语、马来语、越南语 +- 声音复刻音色（方言通过指令控制功能进行设置）：中文（普通话、广东话、重庆话、东北话、甘肃话、贵州话、浙江话、河北话、河南话、湖北话、湖南话、江西话、宁波话、宁夏话、青岛话、陕西话、山西话、山东话、上海话、四川话、云南话）、英语、日语、韩语、俄语、法语、德语、葡萄牙语、泰语、印尼语、越南语、西班牙语、意大利语、马来西亚语、菲律宾语、阿拉伯语 ### CosyVoice diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md index 8e525acd..ecfee151 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-high-speed-inference/tpm-reservation.md @@ -10,7 +10,7 @@ TPM 预留为指定模型锁定专属推理容量，确保业务高峰期不受 - 专属模型 code：创建 TPM 预留后，系统自动生成专属模型 code，您需要将 API 请求中的 `model` 参数替换为该 code。 -- 超额不中断：超出预留容量的请求自动降级为按量计费处理，无需修改代码。 +- 溢出策略：创建时可选超额处理方式——自动溢出至按量计费（默认，业务不中断）或仅使用预留容量（超出返回 429，不产生额外费用）。 ## **方案对比与选型** @@ -61,7 +61,7 @@ TPM 预留 **流量可预估、不能接受限流** -超出自动降级公共池按量，不中断 +可选：自动溢出按量（默认）/仅预留容量返回429 替换 model 参数即可 @@ -73,7 +73,7 @@ PTU（[模型部署](https://help.aliyun.com/zh/model-studio/model-deployment-in **高吞吐高性能** -超出转按量 +可选：自动溢出按量（默认）/仅PTU容量返回429 替换 model 参数即可 @@ -199,7 +199,7 @@ DeepSeek-v4-Pro `退款 = 降量部分预付费 - (降量部分预付费 × 已用时长/购买时长 × 1.5)` -- 超出保障额度后自动降级为标准按量计费，服务不中断。可在详情页**超额降级统计**中查看降级次数。 +- 溢出策略为「自动溢出」时：超出保障额度自动降级为标准按量计费，服务不中断，可在详情页**超额降级统计**查看降级次数；为「仅使用预留容量」时：超出返回 429，不产生额外费用。 - 服务到期后 2 小时内：实例仍为运行中，可继续调用，可续费；到期后 2~14 小时：实例已停止，不可调用，仍可续费；到期 14 小时后：实例已删除，不可恢复。 @@ -232,6 +232,7 @@ glm-5.1 \[0, 32K)：输入 1.0 / 输出 1.0 \[32K, 200K\]：输入 1.33 / 输出 1.17 + deepseek-v4-pro @@ -357,6 +358,14 @@ Qwen 系列 在输入框中输入天数，取值范围与购买时长一致。 + 溢出策略 + + 预留容量耗尽时，超出部分请求的处理方式。 + + 是 + + 自动溢出至按 token 付费（默认，超出转按量、业务不中断）/ 仅使用预留容量（超出返回 429、不产生额外费用） + 2. 确认参数后单击**立即购买**，在费用确认弹窗中核对费用，单击**确认支付**。 3. 在 TPM 预留详情页的**概览** Tab，找到**专属模型 code**，单击复制。 @@ -451,7 +460,7 @@ RPM 越大，建议购买的输入和输出 TPM 同比增大。 - 使用率趋势：可切换输入/输出方向，展示预留容量线和实际用量。 -- 超额降级统计：展示超出预留容量后被降级处理的次数。 +- 超额降级统计：展示超出预留容量后被降级处理的次数（仅「自动溢出」策略下产生降级）。 #### 监控 @@ -476,6 +485,10 @@ RPM 越大，建议购买的输入和输出 TPM 同比增大。 单击**扩缩容**，在弹窗中调整输入 TPM 和输出 TPM。 +**说明** + +输入 TPM 和输出 TPM 支持调整为 0：归 0 后不再产生容量费用，且专属模型 code 继续保留，避免因到期或退订导致 code 失效。但归 0 属于减配，已使用部分按 1.5 倍系数结算违约金（详见上方计费与使用说明）。 + #### 续费 单击**续订**，选择续费时长并完成支付。如已开启**到期自动续费**，系统在到期前一天 08:00 自动扣款续费。 @@ -524,7 +537,7 @@ RPM 越大，建议购买的输入和输出 TPM 同比增大。 **Q: 超出预留容量时会怎样？** -超出预留容量的请求自动降级为按量计费处理，服务不中断。可在详情页概览 Tab 的**超额降级统计**中查看降级次数和时间。频繁降级时建议扩容。 +取决于创建时选择的溢出策略：「自动溢出」策略下，超出预留容量的请求自动降级为按量计费，服务不中断，可在详情页概览 Tab 的**超额降级统计**查看降级次数和时间，频繁降级时建议扩容；「仅使用预留容量」策略下，超出请求返回 429 错误，不产生额外费用，频繁 429 时建议扩容。 **Q: 专属模型 code 怎么获取？** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md index 27e89c0c..a229ac38 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/model-monitoring/model-telemetry.md @@ -11,9 +11,9 @@ ## 支持的模型 -- **监控：普通监控**支持[选择模型](https://help.aliyun.com/zh/model-studio/models)中的所有模型，包括基于它们调优后的[自定义模型](https://help.aliyun.com/zh/model-studio/model-deployment-introduction#f17bf700c06k5)；**高级监控**支持北京、新加坡、弗吉尼亚地域下的所有模型**。** +- **监控：普通监控**支持[选择模型](https://help.aliyun.com/zh/model-studio/models)中的所有模型，包括基于它们调优后的[自定义模型](https://help.aliyun.com/zh/model-studio/model-deployment-introduction#f17bf700c06k5)；**高级监控**支持北京、上海、新加坡、弗吉尼亚地域下的所有模型**。** -- **告警功能：**支持北京、新加坡地域下的所有模型。 +- **告警功能：**支持北京、新加坡、弗吉尼亚地域下的所有模型。 ## **监控模型运行** @@ -22,9 +22,9 @@ > 列表记录按“模型 + 业务空间”维度生成。新模型在首次数据同步完成后自动加入列表（普通监控的延迟通常为小时级，请耐心等待；如需分钟级的数据洞察，请使用[高级监控](#2e5f2f0dffijg)）。 -列表顶部「监控数据看板」以卡片形式汇总**模型总量**、**总调用次数**、**总失败次数**、**平均调用时长**、**平均首包时长**。 +列表顶部「**监控数据**」以卡片形式汇总**模型总量**、**总调用次数**、**总失败次数**、**平均调用时长**、**平均首包时长**。 -「模型监控」表格列出各模型的**模型 Code**、**业务空间**、**调用总量**、**调用失败量**、**失败率**、**平均调用时长**、**平均首包时长**（除模型 Code、业务空间外均可排序），操作列提供**监控**、**日志**入口。 +「模型监控」表格列出各模型的**模型Code**、**业务空间**、**调用总量**、**调用失败量**、**失败率**、**平均调用时长**、**平均首Token延时**（除模型Code、业务空间外均可排序），操作列提供**监控**、**日志**入口。列表工具栏还提供**日志回流**入口，可将推理日志回流为训练数据集。 > 默认业务空间成员可查看所有业务空间的模型调用情况；子业务空间成员仅能查看当前空间的数据，无法切换查看其他业务空间数据。 @@ -80,7 +80,11 @@ ### **查看某次调用的 Token 消耗** -> 该功能目前仅适用于**华北2（北京）**地域的部分模型。 +> 该功能目前适用于**华北2（北京）**、新加坡地域的部分模型，弗吉尼亚地域同样支持。 + +**说明** + +**数据说明：**推理日志（高级监控）从调用发生到可查询存在分钟级延迟，请耐心等待；普通监控的用量汇总（如调用次数、Token 总量）延迟为小时级，高峰期可能达 1-2 小时。如遇无数据或查不到记录的情况，请先确认已等待足够的数据同步时间。仅记录**开启推理日志后**的调用数据，开通前的历史调用无法追溯。 1. 使用主账号（[或拥有足够权限的子账号](#f9d06146c0xe0)）登录，在目标业务空间的[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)页面，点击右上角的**模型监控配置**，按照指引依次开通审计日志和推理日志。 @@ -88,7 +92,7 @@ 2. 在模型监控列表中找到目标模型，点击其右侧**操作**列的**日志**。 -3. **日志**页签展示该模型的[实时推理](#f131611173sdx)调用记录，**用量**字段即为本次调用的Token消耗。 +3. **日志**页签以表格形式展示该模型的[实时推理](#f131611173sdx)调用记录，表格包含**Request ID/调用时间**、**调用时长**、**状态码**（支持筛选）、**错误码**、**用量**、**请求和响应**、**操作**等列。其中**用量**字段即为本次调用的Token消耗。 ### **创建异常消耗告警** @@ -100,10 +104,14 @@ **重要** -该功能目前仅适用于**华北2（北京）**地域的部分模型。 +该功能目前适用于**华北2（北京）**、新加坡地域的部分模型，弗吉尼亚地域同样支持。 模型监控支持查看模型的每一次对话，包括输入、输出及耗时，是故障排查和内容审计的关键工具。 +**说明** + +**数据说明：**日志从调用发生到可查询存在分钟级延迟，请耐心等待。如遇实时更新延迟或查不到记录的情况，请先确认已等待足够时间（普通监控用量汇总为小时级延迟，高级监控/推理日志为分钟级）。仅记录**开启推理日志后**的调用数据，开通前的历史调用无法追溯。 + ### **步骤一：开通日志** 使用主账号（[或拥有足够权限的子账号](#f9d06146c0xe0)）登录，在目标业务空间的[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)页面，点击右上角的**模型监控配置**，按照指引依次开通审计日志和推理日志。 @@ -116,7 +124,7 @@ 1. 在模型监控列表中找到目标模型，点击其右侧**操作**列的**日志**。 -2. **日志**页签展示该模型的[实时推理](#f131611173sdx)调用记录，**请求和响应**字段分别对应本次调用的输入与输出。 +2. **日志**页签以表格形式展示该模型的[实时推理](#f131611173sdx)调用记录，表格包含**Request ID/调用时间**、**调用时长**、**状态码**（支持筛选）、**错误码**、**用量**、**请求和响应**、**操作**等列。其中**请求和响应**字段分别对应本次调用的输入与输出。 **支持请求和响应的模型** @@ -152,14 +160,20 @@ - 三方模型：deepseek-v3.1、deepseek-v3.2、deepseek-v3.2-exp +并非所有模型都支持推理日志（请求/响应内容记录）。是否支持由模型本身决定，与模型是否为多模态无关。当所选模型不支持时，界面会显示**当前模型暂不支持日志**。 + +请注意：请求和响应内容**仅在开启推理日志后**才会被采集，开通前的历史调用不会补录。若某次调用的输出内容缺失或存在日志缺失，请先确认该模型是否支持推理日志，以及推理日志是否已在调用发生前完成开通。 + ## **建立主动告警** **重要** -该功能目前仅适用于新加坡和华北2（北京）地域。 +该功能目前适用于新加坡、北京和弗吉尼亚地域。 模型的静默失败（如超时、Token消耗突增），传统应用日志难以发现。模型监控支持对监控指标（如成本、失败率、响应延迟）设置告警。一旦指标出现异常，系统立即告警。 +模型告警页面包含**告警规则**和**告警历史**两个页签。**告警历史**页签可按告警时间、告警规则、告警等级、状态筛选查看历史告警记录，点击详情可查看告警详情。 + ### **步骤一：开启高级监控** 1. 使用主账号（[或拥有足够权限的子账号](#54ea9ba526ovz)）登录，在目标业务空间的模型监控（[北京](https://bailian.console.aliyun.com/?tab=model#/model-telemetry) 或 [新加坡](https://modelstudio.console.aliyun.com/?tab=dashboard#/model-telemetry)）页面，点击右上角的**模型监控配置**。 @@ -171,7 +185,7 @@ 1. 在模型告警（[北京](https://bailian.console.aliyun.com/?tab=model#/model-alert) 或[新加坡](https://modelstudio.console.aliyun.com/?tab=dashboard#/model-alert)）页面，点击右上角的**创建告警规则**。 -2. 在对话框中，选择要监控的模型和监控模板，确认无误后点击**创建**。当指定的监控指标（如调用统计或性能指标）出现异常时，系统将通知您的团队。 +2. 在对话框中，选择要监控的模型和监控模板，确认无误后点击**确定**。当指定的监控指标（如调用统计或性能指标）出现异常时，系统将通知您的团队。 - **通知方式：**支持短信、电子邮件、电话、钉钉群机器人、企业微信机器人及Webhook。 @@ -289,12 +303,20 @@ 模型非首包时长p99 + **TPS** + + model\_tps\_per\_request + + 单次请求输出 Token 速度（TPS），每秒生成 Token 数，衡量模型生成速度（仅高级监控支持） + **用量** model\_usage 模型用量总和 + **关于 TPS 指标：**`model_tps_per_request` 仅在**高级监控**中展示，高级监控为收费功能。TPS（每秒生成 Token 数）与非首包时长（每 Token 的平均生成耗时）呈倒数关系（TPS ≈ 1 ÷ 非首包时长均值）。排查响应慢的问题时，建议结合首 Token 延时（TTFT）、非首 Token 延时及输入 Token 量综合分析，单次调用总耗时还受输入长度、网络等因素影响，不能仅凭 TPS 判断。TPS 触发的是按请求维度的限流，区别于 TPM（每分钟 Token 数）的按账号维度限流。 + - **HTTP API：**`{HTTP API}`需替换为前面[步骤一](#title-tkb-ds1-4p5)获取的HTTP API地址。 - **Authorization：**需将阿里云账号的 `AccessKey:AccessKeySecret` 拼接后进行Base64编码，并以 `Basic 编码后字符串` 的形式提供。 @@ -530,6 +552,12 @@ 模型非首包时长p99 + **TPS** + + model\_tps\_per\_request + + 单次请求输出 Token 速度（TPS），每秒生成 Token 数，衡量模型生成速度（仅高级监控支持） + **用量** model\_usage @@ -715,6 +743,12 @@ } ``` +- **API Key 用量限额：**当前不支持为单个 API Key 设置月度或每日 Token 消耗上限并自动停服（即不支持硬性阻断，无法实现额度用尽后自动禁用 API 调用）。如需防止意外欠费，可采用以下替代方案： + + - **告警通知 + 手动禁用 Key：**开启**高级监控**（收费功能）后，可对 Token 消耗配置告警阈值，当消耗超出阈值时接收消费预警通知，再人工介入处理（如手动禁用对应 API Key）。普通监控仅支持基础用量查看，不支持配置告警。 + + - **免费额度用完即停：**适用于仅使用免费配额的场景，开启后免费额度耗尽时自动停止调用。 + ## **计费说明** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md new file mode 100644 index 00000000..8eaec477 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md @@ -0,0 +1,17 @@ +# AOQ SDK简介 + +阿里云AOQ SDK面向实时多模态场景，帮助开发者快速搭建基于阿里云实时多模态模型的解决方案。 + +欢迎使用AOQ SDK来实现您的业务需求，阿里云AOQ基于阿里云多年以来服务全球客户的深厚技术沉淀，以面向实时多模态场景向全球开发者开放的产品，致力于帮助全球开发者快速高效的搭建基于阿里云的实时多模态模型的解决方案。 + +## **API设计与回调机制** + +阿里云AOQ SDK的API设计遵循状态式API设计原则。客户只需要把想要的状态通过API传至SDK，SDK内部会进行状态判断，并在适当时机达成用户想要的目标状态，同时在执行时通过回调机制及时向客户反馈SDK当前执行状态，使客户使用我们的SDK时享受到无忧的体验。您只需设置期望的状态，SDK便会自动处理并通过回调通知您，无需重复调用，也不需要关心具体的调用时机和场景。 + +## **异常处理机制** + +遇到异常情况时，AOQ SDK会优先尝试内部解决，仅在内部无法恢复时，才会提示客户介入处理。目前这些无法恢复的内部错误主要分为物理限制（如网络问题、音频设备故障、视频设备故障、CPU或内存资源限制）和外部因素（token无效）两类。 + +## **下载指南** + +阿里云AOQ SDK是阿里云自研产品，请通过阿里云官网进行下载，详情请参见[SDK下载](https://help.aliyun.com/zh/model-studio/realtime-sdk-download)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md new file mode 100644 index 00000000..f675adaa --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md @@ -0,0 +1,1179 @@ +# 音频常用功能介绍 + +AOQ Client SDK 提供了完整的音频能力，覆盖音频采集、播放、编解码配置、扬声器管理、文件混音、外部音频流注入、音频帧数据回调等核心场景。本文档基于 Android（Java）、iOS（Objective-C）、Ohos（ArkTS）三个平台的公开 API，对音频常用功能进行统一介绍。 + +## **音频采集** + +音频采集用于打开设备麦克风，将实时音频数据送入 SDK 编码推流管线。SDK 支持两种采集模式： + +- **内部采集**（默认）：SDK 自动管理麦克风设备的打开、录音和关闭。 + +- **外部采集**：由应用自行管理麦克风，采集到的 PCM 数据通过外部音频流接口输入 SDK。 + + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +isExternal + +bool + +false + +是否使用外部采集模式 + +isVoipMode + +bool + +false + +是否启用 VoIP 模式（硬件 AEC），移动端有效，采集播放参数先到为准 + +channel + +int + +1 + +采集通道数，支持 1（单声道）/ 2（立体声） + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开启采集 + +`startAudioCapture(config)` + +`startAudioCapture:config:` + +`startAudioCapture(config)` + +关闭采集 + +`stopAudioCapture()` + +`stopAudioCapture` + +`stopAudioCapture()` + +静音/取消静音 + +`muteAudioCapture(mute)` + +`muteAudioCapture:` + +`muteAudioCapture(mute)` + +### 使用示例 + +**Android** + +``` +AoqAudioCaptureConfig config = new AoqAudioCaptureConfig(); +config.isVoipMode = true; +config.channel = 1; +engine.startAudioCapture(config); +``` + +**iOS** + +``` +AoqAudioCaptureConfig *config = [[AoqAudioCaptureConfig alloc] init]; +config.isVoipMode = YES; +config.channel = 1; +[engine startAudioCapture:config]; +``` + +**Ohos** + +``` +const config: AoqAudioCaptureConfig = { isVoipMode: true, channel: 1 }; +engine.startAudioCapture(config); +``` + +## **音频播放** + +音频播放用于将接收到的远端音频数据渲染到本地扬声器或耳机。SDK 支持播放暂停/恢复（带淡入淡出）、打断当前轮音频通话等高级控制。 + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +isVoipMode + +bool + +false + +是否启用 VoIP 模式（硬件AEC），移动端有效，采集播放参数先到为准 + +isDefaultSpeaker + +bool + +true + +是否默认使用扬声器（移动端有效，非VoIP时无效） + +isExternal + +bool + +false + +是否使用外部播放模式 + +channel + +int + +1 + +播放通道数，支持 1（单声道）/ 2（立体声） + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开始播放 + +`startAudioPlayer(config)` + +`startAudioPlayer:config:` + +`startAudioPlayer(config)` + +停止播放 + +`stopAudioPlayer()` + +`stopAudioPlayer` + +`stopAudioPlayer()` + +暂停播放 + +`pauseAudioPlayer(fadeMs)` + +`pauseAudioPlayer:` + +`pauseAudioPlayer(fadeMs)` + +恢复播放 + +`resumeAudioPlayer(fadeMs)` + +`resumeAudioPlayer:` + +`resumeAudioPlayer(fadeMs)` + +打断通话 + +`interruptAudioPlayer(trackType, fadeMs)` + +`interruptAudioPlayer:fadeMs:` + +`interruptAudioPlayer(trackType, fadeMs)` + +**说明** + +**fadeMs 参数**：暂停和恢复播放时的淡入/淡出时长（毫秒），设为 0 则立即切换。 + +## **扬声器管理** + +控制音频输出设备在扬声器和听筒之间切换。 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +切换扬声器 + +`enableSpeakerphone(enable)` + +`enableSpeakerphone:` + +`enableSpeakerphone(enable)` + +查询扬声器状态 + +`isSpeakerphoneEnabled()` + +`isSpeakerphoneEnabled` + +`isSpeakerphoneEnabled()` + +**说明** + +需要在 VoIP 模式下才允许切换，非 VoIP 时，`enableSpeakerphone` 调用有 OnError(AoqECAudioDeviceEarpieceRequiresVoipMode) 错误通知。 + +**说明** + +**iOS 特殊行为**：iPad 设备只有扬声器模式；当 AVAudioSession 不是 PlayAndRecord 类别时，也始终返回 YES。 + +## **音频编解码配置** + +设置音频上行（编码器）和下行（解码器）的编码格式、采样率、声道数和码率。表示推流/拉流的格式。 + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +Audio + +音频轨道类型，当前只支持一条音频流 + +codecType + +AoqEncoderType + +AudioPCM + +编码类型：AudioPCM(1) 或 AudioOpus(2) + +sampleRate + +int + +48000 + +采样率，Opus 支持 8K/16K/48K，PCM 支持 8K/16K/32K/48K + +channel + +int + +1 + +声道数，支持 1（单声道）/ 2（立体声） + +bitrate + +int + +32000 + +码率（bps） + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +设置编码参数 + +`setAudioEncoderConfig(config)` + +`setAudioEncoderConfig:` + +`setAudioEncoderConfig(config)` + +设置解码参数 + +`setAudioDecoderConfig(config)` + +`setAudioDecoderConfig:` + +`setAudioDecoderConfig(config)` + +### 支持的编码格式 + +**枚举值** + +**数值** + +**说明** + +AoqEncoderTypeAudioPCM + +1 + +PCM 裸音频 + +AoqEncoderTypeAudioOpus + +2 + +Opus 编码 + +## **音频文件混音** + +支持将本地音频文件混入当前音频流中一起推流和/或本地播放。每个音频文件通过业务自分配的 `fileId` 标识，可同时管理多个文件实例。 + +### 混音配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +fileName + +String + +\- + +音频文件路径（含文件名） + +cycles + +int + +\-1 + +循环次数，-1 表示无限循环 + +startPosMs + +long + +0 + +起始播放位置（毫秒） + +publishVolume + +int + +100 + +推流音量 \[0-100\] + +playoutVolume + +int + +100 + +本地播放音量 \[0-100\] + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开始播放 + +`startAudioFile(fileId, config)` + +`startAudioFile:config:` + +`startAudioFile(fileId, config)` + +停止播放 + +`stopAudioFile(fileId)` + +`stopAudioFile:` + +`stopAudioFile(fileId)` + +暂停 + +`pauseAudioFile(fileId)` + +`pauseAudioFile:` + +`pauseAudioFile(fileId)` + +恢复 + +`resumeAudioFile(fileId)` + +`resumeAudioFile:` + +`resumeAudioFile(fileId)` + +获取文件时长 + +`getAudioFileDuration(fileId)` + +`getAudioFileDuration:` + +`getAudioFileDuration(fileId)` + +获取当前位置 + +`getAudioFileCurrentPosition(fileId)` + +`getAudioFileCurrentPosition:` + +`getAudioFileCurrentPosition(fileId)` + +设置播放位置 + +`setAudioFilePositionMillis(fileId, pos)` + +`setAudioFilePositionMillis:positionMillis:` + +`setAudioFilePositionMillis(fileId, pos)` + +设置音量 + +`setAudioFileVolume(fileId, type, vol)` + +`setAudioFileVolume:type:volume:` + +`setAudioFileVolume(fileId, type, vol)` + +获取音量 + +`getAudioFileVolume(fileId, type)` + +`getAudioFileVolume:type:` + +`getAudioFileVolume(fileId, type)` + +**说明** + +**音量方向（type）**：`AoqAudioStreamPublish(0)` 控制推流音量；`AoqAudioStreamPlayout(1)` 控制本地播放音量。 + +### 状态回调 + +**状态码** + +**数值** + +**说明** + +AoqAudioFileNone + +0 + +初始状态 + +AoqAudioFileStarted + +1 + +已开始播放 + +AoqAudioFileStopped + +2 + +已停止 + +AoqAudioFilePaused + +3 + +已暂停 + +AoqAudioFileResumed + +4 + +已恢复 + +AoqAudioFileEnded + +5 + +播放结束 + +AoqAudioFileBuffering + +6 + +缓冲中 + +AoqAudioFileBufferingEnd + +7 + +缓冲结束 + +AoqAudioFileFailed + +8 + +播放失败 + +## **外部音频流** + +外部音频流允许将应用生成的 PCM 音频数据注入到 SDK 的音频管线中，支持推流和/或本地播放。典型场景包括 TTS 语音合成输出、AI 模型音频输出、背景音效等。每个外部音频流通过业务自分配的 `streamId` 标识。 + +### 配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +Audio + +音频轨道类型 + +codecType + +AoqEncoderType + +AudioPCM + +音频流格式 + +channels + +int + +1 + +声道数 + +sampleRate + +int + +48000 + +采样率，支持 8/12/16/24/32/44.1/48/64/88.2/96/176.4/192K + +playoutVolume + +int + +100 + +本地播放音量 \[0-100\] + +publishVolume + +int + +100 + +推流音量 \[0-100\] + +maxBufferDuration + +int + +600000 + +最大缓冲时长（毫秒），取值范围 \[100, ~\]，超过时 Push 失败 + +enable3A + +bool + +false + +输入 PCM 是否经过 3A 处理 + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +新增外部音频流 + +`addAudioExternalStream(streamId, config)` + +`addAudioExternalStream:config:` + +`addAudioExternalStream(streamId, config)` + +输入音频数据 + +`pushAudioExternalStreamData(streamId, data)` + +`pushAudioExternalStreamData:data:` + +`pushAudioExternalStreamData(streamId, data)` + +设置音量 + +`setAudioExternalStreamVolume(streamId, type, vol)` + +`setAudioExternalStreamVolume:type:volume:` + +`setAudioExternalStreamVolume(streamId, type, vol)` + +获取音量 + +`getAudioExternalStreamVolume(streamId, type)` + +`getAudioExternalStreamVolume:type:` + +`getAudioExternalStreamVolume(streamId, type)` + +清空缓存 + +`clearAudioExternalStreamBuffer(streamId, fadeoutMs)` + +`clearAudioExternalStreamBuffer:fadeoutMs:` + +`clearAudioExternalStreamBuffer(streamId, fadeoutMs)` + +移除流 + +`removeAudioExternalStream(streamId)` + +`removeAudioExternalStream:` + +`removeAudioExternalStream(streamId)` + +### Push 数据最佳实践 + +- 需要循环调用 `pushAudioExternalStreamData`，保证数据 push 成功 + +- 返回错误码 110（缓冲区满）时短暂 Sleep 30ms 后重试，不要丢弃数据 + +- 引擎退出前先停止推送循环，再调用 `removeAudioExternalStream` + +- 实时采集每帧 10ms 长，有数据就调用 push；从文件解析每帧 40ms 长，间隔 30ms 调用 push 一次 + + +## **音频帧数据回调** + +音频帧回调允许开发者在音频管线的不同位置获取原始 PCM 数据，用于音频分析、自定义处理、录制等场景。 + +### 支持的数据源位置 + +**数据源** + +**枚举值** + +**说明** + +Captured + +0 + +采集后的原始音频数据（未经 3A 处理） + +ProcessCaptured + +1 + +经过 3A 处理后的音频数据，需要 Connect 成功后才回调数据 + +Publish + +2 + +即将推流的音频数据（需要 Connect 成功） + +Playback + +3 + +即将播放的音频数据（远端下行） + +### 回调配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +sampleRate + +int + +48000 + +回调音频的采样率 + +channels + +int + +1 + +回调音频的声道数，支持 1/2 + +mode + +AoqAudioObserverMode + +ReadOnly + +只读(0)/读写(1) 模式 + +### 使用步骤 + +1. **注册观察者**：调用 `setAudioFrameObserver` 设置音频帧回调监听器 + +2. **启用数据源**：调用 `enableAudioFrameObserver` 选择需要监听的数据源位置，开启回调 + +3. **处理回调数据**：在回调函数中获取 PCM 数据 + + +### API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +注册观察者 + +`setAudioFrameObserver(listener)` + +`setAudioFrameObserver:` + +`setAudioFrameObserver(observer)` + +启用回调 + +`enableAudioFrameObserver(enabled, source, config)` + +`enableAudioFrameObserver:audioSource:config:` + +`enableAudioFrameObserver(enabled, source, config)` + +### 回调方法 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +采集数据 + +`onCapturedAudioFrame(frame)` + +`onCapturedAudioFrame:` + +`onCapturedAudioFrame(frame)` + +3A 后数据 + +`onProcessCapturedAudioFrame(frame)` + +`onProcessCapturedAudioFrame:` + +`onProcessCapturedAudioFrame(frame)` + +推流数据 + +`onPublishAudioFrame(trackType, frame)` + +`onPublishAudioFrame:frame:` + +`onPublishAudioFrame(trackType, frame)` + +播放数据 + +`onPlaybackAudioFrame(frame)` + +`onPlaybackAudioFrame:` + +`onPlaybackAudioFrame(frame)` + +## **音频状态与路由** + +SDK 自动监测音频设备的状态变化和路由切换，并通过回调通知应用层。 + +### 设备状态码 + +**状态码** + +**值** + +**说明** + +AoqAudioDeviceNone + +0 + +初始状态 + +RecordStarting + +1 + +采集启动中 + +RecordStarted + +2 + +采集已启动 + +RecordStopping + +3 + +采集停止中 + +RecordStopped + +4 + +采集已停止 + +RecordFail + +5 + +采集失败 + +PlayStarting + +6 + +播放启动中 + +PlayStarted + +7 + +播放已启动 + +PlayStopping + +8 + +播放停止中 + +PlayStopped + +9 + +播放已停止 + +PlayFail + +10 + +播放失败 + +### 设备路由类型 + +**路由** + +**值** + +**说明** + +Default + +0 + +默认 + +Headset + +1 + +有线耳机 + +Earpiece + +2 + +听筒 + +HeadsetNoMic + +3 + +无麦克风耳机 + +SpeakerPhone + +4 + +扬声器 + +Usb + +5 + +USB 设备 + +Bluetooth + +6 + +蓝牙 SCO + +BluetoothA2dp + +7 + +蓝牙 A2DP + +### 回调对照 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +设备状态变化 + +`onAudioDeviceStateChanged(state)` + +`onAudioDeviceStateChanged:` + +`onAudioDeviceStateChanged(state, reason)` + +路由变化 + +`onAudioDeviceRouteChanged(routeType)` + +`onAudioDeviceRouteChanged:` + +`onAudioDeviceRouteChanged(routeType)` + +设备中断 + +`onAudioDeviceInterrupted(interrupt)` + +`onAudioDeviceInterrupted:` + +`onAudioDeviceInterrupted(interrupt)` + +文件状态 + +`onAudioFileState(state)` + +`onAudioFileState:` + +`onAudioFileState(fileId, stateCode, errorCode)` + +## **音频错误码与警告码** + +### 音频错误码 + +**错误码** + +**值** + +**说明** + +AoqErrorCodeAudio + +100 + +通用音频错误 + +AudioExternalBufferFull + +110 + +外部缓冲区已满 + +AudioDevice + +120 + +设备通用错误 + +RecordingAuthFailed + +121 + +麦克风权限失败 + +RecordingOccupied + +122 + +麦克风被占用 + +RecordingBackgroundStart + +123 + +后台启动录音 + +RecordingStartFail + +124 + +录音启动失败 + +PlayoutOccupied + +125 + +播放设备被占用 + +PlayoutBackgroundStart + +126 + +后台启动播放 + +PlayoutStartFail + +127 + +播放启动失败 + +EarpieceRequiresVoipMode + +128 + +听筒需要启用 VoIP 模式 + +### 音频警告码 + +**警告码** + +**值** + +**说明** + +AoqWCAudio + +100 + +通用音频警告 + +AudioHowling + +101 + +啸叫检测 + +AudioDevice + +120 + +设备通用警告 + +MicEnumerateError + +121 + +麦克风枚举错误 + +MicStartTimeout + +122 + +麦克风启动超时 + +RecordingError + +123 + +录音错误 + +SpeakerEnumerateError + +124 + +扬声器枚举错误 + +SpeakerStartTimeout + +125 + +扬声器启动超时 + +PlayoutError + +126 + +播放错误 + +## **iOS 专有：AVAudioSession 控制** + +iOS 平台提供了 `setAudioSessionRestriction` 接口，可精细控制 SDK 对系统 AVAudioSession 的管理权限。 + +**控制项** + +**说明** + +SetCategory + +SDK 是否有权设置 Session 类别 + +ConfigureSession + +SDK 是否有权配置 Session 参数 + +DeactivateSession + +SDK 是否有权停用 Session + +ActivateSession + +SDK 是否有权激活 Session + +通过按位组合传入 restriction 值，可限制 SDK 对 AVAudioSession 的控制范围，避免与应用层其他音频组件冲突。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md new file mode 100644 index 00000000..433f6552 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md @@ -0,0 +1,171 @@ +# 连接状态管理 + +本章节介绍 AOQ Client SDK 的连接状态机及其对应的 API 调用。 + +## **连接状态图** + +下图描述了 AOQ Client SDK 的连接状态迁移关系： + +AOQ Client SDK 连接状态迁移图 + +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3811364871/p1088081.svg) + +## **状态说明** + +**状态** + +**枚举值** + +**说明** + +链接中（Connecting） + +1 + +调用 `connect` 后进入，正在与 AI Service 建立连接 + +已连接（Connected） + +2 + +连接建立成功，可正常收发音视频和数据消息 + +失败（Failed） + +3 + +连接异常（鉴权失败/超时/服务端拒绝等），SDK 内部会自动迁移到已断开 + +已断开（Disconnected） + +0 + +初始状态/主动断开/异常断开后的终态 + +## **状态迁移规则** + +1. **App 调用** `connect` → 进入 `Connecting` 状态。 + +2. **链接成功** → 从 `Connecting` 迁移到 `Connected`。 + +3. **链接异常** → 从 `Connecting` 迁移到 `Failed`，随后 SDK 自动迁移到 `Disconnected`。 + +4. **链接异常** → 从 `Connected` 迁移到 `Failed`，随后 SDK 自动迁移到 `Disconnected`。 + +5. **App 调用** `disconnect` → 从 `Connected` 迁移到 `Disconnected`。 + + +**说明**：`Failed` 是瞬态，SDK 触发 `onConnectionStatusChange(Failed)` 后会自动迁移到 `Disconnected`，业务层无需手动调用 disconnect。 + +## **connect API** + +调用 `connect` 发起与 AI Service 的连接，传入由 AppServer allocate 接口返回的鉴权凭证。 + +### **方法签名** + +**Android：** + +``` +public abstract int connect(@NonNull AoqConnectConfig config); +``` + +**iOS：** + +``` +- (int)connect:(AoqConnectConfig * _Nonnull)config; +``` + +**Ohos：** + +``` +connect(config: AoqConnectConfig): number; +``` + +**返回值：**`0` 表示调用成功（异步建连）；`< 0` 表示失败。 + +### **行为说明** + +- 调用后触发 `onConnectionStatusChange(connecting)` 回调。 + +- 如果链接成功时触发 `onConnectionStatusChange(connected)` 回调。 + +- 如果链接失败时触发 `onConnectionStatusChange(failed)` 回调。 + + +## **disconnect API** + +调用 `disconnect` 主动断开与 AI Service 的连接。 + +### **方法签名** + +**Android：** + +``` +public abstract int disconnect(); +``` + +**iOS：** + +``` +- (int)disconnect; +``` + +**Ohos：** + +``` +disconnect(): number; +``` + +**返回值：**`0` 表示成功；`< 0` 表示失败。 + +### **行为说明** + +- 调用后触发 `onConnectionStatusChange(Disconnected)` 回调。 + +- 引擎不会自动释放，可重新调用 `connect` 进行重连。 + +- 未连接状态下调用 `disconnect` 是安全的，返回 0。 + + +## **onConnectionStatusChange 回调** + +连接状态变化时，SDK 通过此回调通知业务层。 + +**Android：** + +``` +public void onConnectionStatusChange( + @NonNull AoqClientEngine.AoqConnectionStatus status) {} +``` + +**iOS：** + +``` +- (void)onConnectionStatusChange:(AoqConnectionStatus)status; +``` + +**Ohos：** + +``` +onConnectionStatusChange?: (status: AoqConnectionStatus) => void; +``` + +### **示例代码** + +``` +func onConnectionStatusChange(_ status: AoqConnectionStatus) { + switch status { + case .connecting: + print("正在连接...") + case .connected: + print("连接成功") + // 连接成功后可发送 session.update + case .failed: + print("连接失败") + // SDK 会自动迁移到 disconnected，无需手动 disconnect + case .disconnected: + print("已断开") + // 可根据业务决定是否重连 + } +} +``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md new file mode 100644 index 00000000..670fc6f0 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md @@ -0,0 +1,253 @@ +# 自定义音频采集 + +介绍如何使用 AOQ Client SDK 实现自定义音频采集功能，包括外部音频流的添加、PCM 数据推送和管理。 + +## **功能介绍** + +AOQ Client SDK 内部音频模块可满足应用中对基本音频功能的需求，但在特定场景中，SDK 内部的音频采集模块可能无法满足开发需求，需要实现自定义音频采集功能，例如： + +- 解决音频采集设备被占用问题。 + +- 需要从定制的采集系统、音频文件中获取音频数据后交给 SDK 传输。 + +- 需要将 AI TTS 生成的音频数据通过 SDK 推流传输。 + + +AOQ Client SDK 支持灵活的自定义采集功能，允许用户根据业务场景自行管理音频设备与音频源。外部音频流的数据会与内部采集的音频数据混音后一起推流发送。 + +## **示例代码** + +暂无 + +## **前提条件** + +- 已创建引擎实例（调用 `createEngine`）。 + +- 已成功连接服务器（`onConnectionStatusChange` 回调状态为 `AoqConnectionStatusConnected`）。 + + +## **功能实现** + +### **1\. 打开或关闭音频采集** + +需要先开启音频采集，外部音频流输入的数据会与内部采集数据混音后一起推流。如果不需要内部麦克风采集，可以设置 `isExternal=true` 关闭内部采集设备。 + +``` +// 方式一：开启内部采集，外部音频流数据会与麦克风数据混音推流 +AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig(); +config.isExternal = false; // 使用内部麦克风采集 +config.isVoipMode = false; +engine.startAudioCapture(config); + +// 方式二：关闭内部采集，仅推送外部音频流数据 +AoqClientEngine.AoqAudioCaptureConfig config = new AoqClientEngine.AoqAudioCaptureConfig(); +config.isExternal = true; // 不打开麦克风，由外部音频流提供数据 +engine.startAudioCapture(config); +``` + +### **2\. 连接成功后，添加外部音频流** + +在 `onConnectionStatusChange` 回调状态变为 `AoqConnectionStatusConnected` 后，调用 `addAudioExternalStream` 添加外部音频流。需要指定一个唯一的 `streamId` 用于后续推送数据和管理。 + +如果需要音频 3A 处理（回声消除、噪声抑制、自动增益），请配置 `AoqAudioExternalStreamConfig` 中的 `enable3A` 参数。 + +``` +// 在 onConnectionStatusChange 回调中确认连接成功后添加 +@Override +public void onConnectionStatusChange(AoqClientEngine.AoqConnectionStatus status) { + if (status == AoqClientEngine.AoqConnectionStatus.AoqConnectionStatusConnected) { + addExternalAudioStream(); + } +} + +private void addExternalAudioStream() { + AoqClientEngine.AoqAudioExternalStreamConfig config = new AoqClientEngine.AoqAudioExternalStreamConfig(); + config.sampleRate = 48000; // 采样率，需与实际音频数据一致 + config.channels = 1; // 声道数 + config.publishVolume = 100; // 推流音量 [0-100] + config.playoutVolume = 0; // 本地播放音量 [0-100]，0 表示不本地播放 + config.maxBufferDuration = 1000; // 最大缓冲时长（毫秒） + config.enable3A = true; // 是否对输入 PCM 进行 3A 处理 + + String streamId = "external_audio_1"; + int ret = engine.addAudioExternalStream(streamId, config); + if (ret == 0) { + mExternalStreamId = streamId; + } +} +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +AoqTrackTypeAudio + +音频轨道类型 + +codecType + +AoqEncoderType + +AoqEncoderTypeAudioPCM + +音频流格式 + +channels + +int + +1 + +声道数 + +sampleRate + +int + +48000 + +采样率（Hz） + +playoutVolume + +int + +100 + +播放音量 \[0-100\] + +publishVolume + +int + +100 + +推流音量 \[0-100\] + +maxBufferDuration + +int + +1000 + +最大缓冲时长（毫秒） + +enable3A + +boolean + +false + +是否对输入 PCM 进行 3A 处理 + +### **3\. 实现自采集模块或从文件获取 PCM 数据** + +自定义采集功能需要根据业务场景自行采集并处理音频数据，之后将数据传入 SDK 进行传输。常见的数据来源： + +- **麦克风采集**：通过 Android AudioRecord 采集 PCM 数据。 + +- **文件读取**：从本地 PCM/WAV 音频文件中解析获取 PCM 数据。 + +- **AI TTS**：从语音合成引擎获取 PCM 数据。 + +- **网络流**：从网络音频流中解码获取 PCM 数据。 + + +音频数据需要为 PCM 格式，并记录对应的采样率、声道数等参数，用于构造 `AoqAudioFrameData` 对象。 + +### **4\. 通过外部音频流 ID 推送音频数据到 SDK** + +调用 `pushAudioExternalStreamData` 接口，将采集到的 PCM 音频数据传入 SDK。 + +- 从硬件采集：建议采集 10ms 为一帧数据，采集到数据就 push 给 SDK。 + +- 从文件解析：建议 40ms 为一帧数据，每 push 一帧 Sleep 30ms 后 push 下一帧。 + +- 需要维护一个 `running` 标记，当引擎退出或 stream ID 被删除时退出推送循环。 + + +``` +// 成员变量：控制推送循环的运行标记 +private volatile boolean mPushRunning = false; + +// 推送单帧音频数据 + +private void pushAudioData(byte[] audioData, int bytesRead) { + + if (engine == null || mExternalStreamId == null || bytesRead <= 0) { + return; + } + + int channels = 1; + int bytesPerSample = 2; // 16bit PCM + int sampleRate = 48000; + + // 构造音频帧数据 + AoqClientEngine.AoqAudioFrameData frameData = new AoqClientEngine.AoqAudioFrameData(); + frameData.dataPtr = audioData; + frameData.dataSize = bytesRead; + frameData.numOfSamples = bytesRead / (channels * bytesPerSample); + frameData.bytesPerSample = bytesPerSample; + frameData.numOfChannels = channels; + frameData.samplesPerSec = sampleRate; + + // 推送数据，处理缓冲区满的情况 + int ret; + final int WAIT_MS = 30; + + do { + // 检查运行标记和 stream ID 是否仍有效 + if (!mPushRunning || mExternalStreamId == null) { + break; + } + ret = engine.pushAudioExternalStreamData(mExternalStreamId, frameData); + if (ret == 110) { // AoqErrorCodeAudioExternalBufferFull + try { + Thread.sleep(WAIT_MS); + } catch (InterruptedException e) { + break; + } + } else { + break; + } + } while (true); +} +``` + +**注意事项：** + +- 需要在连接成功且添加外部音频流之后再开始推送数据。 + +- 需要按照数据的实际长度设置 `AoqAudioFrameData` 的 `numOfSamples`。 + +- 调用 `pushAudioExternalStreamData` 时，可能出现内部缓冲区满（错误码 110）而导致失败，需要等待重试。 + +- 实时采集建议 10ms 一帧数据 push，有数据就调用 push，注意处理内部缓冲区满（错误码 110）。 + +- 从文件解析建议 40ms 一帧数据，间隔 30ms 调用 push，注意处理内部缓冲区满（错误码 110）。 + +- 引擎退出（`destroy`）或 stream ID 被移除前，必须先设置 `mPushRunning = false` 停止推送循环，避免在已释放的资源上操作。 + + +### **5\. 移除外部音频流** + +当不再需要发布自定义采集的音频时，先停止推送循环，再调用 `removeAudioExternalStream` 接口移除外部音频流。 + +``` +// 先停止推送 +stopPushAudio(); +// 再移除外部音频流 +engine.removeAudioExternalStream(mExternalStreamId); +mExternalStreamId = null; +``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md new file mode 100644 index 00000000..1d94d8e7 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md @@ -0,0 +1,235 @@ +# 自定义音频播放 + +AOQ Client SDK 支持自定义音频播放功能，通过音频帧回调机制将解码后的 PCM 数据回调给应用层，由开发者自行实现音频渲染播放。 + +## **功能介绍** + +AOQ Client SDK 内部音频模块默认会将接收到的远端音频数据通过系统扬声器/听筒播放，但在特定场景中，SDK 内部的音频播放模块可能无法满足开发需求，需要实现自定义音频播放功能，例如： + +- 需要将接收到的音频数据输出到自定义的播放设备或音频处理管线。 + +- 需要对接收到的音频数据进行二次处理（如 AI 语音识别、音效处理等）。 + +- 解决音频播放设备被占用的问题。 + + +AOQ Client SDK 支持灵活的自定义播放功能，通过音频帧回调机制，将解码后的 PCM 数据回调给应用层，由开发者自行实现音频渲染播放。 + +## **示例代码** + +暂无 + +## **前提条件** + +- 已创建引擎实例（调用 `createEngine`）。 + +- 已成功连接服务器（`onConnectionStatusChange` 回调状态为 `AoqConnectionStatusConnected`）。 + + +## **功能实现** + +### **1\. 开启音频播放（外部模式）** + +调用 `startAudioPlayer` 时设置 `isExternal=true`，关闭 SDK 内部的音频渲染设备，由应用层自行处理音频播放。 + +``` +AoqClientEngine.AoqAudioPlaybackConfig config = new AoqClientEngine.AoqAudioPlaybackConfig(); +config.isExternal = true; // 关闭 SDK 内部播放，由应用层自行渲染 +config.channel = 1; // 声道数 +engine.startAudioPlayer(config); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +isVoipMode + +boolean + +false + +是否启用 VoIP 模式（硬件AEC），移动端有效 + +isDefaultSpeaker + +boolean + +true + +是否默认扬声器，移动端有效 + +isExternal + +boolean + +false + +是否外部播放模式，true 时 SDK 不打开播放设备 + +channel + +int + +1 + +声道数 + +### **2\. 设置音频帧回调监听** + +调用 `setAudioFrameObserver` 设置音频帧数据回调监听器，实现 `onPlaybackAudioFrame` 回调方法接收播放 PCM 数据。 + +``` +engine.setAudioFrameObserver(new AoqClientListener.AoqAudioFrameListener() { + @Override + public void onPlaybackAudioFrame(@NonNull AoqClientEngine.AoqAudioFrameData frame) { + // 在此处理接收到的播放音频数据 + // frame.dataPtr: PCM 数据 + // frame.numOfSamples: 采样点数 + // frame.numOfChannels: 声道数 + // frame.samplesPerSec: 采样率 + // frame.bytesPerSample: 每采样点字节数 + playPcmData(frame); + } +}); +``` + +### **3\. 开启播放数据回调** + +调用 `enableAudioFrameObserver` 开启播放位置的音频帧回调，指定数据源为 `AoqAudioSourcePlayback`。 + +``` +AoqClientEngine.AoqAudioObserverConfig observerConfig = new AoqClientEngine.AoqAudioObserverConfig(); +observerConfig.sampleRate = 48000; // 回调音频采样率 +observerConfig.channels = 1; // 回调音频声道数 +observerConfig.mode = AoqClientEngine.AoqAudioObserverMode.AoqAudioObserverModeReadOnly; // 只读模式 + +engine.enableAudioFrameObserver( + true, // 开启回调 + AoqClientEngine.AoqAudioSource.AoqAudioSourcePlayback, // 播放数据源 + observerConfig +); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +sampleRate + +int + +48000 + +回调音频采样率（Hz） + +channels + +int + +1 + +回调音频声道数 + +mode + +AoqAudioObserverMode + +AoqAudioObserverModeReadOnly + +读写模式 + +### **4\. 实现自定义音频渲染** + +在 `onPlaybackAudioFrame` 回调中接收到 PCM 数据后，由应用层自行实现音频渲染播放。常见的实现方式： + +- **Android AudioTrack**：通过 AudioTrack 将 PCM 数据写入系统音频设备播放。 + +- **AI 语音识别**：将 PCM 数据传入 ASR 引擎进行语音识别。 + +- **音效处理**：对 PCM 数据进行音效处理后再播放。 + +- **文件存储**：将接收到的音频数据保存到本地文件。 + + +``` +// 示例：使用 Android AudioTrack 播放 +private AudioTrack mAudioTrack; +private volatile boolean mPlayRunning = false; + +private void initAudioTrack(int sampleRate, int channels) { + int channelConfig = (channels == 2) + ? AudioFormat.CHANNEL_OUT_STEREO + : AudioFormat.CHANNEL_OUT_MONO; + int bufferSize = AudioTrack.getMinBufferSize( + sampleRate, channelConfig, AudioFormat.ENCODING_PCM_16BIT); + + mAudioTrack = new AudioTrack( + AudioManager.STREAM_VOICE_CALL, + sampleRate, + channelConfig, + AudioFormat.ENCODING_PCM_16BIT, + bufferSize, + AudioTrack.MODE_STREAM); + mAudioTrack.play(); + mPlayRunning = true; +} + +private void playPcmData(AoqClientEngine.AoqAudioFrameData frame) { + if (!mPlayRunning || mAudioTrack == null) { + return; + } + if (frame.dataPtr != null && frame.dataSize > 0) { + mAudioTrack.write(frame.dataPtr, 0, frame.dataSize); + } +} +``` + +**注意事项：** + +- `onPlaybackAudioFrame` 回调在 SDK 内部线程触发，回调中的 `frame.dataPtr` 仅在回调期间有效，异步使用需自行拷贝。 + +- AudioTrack.write 是阻塞操作，在回调中直接写入即可，SDK 内部会按节奏回调。 + +- 需要维护 `mPlayRunning` 标记，当引擎退出或停止播放时退出处理逻辑。 + + +### **5\. 停止自定义播放** + +当不再需要自定义播放时，先关闭音频帧回调，再停止播放设备，释放 AudioTrack 资源。 + +``` +// 1. 关闭播放位置的音频帧回调 +AoqClientEngine.AoqAudioObserverConfig observerConfig = new AoqClientEngine.AoqAudioObserverConfig(); +engine.enableAudioFrameObserver( + false, // 关闭回调 + AoqClientEngine.AoqAudioSource.AoqAudioSourcePlayback, + observerConfig +); + +// 2. 移除音频帧回调监听 +engine.setAudioFrameObserver(null); + +// 3. 停止 SDK 音频播放 +engine.stopAudioPlayer(); + +// 4. 释放 AudioTrack 资源 +mPlayRunning = false; +if (mAudioTrack != null) { + mAudioTrack.stop(); + mAudioTrack.release(); + mAudioTrack = null; +} +``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md new file mode 100644 index 00000000..358f530f --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md @@ -0,0 +1,647 @@ +# 自定义视频输入 + +介绍 AOQ Client SDK 自定义视频输入的两种模式：原始帧模式和编码帧模式，以及各模式的配置方法和示例代码。 + +## **功能介绍** + +AOQ Client SDK 内部视频模块可满足应用中对基本视频功能的需求，但在特定场景中，SDK 内部的视频采集模块可能无法满足开发需求，需要实现自定义视频采集功能，例如： + +- 解决摄像头设备被占用或不兼容问题。 + +- 需要从定制的采集系统、视频文件中获取视频数据后交给 SDK 传输。 + +- 需要将 AI 生成的画面、屏幕录制、虚拟摄像头等内容通过 SDK 推流传输。 + + +AOQ Client SDK 支持两种自定义视频采集模式： + +- **原始帧模式**：自行采集原始视频帧（BGRA、I420、NV12、NV21 等格式），通过 `pushExternalVideoCapturedFrame` 推送给 SDK 进行编码和传输。SDK 内部完成编码、传输等完整流程。 + +- **编码帧模式**：自行完成视频编码（目前支持 JPEG），通过 `pushExternalVideoEncodedFrame` 直推已编码数据给 SDK，跳过 SDK 内部编码器，直接打包发送。 + + +## **示例代码** + +暂无 + +## **前提条件** + +- 已创建引擎实例（调用 `createEngine`）。 + +- 已成功连接服务器（`onConnectionStatusChange` 回调状态为 `AoqConnectionStatusConnected`）。 + + +## **功能实现** + +根据业务场景选择以下两种模式之一。两种模式不可混用：同一时间只能使用其中一种推送接口。 + +## **模式一：原始帧模式** + +自行采集原始视频帧（BGRA、I420、NV12、NV21 等格式），推送给 SDK 进行编码和传输。SDK 内部完成编码、传输等完整流程。 + +### **1\. 配置视频编码参数** + +SDK 内部编码器会对推送的原始帧进行编码，可根据业务需要调整编码参数。 + +``` +AoqClientEngine.AoqVideoCodecConfig config = new AoqClientEngine.AoqVideoCodecConfig(); +config.width = 1280; +config.height = 720; +config.fps = 2; +config.bitrate = 500000; // 起始码率 500kbps +config.minBitrate = 128000; // 最小码率 128kbps +config.keyframeInterval = 2; +// isExternal 保持默认 false，SDK 内部编码 + +engine.setVideoEncoderConfig(config); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +AoqTrackTypeVideo + +视频轨道类型 + +codecType + +AoqEncoderType + +AoqEncoderTypeVideoH264 + +编码器类型 + +width + +int + +720 + +编码宽度（像素） + +height + +int + +1280 + +编码高度（像素） + +fps + +int + +5 + +帧率 + +bitrate + +int + +500000 + +起始码率（bps） + +minBitrate + +int + +128000 + +最小码率（bps） + +keyframeInterval + +int + +2 + +关键帧间隔（秒） + +isExternal + +boolean + +false + +原始帧模式保持 false + +mirrorMode + +AoqMirrorMode + +AoqMirrorModeDisabled + +镜像模式 + +orientationMode + +AoqOrientationMode + +AoqOrientationModeAuto + +画面方向模式 + +### **2\. 以外部采集模式启动视频采集** + +调用 `startVideoCapture` 并设置 `isExternal=true`，告知 SDK 不打开摄像头，由外部源提供视频帧。这是原始帧模式的前置条件，未调用则 SDK 不会消费推送的帧数据。 + +``` +AoqClientEngine.AoqVideoCaptureConfig config = new AoqClientEngine.AoqVideoCaptureConfig(); +config.isExternal = true; // 不打开摄像头，由外部源推送视频帧 +// isExternal=true 时 width/height/fps 无效，实际分辨率和帧率由推送数据决定 +int ret = engine.startVideoCapture(config); +``` + +**参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +width + +int + +1280 + +采集宽度（`isExternal=true` 时无效） + +height + +int + +720 + +采集高度（`isExternal=true` 时无效） + +fps + +int + +15 + +采集帧率（`isExternal=true` 时无效） + +isExternal + +boolean + +false + +true：不打开摄像头，由外部源推送帧数据 + +cameraDirection + +AoqCameraDirection + +AoqCameraDirectionFront + +摄像头方向（`isExternal=true` 时无效） + +### **3\. 推送原始视频帧** + +调用 `pushExternalVideoCapturedFrame` 接口，将采集到的原始视频帧传入 SDK。SDK 内部完成编码和传输。 + +支持的视频帧格式：BGRA、I420、NV12、NV21、RGBA。Apple 平台额外支持 CVPixelBuffer 零拷贝格式。 + +#### **3.1 BGRA 格式** + +BGRA 为打包格式，每个像素 4 字节（Blue、Green、Red、Alpha），一帧数据量 = width x height x 4。 + +``` +// 构造 BGRA 视频帧 +AoqClientEngine.AoqVideoFrame frame = new AoqClientEngine.AoqVideoFrame(); +frame.format = AoqClientEngine.AoqVideoPixelFormat.AoqVideoPixelFormatBGRA; +frame.width = 1280; +frame.height = 720; + +frame.data = bgraBytes; // byte[]，长度 = width * height * 4 + +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoCapturedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +#### **3.2 I420 格式** + +I420 为三平面格式（Y、U、V 分离），Y 平面大小 = width x height，U/V 平面各为 (width/2) x (height/2)。 + +``` +// 构造 I420 视频帧 +AoqClientEngine.AoqVideoFrame frame = new AoqClientEngine.AoqVideoFrame(); +frame.format = AoqClientEngine.AoqVideoPixelFormat.AoqVideoPixelFormatI420; +frame.width = 1280; +frame.height = 720; + +frame.dataY = yPlane; // byte[]，长度 = width * height + +frame.dataU = uPlane; // byte[]，长度 = (width/2) * (height/2) + +frame.dataV = vPlane; // byte[]，长度 = (width/2) * (height/2) + +frame.strideY = 1280; // Y 平面行字节数 +frame.strideU = 640; // U 平面行字节数 +frame.strideV = 640; // V 平面行字节数 +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoCapturedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +#### **3.3 NV12 / NV21 格式** + +NV12 和 NV21 为半平面格式，Y 平面 + UV 交错平面。NV12 为 UV 交替排列，NV21 为 VU 交替排列。数据量 = width x height x 3 / 2，打包在 `data` 字段中。 + +``` +// 构造 NV12 视频帧（NV21 同理，修改 format 即可） +AoqClientEngine.AoqVideoFrame frame = new AoqClientEngine.AoqVideoFrame(); +frame.format = AoqClientEngine.AoqVideoPixelFormat.AoqVideoPixelFormatNV12; +frame.width = 1280; +frame.height = 720; + +frame.data = nv12Bytes; // byte[]，长度 = width * height * 3 / 2 + +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoCapturedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +#### **3.4 CVPixelBuffer 格式（Apple 平台）** + +iOS / macOS 平台支持直接传递 `CVPixelBufferRef`，实现零拷贝传输，避免内存拷贝带来的性能开销。 + +``` +// iOS / macOS 平台 +let frame = AoqVideoFrame() +frame.format = .cvPixelBuffer +frame.width = 1280 +frame.height = 720 +frame.pixelBuffer = pixelBuffer // CVPixelBufferRef +frame.timeStamp = Int64(Date().timeIntervalSince1970 * 1000) + +// SDK 内部异步持有 pixelBuffer，需要额外 +1 引用计数 +// SDK 消费完毕后会自行释放 +let _ = Unmanaged.passRetained(pixelBuffer) + +engine.pushExternalVideoCapturedFrame(.video, frame: frame) +``` + +### **4\. 停止原始帧采集** + +当不再需要推送视频帧时，先停止推帧定时器，再调用 `stopVideoCapture` 关闭视频采集。 + +``` +// 1. 停止推帧定时器 +stopExternalFramePush(); +// 2. 停止视频采集 +engine.stopVideoCapture(); +``` + +## **模式二：编码帧模式** + +自行完成视频编码（目前支持 JPEG），直推已编码数据给 SDK，跳过 SDK 内部编码器，直接打包发送。此模式**不需要调用** `startVideoCapture` 等采集相关接口。 + +### **1\. 配置视频编码参数并启用外部编码** + +调用 `setVideoEncoderConfig` 并设置 `isExternal=true`，告知 SDK 跳过内部编码器，由外部提供已编码数据。 + +``` +AoqClientEngine.AoqVideoCodecConfig config = new AoqClientEngine.AoqVideoCodecConfig(); +config.width = 1280; +config.height = 720; +config.fps = 2; +config.isExternal = true; // 跳过内部编码，由外部推送已编码帧 + +engine.setVideoEncoderConfig(config); +``` + +设置完成后即可直接推送编码帧，无需调用 `startVideoCapture`。 + +### **2\. 推送编码视频帧** + +调用 `pushExternalVideoEncodedFrame` 接口，将已编码的视频数据直传给 SDK。目前仅支持 JPEG 编码格式。 + +``` +// 从 Bitmap 生成 JPEG 数据 +android.graphics.Bitmap bmp = android.graphics.Bitmap.createBitmap( + width, height, android.graphics.Bitmap.Config.ARGB_8888); +// ... 填充 Bitmap 内容 ... + +java.io.ByteArrayOutputStream baos = new java.io.ByteArrayOutputStream(); +bmp.compress(android.graphics.Bitmap.CompressFormat.JPEG, 85, baos); +bmp.recycle(); + +// 构造编码帧并推送 +AoqClientEngine.AoqVideoEncodedFrame frame = new AoqClientEngine.AoqVideoEncodedFrame(); +frame.codec = AoqClientEngine.AoqVideoCodecType.AoqVideoCodecTypeJPEG; +frame.data = baos.toByteArray(); +frame.width = width; +frame.height = height; +frame.timeStamp = System.currentTimeMillis(); + +int ret = engine.pushExternalVideoEncodedFrame( + AoqClientEngine.AoqTrackType.AoqTrackTypeVideo, frame); +``` + +**AoqVideoEncodedFrame 参数说明：** + +**参数** + +**类型** + +**默认值** + +**说明** + +codec + +AoqVideoCodecType + +AoqVideoCodecTypeJPEG + +编码格式，目前仅支持 JPEG + +data + +byte\[\] + +null + +编码后的数据 + +width + +int + +0 + +画面宽度（像素） + +height + +int + +0 + +画面高度（像素） + +timeStamp + +long + +0 + +时间戳（毫秒），为 0 时 SDK 使用本地时钟补充 + +### **3\. 停止编码帧推送** + +编码帧模式无需管理采集设备，停止推帧定时器即可。 + +``` +stopExternalFramePush(); +``` + +## **视频帧格式参考** + +### **AoqVideoFrame（原始帧模式使用）** + +**字段** + +**类型** + +**说明** + +format + +AoqVideoPixelFormat + +像素格式 + +width + +int + +画面宽度（像素） + +height + +int + +画面高度（像素） + +data + +byte\[\] + +打包格式数据（NV12/NV21/BGRA/RGBA） + +dataY + +byte\[\] + +I420 Y 平面数据 + +dataU + +byte\[\] + +I420 U 平面数据 + +dataV + +byte\[\] + +I420 V 平面数据 + +strideY + +int + +I420 Y 平面行字节数 + +strideU + +int + +I420 U 平面行字节数 + +strideV + +int + +I420 V 平面行字节数 + +textureId + +int + +Android 纹理 ID（TextureOES/Texture2D） + +transformMatrix + +float\[\] + +纹理变换矩阵（4x4 行优先） + +eglContext + +EGLContext + +Android 共享 EGL context（纹理模式使用） + +pixelBuffer + +CVPixelBufferRef + +Apple 零拷贝 CVPixelBuffer（仅 iOS/macOS） + +timeStamp + +long + +时间戳（毫秒），为 0 时 SDK 用本地时钟补充 + +### **AoqVideoPixelFormat 枚举值** + +**枚举值** + +**数值** + +**说明** + +AoqVideoPixelFormatUnknown + +0 + +未知格式 + +AoqVideoPixelFormatI420 + +1 + +I420 三平面格式 + +AoqVideoPixelFormatNV12 + +2 + +NV12 半平面格式（UV 交替） + +AoqVideoPixelFormatNV21 + +3 + +NV21 半平面格式（VU 交替） + +AoqVideoPixelFormatBGRA + +4 + +BGRA 打包格式 + +AoqVideoPixelFormatRGBA + +5 + +RGBA 打包格式 + +AoqVideoPixelFormatCVPixelBuffer + +6 + +Apple CVPixelBuffer（仅 iOS/macOS） + +AoqVideoPixelFormatTextureOES + +7 + +Android OES 外部纹理 + +AoqVideoPixelFormatTexture2D + +8 + +Android 2D 纹理 + +### **AoqVideoEncodedFrame（编码帧模式使用）** + +**字段** + +**类型** + +**说明** + +codec + +AoqVideoCodecType + +编码格式 + +data + +byte\[\] + +编码后的数据 + +width + +int + +画面宽度（像素） + +height + +int + +画面高度（像素） + +timeStamp + +long + +时间戳（毫秒），为 0 时 SDK 用本地时钟补充 + +### **AoqVideoCodecType 枚举值** + +**枚举值** + +**数值** + +**说明** + +AoqVideoCodecTypeJPEG + +0 + +JPEG 编码格式 + +## **注意事项** + +- 原始帧模式：必须先调用 `startVideoCapture(isExternal=true)` 再推送帧，否则 SDK 返回参数错误。 + +- 编码帧模式：只需调用 `setVideoEncoderConfig(isExternal=true)` 即可推送，**不需要**调用 `startVideoCapture`。 + +- 原始帧模式与编码帧模式不可混用：同一时间只能使用其中一种推送接口。 + +- 编码帧模式目前仅支持 JPEG 格式。 + +- 视频帧数据在推送后由 SDK 内部管理生命周期，调用方无需在推送后继续持有数据引用。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md new file mode 100644 index 00000000..69b625b7 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md @@ -0,0 +1,115 @@ +# 媒体流发送管理 + +`enableSendMediaStream` 用于控制客户端是否向 AI 服务发送音频/视频媒体流，在 AOQ 协议接入场景中精确控制发送时机。 + +## **概述** + +`enableSendMediaStream` 用于控制客户端是否向 AI 服务发送音频/视频媒体流。在 AOQ 协议接入场景中，部分模型要求在收到 `session.updated` 确认后才能接收媒体数据，因此需要通过此接口精确控制发送时机。 + +## **API 定义** + +**iOS / Mac** + +``` +// iOS / Mac +func enableSendMediaStream(_ trackType: AoqTrackType, enable: Bool) +``` + +**Android** + +``` +// Android +void enableSendMediaStream(AoqTrackType trackType, boolean enable) +``` + +**OHOS (ArkTS)** + +``` +// OHOS (ArkTS) +enableSendMediaStream(trackType: AoqTrackType, enable: boolean): void +``` + +**参数说明：** + +**参数** + +**类型** + +**说明** + +trackType + +AoqTrackType + +媒体轨道类型：`.audio` 或 `.video` + +enable + +Bool + +`true` = 开启发送，`false` = 暂停发送 + +## **控制流程** + +典型的媒体流控制流程如下： + +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0575914871/p1088082.svg) + +## **使用示例（iOS Swift）** + +### **connect 前禁用发送** + +``` +// 连接前关闭音视频发送，避免模型未就绪时收到数据 +engine.enableSendMediaStream(.audio, enable: false) +engine.enableSendMediaStream(.video, enable: false) + +// 发起连接 +engine.connect(config) +``` + +### **收到 session.updated 后开启** + +``` +func onDataMsg(_ msg: AoqDataMsg) { + guard let obj = try? JSONSerialization.jsonObject(with: msg.data) as? [String: Any], + let type = obj["type"] as? String else { return } + + if type == "session.updated" { + // AI 侧已确认会话配置，开启媒体发送 + engine.enableSendMediaStream(.audio, enable: true) + engine.enableSendMediaStream(.video, enable: true) + } +} +``` + +## **注意事项** + +- **调用时机**：必须在 `createEngine` 之后调用，引擎未创建时调用无效。 + +- **默认行为**：如果不调用此接口，connect 成功后 SDK 会立即开始发送媒体流。 + +- **模型兼容性**：部分模型要求先收到 `session.updated` 再接收媒体数据，建议统一采用"先禁用、后开启"模式。 + +- **独立控制**：音频和视频可独立控制，例如仅发送音频不发送视频。 + + +## **常见场景** + +**场景** + +**操作** + +**说明** + +连接模型前 + +`enable(.audio, false)` + +等待 session.updated 再发送 + +收到 session.updated + +`enable(.audio, true)` + +AI 已就绪，开始发送 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md new file mode 100644 index 00000000..f71bf047 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md @@ -0,0 +1,1186 @@ +# 视频常用功能介绍 + +AOQ Client SDK 提供了完整的视频能力，覆盖视频采集、渲染显示、编码配置、帧数据回调、外部视频输入等核心场景。本文档基于 Android（Java）、iOS（Objective-C）、Ohos（ArkTS）三个平台的公开 API，对视频常用功能进行统一介绍。 + +## **1\. 视频采集** + +### 1.1 功能说明 + +视频采集用于打开设备摄像头，将实时视频帧数据送入 SDK 编码推流管线。SDK 支持两种采集模式： + +- **内部采集（默认）**：SDK 自动管理摄像头设备的打开、帧采集和关闭，支持前后置摄像头切换。 + +- **外部采集**：由应用自行管理摄像头或其他视频源，采集到的帧数据通过 `pushExternalVideoCapturedFrame` 接口输入 SDK。 + + +### 1.2 采集配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +width + +int + +1280 + +采集宽度（像素），外部采集时无效 + +height + +int + +720 + +采集高度（像素），外部采集时无效 + +fps + +int + +15 + +采集帧率，外部采集时由送帧节奏决定 + +isExternal + +bool + +false + +是否使用外部采集模式 + +cameraDirection + +AoqCameraDirection + +Front(0) + +摄像头方向，外部采集时无效 + +### 1.3 摄像头方向枚举 + +**枚举值** + +**数值** + +**说明** + +AoqCameraDirectionFront + +0 + +前置摄像头 + +AoqCameraDirectionBack + +1 + +后置摄像头 + +### 1.4 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +开启采集 + +startVideoCapture(config) + +startVideoCapture:config: + +startVideoCapture(config) + +关闭采集 + +stopVideoCapture() + +stopVideoCapture + +stopVideoCapture() + +切换摄像头 + +switchCamera(direction) + +switchCamera: + +switchCamera(direction) + +### 1.5 使用示例 + +**Android** + +``` +AoqVideoCaptureConfig config = new AoqVideoCaptureConfig(); +config.width = 1280; +config.height = 720; +config.fps = 15; +config.cameraDirection = AoqCameraDirection.AoqCameraDirectionFront; +engine.startVideoCapture(config); +``` + +**iOS** + +``` +AoqVideoCaptureConfig *config = [[AoqVideoCaptureConfig alloc] init]; +config.width = 1280; +config.height = 720; +config.fps = 15; +config.cameraDirection = AoqCameraDirectionFront; +[engine startVideoCapture:config]; +``` + +**Ohos** + +``` +let config: AoqVideoCaptureConfig = { + width: 1280, + height: 720, + fps: 15, + cameraDirection: AoqCameraDirection.AoqCameraDirectionFront +}; +engine.startVideoCapture(config); +``` + +## **2\. 视频渲染** + +### 2.1 功能说明 + +视频渲染用于将本地采集或远端接收的视频帧数据显示到屏幕上。SDK 支持设置本地预览窗口和远端渲染窗口，通过 `trackType` 区分视频流（Video）和屏幕共享流（Screen）。 + +### 2.2 渲染模式 + +**枚举值** + +**数值** + +**说明** + +AoqRenderModeAuto + +0 + +自动模式 + +AoqRenderModeStretch + +1 + +拉伸平铺，画面可能变形 + +AoqRenderModeFill + +2 + +填充黑边，画面完整显示 + +AoqRenderModeCrop + +3 + +裁剪模式，画面内容可能丢失 + +### 2.3 画布配置 + +**参数** + +**类型** + +**默认值** + +**说明** + +view + +平台视图 + +null + +渲染视图（Android: SurfaceView/TextureView, iOS: UIView, Ohos: XComponent） + +renderMode + +AoqRenderMode + +Auto(0) + +渲染显示模式 + +### 2.4 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +设置本地预览 + +setLocalView(trackType, canvas) + +setLocalView:trackType:canvas: + +setLocalView(trackType, canvas) + +设置远端渲染 + +setRemoteView(trackType, canvas) + +setRemoteView:trackType:canvas: + +setRemoteView(trackType, canvas) + +**说明** + +**平台差异**：Android 使用 SurfaceView 或 TextureView 作为渲染容器；iOS 使用 UIView（内部通过 AoqRenderView 封装，支持 Metal 加速）；Ohos 使用 XComponent（通过 AoqXComponentController 管理 native 渲染视图）。 + +## **3\. 视频编码配置** + +### 3.1 功能说明 + +设置视频编码参数，包括编码格式、分辨率、帧率、码率、关键帧间隔、镜像和方向等。通过 `trackType` 区分视频轨道和屏幕共享轨道的编码配置。 + +### 3.2 编码配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +trackType + +AoqTrackType + +Video(1) + +轨道类型：Video + +codecType + +AoqEncoderType + +VideoH264(3) + +编码格式 + +width + +int + +720 + +编码宽度 + +height + +int + +1280 + +编码高度 + +fps + +int + +5 + +编码帧率 + +bitrate + +int + +500000 + +目标码率（bps） + +minBitrate + +int + +128000 + +最小码率（bps） + +keyframeInterval + +int + +2 + +关键帧间隔（秒） + +mirrorMode + +AoqMirrorMode + +Disabled(0) + +镜像模式 + +orientationMode + +AoqOrientationMode + +Auto(0) + +方向模式 + +isExternal + +bool + +false + +外部编码模式（true 时由应用推送已编码帧） + +### 3.3 编码格式枚举 + +**枚举值** + +**数值** + +**说明** + +AoqEncoderTypeVideoH264 + +3 + +H.264 编码 + +AoqEncoderTypeVideoJpeg + +4 + +JPEG 编码（用于外部编码帧） + +### 3.4 镜像模式 + +**枚举值** + +**数值** + +**说明** + +AoqMirrorModeDisabled + +0 + +禁用镜像 + +AoqMirrorModeEnabled + +1 + +启用镜像 + +### 3.5 方向模式 + +**枚举值** + +**数值** + +**说明** + +AoqOrientationModeAuto + +0 + +自动方向 + +AoqOrientationModePortrait + +1 + +竖屏方向 + +AoqOrientationModeLandscape + +2 + +横屏方向 + +### 3.6 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +设置编码参数 + +setVideoEncoderConfig(config) + +setVideoEncoderConfig: + +setVideoEncoderConfig(config) + +## **4\. 外部视频帧输入** + +### 4.1 功能说明 + +外部视频帧输入允许应用将自定义的视频帧数据推送到 SDK，用于外部采集或外部编码场景。支持两种推送方式： + +- **推送原始帧**：将未编码的像素数据（I420/NV12/NV21/BGRA/RGBA 等格式）推送给 SDK，由 SDK 进行编码。 + +- **推送已编码帧**：将已编码的数据（如 JPEG）直推给 SDK，SDK 不做二次编码，直接打包发送。 + + +通过 `trackType` 路由，`AoqTrackTypeVideo` 对应视频采集的外部帧，`AoqTrackTypeScreen` 对应屏幕共享的外部帧。 + +### 4.2 像素格式枚举 + +**枚举值** + +**数值** + +**说明** + +**平台支持** + +AoqVideoPixelFormatI420 + +1 + +I420 三平面 + +全平台 + +AoqVideoPixelFormatNV12 + +2 + +NV12 双平面 + +全平台 + +AoqVideoPixelFormatNV21 + +3 + +NV21 双平面 + +全平台 + +AoqVideoPixelFormatBGRA + +4 + +BGRA 打包 + +全平台 + +AoqVideoPixelFormatRGBA + +5 + +RGBA 打包 + +全平台 + +AoqVideoPixelFormatCVPixelBuffer + +6 + +Apple 零拷贝 + +仅 iOS + +AoqVideoPixelFormatTextureOES + +7 + +OES 纹理 + +仅 Android + +AoqVideoPixelFormatTexture2D + +8 + +2D 纹理 + +仅 Android + +### 4.3 原始视频帧数据结构 (AoqVideoFrame) + +**字段** + +**类型** + +**说明** + +format + +AoqVideoPixelFormat + +像素格式 + +width + +int + +宽度（像素） + +height + +int + +高度（像素） + +data + +byte\[\] / ArrayBuffer + +打包格式数据（NV12/NV21/BGRA/RGBA） + +dataY / dataU / dataV + +byte\[\] / ArrayBuffer + +I420 三平面数据 + +strideY / strideU / strideV + +int + +I420 三平面步长 + +textureId + +int + +纹理 ID（Android TextureOES/Texture2D 时有效） + +transformMatrix + +float\[16\] + +4x4 纹理变换矩阵（Android） + +eglContext + +EGLContext + +共享 EGL 上下文（Android） + +pixelBuffer + +CVPixelBufferRef + +Apple 零拷贝（iOS） + +timeStamp + +long + +时间戳（ms），0 时 SDK 用本地时钟补 + +### 4.4 已编码视频帧数据结构 (AoqVideoEncodedFrame) + +**字段** + +**类型** + +**默认值** + +**说明** + +codec + +AoqVideoCodecType + +JPEG(0) + +编码格式 + +data + +byte\[\] / ArrayBuffer + +\- + +编码后数据 + +width + +int + +\- + +宽度（像素） + +height + +int + +\- + +高度（像素） + +timeStamp + +long + +0 + +时间戳（ms） + +### 4.5 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +推送原始帧 + +pushExternalVideoCapturedFrame(trackType, frame) + +pushExternalVideoCapturedFrame:frame: + +pushExternalVideoCapturedFrame(trackType, frame) + +推送已编码帧 + +pushExternalVideoEncodedFrame(trackType, frame) + +pushExternalVideoEncodedFrame:frame: + +pushExternalVideoEncodedFrame(trackType, frame) + +## **5\. 视频帧数据回调** + +### 5.1 功能说明 + +视频帧回调允许开发者在视频管线的不同位置获取原始帧数据，用于视频分析、自定义处理、录制等场景。支持只读和读写两种模式，读写模式下可修改帧数据并写回 SDK。 + +### 5.2 支持的数据源位置 + +**数据源** + +**枚举值** + +**说明** + +Captured + +0 + +采集后的视频数据（前处理前） + +PreEncode + +1 + +编码前的视频数据（前处理后） + +Remote + +2 + +远端解码后、渲染前的视频数据 + +### 5.3 回调配置参数 + +**参数** + +**类型** + +**默认值** + +**说明** + +format + +AoqVideoPixelFormat + +I420(1) + +期望回调的像素格式 + +alignment + +AoqVideoObserverAlignment + +Default(0) + +宽度对齐策略 + +mode + +AoqVideoObserverMode + +ReadOnly(0) + +只读(0)/读写(1) 模式 + +mirrorApplied + +bool + +false + +是否对回调数据应用镜像 + +### 5.4 宽度对齐枚举 + +**枚举值** + +**数值** + +**说明** + +AoqVideoObserverAlignmentDefault + +0 + +默认对齐 + +AoqVideoObserverAlignmentEven + +1 + +2 字节对齐 + +AoqVideoObserverAlignment4 + +2 + +4 字节对齐 + +AoqVideoObserverAlignment8 + +3 + +8 字节对齐 + +AoqVideoObserverAlignment16 + +4 + +16 字节对齐 + +### 5.5 使用步骤 + +1. **注册观察者**：调用 `setVideoFrameObserver` 设置视频帧回调监听器 + +2. **启用数据源**：调用 `enableVideoFrameObserver` 选择需要监听的数据源位置，开启回调 + +3. **处理回调数据**：在回调函数中获取帧数据（仅回调期间有效，异步使用需自行拷贝） + + +### 5.6 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +注册观察者 + +setVideoFrameObserver(listener) + +setVideoFrameObserver: + +setVideoFrameObserver(observer) + +启用回调 + +enableVideoFrameObserver(enabled, source, config) + +enableVideoFrameObserver:videoSource:config: + +enableVideoFrameObserver(enabled, source, config) + +### 5.7 回调方法 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +采集后数据 + +onCapturedVideoFrame(frame) + +onCapturedVideoFrame: + +onCapturedVideoFrame(frame) + +编码前数据 + +onPreEncodeVideoFrame(trackType, frame) + +onPreEncodeVideoFrame:frame: + +onPreEncodeVideoFrame(trackType, frame) + +远端数据 + +onRemoteVideoFrame(trackType, frame) + +onRemoteVideoFrame:frame: + +onRemoteVideoFrame(trackType, frame) + +**说明** + +回调方法返回 `true`/`YES` 表示数据已修改、需写回 SDK（仅 ReadWrite 模式且 I420 格式时生效）。 + +## **7\. 媒体流发送控制** + +### 7.1 功能说明 + +控制本地媒体流的发送开关，通过 `trackType` 路由到不同轨道（Audio/Video/Screen）。停用发送后，采集和编码继续运行，但数据不会发送到远端。 + +### 7.2 API 对照 + +**功能** + +**Android** + +**iOS** + +**Ohos** + +控制流发送 + +enableSendMediaStream(trackType, enable) + +enableSendMediaStream:enable: + +enableSendMediaStream(trackType, enable) + +### 7.3 轨道类型枚举 + +**枚举值** + +**数值** + +**说明** + +AoqTrackTypeAudio + +0 + +音频轨道 + +AoqTrackTypeVideo + +1 + +视频轨道 + +AoqTrackTypeData + +2 + +数据轨道 + +## **8\. 视频设备状态监控** + +### 8.1 功能说明 + +SDK 自动监测视频采集设备（摄像头）的状态变化，并通过 `onVideoDeviceStateChanged` 回调通知应用层。 + +### 8.2 设备状态码 + +**状态码** + +**值** + +**说明** + +AoqVideoDeviceNone + +0 + +初始状态 + +AoqVideoDeviceCaptureStarting + +1 + +采集启动中 + +AoqVideoDeviceCaptureStarted + +2 + +采集已启动 + +AoqVideoDeviceCaptureStopping + +3 + +采集停止中 + +AoqVideoDeviceCaptureStopped + +4 + +采集已停止 + +AoqVideoDeviceCaptureFail + +5 + +采集失败 + +### 8.3 回调对照 + +**回调** + +**Android** + +**iOS** + +**Ohos** + +设备状态变化 + +onVideoDeviceStateChanged(state) + +onVideoDeviceStateChanged: + +onVideoDeviceStateChanged(state) + +## **9\. 视频错误码与警告码** + +### 9.1 视频错误码 + +**错误码** + +**值** + +**说明** + +AoqErrorCodeVideo + +200 + +通用视频错误 + +VideoExternalBufferFull + +210 + +视频外部缓冲区已满 + +VideoDevice + +220 + +视频设备通用错误 + +CameraOpenFail + +221 + +摄像头打开失败 + +CameraAuthFailed + +222 + +摄像头权限被拒绝 + +CameraOccupied + +223 + +摄像头被占用 + +CameraRunningError + +224 + +摄像头运行错误 + +VideoCodec + +230 + +视频编解码通用错误 + +EncoderInitFail + +231 + +编码器初始化失败 + +VideoRender + +240 + +视频渲染通用错误 + +RenderCreateFail + +241 + +渲染器创建失败 + +RenderDrawError + +242 + +渲染绘制错误 + +Screen + +300 + +屏幕共享通用错误 + +**说明** + +Android 额外错误码：ScreenPermissionDenied(310) 屏幕共享权限被拒绝、ScreenForegroundServiceFailed(311) 前台服务启动失败。 + +### 9.2 视频警告码 + +**警告码** + +**值** + +**说明** + +AoqWCVideo + +200 + +通用视频警告 + +CameraEnumerateError + +201 + +摄像头枚举错误 + +EncoderSwitched + +202 + +编码器切换警告 + +RenderDowngrade + +203 + +渲染降级警告 + +## **附录：完整视频 API 方法列表** + +**分类** + +**方法名** + +**说明** + +采集控制 + +startVideoCapture + +打开视频采集设备 + +采集控制 + +stopVideoCapture + +关闭视频采集设备 + +采集控制 + +switchCamera + +切换前后置摄像头 + +渲染控制 + +setLocalView + +设置本地预览窗口 + +渲染控制 + +setRemoteView + +设置远端渲染窗口 + +编解码 + +setVideoEncoderConfig + +设置视频编码参数 + +外部输入 + +pushExternalVideoCapturedFrame + +推送原始视频帧 + +外部输入 + +pushExternalVideoEncodedFrame + +推送已编码视频帧 + +屏幕共享 + +startScreenCapture + +启动屏幕采集 + +屏幕共享 + +stopScreenCapture + +停止屏幕采集 + +流控制 + +enableSendMediaStream + +控制媒体流发送 + +帧回调 + +setVideoFrameObserver + +注册视频帧观察者 + +帧回调 + +enableVideoFrameObserver + +启用/禁用视频帧回调 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md new file mode 100644 index 00000000..a291cc23 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md @@ -0,0 +1,520 @@ +# 通过AOQ使用qwen3.5-omni-plus-realtime实现实时通话 + +本文档说明如何在 Android、iOS、HarmonyOS 平台接入 AOQ Client SDK，实现 AOQ+qwen3.5-omni-plus-realtime 音视频通话功能。 + +## **SDK 获取** + +AOQ Client SDK 及音频 Opus 插件请参见[SDK下载](https://help.aliyun.com/zh/model-studio/realtime-sdk-download)。Opus 编码以独立插件形式提供，请根据您的场景按需引入。 + +## **SDK 导入** + +请根据不同平台将核心 SDK 产物导入工程依赖目录，并在工程配置中声明相关权限。 + +### **Android** + +将 `AoqClientSdk-release.aar` 放入工程 `app/libs/` 目录，将 `libPluginOpus.so` 按 ABI 放入 `app/libs/armeabi-v7a/` 和 `app/libs/arm64-v8a/`，并在 `app/build.gradle` 中： + +``` +android { + defaultConfig { + minSdk 21 + ndk { abiFilters 'armeabi-v7a', 'arm64-v8a' } + } + sourceSets { main { jniLibs.srcDirs = ['libs'] } } + packagingOptions { + // 避免与宿主工程的同名 so 冲突 + pickFirsts += ['lib/*/*.so'] + } +} + +dependencies { + implementation fileTree(dir: 'libs', include: ['*.aar']) +} +``` + +在 `AndroidManifest.xml` 声明权限： + +``` + + + + + +``` + +其中 `RECORD_AUDIO` 和 `CAMERA` 为运行时权限，应用需在运行时调用 Android `ActivityCompat.requestPermissions()` 方法，主动向 Android 系统申请用户授权。 + +### **iOS（framework）** + +1. 将 `AoqClientSdk.framework` 与 `PluginOpus.framework` 拖入 Xcode 工程，在 Target > General > Frameworks, Libraries, and Embedded Content 中选择 **Embed & Sign**。 + +2. 权限声明：在 Xcode 中选中您的 Target > Info > Custom iOS Target Properties，添加以下两项权限用途描述： + + **Key** + + **Value** + + `NSMicrophoneUsageDescription` + + 用于实时语音通话 + + `NSCameraUsageDescription` + + 用于实时视频通话 + +3. Swift 工程：`import AoqClientSdk`；Objective-C 工程：`#import `。 + + +### **HarmonyOS（har）** + +1. 将 `aoq-client-sdk.har` 放入工程 `libs/` 目录，将 `libPluginOpus.so` 按 ABI 放入 `entry/libs/armeabi-v7a/` 和 `entry/libs/arm64-v8a/`；并在 `entry/oh-package.json5` 中声明。 + +2. 在 `entry/src/main/module.json5` 添加权限： + + ``` + "requestPermissions": [ + { "name": "ohos.permission.INTERNET" }, + { "name": "ohos.permission.MICROPHONE", + "reason": "$string:perm_mic_reason", + "usedScene": { "abilities": ["EntryAbility"], "when": "inuse" } }, + { "name": "ohos.permission.CAMERA", + "reason": "$string:perm_camera_reason", + "usedScene": { "abilities": ["EntryAbility"], "when": "inuse" } } + ] + ``` + +3. 在 `EntryAbility` 中通过 `abilityAccessCtrl.createAtManager().requestPermissionsFromUser` 触发运行时授权。 + + +## **AppServer获取Token** + +请按照[Token鉴权](https://help.aliyun.com/zh/model-studio/realtime-token-authentication)的 AOQ 章节搭建获取 Token 的 AppServer。每次通话前，客户端需要向业务侧 AppServer 请求一次 Token。 + +## **实现 AI 音视频通话** + +![111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0075914871/p1088080.svg) + +### **创建引擎并设置回调** + +调用 `createEngine` 接口创建 `AoqClientEngine` 实例。 + +**iOS：** + +``` +let config = AoqCreateConfig() +config.workDir = workDir +engine = AoqClientEngine.createEngine(config, delegate: self) +``` + +实现 `AoqEngineDelegate` 协议监听 `onConnectionStatusChange`、`onDataMsg`、`onError` 等回调。 + +**Android：** + +``` +AoqCreateConfig config = new AoqCreateConfig(); +config.workDir = appCtx.getFilesDir().getAbsolutePath(); +engine = AoqClientEngine.createEngine(appCtx, config, this); +``` + +**HarmonyOS：** + +``` +const config: AoqCreateConfig = { workDir: context.filesDir, extras: '' }; +engine = AoqClientEngine.createEngine(config, this, context); +``` + +### **启动音视频采集与播放** + +调用 `startAudioCapture` 与 `startAudioPlayer` 启动本地音频采集与播放；调用 `startVideoCapture` 启动摄像头，并通过 `setLocalView` 将 SDK 渲染目标绑定到业务侧的预览控件。 + +**iOS：** + +``` +// 音频采集 +let capCfg = AoqAudioCaptureConfig() +capCfg.channel = 1; capCfg.isExternal = false +engine.startAudioCapture(capCfg) + +// 音频播放 +let playCfg = AoqAudioPlaybackConfig() +playCfg.channel = 1; playCfg.isExternal = false +engine.startAudioPlayer(playCfg) + +// 视频采集 +let vidCfg = AoqVideoCaptureConfig() +vidCfg.width = 720; vidCfg.height = 1280; vidCfg.fps = 15 +engine.startVideoCapture(vidCfg) + +// 为本地预览画面设置渲染视图 +let canvas = AoqVideoCanvas() +canvas.view = localPreview +canvas.renderMode = .crop +engine.setLocalView(.video, canvas: canvas) +``` + +**Android：** + +``` +// 音频采集 +AoqAudioCaptureConfig capCfg = new AoqAudioCaptureConfig(); +capCfg.channel = 1; capCfg.isExternal = false; +engine.startAudioCapture(capCfg); + +// 音频播放 +AoqAudioPlaybackConfig playCfg = new AoqAudioPlaybackConfig(); +playCfg.channel = 1; playCfg.isExternal = false; +engine.startAudioPlayer(playCfg); + +// 视频采集 +AoqVideoCaptureConfig vidCfg = new AoqVideoCaptureConfig(); +vidCfg.width = 720; vidCfg.height = 1280; vidCfg.fps = 15; +engine.startVideoCapture(vidCfg); + +// 为本地预览画面设置渲染视图 +AoqVideoCanvas canvas = new AoqVideoCanvas(); +canvas.view = localPreview; +canvas.renderMode = AoqRenderMode.AoqRenderModeCrop; +engine.setLocalView(AoqTrackType.AoqTrackTypeVideo, canvas); +``` + +**HarmonyOS：** + +``` +// 音频采集 +const capCfg: AoqAudioCaptureConfig = { channel: 1, isExternal: false }; +engine.startAudioCapture(capCfg); + +// 音频播放 +const playCfg: AoqAudioPlaybackConfig = { channel: 1, isExternal: false }; +engine.startAudioPlayer(playCfg); + +// 视频采集 +const vidCfg: AoqVideoCaptureConfig = { width: 720, height: 1280, fps: 15, isExternal: false }; +engine.startVideoCapture(vidCfg); + +// 为本地预览画面设置渲染视图 +const canvas: AoqVideoCanvas = { view: localCtrl, renderMode: AoqRenderMode.AoqRenderModeCrop }; +engine.setLocalView(AoqTrackType.AoqTrackTypeVideo, canvas); +``` + +### **获取连接凭证** + +由业务 AppServer 代理百炼请求，参见[Token鉴权](https://help.aliyun.com/zh/model-studio/realtime-token-authentication)。 + +### **设置编解码及建立连接** + +设置编解码参数后调用 `connect`。 + +注意：qwen3.5-omni-plus-realtime 要求客户端在收到服务端的 `session.updated` 之后才能开始发送媒体数据。为避免 `connect` 建联成功到 `session.updated` 到达之间的空档期误推媒体，在 `connect` 之前对上行音频与视频轨道分别调用 `enableSendMediaStream(trackType, false)`，将上行推流暂时关闭。WebSocket事件说明详见[客户端事件](https://help.aliyun.com/zh/model-studio/client-events)。 + +**iOS：** + +``` +// 音频编解码配置 +let encCfg = AoqAudioCodecConfig() +encCfg.codecType = .audioPCM; encCfg.sampleRate = 16000; encCfg.channel = 1 +engine.setAudioEncoderConfig(encCfg) +engine.setAudioDecoderConfig(encCfg) + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(.audio, enable: false) +engine.enableSendMediaStream(.video, enable: false) + +// 建立连接 +let conn = AoqConnectConfig() +conn.token = token; conn.sid = sid; conn.certFingerprint = cert +conn.relayEndpoints = endpoints; conn.workspaceIdHash = workspaceIdHash + +let aTrack = AoqTrackParam(); aTrack.trackType = .audio +let vTrack = AoqTrackParam(); vTrack.trackType = .video +let dTrack = AoqTrackParam(); dTrack.trackType = .data +conn.publishTracks = [aTrack, vTrack, dTrack] +conn.subscribeTracks = [aTrack, dTrack] +engine.connect(conn) +``` + +**Android：** + +``` +// 音频编解码配置 +AoqAudioCodecConfig encCfg = new AoqAudioCodecConfig(); +encCfg.codecType = AoqEncoderType.AoqEncoderTypeAudioPCM; +encCfg.sampleRate = 16000; encCfg.channel = 1; +engine.setAudioEncoderConfig(encCfg); +engine.setAudioDecoderConfig(encCfg); + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, false); +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, false); + +// 建立连接 +AoqConnectConfig conn = new AoqConnectConfig(); +conn.token = token; conn.sid = sid; conn.certFingerprint = cert; +conn.relayEndpoints.addAll(endpoints); conn.workspaceIdHash = workspaceIdHash; + +AoqTrackParam aTrack = new AoqTrackParam(); aTrack.trackType = AoqTrackType.AoqTrackTypeAudio; +AoqTrackParam vTrack = new AoqTrackParam(); vTrack.trackType = AoqTrackType.AoqTrackTypeVideo; +AoqTrackParam dTrack = new AoqTrackParam(); dTrack.trackType = AoqTrackType.AoqTrackTypeData; +conn.publishTracks.add(aTrack); +conn.publishTracks.add(vTrack); +conn.publishTracks.add(dTrack); +conn.subscribeTracks.add(aTrack); +conn.subscribeTracks.add(dTrack); +engine.connect(conn); +``` + +**HarmonyOS：** + +``` +// 音频编解码配置 +const encCfg: AoqAudioCodecConfig = { + codecType: AoqEncoderType.AoqEncoderTypeAudioPCM, + sampleRate: 16000, channel: 1 +}; +engine.setAudioEncoderConfig(encCfg); +engine.setAudioDecoderConfig(encCfg); + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, false); +engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, false); + +// 建立连接 +const conn: AoqConnectConfig = { + token, sid, certFingerprint: cert, + relayEndpoints: endpoints, + workspaceIdHash, + publishTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeVideo }, + { trackType: AoqTrackType.AoqTrackTypeData } + ], + subscribeTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeData } + ] +}; +engine.connect(conn); +``` + +**重要**：AOQ SDK 在建联后会默认发送媒体数据，此示例演示了连接模型时关闭媒体发送的能力。 + +### **配置 AI 会话** + +在 `onConnectionStatusChange(Connected)` 回调中通过 `sendDataMsg` 发送 `session.update` 消息（业务自定义 JSON，包含 modalities、voice、instructions、turn\_detection 等会话参数），完成会话握手，WebSocket事件说明详见[客户端事件](https://help.aliyun.com/zh/model-studio/client-events)。 + +**iOS：** + +``` +func onConnectionStatusChange(_ status: AoqConnectionStatus) { + if status == .connected { sendSessionUpdate() } +} + +private func sendSessionUpdate() { + let json = """ + { + // 该事件的id，由客户端生成 + "event_id": "event_ToPZqeobitzUJnt3QqtWg", + // 事件类型，固定为session.update + "type": "session.update", + // 会话配置 + "session": { + // 输出模态，支持设置为["text"]（仅输出文本）或["text","audio"]（输出文本与音频）。 + "modalities": [ + "text", + "audio" + ], + // 输出音频的音色 + "voice": "Ethan", + // 输入音频格式，当前仅支持设置为pcm。输入音频为16 kHz采样率的PCM音频流。 + "input_audio_format": "pcm", + // 输出音频格式，当前仅支持设置为pcm。输出音频为24 kHz采样率的PCM音频流。 + "output_audio_format": "pcm", + // 系统消息，用于设定模型的目标或角色。 + "instructions": "你是某五星级酒店的AI客服专员，请准确且友好地解答客户关于房型、设施、价格、预订政策的咨询。请始终以专业和乐于助人的态度回应，杜绝提供未经证实或超出酒店服务范围的信息。", + // 是否开启语音活动检测。若需启用，需传入一个配置对象，服务端将据此自动检测语音起止。 + // 设置为null表示由客户端决定何时发起模型响应。 + "turn_detection": { + // VAD类型，取值为server_vad或semantic_vad。使用qwen3.5-omni-realtime模型时推荐设为semantic_vad。 + "type": "semantic_vad", + // VAD检测阈值。建议在嘈杂的环境中增加，在安静的环境中降低。 + "threshold": 0.5, + // 检测语音停止的静音持续时间，超过此值后会触发模型响应 + "silence_duration_ms": 800 + } + } + } + """ + let msg = AoqDataMsg() + msg.data = json.data(using: .utf8)! + engine.send(msg) +} +``` + +**Android：** + +``` +@Override +public void onConnectionStatusChange(AoqConnectionStatus status) { + if (status == AoqConnectionStatus.AoqConnectionStatusConnected) { + sendSessionUpdate(); + } +} + +private void sendSessionUpdate() { + String sessionUpdateJson = /* 与 Swift 示例中相同的 session.update JSON */; + AoqDataMsg msg = new AoqDataMsg(); + msg.data = sessionUpdateJson.getBytes(StandardCharsets.UTF_8); + engine.sendDataMsg(msg); +} +``` + +**HarmonyOS：** + +``` +onConnectionStatusChange(status: AoqConnectionStatus): void { + if (status === AoqConnectionStatus.AoqConnectionStatusConnected) { + this.sendSessionUpdate(); + } +} + +private sendSessionUpdate(): void { + const sessionUpdateJson = /* 与 Swift 示例中相同的 session.update JSON */; + const msg: AoqDataMsg = { data: new TextEncoder().encode(sessionUpdateJson).buffer }; + this.engine.sendDataMsg(msg); +} +``` + +### **收到 session.updated 后开启媒体发送** + +在 `onDataMsg` 回调中解析下行消息，收到模型回复 `session.updated` 的时候，对上一步禁推的每个轨道类型调用 `enableSendMediaStream(trackType, true)` 放开推流。下面为代码示例，WebSocket事件说明详见[服务端事件](https://help.aliyun.com/zh/model-studio/server-events)。 + +**iOS：** + +``` +func onDataMsg(_ msg: AoqDataMsg) { + guard let obj = try? JSONSerialization.jsonObject(with: msg.data) as? [String: Any], + let type = obj["type"] as? String else { return } + if type == "session.updated" { + engine.enableSendMediaStream(.audio, enable: true) + engine.enableSendMediaStream(.video, enable: true) + } +} +``` + +**Android：** + +``` +@Override +public void onDataMsg(AoqDataMsg msg) { + if (msg == null || msg.data == null) return; + try { + JSONObject obj = new JSONObject(new String(msg.data, StandardCharsets.UTF_8)); + if ("session.updated".equals(obj.optString("type"))) { + engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, true); + engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, true); + } + } catch (JSONException ignored) {} +} +``` + +**HarmonyOS：** + +``` +onDataMsg(msg: AoqDataMsg): void { + if (!msg?.data) return; + try { + const text = new TextDecoder('utf-8').decode(new Uint8Array(msg.data)); + const obj = JSON.parse(text) as { type?: string }; + if (obj.type === 'session.updated') { + this.engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, true); + this.engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeVideo, true); + } + } catch (_) { /* 非 JSON，忽略 */ } +} +``` + +**重要** + +1. 模型必须在收到 `session.updated` 后才开启媒体流发送，否则 AI 侧可能还未准备好接收数据。 + +2. 建连时添加的音频轨道和视频轨道（即 AOQ 媒体通道）会自动将数据传输到服务端。 + + 1. 音频：通过音频轨道直接传输，无需发送 `input_audio_buffer.append` 事件。 + + 2. 视频：通过视频轨道发送画面帧，无需发送 `input_image_buffer.append` 事件。 + + +### **断开连接与销毁引擎** + +``` +engine.disconnect() +AoqClientEngine.destroy() +``` + +## **典型场景** + +### **打断（Barge-in）** + +- SDK 与百炼深度融合，支持百炼模型的打断消息会在新一轮对话开始时打断上一轮次。 + +- SDK 提供**本地播放器打断**接口 `interruptAudioPlayer`，当用户主动需要停止时可以调用打断 API 实现此功能。 + + +``` +// iOS +engine.interruptAudioPlayer(.audio, fadeMs: 100) +``` + +### **静音 / 取消静音** + +静音后 SDK 仍在采集音频，但只推送静音帧，`session` 不会中断。 + +``` +engine.muteAudioCapture(true); // 静音麦克风（采集仍在跑，但只送静音帧） +engine.muteAudioCapture(false); // 恢复 +``` + +### **切换前后摄像头** + +``` +// 传入期望切换到的方向枚举即可 +engine.switchCamera(AoqCameraDirection.AoqCameraDirectionFront); +engine.switchCamera(AoqCameraDirection.AoqCameraDirectionBack); +``` + +### **通话字幕与ASR结果显示** + +服务端通过下行数据消息推送 ASR 结果与 AI 文本回复。业务侧在 `onDataMsg` 回调中根据 `type` 字段分流即可。WebSocket事件说明详见[服务端事件](https://help.aliyun.com/zh/model-studio/server-events)。 + +## **注意事项** + +1. **单例语义**：`createEngine` 是单例，重复调用返回同一实例；`destroy` 后才能重新创建。多页面共用建议在 Application/Ability 级管理引擎生命周期。 + +2. **本地预览 View 类型**： + + - Android：`SurfaceView` 或 `TextureView`；其它类型不支持。 + + - iOS：任意 `UIView` 子类。 + + - HarmonyOS：请参考 SDK 文档。 + +3. **音频路由变化**：耳机插拔、蓝牙连接等会触发 `onAudioDeviceRouteChanged`，业务侧通常无需处理；如果 UI 上显示"扬声器/听筒"开关，需要根据该回调同步状态。 + +4. **后台续传**：如需通话切到后台后继续传音频，`Info.plist` 必须开启 `UIBackgroundModes = audio`，并在前台时正确激活 `AVAudioSession`（SDK 会处理大部分情况，业务侧用 `setAudioSessionRestriction:` 可精细控制是否让 SDK 接管）。 + + +## **Demo 示例下载** + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5762814871/p1087917.png) + +示例源码下载： + +**iOS：**[aoqdemo.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/grpnos/aoqdemo.zip) + +## **相关文档** + +- AOQ Client SDK 详细 API：[AOQ SDK简介](https://help.aliyun.com/zh/model-studio/realtime-api-aoq-sdk-desc/) + +- qwen3.5-omni-plus-realtime 模型客户端事件：[客户端事件](https://help.aliyun.com/zh/model-studio/client-events) + +- qwen3.5-omni-plus-realtime 模型服务端事件：[服务端事件](https://help.aliyun.com/zh/model-studio/server-events) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md new file mode 100644 index 00000000..e743e6b6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md @@ -0,0 +1,512 @@ +# 通过WebRTC使用多模态交互套件实现实时通话 + +本文档说明如何在浏览器端通过 WebRTC + JavaScript 接入通义多模态交互套件（multimodal-dialog），实现与多模态 AI 应用的实时音视频交互。 + +**说明** + +多模态交互套件面向 **AI/AR 眼镜、学习机、智能机器人**等硬件场景，提供可视化应用配置、预置 Agent/插件、音色管理等完整业务能力。WebRTC 模式下音频通过 UDP 直接传输，内置回声消除和降噪，适合浏览器端低延迟交互场景。 + +## **前提条件及注意事项** + +1. 已在百炼控制台完成以下准备： + + - 已[配置 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)并将其[设置到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 + + - 创建多模态交互应用，获取 **Workspace ID** 和 **App ID**（详情请参见[应用创建](https://help.aliyun.com/zh/model-studio/multimodal-app-creation)）。 + + - 在应用中完成模型、音色、提示词、Agent/插件等配置（详情请参见[应用配置](https://help.aliyun.com/zh/model-studio/multimodal-app-configuration)）。 + +2. 使用支持 WebRTC 的现代浏览器（Chrome、Edge、Firefox、Safari 等）。 + +3. 浏览器需要麦克风权限；如需视频交互，还需摄像头权限。 + +4. 浏览器无法直接向服务端发起 SDP 交换请求（受 CORS 限制），Demo 中需通过终端执行 curl 命令完成连接建立；正式产品中由业务后端代理时不存在此限制。 + + +## **实现实时通话** + +以下时序图展示了整个 WebRTC 实时通话的完整流程： + +WebRTC 多模态交互套件实时通话流程时序图 + +![1111](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6265914871/p1088078.svg) + +### **创建 RTCPeerConnection** + +调用浏览器原生 `RTCPeerConnection` 构造函数创建连接实例。服务端采用 ICE-lite 模式直连，无需配置 ICE 服务器。 + +``` +pc = new RTCPeerConnection(); +``` + +同时注册关键回调： + +``` +pc.onconnectionstatechange = () => { + if (pc.connectionState === 'connected') { + // 连接成功 + } else if (['failed', 'closed', 'disconnected'].includes(pc.connectionState)) { + // 连接断开，清理资源 + endSession(); + } +}; + +pc.ontrack = (e) => { + // 将远端音频流绑定到 audio 元素播放 + const remoteAudio = document.createElement('audio'); + remoteAudio.autoplay = true; + remoteAudio.srcObject = e.streams[0]; + document.body.appendChild(remoteAudio); +}; +``` + +### **获取本地媒体流** + +通过 `navigator.mediaDevices.getUserMedia` 获取麦克风权限（必须），以及摄像头权限（可选）。 + +**纯音频模式：** + +``` +const localStream = await navigator.mediaDevices.getUserMedia({ audio: true }); +``` + +**音视频模式（需要 AI 视觉理解时）：** + +``` +const localStream = await navigator.mediaDevices.getUserMedia({ + audio: true, + video: { + facingMode: { ideal: 'environment' }, // 后置摄像头 + frameRate: { ideal: 30, max: 30 }, + width: { ideal: 640 }, + height: { ideal: 480 } + } +}); +``` + +**说明** + +视频帧率根据场景调整。需要 AI 实时理解画面的场景（如物体识别、场景描述）建议 15-30 fps。 + +### **添加媒体轨道到 PeerConnection** + +将本地音频轨道添加到 PeerConnection。如果开启了视频，视频轨道一并添加。 + +``` +localStream.getTracks().forEach(track => pc.addTrack(track, localStream)); +``` + +**维持视频发送质量（可选）：** + +在弱网环境下，浏览器可能自动降低视频分辨率。可通过设置 sender 参数尽量维持： + +``` +const sender = pc.getSenders().find(s => s.track && s.track.kind === 'video'); +if (sender) { + const params = sender.getParameters(); + if (!params.encodings || params.encodings.length === 0) params.encodings = [{}]; + params.encodings[0].scaleResolutionDownBy = 1.0; + params.encodings[0].maxBitrate = 2500000; // 2.5 Mbps + params.encodings[0].maxFramerate = 30; + params.degradationPreference = 'maintain-resolution'; + await sender.setParameters(params); +} +``` + +### **创建 DataChannel** + +创建名为 `oai-events` 的 DataChannel，用于与服务端交换控制消息（run-task、事件通知等）。 + +``` +const dc = pc.createDataChannel('oai-events'); + +dc.onopen = () => { + console.log('DataChannel open'); + // DataChannel 就绪后发送 run-task + sendStartMessage(dc); +}; + +dc.onmessage = (e) => { + const evt = JSON.parse(e.data); + handleServerEvent(evt, dc); +}; +``` + +同时监听 `pc.ondatachannel` 以处理服务端主动创建的 DataChannel： + +``` +pc.ondatachannel = (event) => { + const ch = event.channel; + if (ch.label === 'txt' || ch.label === 'oai-events') { + ch.onopen = () => sendStartMessage(ch); + ch.onmessage = (e) => handleServerEvent(JSON.parse(e.data), ch); + } +}; +``` + +### **生成 Offer SDP** + +调用 `createOffer` 并 `setLocalDescription`，浏览器生成包含本地媒体能力描述的 Offer SDP。服务端采用 ICE-lite 模式，客户端无需等待 ICE candidates 收集完成，`setLocalDescription` 后即可发送。 + +``` +const offer = await pc.createOffer(); +await pc.setLocalDescription(offer); + +// offer.sdp 即为待发送的 Offer SDP 字符串 +``` + +### **交换 SDP（HTTP POST）** + +将 Offer SDP 通过 HTTP POST 发送到服务端 WebRTC 端点，服务端返回 Answer SDP。 + +**Endpoint 格式：**`{workspace_id}.{region}.maas.aliyuncs.com`，其中 `workspace_id` 为百炼工作空间 ID（如 `llm-xxxxxxxxxx`），`region` 为部署区域（如 `cn-beijing`）。创建工作空间后即可在百炼控制台获取。 + +**请求配置：** + +**配置项** + +**说明** + +请求地址 + +`POST https://{workspace_id}.{region}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog` + +Content-Type + +`application/sdp` + +请求头 + +`Authorization: Bearer {DASHSCOPE_API_KEY}` + +请求体 + +客户端生成的 Offer SDP 字符串 + +响应 + +成功：HTTP 200，返回服务端 Answer SDP 字符串 + +``` +const API_KEY = 'your-api-key'; // 百炼控制台获取 +const WORKSPACE_ID = '{workspace-id}'; // 百炼控制台获取 +const REGION = 'cn-beijing'; +const SIGNALING_URL = `https://${WORKSPACE_ID}.${REGION}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog`; + +const resp = await fetch(SIGNALING_URL, { + method: 'POST', + headers: { + 'Content-Type': 'application/sdp', + 'Authorization': `Bearer ${API_KEY}`, + }, + body: offer.sdp, +}); + +if (!resp.ok) throw new Error('SDP 交换失败: ' + resp.status); +const answerSdp = await resp.text(); +``` + +**说明** + +由于浏览器端受 CORS 限制无法直接请求服务端，Demo 中需用户手动在终端执行 curl 命令。正式产品中应通过业务后端代理此请求。 + +**curl 命令格式：** + +``` +curl -X POST 'https://{workspace_id}.{region}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog' \ + -H 'Content-Type: application/sdp' \ + -H 'Authorization: Bearer $DASHSCOPE_API_KEY' \ + --data-binary '' +``` + +### **设置 Answer SDP 建立连接** + +将从服务端获取的 Answer SDP 设置为远端描述，WebRTC 连接随即建立。 + +``` +await pc.setRemoteDescription({ type: 'answer', sdp: answerSdp }); +// 连接建立完成，pc.connectionState 将变为 'connected' +``` + +### **发送 run-task 启动会话** + +WebRTC 连接建立、DataChannel 就绪后，客户端发送 **run-task** 消息启动多模态会话。 + +``` +let currentTaskId = null; + +function sendStartMessage(channel) { + currentTaskId = generateTaskId(); + const msg = { + payload: { + input: { + workspace_id: '{workspace-id}', + app_id: '{app-id}', + directive: 'Start' + }, + task_group: 'aigc', + task: 'multimodal-generation', + function: 'generation', + model: 'multimodal-dialog', + parameters: { + client_info: { + user_id: '{user-id}', + device: { uuid: '{device-uuid}' }, + network: { ip: '{client-ip}' } + }, + upstream: { + mode: 'duplex', + sample_rate: '16000', + type: 'AudioAndVideo' // 'Audio' 或 'AudioAndVideo' + }, + dialog_attributes: { + vocabulary_id: '{vocabulary-id}' // 可选 + }, + downstream: { + voice: 'longanhuan', + sample_rate: 24000, + audio_format: 'pcm' + } + } + }, + header: { + streaming: 'duplex', + action: 'run-task', + task_id: currentTaskId + } + }; + channel.send(JSON.stringify(msg)); +} + +function generateTaskId() { + if (window.crypto && typeof window.crypto.randomUUID === 'function') { + return window.crypto.randomUUID().replace(/-/g, ''); + } + const r = () => Math.random().toString(16).slice(2); + return (Date.now().toString(16) + r() + r()).slice(0, 32); +} +``` + +**参数说明：** + +**参数路径** + +**类型** + +**说明** + +`payload.input.workspace_id` + +string + +百炼工作空间 ID，在控制台「应用管理」中获取 + +`payload.input.app_id` + +string + +多模态交互应用 ID，在控制台「应用管理」中获取 + +`payload.input.directive` + +string + +固定值 `Start` + +`payload.parameters.client_info.user_id` + +string + +业务系统中的用户标识，用于日志追踪 + +`payload.parameters.client_info.device.uuid` + +string + +设备唯一标识，用于设备维度的数据分析 + +`payload.parameters.upstream.mode` + +string + +交互模式：`duplex`（全双工）、`push2talk`（按住说话）、`tap2talk`（点击说话） + +`payload.parameters.upstream.type` + +string + +上行媒体类型：`Audio`（纯语音）或 `AudioAndVideo`（音视频） + +`payload.parameters.upstream.sample_rate` + +string + +上行音频采样率，通常 `16000` + +`payload.parameters.downstream.voice` + +string + +下行音色，可在百炼控制台音色列表中选取 + +`payload.parameters.downstream.sample_rate` + +number + +下行音频采样率，通常 `24000` + +`payload.parameters.dialog_attributes.vocabulary_id` + +string + +可选，热词表 ID，提升专有名词识别准确率 + +**说明** + +应用中的模型选择、提示词、Agent/插件、知识库等配置均在百炼控制台可视化完成，无需通过代码传入。run-task 只需指定 `workspace_id` 和 `app_id`，服务端会自动加载对应配置。 + +### **实时对话** + +run-task 发送成功后，进入实时对话状态： + +- **上行**：浏览器采集的音频/视频通过 RTP 协议自动发送到服务端 + +- **下行音频**：AI 语音回复通过 `ontrack` 回调接收并播放 + +- **下行事件**：通过 DataChannel 接收业务事件 + + +``` +function handleServerEvent(evt, channel) { + const type = evt.type || evt.header?.action; + + switch (type) { + case 'open_videochat': + // 服务端请求开启视频通道 + // 延迟数秒响应，确保视频处理通道就绪 + setTimeout(() => { + channel.send(JSON.stringify({ + payload: { + input: { text: '', type: 'prompt', directive: 'RequestToRespond' }, + parameters: { + biz_params: { + videos: [{ action: 'connect', type: 'voicechat_video_channel' }] + } + } + }, + header: { + streaming: 'duplex', + action: 'continue-task', + task_id: currentTaskId + } + })); + }, 3000); + break; + + default: + console.log('[服务端事件]', type, evt); + break; + } +} +``` + +**说明** + +**open\_videochat 机制**：当 `upstream.type` 设为 `AudioAndVideo` 时，客户端已通过 WebRTC 发送视频轨道。服务端在需要时（如 AI Agent 判断需要"看"画面）会推送 `open_videochat` 事件，客户端需回复 `continue-task` 确认视频通道建立。该机制允许按需开启视频处理，节省服务端资源。 + +**静音 / 取消静音：** + +``` +// 静音 +localStream.getAudioTracks().forEach(t => { t.enabled = false; }); +// 取消静音 +localStream.getAudioTracks().forEach(t => { t.enabled = true; }); +``` + +**开启/关闭视频：** + +``` +// 关闭视频 +localStream.getVideoTracks().forEach(t => { t.enabled = false; }); +// 开启视频 +localStream.getVideoTracks().forEach(t => { t.enabled = true; }); +``` + +### **结束会话与资源清理** + +通话结束后需要正确释放所有资源，避免内存泄漏和设备占用。 + +``` +function endSession() { + // 1. 关闭 DataChannel + if (dataChannel) { + dataChannel.close(); + dataChannel = null; + } + + // 2. 停止本地媒体流（释放麦克风/摄像头） + if (localStream) { + localStream.getTracks().forEach(t => t.stop()); + localStream = null; + } + + // 3. 关闭 PeerConnection + if (pc) { + pc.close(); + pc = null; + } + + // 4. 重置状态 + currentTaskId = null; +} +``` + +## **注意事项** + +1. **API Key 安全**：切勿将 API Key 硬编码在前端代码中。生产环境应通过后端服务代理 SDP 交换请求，API Key 仅存放在服务端。 + +2. **CORS 限制**：浏览器端无法直接调用百炼 API 进行 SDP 交换，正式产品中需要通过后端代理转发请求。 + +3. **HTTPS 要求**：`getUserMedia` 在非 localhost 环境下要求页面必须通过 HTTPS 提供服务。 + +4. **交互模式选择**：多模态套件支持三种交互模式——`duplex`（全双工，用户可随时打断）、`push2talk`（按住说话）、`tap2talk`（点击说话）。根据硬件形态选择合适的模式。 + +5. **视频帧率**：视频理解场景建议 15-30 fps；如果仅需偶尔拍照识别，可降低帧率节省带宽。 + +6. **浏览器兼容性**：推荐使用 Chrome 90+、Edge 90+、Firefox 85+、Safari 15+。 + +7. **单实例限制**：同一页面同时只应维护一个 `RTCPeerConnection` 实例，创建新会话前需先关闭旧连接。 + + +## **完整 Demo 示例下载** + +以下是一个完整的 HTML 页面 Demo，可直接在浏览器中运行体验多模态交互。由于浏览器 CORS 限制，SDP 交换通过 curl 命令手动完成。 + +[webrtc\_multimodel\_demo.html](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/ifirko/webrtc_multimodel_demo.html) + +**使用步骤：** + +1. 在浏览器中打开该文件。 + +2. 填写连接配置：Endpoint（格式为 `{workspace_id}.{region}.maas.aliyuncs.com`）、API Key、Workspace ID 和 App ID。 + +3. 如需视频交互，勾选“开启视频”。 + +4. 点击**开始会话**，允许浏览器访问麦克风（及摄像头）。 + +5. 如果浏览器能直接发起请求（无 CORS 限制），将自动完成连接；否则页面会显示 curl 命令，复制到终端执行后将返回的 Answer SDP 粘贴回页面即可。 + +6. 连接建立后，对着麦克风说话即可与多模态 AI 实时对话。 + +7. 通话结束后可点击“下载远端音频”保存 AI 回复的录音。 + + +## **相关文档** + +- [通义多模态交互开发套件产品概述](https://help.aliyun.com/zh/model-studio/multimodal-products-overview) + +- [多模态交互套件使用指南](https://help.aliyun.com/zh/model-studio/multimodal-guidelines/) + +- [多模态交互 SDK（Python/Java）GitHub 示例代码](https://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/multimodal_dialog) + +- [WebRTC API (MDN)](https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md new file mode 100644 index 00000000..b5d496b5 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md @@ -0,0 +1,388 @@ +# 通过WebRTC使用qwen3.5-omni-plus-realtime实现实时通话 + +本文档说明如何在浏览器端通过 WebRTC + JavaScript 接入百炼 Realtime API，实现与 qwen3.5-omni-plus-realtime 模型的实时音视频通话。 + +**说明** + +WebRTC 适合浏览器端、低延迟语音场景，音频通过 UDP 直接传输，内置回声消除和降噪。WebRTC 仅支持服务端 VAD 模式（`server_vad` 或 `semantic_vad`），不支持手动模式。 + +## **前提条件及注意事项** + +1. 已[配置 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)并将其[设置到环境变量](https://help.aliyun.com/zh/model-studio/configure-api-key-through-environment-variables)。 + +2. 使用支持 WebRTC 的现代浏览器（Chrome、Edge、Firefox、Safari 等）。 + +3. 浏览器需要麦克风权限；如需视频通话，还需摄像头权限。 + +4. 浏览器无法直接向服务端发起 SDP 交换请求（受 CORS 限制），Demo 中通过终端执行 curl 命令完成连接建立；正式使用时由业务 AppServer 代理完成，无此限制。 + + +## **实现 AI 音视频通话** + +以下时序图展示了整个 WebRTC 音视频通话的完整流程： + +WebRTC 音视频通话流程时序图 + +![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5665914871/p1088079.png) + +### **创建 RTCPeerConnection** + +调用浏览器原生 `RTCPeerConnection` 创建连接实例，无需配置 ICE 服务器（服务端会处理 NAT 穿透）。 + +``` +pc = new RTCPeerConnection({ iceServers: [ ] }); +``` + +注册关键回调： + +``` +// 连接状态监听 +pc.onconnectionstatechange = () => { + if (!pc) return; + if (pc.connectionState === 'connected') { + setStatus('已连接，请说话', 'connected'); + } else if (["failed", "closed", "disconnected"].includes(pc.connectionState)) { + endSession(true); + } +}; + +// 接收远端音频流并播放 + 启动录制 +pc.ontrack = async (e) => { + const stream = e.streams[0]; + ensureHiddenAudioEl(); + hiddenRemoteAudioEl.srcObject = stream; + try { await hiddenRemoteAudioEl.play(); } catch {} + startRecordingRemoteStream(stream); +}; +``` + +### **获取本地媒体流** + +通过一次 `getUserMedia` 调用获取所需的音频（必须）和视频（可选）。是否开启视频由用户勾选"开启视频"复选框决定。 + +``` +const wantVideo = !!sendVideoCheckbox.checked; + +const constraints = wantVideo + ? { + audio: true, + video: { + facingMode: { ideal: "user" }, + frameRate: { ideal: 30, max: 30 }, + width: { ideal: 640 }, + height: { ideal: 480 }, + } + } + : { audio: true }; + +localStream = await navigator.mediaDevices.getUserMedia(constraints); +``` + +**说明** + +音频和视频通过**同一次** `getUserMedia` 调用获取，而非分开请求。视频预览帧率为 30fps（本地流畅预览），发送帧率会通过 Canvas 降至 2fps。 + +### **添加媒体轨道到 PeerConnection** + +**添加音频轨道：** + +``` +localStream.getAudioTracks().forEach(t => { + pc.addTrack(t, localStream); + gatedAudioTracks.push(t); +}); +``` + +**添加视频轨道（可选，通过 Canvas 降帧至 2fps）：** + +Canvas 尺寸从摄像头实际分辨率动态获取，而非硬编码： + +``` +const sendFps = 2; +const settings = localStream.getVideoTracks()[0].getSettings(); +sendCanvas = document.createElement("canvas"); +sendCanvas.width = settings.width || 640; // 动态获取实际宽度 +sendCanvas.height = settings.height || 480; // 动态获取实际高度 +sendCanvasCtx = sendCanvas.getContext("2d", { alpha: false }); + +sendCanvasStream = sendCanvas.captureStream(sendFps); // 2fps +const lowFpsTrack = sendCanvasStream.getVideoTracks()[0]; +pc.addTrack(lowFpsTrack, sendCanvasStream); +gatedVideoTracks.push(lowFpsTrack); + +// requestAnimationFrame 循环：将摄像头画面绘制到 Canvas +const pump = () => { + if (!sendCanvasCtx || !sendCanvas) return; + try { sendCanvasCtx.drawImage(localVideo, 0, 0, sendCanvas.width, sendCanvas.height); } catch {} + sendRafId = requestAnimationFrame(pump); +}; +sendRafId = requestAnimationFrame(pump); +``` + +**媒体门控（关键）：** + +添加轨道后立即禁止发送，确保在收到 `session.created` 之前不推送媒体数据： + +``` +// 1. 禁用所有轨道的 enabled +gateMedia(false); // track.enabled = false + +// 2. 将 sender 的 track 替换为 null，彻底阻止发送 +audioSender = pc.getSenders().find(s => s.track?.kind === 'audio'); +videoSender = pc.getSenders().find(s => s.track?.kind === 'video'); +audioTrack = audioSender?.track; +videoTrack = videoSender?.track; +await audioSender?.replaceTrack(null); +await videoSender?.replaceTrack(videoTrack ? null : undefined); +``` + +**说明** + +等价于其他 SDK 中的 `enableSendMediaStream(false)`，必须在收到 `session.created` 后才恢复发送。 + +### **创建 DataChannel** + +创建名为 `oai-events` 的 DataChannel，用于与 AI 服务端交换会话控制事件。 + +``` +const dc = pc.createDataChannel('oai-events'); + +dc.onopen = () => console.log("DC open"); +dc.onmessage = (e) => { + handleDcMessage(e.data, dc); +}; + +// 同时监听服务端主动创建的 DataChannel +pc.ondatachannel = (event) => { + const ch = event.channel; + ch.onmessage = (e) => { + handleDcMessage(e.data, ch); + }; +}; +``` + +### **生成 Offer SDP** + +调用 `createOffer()` 并设置本地描述，等待 ICE 候选收集完成后获取完整的 Offer SDP。 + +``` +pc.onicegatheringstatechange = () => { + if (!pc) return; + if (pc.iceGatheringState === "complete" && pc.localDescription?.sdp) { + const sdp = pc.localDescription.sdp; + // ICE 收集完成，Offer SDP 可用 + // 自动生成 curl 命令供用户使用 + } +}; + +const offer = await pc.createOffer(); +await pc.setLocalDescription(offer); +``` + +**说明** + +必须等待 `iceGatheringState === "complete"` 后再使用 SDP，此时 SDP 中包含所有 ICE 候选信息。 + +### **交换 SDP（通过 curl 命令或业务 AppServer）** + +将 Offer SDP 发送到百炼服务端，获取 Answer SDP。Demo 中通过 curl 命令完成： + +``` +curl -X POST 'https://{endpoint}/api/v1/webrtc/realtime?model=qwen3.5-omni-plus-realtime' \ + -H 'Content-Type: application/sdp' \ + -H 'Authorization: Bearer $DASHSCOPE_API_KEY' \ + --data-binary '' +``` + +**说明** + +生产环境中，此步骤应由业务 AppServer 代理完成，避免前端暴露 API Key。`{endpoint}` 为 Realtime API 接入地址。 + +### **设置 Answer SDP 建立连接** + +将服务端返回的 Answer SDP 设置为远端描述，WebRTC 连接即开始建立。注意 SDP 格式需要规范化处理： + +``` +function normalizeSdpForSetRemote(sdp) { + sdp = String(sdp).trim().replace(/\r?\n/g, "\r\n"); + if (!sdp.endsWith("\r\n")) sdp += "\r\n"; + return sdp; +} + +const answerSdp = normalizeSdpForSetRemote(txt); +await pc.setRemoteDescription({ type: 'answer', sdp: answerSdp }); +``` + +**说明** + +SDP 规范要求行尾为 `\r\n`，`normalizeSdpForSetRemote` 负责处理不同来源的换行符兼容问题。 + +### **配置 AI 会话（session.update）** + +连接建立后，服务端通过 DataChannel 发送 `session.created` 事件。收到后需： + +1. 解除媒体门控，恢复音视频发送 + +2. 发送 `session.update` 配置会话参数 + + +**解除门控并恢复媒体：** + +``` +function handleDcMessage(data, channel) { + let obj; + try { obj = JSON.parse(data); } catch (err) { return; } + + if (obj?.type === "session.created") { + // 解除门控：恢复 track.enabled + gateMedia(true); + // 恢复 sender 的实际 track + if (audioSender) audioSender.replaceTrack(audioTrack); + if (videoSender && videoTrack) videoSender.replaceTrack(videoTrack); + // 发送会话配置 + sendUpdate(channel); + } +} +``` + +**session.update 消息体：** + +``` +const update = { + event_id: `event_${Date.now()}`, + type: "session.update", + session: { + input_audio_format: "pcm", + input_audio_transcription: { model: "qwen3-asr-flash-realtime" }, + instructions: "You are a helpful assistant.", + modalities: ["text", "audio"], + output_audio_format: "pcm", + smooth_output: false, + turn_detection: { + prefix_padding_ms: 500, + silence_duration_ms: 800, + threshold: 0.5, + type: "server_vad", + }, + }, +}; +if (channel && channel.readyState === "open") channel.send(JSON.stringify(update)); +``` + +**说明** + +`turn_detection.type` 可设为 `server_vad`（基于音量检测）或 `semantic_vad`（基于语义检测）。WebRTC 模式不支持手动 VAD。 + +### **实时对话** + +连接建立后，音视频通过 RTP 实时传输。远端 AI 语音通过 `ontrack` 回调接收并播放，同时使用 MediaRecorder 录制以便下载。 + +**接收远端音频并录制：** + +``` +pc.ontrack = async (e) => { + const stream = e.streams[0]; + ensureHiddenAudioEl(); + hiddenRemoteAudioEl.srcObject = stream; + try { await hiddenRemoteAudioEl.play(); } catch {} + startRecordingRemoteStream(stream); // 启动录制 +}; + +function startRecordingRemoteStream(remoteStream) { + const audioTracks = remoteStream.getAudioTracks(); + if (!audioTracks.length) return; + const audioStream = new MediaStream(audioTracks); + + recordedChunks = [ ]; + + mediaRecorder = new MediaRecorder(audioStream, { mimeType: 'audio/webm' }); + mediaRecorder.ondataavailable = (e) => { + if (e.data && e.data.size > 0) recordedChunks.push(e.data); + }; + mediaRecorder.onstop = () => { + audioBlob = new Blob(recordedChunks, { type: 'audio/webm' }); + // 录制结束后可下载 + }; + mediaRecorder.start(); +} +``` + +**DataChannel 事件统一展示：** + +所有通过 DataChannel 收发的事件（包括 `session.created`、`response.audio_transcript.done` 等）统一通过事件面板展示，支持展开查看完整 JSON： + +``` +function pushEventFromDataChannel(eventObj) { + const ts = eventObj.timestamp || nowTs(); + events.unshift({ event: eventObj, timestamp: ts }); + renderEvents(); +} +``` + +### **结束会话与资源清理** + +结束通话时需依次清理所有资源，顺序很重要： + +``` +function endSession(silent = false) { + // 1. 停止 Canvas 降帧循环 + if (sendRafId) cancelAnimationFrame(sendRafId); + sendRafId = 0; + if (sendCanvasStream) sendCanvasStream.getTracks().forEach(t => t.stop()); + sendCanvasStream = null; sendCanvasCtx = null; sendCanvas = null; + + // 2. 停止录制 + try { if (mediaRecorder && mediaRecorder.state !== "inactive") mediaRecorder.stop(); } catch {} + mediaRecorder = null; + + // 3. 停止本地媒体流 + if (localStream) { + localStream.getTracks().forEach(t => t.stop()); + localStream = null; + } + + // 4. 关闭 PeerConnection + if (pc) { try { pc.close(); } catch {} pc = null; } + + // 5. 清理远端音频元素 + if (hiddenRemoteAudioEl) { + try { hiddenRemoteAudioEl.pause(); } catch {} + hiddenRemoteAudioEl.srcObject = null; + hiddenRemoteAudioEl.remove(); + hiddenRemoteAudioEl = null; + } +} +``` + +**说明** + +结束后可通过"下载远端音频"按钮下载 AI 回复的录音（WebM 格式）。 + +## **注意事项** + +1. **媒体门控必须在 session.created 后解除**：在服务端发送 `session.created` 之前推送媒体数据会被丢弃，必须通过 `replaceTrack(null)` 彻底阻断发送。 + +2. **视频降帧通过 Canvas 实现**：本地预览 30fps，发送至服务端仅 2fps，通过 `captureStream(2)` 控制，节省带宽。 + +3. **SDP 格式规范化**：设置 Answer SDP 前必须确保行尾为 `\r\n`，否则 `setRemoteDescription` 可能失败。 + +4. **视频为可选功能**：用户未勾选视频时，仅请求音频权限，不会触发摄像头授权弹窗。 + +5. **远端音频自动录制**：通过 MediaRecorder 录制 AI 回复的音频流，会话结束后可下载 WebM 格式文件。 + +6. **WebRTC 仅支持服务端 VAD**：不支持 `manual` 模式，可选 `server_vad`（音量检测）或 `semantic_vad`（语义检测）。 + + +## **完整 demo 下载** + +完整示例代码请下载：[webrtc\_demo.html](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/ychtmj/webrtc_demo.html)。 + +## **相关文档** + +- [WebRTC API (MDN)](https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API) + +- [RTCPeerConnection (MDN)](https://developer.mozilla.org/zh-CN/docs/Web/API/RTCPeerConnection) + +- qwen3.5-omni-plus-realtime 模型客户端事件：[客户端事件](https://help.aliyun.com/zh/model-studio/client-events) + +- qwen3.5-omni-plus-realtime 模型服务端事件：[服务端事件](https://help.aliyun.com/zh/model-studio/server-events) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md new file mode 100644 index 00000000..217e42ed --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md @@ -0,0 +1,180 @@ +# Realtime API简介 + +Realtime API 是一系列针对性能、延迟、抗弱网、对接成本、适配性提供多种对接方式的方法，供客户灵活选择。 + +## **概述** + +Realtime API 支持 **WebSocket**、**WebRTC** 和 **AOQ（AI over QUIC）**三种传输协议，开发者可以根据业务场景灵活选择。 + +**维度** + +**WebSocket** + +**WebRTC** + +**AOQ** + +适用场景 + +服务端集成、快速原型验证 + +浏览器端互动、传统音视频通话 + +AI 多模态实时交互、弱网场景、混合数据传输 + +浏览器兼容性 + +原生支持 + +原生支持 + +不支持 + +接入难度 + +极低 + +中等 + +低 + +弱网对抗 + +差 + +良好 + +极致 + +数据类型 + +文本/音频/图像 + +音视频 + 文本 + +音视频 + 文本 + +建连速度 + +慢 + +慢 + +快 + +回声消除/降噪 + +无，需客户端自行处理 + +内置 + +内置 + +AI 场景适配 + +基础，适合纯文本或低实时性场景 + +传统设计，AI 场景需额外适配 + +原生为 AI 多模态数据特征深度定制 + +端侧平台支持 + +全平台（任何支持 WebSocket 的环境） + +浏览器、移动端 + +Android / iOS / HarmonyOS + +开发者可根据实际需求选择协议方案： + +- **WebSocket 方案**：适合服务端集成、快速原型验证、对接入门槛要求极低的场景。通过 DashScope SDK 可快速实现实时语音对话。 + +- **WebRTC 方案**：适合需要浏览器原生支持、已有 WebRTC 基础设施的传统音视频通话场景，内置回声消除和降噪能力。 + +- **AOQ 方案**：适合对延迟、弱网对抗、多模态数据传输有极致要求的 AI 实时交互场景，同时内置回声消除和降噪能力，尤其是移动端原生应用。 + + +## **模型/应用支持力度** + +不同协议对模型和应用的支持情况如下： + +**模型/应用类型** + +**模型** + +**AOQ** + +**WebRTC** + +**WebSocket** + +实时全模态 + +qwen3.5-omni-plus-realtime + +支持 + +支持 + +支持 + +qwen3.5-omni-flash-realtime + +支持 + +支持 + +支持 + +qwen3.5-livetranslate-flash-realtime + +支持 + +支持 + +支持 + +多模态开发套件 + +multimodal-dialog + +不支持 + +支持 + +支持 + +实时语音识别 + +Fun-ASR系列模型 + +不支持 + +不支持 + +支持 + +实时语音合成 + +CosyVoice系列模型 + +不支持 + +不支持 + +支持 + +实时语音对话 + +qwen-audio-3.0-realtime-plus、qwen-audio-3.0-realtime-flash + +不支持 + +不支持 + +支持 + +**说明** + +模型的名称、上下文、价格、快照版本等信息请参见[阿里云百炼控制台](https://bailian.console.aliyun.com/cn-beijing#/home)；并发限流条件请参考[限流](https://help.aliyun.com/zh/model-studio/rate-limit)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md new file mode 100644 index 00000000..147179b9 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md @@ -0,0 +1,291 @@ +# 实现接通模型/应用 + +介绍如何通过 AOQ、WebRTC、WebSocket 三种协议接入 Realtime API 模型或应用，包含各协议的连接流程、时序图和代码示例。 + +## **AOQ 接入** + +AOQ 基于 QUIC 协议深度定制，适合移动端原生应用，支持音频/视频/数据混合传输，内置极致抗弱网能力。以下以 iOS Demo 为例。 + +### **整体流程时序图** + +![AOQ中文1](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5755914871/p1088073.jpg) + +### **创建引擎并设置回调** + +``` +let config = AoqCreateConfig() +config.workDir = workDir +config.enableDumpAudio = false +engine = AoqClientEngine.createEngine(config, delegate: self) +``` + +实现 `AoqEngineDelegate` 协议监听 `onConnectionStatusChange`、`onDataMsg`、`onError` 等回调。 + +### **启动音频采集与播放** + +``` +// 音频采集 +let capCfg = AoqAudioCaptureConfig() +capCfg.channel = 1; capCfg.isExternal = false +engine.startAudioCapture(capCfg) + +// 音频播放 +let playCfg = AoqAudioPlaybackConfig() +playCfg.channel = 1; playCfg.isExternal = false +engine.startAudioPlayer(playCfg) + +// 视频采集（可选） +let vidCfg = AoqVideoCaptureConfig() +vidCfg.width = 720; vidCfg.height = 1280; vidCfg.fps = 15 +engine.startVideoCapture(vidCfg) +``` + +### **获取连接凭证** + +由业务 AppServer 代理百炼请求，参考 [Token 鉴权](https://help.aliyun.com/zh/model-studio/realtime-token-authentication) 章节。 + +### **设置编解码及建立连接** + +设置编解码参数后调用 `connect`： + +``` +// 音频编解码配置 +let encCfg = AoqAudioCodecConfig() +encCfg.codecType = .audioPCM; encCfg.sampleRate = 16000; encCfg.channel = 1 +engine.setAudioEncoderConfig(encCfg) +engine.setAudioDecoderConfig(encCfg) + +// connect 前关闭媒体发送，待 session.updated 后再开启 +engine.enableSendMediaStream(.audio, enable: false) + +let config = AoqConnectConfig() +config.token = token +config.sid = sid +config.certFingerprint = certificate +config.relayEndpoints = relayEndpoints +config.workspaceIdHash = workspaceIdHash +config.publishTracks = [audioTrack, dataTrack] +config.subscribeTracks = [audioTrack, dataTrack] +engine.connect(config) +``` + +**重要** + +**重要**：AOQ SDK 在建联后会默认发送媒体数据，此示例演示了连接模型时关闭媒体发送的能力。 + +### **配置 AI 会话** + +连接成功后发送 `session.update` 的示例，详见[模型客户端事件参考](https://help.aliyun.com/zh/model-studio/client-events)： + +``` +func onConnectionStatusChange(_ status: AoqConnectionStatus) { + if status == .connected { sendSessionUpdate() } +} + +private func sendSessionUpdate() { + let json = """ + { + // 该事件的id，由客户端生成 + "event_id": "event_ToPZqeobitzUJnt3QqtWg", + // 事件类型，固定为session.update + "type": "session.update", + // 会话配置 + "session": { + // 输出模态，支持设置为["text"]（仅输出文本）或["text","audio"]（输出文本与音频）。 + "modalities": [ + "text", + "audio" + ], + // 输出音频的音色 + "voice": "Ethan", + // 输入音频格式，当前仅支持设置为pcm。输入音频为16 kHz采样率的PCM音频流。 + "input_audio_format": "pcm", + // 输出音频格式，当前仅支持设置为pcm。输出音频为24 kHz采样率的PCM音频流。 + "output_audio_format": "pcm", + // 系统消息，用于设定模型的目标或角色。 + "instructions": "你是某五星级酒店的AI客服专员，请准确且友好地解答客户关于房型、设施、价格、预订政策的咨询。请始终以专业和乐于助人的态度回应，杜绝提供未经证实或超出酒店服务范围的信息。", + // 是否开启语音活动检测。若需启用，需传入一个配置对象，服务端将据此自动检测语音起止。 + // 设置为null表示由客户端决定何时发起模型响应。 + "turn_detection": { + // VAD类型，取值为server_vad或semantic_vad。使用qwen3.5-omni-realtime模型时推荐设为semantic_vad。 + "type": "semantic_vad", + // VAD检测阈值。建议在嘈杂的环境中增加，在安静的环境中降低。 + "threshold": 0.5, + // 检测语音停止的静音持续时间，超过此值后会触发模型响应 + "silence_duration_ms": 800 + } + } + } + """ + let msg = AoqDataMsg() + msg.data = json.data(using: .utf8)! + engine.send(msg) +} +``` + +### **收到 session.updated 后开启媒体发送** + +收到模型回复 `session.updated` 的示例，详见[模型服务器事件参考](https://help.aliyun.com/zh/model-studio/server-events)： + +``` +func onDataMsg(_ msg: AoqDataMsg) { + guard let obj = try? JSONSerialization.jsonObject(with: msg.data) as? [String: Any], + let type = obj["type"] as? String else { return } + if type == "session.updated" { + engine.enableSendMediaStream(.audio, enable: true) + engine.enableSendMediaStream(.video, enable: true) + } +} +``` + +**重要** + +**重要**： + +1. 模型必须在收到 `session.updated` 后才开启媒体流发送，否则 AI 侧可能还未准备好接收数据。 + +2. 建连时添加的音频轨道和视频轨道（即 AOQ 媒体通道）会自动将数据传输到服务端。 + + 1. 音频：通过音频轨道直接传输，无需发送 `input_audio_buffer.append` 事件。 + + 2. 视频：通过视频轨道发送画面帧，无需发送 `input_image_buffer.append` 事件。 + + +### **断开连接与销毁引擎** + +``` +engine.disconnect() +AoqClientEngine.destroy() +``` + +## **WebRTC 接入** + +WebRTC 协议不提供 SDK，Web 端可以通过 JavaScript，其他端可以通过开源项目或者第三方支持标准 WebRTC 协议的 RTC 服务商进行接入。以下文档以 Web 端 JavaScript 为例进行介绍。 + +### **整体流程图** + +![AOQ中文2](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5755914871/p1088074.jpg) + +### **建立连接** + +``` +# pip install aiortc aiohttp certifi +import asyncio, aiohttp, ssl, certifi +from aiortc import RTCPeerConnection, RTCConfiguration, RTCSessionDescription +from aiortc.mediastreams import AudioStreamTrack + +API_KEY = "your-api-key" +MODEL = "目标模型" +SIGNALING_URL = f"https://{{endpoint}}/api/v1/webrtc/realtime?model={MODEL}" + +async def connect(): + pc = RTCPeerConnection(RTCConfiguration(iceServers=[])) + + # 添加音频轨道，确保 Offer SDP 包含 m=audio（服务端必需） + pc.addTrack(AudioStreamTrack()) + + # 创建 DataChannel 以触发 SDP 协商（名称可自定义，服务端会通过名为 "txt" 的通道推送事件） + pc.createDataChannel("oai-events") + + # SDP 交换：创建 Offer 并发送到服务端 + offer = await pc.createOffer() + await pc.setLocalDescription(offer) + + async with aiohttp.ClientSession() as session: + async with session.post( + SIGNALING_URL, + ssl=ssl.create_default_context(cafile=certifi.where()), + data=offer.sdp.encode("utf-8"), + headers={ + "Content-Type": "application/sdp", + "Authorization": f"Bearer {API_KEY}", + }, + ) as resp: + if not resp.ok: + raise Exception(f"SDP 交换失败: {resp.status} {await resp.text()}") + answer_sdp = await resp.text() + + print("=== Offer SDP ===") + print(offer.sdp) + print("=== Answer SDP ===") + print(answer_sdp) + + # ICE 建连自动完成 + await pc.setRemoteDescription(RTCSessionDescription(sdp=answer_sdp, type="answer")) + print("WebRTC 连接已建立") + return pc +``` + +### **配置目标模型参数** + +监听模型返回的 DataChannel 消息保证交互时序： + +``` +pc.ondatachannel = (event) => { + const ch = event.channel; + ch.onmessage = (e) => { + let obj; + try { obj = JSON.parse(e.data); } + catch (err) { + return; + } + if (obj?.type === "session.created") { + sendUpdate(event.channel); + //开始推送音视频 + audioSender?.replaceTrack(audioTrack); + videoSender?.replaceTrack(videoTrack); + } + }; +}; +``` + +### **收发媒体数据** + +建连时添加的音频轨道和视频轨道（即 RTP 媒体通道）会自动将数据传输到服务端。 + +- 音频：通过音频轨道（RTP）直接传输，无需发送 `input_audio_buffer.append` 事件。 + +- 图片：通过视频轨道（RTP）发送画面帧，不支持 `input_image_buffer.append` 事件。 + + +**说明** + +WebRTC 仅支持服务端 VAD 模式（`server_vad` 或 `semantic_vad`），不支持手动模式。 + +### **Demo 源码** + +#### **前提条件** + +- 使用支持 WebRTC 的现代浏览器（Chrome、Edge、Firefox、Safari 等）。 + +- 浏览器需要麦克风权限。 + +- 浏览器无法直接向服务端发起建立连接的请求（受浏览器跨域安全策略限制），因此需要通过终端执行 curl 命令来完成连接建立。 + + +#### **运行示例** + +新建一个 HTML 文件，命名为 `webrtc_demo.html`，并将以下代码复制到文件中： + +[webrtc\_demo.html](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/crtwmi/webrtc_demo.html)。 + +在浏览器中打开此文件，按以下步骤操作： + +1. 点击开始会话，页面会自动生成 Offer SDP 和对应的 curl 命令。 + +2. 点击复制 curl 命令，在终端中执行。命令返回的内容即为 Answer SDP。 + +3. 将 Answer SDP 粘贴到页面的 Answer SDP 文本框中，点击设置 Answer 即可建立连接并开始语音对话。 + + +## **WebSocket 接入** + +可以通过 DashScope SDK 或者模型的 API 进行接入，详见： + +- [实时全模态](https://help.aliyun.com/zh/model-studio/realtime#bdaa43cdd7hsd) + +- [多模态开发套件](https://help.aliyun.com/zh/model-studio/multimodal-interaction-protocol/) + +- [实时语音识别](https://help.aliyun.com/zh/model-studio/fun-asr-realtime-websocket-api) + +- [实时语音合成](https://help.aliyun.com/zh/model-studio/cosyvoice-websocket-api) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md new file mode 100644 index 00000000..69982edf --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md @@ -0,0 +1,60 @@ +# SDK下载 + +本文提供AOQ SDK下载链接，介绍如何集成SDK，以及SDK相关信息。 + +## **AOQ SDK下载** + +**版本** + +**平台** + +**下载** + +**更新日期** + +**更新说明** + +v1.0.1 + +Android + +[AoqClientSdk-v1.0.1.aar](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/sqsjum/AoqClientSdk-v1.0.1.aar) + +[libPluginOpus.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/oxzenn/libPluginOpus.zip) + +2026-07-09 + +1. 支持AOQ协议接入模型/应用 + +2. 支持音视频编解码参数 + +3. 支持音视频设备采集及播放 + +4. 支持自定义外部输入音频采集 + +5. 支持自定义外部输入视频采集 + +6. 支持自定义外部输入视频编码 + +7. 支持控制媒体流的发送 + + +iOS + +[AoqClientSdk-v1.0.1.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/vlyumo/AoqClientSdk-v1.0.1.zip) + +[PluginOpus.framework.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/rbvmfq/PluginOpus.framework.zip) + +Harmony + +[AoqClientSdk-v1.0.1.har](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/zwlikp/AoqClientSdk-v1.0.1.har) + +[libPluginOpus.zip](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260715/wvtyrh/libPluginOpus.zip) + +**重要** + +AOQ使用音频插件的方式加载Opus编解码器，如果需要Opus编解码时需要下载opus插件并加载到工程内。 + +## **WebSocket SDK下载** + +参见[安装SDK](https://help.aliyun.com/zh/model-studio/install-sdk)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md new file mode 100644 index 00000000..6830d3a4 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md @@ -0,0 +1,358 @@ +# Token鉴权 + +介绍 Realtime API 的 Token 鉴权机制，包括 API Key 的获取方式以及 WebSocket、WebRTC、AOQ 三种协议的建连鉴权方法。 + +## **概述** + +Realtime API 使用 **API Key** 进行身份认证。无论您选择 WebSocket、WebRTC 还是 AOQ 协议接入，均通过 HTTP 请求头中的 `Authorization` 字段携带 Bearer Token 完成身份验证。 + +鉴权发生在**建连阶段**，连接建立后的音视频/数据传输无需重复鉴权。 + +三种协议的鉴权差异： + +**协议** + +**鉴权时机** + +**鉴权方式** + +**说明** + +WebSocket + +WebSocket 连接握手时 + +HTTP Header `Authorization: Bearer ` + +客户端或服务端直接携带 API Key 建连 + +WebRTC + +SDP 交换 HTTP 请求时 + +HTTP Header `Authorization: Bearer ` + +客户端或服务端携带 API Key 发起 SDP 交换 + +AOQ + +业务 AppServer 请求网关时 + +HTTP Header `Authorization: Bearer ` + +API Key 仅在服务端使用，客户端使用网关返回的 Token + +## **获取 API Key** + +### **步骤 1：开通百炼服务** + +1. 访问[阿里云百炼控制台](https://bailian.console.aliyun.com/cn-beijing#/home)并登录您的阿里云账号。 + +2. 如果是首次使用，按照页面提示完成服务开通。 + + +### **步骤 2：创建 API Key** + +1. 在控制台左侧导航栏中，选择 **API Key 管理**。 + +2. 点击 **创建 API Key**，选择关联的业务空间。 + +3. 创建完成后，请**立即复制并妥善保存** API Key。 + + +**重要** + +**安全提示**：API Key 是您访问服务的唯一凭证，请勿将其硬编码到客户端代码中或提交到代码仓库。建议通过环境变量或后端服务下发的方式管理。 + +## **建连鉴权详解** + +### **AOQ 协议鉴权** + +AOQ 采用**服务端代理鉴权**模式：API Key 仅在业务 AppServer 侧使用，客户端使用网关返回的临时 Token 建连，避免 API Key 暴露在客户端。 + +![Token鉴权](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3935914871/p1088069.jpg) + +#### **百炼网关请求 curl 示例** + +``` +curl -X POST \ + "https://{endpoint}/api/v1/webrtc/realtime?model=qwen3.5-omni-plus-realtime" \ + -H "Content-Type: application/json" \ + -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \ + -H "x-dashscope-rtc-transport: moq" \ + -d '{"clientIp": ${客户端真实IP}}' +``` + +#### **请求字段说明** + +**配置项** + +**值** + +**说明** + +endpoint + +根据业务情况选择接入域名 + +指定对应的接入域名，详情请参见[选择地域、服务部署范围和接入域名](https://help.aliyun.com/zh/model-studio/regions/) + +Content-Type + +`application/json` + +\- + +Authorization + +`Bearer ` + +必填 + +x-dashscope-rtc-transport + +`moq` + +**指定使用 AOQ 协议** + +clientIp + +选填。客户端真实公网 IP + +不填写时，使用请求百炼网关的 IP 作为客户端 IP；若填写，则以 clientIp 作为客户端 IP。Realtime API 会参考客户端 IP 提供最佳的 Relay 接入点信息 + +#### **响应示例** + +``` +{ + "sid": "1d06b55683db49bba67a407902f62d02:1782706970:69aecdc5...", + "aoqTokenForClient": "ecc1a46015d5496ca4ff7a48281eb739", + "clientRelayEndpoints": [{"endpoint": "121.199.XX.XX", "port": 8443}], + "clientRelayCertFingerprint": "sha256/99843495...", + "sidExpiresInSecs": 7200, + "extraInfo": {"workspaceIdHash": "2021b6f98cea4cff"} +} +``` + +#### **响应字段说明** + +**字段** + +**说明** + +sid + +会话唯一标识 + +aoqTokenForClient + +客户端连接令牌，传给 SDK 的 token 字段 + +clientRelayEndpoints + +Relay 接入点数组（endpoint + port） + +clientRelayCertFingerprint + +Relay TLS 证书指纹 + +sidExpiresInSecs + +会话过期时间（秒） + +extraInfo.workspaceIdHash + +工作区 ID 哈希 + +#### **AOQ Client SDK 连接示例** + +## **iOS (Swift)** + +``` +let resp = try JSONDecoder().decode(AllocateResponse.self, from: responseData) + +let config = AoqConnectConfig() +config.token = resp.aoqTokenForClient +config.sid = resp.sid +config.certFingerprint = resp.clientRelayCertFingerprint +config.relayEndpoints = resp.clientRelayEndpoints.map { item in + let ep = AoqRelayEndpoint() + ep.endpoint = item.endpoint + ep.port = item.port + return ep +} +config.workspaceIdHash = resp.extraInfo?.workspaceIdHash ?? "" + +let audioTrack = AoqTrackParam() +audioTrack.trackType = .audio +let dataTrack = AoqTrackParam() +dataTrack.trackType = .data +config.publishTracks = [audioTrack, dataTrack] +config.subscribeTracks = [audioTrack, dataTrack] + +engine.connect(config) +``` + +## **Android (Java)** + +``` +JSONObject obj = new JSONObject(responseText); +AoqClientEngine.AoqConnectConfig cfg = new AoqClientEngine.AoqConnectConfig(); +cfg.token = obj.optString("aoqTokenForClient", ""); +cfg.sid = obj.optString("sid", ""); +cfg.certFingerprint = obj.optString("clientRelayCertFingerprint", ""); + +JSONArray arr = obj.optJSONArray("clientRelayEndpoints"); +if (arr != null) { + for (int i = 0; i < arr.length(); i++) { + JSONObject o = arr.optJSONObject(i); + AoqClientEngine.AoqRelayEndpoint ep = new AoqClientEngine.AoqRelayEndpoint(); + ep.endpoint = o.optString("endpoint", ""); + ep.port = o.optInt("port", 0); + cfg.relayEndpoints.add(ep); + } +} + +JSONObject ext = obj.optJSONObject("extraInfo"); +cfg.workspaceIdHash = ext != null ? ext.optString("workspaceIdHash", "") : ""; + +AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam(); +audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio; +AoqClientEngine.AoqTrackParam data = new AoqClientEngine.AoqTrackParam(); +data.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData; +cfg.publishTracks.add(audio); +cfg.publishTracks.add(data); +cfg.subscribeTracks.add(audio); +cfg.subscribeTracks.add(data); + +engine.connect(cfg); +``` + +## **OHOS (ArkTS)** + +``` +const obj = JSON.parse(responseText) as Record; +const cfg: AoqConnectConfig = { + token: String(obj['aoqTokenForClient'] ?? ''), + sid: String(obj['sid'] ?? ''), + certFingerprint: String(obj['clientRelayCertFingerprint'] ?? ''), + relayEndpoints: (obj['clientRelayEndpoints'] as Array).map(item => ({ + endpoint: String(item['endpoint'] ?? ''), + port: Number(item['port'] ?? 0) + })), + workspaceIdHash: String((obj['extraInfo'] as any)?.['workspaceIdHash'] ?? ''), + publishTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeData } + ], + subscribeTracks: [ + { trackType: AoqTrackType.AoqTrackTypeAudio }, + { trackType: AoqTrackType.AoqTrackTypeData } + ] +}; +engine.connect(cfg); +``` + +**说明** + +`clientIp` 为请求体中的非必填字段。不填写时，使用请求百炼网关的 IP 作为客户端 IP；若填写，则以 clientIp 作为客户端 IP。建议由业务 AppServer 在服务端获取客户端真实 IP 后填入，以获得最佳的 Relay 接入点。 + +## **WebRTC 协议鉴权** + +WebRTC 通过 HTTP POST 请求完成 SDP 交换，鉴权在此阶段完成。客户端将 Offer SDP 发送给服务端，服务端返回 Answer SDP。 + +**配置项** + +**值** + +**说明** + +请求方法 + +POST + +\- + +请求地址 + +`https://{endpoint}/api/v1/webrtc/realtime?model={model_name}` + +替换 endpoint 和 model\_name + +Content-Type + +`application/sdp` + +请求体为 SDP 字符串 + +Authorization + +`Bearer ` + +必填 + +响应 + +HTTP 200，返回 Answer SDP + +失败返回 4xx + +**说明** + +WebRTC 功能目前为白名单开放，请联系商务经理获取 Endpoint。 + +``` +const pc = new RTCPeerConnection(); +const stream = await navigator.mediaDevices.getUserMedia({ audio: true }); +stream.getAudioTracks().forEach(t => pc.addTrack(t, stream)); +pc.createDataChannel('oai-events'); + +const offer = await pc.createOffer(); +await pc.setLocalDescription(offer); + +// 等待 ICE 收集完成后发送 +const resp = await fetch(API_URL, { + method: 'POST', + headers: { + 'Content-Type': 'application/sdp', + 'Authorization': `Bearer ${API_KEY}`, + }, + body: pc.localDescription.sdp, +}); +const answerSdp = await resp.text(); +await pc.setRemoteDescription({ type: 'answer', sdp: answerSdp }); +``` + +## **WebSocket 协议鉴权** + +WebSocket 鉴权最为简单，客户端在建立 WebSocket 连接时直接通过 HTTP Header 携带 API Key。 + +**配置项** + +**值** + +**说明** + +连接地址 + +`wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model={model_name}` + +华北2（北京） + +Authorization + +`Bearer ` + +必填 + +``` +import websocket, os +API_KEY = os.getenv("DASHSCOPE_API_KEY") +URL = "wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=qwen3.5-omni-plus-realtime" +ws = websocket.WebSocketApp(URL, header=["Authorization: Bearer " + API_KEY]) +ws.run_forever() +``` + +**说明** + +您也可以使用 [DashScope SDK](https://help.aliyun.com/zh/model-studio/install-sdk) 方式接入。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md index a108688f..5867b61c 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/model-release-notes.md @@ -33,6 +33,30 @@ **功能说明** +7月21日 + +平台功能 + +记忆库商业化通知 + +记忆库商业化通知[了解详情](https://www.aliyun.com/notice/118464) + +7月16日 + +平台功能 + +企业知识库（旧）下线通知 + +企业知识库（旧）下线通知[了解详情](https://www.aliyun.com/notice/118448) + +7月16日 + +平台功能 + +Managed Agent商业化通知 + +Managed Agent商业化通知[了解详情](https://www.aliyun.com/notice/118456) + 7月14日 平台功能 @@ -177,7 +201,7 @@ Coding Plan Coding Plan 联网搜索 MCP 升级 -Coding Plan 联网搜索 MCP 升级 Streamable HTTP 协议，前 2000 次免费，[了解详情](https://help.aliyun.com/zh/model-studio/web-search-for-coding-plan) +Coding Plan 联网搜索 MCP 升级 Streamable HTTP 协议，前 2000 次免费，[了解详情](https://help.aliyun.com/zh/model-studio/web-search-mcp) 6月10日 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md index 1fffce5d..7ac5da7c 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/release-notes/newly-released-models.md @@ -14,6 +14,26 @@ **功能说明** +图像生成 + +2026-07-21 + +中国内地 + +qwen-image-3.0-pro + +Qwen-Image-3.0-Pro 系列模型邀测上线，支持长文本输入与图中图密集排版，能够一次性精准生成报纸、分镜、菜单及试卷等复杂版面；具备10像素小字精准渲染能力，生动还原微表情、毛孔与发丝等摄影级细节，并支持 12 国语言、多种字体及主流网页、游戏界面的高保真仿真。[千问-图像生成与编辑3.0](https://help.aliyun.com/zh/model-studio/qwen-image-generation-and-editing-api-reference) + +文生文与视觉理解 + +2026-07-17 + +中国内地 + +kimi/kimi-k3 + +Kimi K3 是 Kimi 迄今能力最强的旗舰模型，拥有 2.8 万亿参数，原生支持视觉理解，并拥有 100 万 token 上下文窗口，面向长程编程、知识工作和推理等前沿智能场景而设计。[Kimi-月之暗面](https://help.aliyun.com/zh/model-studio/kimi-api-by-moonshot-ai) + 视频对口型 2026-07-15 @@ -62,7 +82,7 @@ Qwen-Audio端到端实时语音大模型兼顾语音推理能力与双工对话 qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash -Qwen-Audio-TTS语音合成模型上线，新增更多小语种和中文方言支持，增强了指令遵循与细粒度标签控制能力，音质和表现力全面提升。其中 Plus 版本面向高品质专业场景，Flash 版本面向低延迟实时交互场景，首包延时控制在 200ms 以内。[实时语音合成](https://help.aliyun.com/zh/model-studio/realtime-tts-user-guide) +Qwen-Audio-TTS语音合成模型上线，新增更多小语种和中文方言支持，增强了指令遵循与细粒度标签控制能力，音质和表现力全面提升。其中 Plus 版本面向高品质专业场景，Flash 版本面向低延迟实时交互场景。[实时语音合成](https://help.aliyun.com/zh/model-studio/realtime-tts-user-guide) 文生图/参考生图 @@ -2928,6 +2948,16 @@ qwen1.5-110b-chat **功能说明** +图像生成 + +2026-07-21 + +国际 + +qwen-image-3.0-pro + +Qwen-Image-3.0-Pro 系列模型邀测上线，支持长文本输入与图中图密集排版，能够一次性精准生成报纸、分镜、菜单及试卷等复杂版面；具备10像素小字精准渲染能力，生动还原微表情、毛孔与发丝等摄影级细节，并支持 12 国语言、多种字体及主流网页、游戏界面的高保真仿真。[千问-图像生成与编辑3.0](https://help.aliyun.com/zh/model-studio/qwen-image-generation-and-editing-api-reference) + 语音合成 2026-07-14 @@ -2936,7 +2966,7 @@ qwen1.5-110b-chat qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash -Qwen-Audio-TTS语音合成模型上线，新增更多小语种和中文方言支持，增强了指令遵循与细粒度标签控制能力，音质和表现力全面提升。其中 Plus 版本面向高品质专业场景，Flash 版本面向低延迟实时交互场景，首包延时控制在 200ms 以内。[实时语音合成](https://help.aliyun.com/zh/model-studio/realtime-tts-user-guide) +Qwen-Audio-TTS语音合成模型上线，新增更多小语种和中文方言支持，增强了指令遵循与细粒度标签控制能力，音质和表现力全面提升。其中 Plus 版本面向高品质专业场景，Flash 版本面向低延迟实时交互场景。[实时语音合成](https://help.aliyun.com/zh/model-studio/realtime-tts-user-guide) 参考生视频 @@ -2956,7 +2986,7 @@ wan2.7-r2v-2026-06-12 kimi-k2.7-code -Kimi K2.7 Code 模型新加坡地域上线。以编码为中心的智能体模型，专为长程软件工程任务优化，仅支持思考模式。[](#) +Kimi K2.7 Code 模型新加坡地域上线。以编码为中心的智能体模型，专为长程软件工程任务优化，仅支持思考模式。[Kimi-阿里云](https://help.aliyun.com/zh/model-studio/kimi-api) 图像生成 @@ -3852,6 +3882,16 @@ qwen3-asr-flash-realtime、qwen3-asr-flash-realtime-2025-10-27 **功能说明** +推理模型 + +2026-07-17 + +美国 + +qwen3.6-flash-us + +Qwen3.6 原生视觉语言 Flash 系列模型，在整体性能上较 Qwen3.5-Flash 显著提升。重点增强了智能体编程能力（在多项代码智能体基准上大幅超越前代）、数学推理和代码推理能力；在视觉能力方面，空间智能显著增强，其中物体定位和目标检测表现尤为突出。 + 文生文 2026-07-14 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/after-sales-service-scope.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/after-sales-service-scope.md new file mode 100644 index 00000000..54844525 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/after-sales-service-scope.md @@ -0,0 +1,57 @@ +# 阿里云百炼平台售后服务范围说明 + +## **阿里云百炼平台售后服务范围说明** + +欢迎您使用阿里云百炼。本《**阿里云百炼平台售后服务范围说明》是对您使用阿里云百炼相关产品和服务时适用的售后服务范围的说明。** + +1\. 在您购买的服务期限内，我们将为您提供如下售后基础服务，即通过官网、电话及阿里云APP提供7×24的电话咨询（95187、400电话）、智能在线和标准工单支持。支持范围包括： + +（1）关于阿里云百炼模型服务与产品功能、架构的咨询； + +（2）使用、配置阿里云百炼模型服务的最佳实践； + +（3）阿里云百炼模型服务的使用咨询、技术问题及故障诊断； + +（4）阿里云百炼API及阿里云百炼官方SDK问题的故障诊断； + +（5）与阿里云百炼管理控制台相关的问题； + +（6）与阿里云相关的账号问题咨询支持； + +（7）与阿里云相关的财务、合同及计费问题的咨询支持。 + +2\. 阿里云百炼将以阿里云官网页面公布的[客户服务权益](https://www.aliyun.com/service/customer-service-benefits?spm=5176.support-home.J_3451238410.1.12d1156fPBBxO0)标准向您提供相应的售后服务支持。 + +3\. 阿里云百炼同时提供付费版的售后增值服务（包括支持计划等），该等服务需在阿里云官网订购后生效使用。您还可通过阿里云获得其他付费的售后服务，具体详见阿里云的网站相关页面的收费售后服务内容。如您的项目需要更深度的技术支持（如业务代码编写指导、定制化集成方案等），建议联系阿里云商务经理沟通定制化服务方案。 + +4\. 为了方便您的生产或使用，如您选择将阿里云百炼服务与外部（非阿里云百炼平台上的）第三方工具或产品进行对接，阿里云将尽商业上合理的努力为您提供第三方工具在接入阿里云百炼模型推理服务过程中的方向性建议，但针对非阿里云百炼服务相关的问题，我们无法提供专业意见。 + +（1）我们提供建议的范围包括： + +（i）确认阿里云百炼API接口及服务端的可用状态； + +（ii）阿里云百炼官方API调用示例及SDK使用说明参考； + +（iii）协助核查阿里云百炼服务端调用明细和计费记录； + +（iv）基本的连通性测试建议（如通过curl等标准工具测试阿里云百炼服务地址的可达性）。 + +**（2）我们提供建议的范围不包括：** + +（i）第三方工具（如Cursor、Windsurf、Cline、OpenClaw等）的安装、部署、配置、升级及日常使用指导； + +（ii）第三方工具的产品功能、交互逻辑及内部实现问题的排查； + +（iii）其他云厂商、企业或社区提供的产品或服务的配置与运维； + +（iv）用户业务代码的编写、调试与实现； + +（v）用户本地环境（含内网、代理、VPN、防火墙、操作系统等）导致的连通性或兼容性问题的排查； + +（vi）第三方工具内部显示的Token数量、费用预估值或调用统计与阿里云计费数据之间的差异解释； + +（vii）所有第三方工具的安装、补丁更新、测试、故障诊断、优化等日常运维服务； + +（viii）基于阿里云百炼模型服务原生能力之上的第三方自建业务相关支持。 + +5\. 但请您注意，除我们另有书面说明外，第三方工具不构成我们的代理、受托或联合服务主体，**我们不对外部第三方工具的任何陈述、承诺或行为承担责任。**您知悉并确认，阿里云仅负责阿里云百炼平台自身的运营维护，即百炼服务端的技术架构、API接口、计量计费系统、控制台功能等；**第三方工具的运行维护（如AI编程工具的安装配置、开源代理框架的部署调优等）由您及相应工具提供方负责。**当您的问题出现在百炼模型服务的使用过程中，但其原因、责任范围或依赖关系已超出阿里云百炼平台本身可直接提供支持和保障的范围时——通常涉及您侧系统、外部第三方服务、网络环境、账号权限、业务流程或非标集成，阿里云将协助进行初步排查。若经排查确认问题来源于非阿里云侧，阿里云将给予方向性建议并引导您联系相应的服务主体。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md index fff36d4d..53d67f33 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md @@ -208,6 +208,10 @@ 等待时间取决于您的具体限流值（RPS/RPM）。例如，如果您的限流是120 RPM（每分钟查询数），即每秒2次请求。如果您在0.2秒内连续提交了2次请求，第3次请求就会被限流，您需要等待大约0.8秒后才能再次成功提交。 +17. **qwen-plus-latest 这个模型具体对应哪个系列？是 Qwen3.7 还是 Qwen3.5？** + + qwen-plus-latest 是 qwen-plus 的最新版本，属于 Qwen3 系列，而非 Qwen3.5 或 Qwen3.7 系列。另外 Qwen3.5、Qwen3.7 等是独立的模型系列，与 Qwen3 系列并列，并非 Qwen3 的子版本。 + ## **模型幻觉问题** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/related-agreements.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/related-agreements.md index 7b67c5ee..c071bfc9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/related-agreements.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/support/related-agreements.md @@ -4,7 +4,7 @@ - [阿里云百炼模型推理服务等级协议（SLA）](https://terms.alicdn.com/legal-agreement/terms/b_end_product_protocol/20250923215800868/20250923215800868.html) -- [阿里云百炼服务特别说明](https://help.aliyun.com/zh/model-studio/bailian-service-notes) +- [阿里云百炼体验功能特别说明](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20260716114753386/20260716114753386.html) - [开源模型协议条款说明](https://help.aliyun.com/zh/model-studio/open-source-model-terms) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/bill-query-and-cost-management.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/bill-query-and-cost-management.md index 76084a81..2e671bba 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/bill-query-and-cost-management.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/bill-query-and-cost-management.md @@ -8,7 +8,7 @@ ### **费用概览** -登录[百炼控制台](https://bailian.console.aliyun.com/?tab=model)，单击顶部**模型**标签页，在左侧菜单选择**用量 & 费用** > [**费用概览**](https://bailian.console.aliyun.com/?tab=model#/costing-balance/overview)，选择**账期月份**： +登录[百炼控制台](https://bailian.console.aliyun.com/?tab=model)，单击顶部**模型**标签页，选择[**费用概览**](https://bailian.console.aliyun.com/?tab=model#/costing-balance)，选择**账期月份**： > 该页面仅展示**大模型推理**相关费用。**模型训练**和**知识库**等费用请通过[账单详情](#29f8b9b9a4lmc)查看。 @@ -31,14 +31,14 @@ 2. 选择**产品名称**为**大模型服务平台百炼**，单击**搜索**。 -3. 单击账单列表右上角的导出图标，将账单下载到本地。 +3. 单击页面顶部的**导出明细**，将账单下载到本地。 4. 打开文件，找到 实例 ID（出账粒度）列，根据下文规则进行核对。 #### **2\. 解读关键字段** -**“实例 ID（出账粒度）”字段**以英文分号 `;` 分隔，完整格式为`ApiKeyID;业务空间 ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`。 +**“实例 ID（出账粒度）”字段**以英文分号 `;` 分隔，完整格式为`ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`。 - 格式 A：标准调用（包含ApiKeyID） @@ -68,7 +68,7 @@ - 查询 API Key：复制账单中的 `ApiKeyID`，前往[百炼API Key管理](https://bailian.console.aliyun.com/?tab=model#/api-key)页面查找对应的 Key 名称。 -- 查询业务空间：复制账单中的 `业务空间ID`，前往[百炼控制台](https://bailian.console.aliyun.com/?tab=model#/api-key)，点击左侧菜单底部的**默认业务空间**，点击**业务空间详情**，确认具体空间ID。您也可以切换到其他业务空间。 +- 查询业务空间：复制账单中的 `业务空间ID`，前往[业务空间管理](https://bailian.console.aliyun.com/?tab=globalset#/efm/business_management)页面，在列表的**业务空间ID**列确认具体空间。当前所处的业务空间显示在控制台顶部右上角的**默认业务空间**切换器中，悬停可查看其地域、业务空间ID与创建时间等详情。 - 调用渠道说明： @@ -83,13 +83,13 @@ 给**业务空间**绑定**标签**，可按部门或项目归集费用。 -1. **获取业务空间信息**：在[**业务空间管理**](https://bailian.console.aliyun.com/?tab=globalset#/efm/business_management)确定标签绑定的业务空间**Workspace ID**（示例：llm-xxx），并在[账单详情](https://usercenter2.aliyun.com/finance/expense-report/expense-detail)确定业务空间的**地域**信息。 +1. **获取业务空间信息**：在[**业务空间管理**](https://bailian.console.aliyun.com/?tab=globalset#/efm/business_management)确定标签绑定的**业务空间ID**（示例：llm-xxx），并在[账单详情](https://usercenter2.aliyun.com/finance/expense-report/expense-detail)确定业务空间的**地域**信息。 2. **绑定标签**： 1. 在[**标签管理**](https://resourcemanager.console.aliyun.com/tags#/)页面选择**资源绑定标签。** - 2. 资源选择方式选择“**输入多个资源ID**”，在产品选项卡搜索并选择“**大模型服务平台百炼:业务空间**”并选择业务空间对应地域，资源ID输入框中填写**Workspace ID**，完成后点击绑定标签按钮执行操作。 + 2. 资源选择方式选择“**输入多个资源ID**”，在产品选项卡搜索并选择“**大模型服务平台百炼:业务空间**”并选择业务空间对应地域，资源ID输入框中填写**业务空间ID**，完成后点击绑定标签按钮执行操作。 3. 在绑定标签页面中，创建标签键值或使用已创建的预置标签与业务空间绑定。当完成键值输入或选择好预置标签后，点击**确定**完成业务空间标签的绑定。 @@ -102,16 +102,14 @@ **账户可用额度 < 0** 视为欠费，可能导致模型调用等服务暂停。在[费用与成本首页](https://billing-cost.console.aliyun.com/home)悬停**账户可用额度**区域可查看，公式为：可用额度 =（现金余额 + 信控额度）-（当月未结清 + 历史未结清）。 -- **欠费影响**：按账单**商品名称**维度判定。 +- **欠费影响**：账户欠费将导致**按量付费（后付费）**模型调用等服务暂停，能否继续使用取决于计费方式。 - - 仍有**免费额度**：可继续使用，用完后停用。 - - - 仍有**节省计划**或**资源包**额度：可继续使用。 + - **免费额度、节省计划、资源包**：三者均用于抵扣按量付费费用，**欠费期间即使仍有剩余额度，也无法调用模型**，需结清欠费后恢复。 - 已购 **Coding Plan** 或 **Token Plan**：套餐额度独立于账户余额，欠费期间可继续使用，但会导致自动续费失败，到期后无法续用。 - - 以上额度均无：该商品下服务将**暂停**，需结清欠费后恢复。 - +- **代金券与余额说明**：代金券（含学生权益优惠券）不计入账户可用额度中的现金余额，后付费场景下系统会冻结当月消费金额，账户实际余额须大于当月冻结金额方可正常调用模型，详情参见[代金券说明文档](https://help.aliyun.com/zh/user-center/voucher-management)。 + - **结清欠费**：在[费用与成本](https://usercenter2.aliyun.com/home)页面单击**充值汇款**，输入金额并完成支付。 - **预防欠费**：在[高额消费预警](https://usercenter2.aliyun.com/home/alarm-threshold)页面设置消费阈值，达阈值即提醒。 @@ -121,21 +119,21 @@ 不再使用百炼时，按以下方式关停对应服务即可停止计费。 -- **停止模型推理**：停止代码中的 API 调用、关闭控制台的模型体验，即不再产生费用。为防止意外调用，可在[**API-KEY**](https://bailian.console.aliyun.com/?apiKey=1&tab=globalset#/efm/api_key)页面删除已创建的 Key。 +- **停止模型推理**：停止代码中的 API 调用、关闭控制台的模型体验，即不再产生费用。为防止意外调用，可在[**API-KEY**](https://bailian.console.aliyun.com/?tab=model#/api-key)页面删除已创建的 Key。 - **停止模型训练**：没有正在进行的训练任务时即不产生费用。 -- **取消 Coding Plan 订阅**：Coding Plan 为包月订阅产品，到期自动停止，中途不支持取消和退款。如已开启自动续费，请在[Coding Plan](https://bailian.console.aliyun.com/?tab=model#/efm/coding_plan) 页面关闭自动续费。 +- **停止 Coding Plan 计费**：Coding Plan 为包月订阅产品，到期自动停止，中途不支持取消和退款。如已开启自动续费，请在[Coding Plan](https://bailian.console.aliyun.com/?tab=model#/efm/subscription/coding-plan) 页面关闭自动续费。 - **退订 Token Plan 团队版**：在[Token Plan 控制台](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan)的**我的订阅**页面按席位退订，未产生用量消耗的席位可退订，退款原路退回支付账户。如不再续费，请关闭自动续费。 - **停止模型部署**：根据部署时的计费方式操作不同： - - 按模型调用量计费：[下线](https://bailian.console.aliyun.com/?tab=model#/efm/model_deploy)已部署的模型，或删除[API Key](https://bailian.console.aliyun.com/?tab=model#/api-key)防止意外调用。 + - **按 Token 调用计费（后付费）**：[下线](https://bailian.console.aliyun.com/?tab=model#/efm/model_deploy)已部署的模型，或删除[API Key](https://bailian.console.aliyun.com/?tab=model#/api-key)防止意外调用。 - - 按算力使用时长计费：[下线](https://bailian.console.aliyun.com/?tab=model#/efm/model_deploy)已部署的模型。 + - **按算力单元或模型单元计费（后付费）**：[下线](https://bailian.console.aliyun.com/?tab=model#/efm/model_deploy)已部署的模型。 - - 包月预付费：[下线](https://bailian.console.aliyun.com/?tab=model#/efm/model_deploy)已部署的模型，然后在[退订管理](https://usercenter2.aliyun.com/refund/refund)页面退订实例。退订时按已消费金额扣减，退回剩余金额（详见[退订说明](https://help.aliyun.com/zh/user-center/user-guide/refund-management/)）。 + - **按预置吞吐单元计费（预付费）**：[下线](https://bailian.console.aliyun.com/?tab=model#/efm/model_deploy)已部署的模型，然后在[退订管理](https://usercenter2.aliyun.com/refund/refund)页面退订实例。退订时已使用部分按 1.5 倍系数结算（详见退订说明），退回剩余金额。 ## **常见问题** @@ -161,11 +159,11 @@ **原因：**账单的“计费项”统一显示为“大模型文本消耗量”，未直接展示模型名称。 -**解决方案：**查看[账单详情](https://usercenter2.aliyun.com/finance/expense-report/expense-detail)页的**实例 ID（出账粒度）**列。字段以英文分号分隔，紧跟业务空间 ID（如 llm-xxx）之后的字段即为模型名称。例：`12xxx;llm-xxx;**qwen3.6-plus**;context_0-128k_input_token;bmp;0`表示 qwen3.6-plus 模型。 +**解决方案：**查看[账单详情](https://usercenter2.aliyun.com/finance/expense-report/expense-detail)页的**实例 ID（出账粒度）**列。字段以英文分号分隔，紧跟业务空间ID（如 llm-xxx）之后的字段即为模型名称。例：`12xxx;llm-xxx;**qwen3.6-plus**;context_0-128k_input_token;bmp;0`表示 qwen3.6-plus 模型。 **在哪里查看模型调用次数和统计？** -进入[阿里云百炼控制台](https://bailian.console.aliyun.com/?tab=model)，右上角选择目标地域，单击顶部**模型**标签页，在左侧菜单选择**用量 & 费用** > [模型用量](https://bailian.console.aliyun.com/?tab=costing-balance#/costing-balance/usage-statistics)。 +进入[阿里云百炼控制台](https://bailian.console.aliyun.com/?tab=model)，右上角选择目标地域，单击顶部**模型**标签页，选择[模型用量](https://bailian.console.aliyun.com/?tab=costing-balance#/costing-balance/usage-statistics)。 **按量付费是实时扣款吗？** @@ -190,3 +188,27 @@ 2. 检查应用代码或百炼应用配置中是否开启了 `enable_search`，如不再需要联网搜索，将该参数设为 `false` 或移除。 3. 如已停止所有调用但仍有扣费，检查是否有其他 API Key 或应用仍在运行，可在[API Key 管理](https://bailian.console.aliyun.com/?tab=model#/api-key)页面逐一排查或删除不再使用的 Key。 + + +**为什么没有主动调用 API 也会产生费用？** + +**原因：**百炼的模型部署按使用时长计费，模型完成部署即状态为**运行中**时开始收费，不依赖 API 调用。即使未主动通过 API 调用该模型，只要部署状态为**运行中**就会持续产生费用。 + +**解决方案：** + +- 前往[**模型部署**](https://bailian.console.aliyun.com/?tab=model#/efm/model_deploy)页面，下线不再使用的已部署模型，停止按时长计费。 + +- 如需防止意外调用产生推理费用，可在[**API-KEY**](https://bailian.console.aliyun.com/?tab=model#/api-key)页面删除不再使用的 Key（注意：删除后无法恢复，请谨慎操作）。 + + +**如何判断账户是否被盗用？** + +如果怀疑账户被他人盗用产生非预期费用，按以下步骤排查： + +1. 在[账单详情](https://usercenter2.aliyun.com/finance/expense-report/expense-detail)中筛选**大模型服务平台百炼**，查看**实例 ID（出账粒度）**列中的 `ApiKeyID`，确认产生费用的 API Key。 + +2. 前往[API Key 管理页面](https://bailian.console.aliyun.com/?tab=model#/api-key)，核对每个 Key 的**创建时间**，确认是否为本人创建。API Key 管理页面仅显示创建时间，不显示调用时间。 + +3. 查看调用时段分布，判断是否存在非本人操作的异常调用模式：进入[模型用量](https://bailian.console.aliyun.com/?tab=costing-balance#/costing-balance/usage-statistics)页面，按**模型**或 **API Key ID** 筛选，切换至**列表**视图查看调用时间分布。 + +4. 如发现未授权调用，立即在[API Key 管理页面](https://bailian.console.aliyun.com/?tab=model#/api-key)删除对应 API Key 并重新生成。更新所有合法调用方使用新 Key。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md index 7137579d..6acc767a 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-pricing.md @@ -48,7 +48,7 @@ **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3.7-max @@ -278,7 +278,7 @@ qwen3-max-preview **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-max @@ -902,7 +902,7 @@ qwen3.7-max-2026-05-20 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） **非思考模式** @@ -1296,7 +1296,7 @@ qwen-plus-2025-04-28 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-plus-2025-01-25 @@ -2486,7 +2486,7 @@ qwen3.6-plus-2026-04-02 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3.6-flash @@ -2706,6 +2706,24 @@ qwen3.6-flash-2026-04-16 28.8元 +qwen3.6-flash-us + +美国 + +非思考和思考模式 + +0 当前能力等同于qwen3.5-flash-2026-02-23 @@ -3070,6 +3088,8 @@ qwen3.5-flash 非思考和思考模式 +0 [上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)享有折扣 + +中国内地 + +20元 + +100元 + +无 + kimi/kimi-k2.7-code-highspeed > [上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)享有折扣 @@ -9256,8 +9290,6 @@ kimi/kimi-k2.7-code-highspeed 54元 -无 - kimi/kimi-k2.7-code > [上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)享有折扣 @@ -9314,7 +9346,7 @@ kimi/kimi-k2.5 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） glm-5.2 @@ -9540,7 +9572,7 @@ glm-5.1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） glm-5.2 @@ -9742,7 +9774,7 @@ ZHIPU/GLM-5 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） MiniMax-M2.5 @@ -9940,7 +9972,13 @@ stepfun/step-3.7-flash **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） + +qwen-image-3.0-pro + +中国内地 + +限时免费 qwen-image-2.0-pro @@ -10046,6 +10084,12 @@ qwen-image **输出单价** +qwen-image-3.0-pro + +国际 + +限时免费 + qwen-image-2.0-pro > 当前能力等同于qwen-image-2.0-pro-2026-04-22 @@ -10138,7 +10182,13 @@ qwen-image **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） + +qwen-image-3.0-pro + +中国内地 + +限时免费 qwen-image-2.0-pro @@ -10252,6 +10302,12 @@ qwen-image-edit **输出单价** +qwen-image-3.0-pro + +国际 + +限时免费 + qwen-image-2.0-pro > 当前能力等同于qwen-image-2.0-pro-2026-04-22 @@ -10346,7 +10402,7 @@ qwen-image-edit **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-mt-image @@ -10374,7 +10430,7 @@ qwen-mt-image **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） z-image-turbo @@ -10420,7 +10476,7 @@ z-image-turbo **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.6-t2i @@ -10576,7 +10632,7 @@ wan2.6-t2i **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.7-image-pro @@ -10674,7 +10730,7 @@ wan2.6-image **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.5-i2i-preview @@ -10720,7 +10776,7 @@ wan2.5-i2i-preview **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wanx-sketch-to-image-lite @@ -10744,7 +10800,7 @@ wanx-sketch-to-image-lite **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wanx-x-painting @@ -10770,7 +10826,7 @@ wanx-x-painting **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wanx-style-repaint-v1 @@ -10794,7 +10850,7 @@ wanx-style-repaint-v1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wanx-background-generation-v2 @@ -10818,7 +10874,7 @@ wanx-background-generation-v2 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） image-out-painting @@ -10842,7 +10898,7 @@ image-out-painting **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） image-instance-segmentation @@ -10868,7 +10924,7 @@ image-instance-segmentation **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） image-erase-completion @@ -10894,7 +10950,7 @@ image-erase-completion **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wanx-virtualmodel @@ -10924,7 +10980,7 @@ virtualmodel-v2 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） shoemodel-v1 @@ -10950,7 +11006,7 @@ shoemodel-v1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wanx-poster-generation-v1 @@ -10997,7 +11053,7 @@ facechain-finetune 50次 -有效期：申请通过后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） facechain-generation @@ -11007,7 +11063,7 @@ facechain-generation 500张 -有效期：申请通过后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） ### **创意文字生成-WordArt锦书** @@ -11023,7 +11079,7 @@ facechain-generation **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wordart-texture @@ -11058,7 +11114,7 @@ wordart-semantic **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） aitryon @@ -11308,7 +11364,7 @@ vidu/viduq2-fast\_reference2image **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） fun-music-preview @@ -11344,7 +11400,7 @@ fun-music-v1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-audio-3.0-tts-plus @@ -11404,7 +11460,7 @@ qwen-audio-3.0-tts-flash **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-instruct-flash @@ -11442,7 +11498,7 @@ qwen3-tts-instruct-flash-2026-01-26 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-vd-2026-01-26 @@ -11468,7 +11524,7 @@ qwen3-tts-vd-2026-01-26 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-vc-2026-01-22 @@ -11494,7 +11550,7 @@ qwen3-tts-vc-2026-01-22 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-flash @@ -11542,7 +11598,7 @@ qwen3-tts-flash-2025-09-18 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-tts-flash @@ -11694,7 +11750,7 @@ qwen3-tts-flash-2025-09-18 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-instruct-flash-realtime @@ -11732,7 +11788,7 @@ qwen3-tts-instruct-flash-realtime-2026-01-22 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-vd-realtime-2026-01-15 @@ -11768,7 +11824,7 @@ qwen3-tts-vd-realtime-2025-12-16 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-vc-realtime-2026-01-15 @@ -11800,7 +11856,7 @@ qwen3-tts-vc-realtime-2025-11-27 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-tts-flash-realtime @@ -11846,7 +11902,7 @@ qwen3-tts-flash-realtime-2025-09-18 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-tts-realtime @@ -11994,7 +12050,7 @@ qwen3-tts-flash-realtime-2025-09-18 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-voice-enrollment @@ -12036,7 +12092,7 @@ qwen-voice-enrollment **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-voice-design @@ -12078,7 +12134,7 @@ qwen-voice-design **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） cosyvoice-v3.5-plus @@ -12240,7 +12296,7 @@ MiniMax/speech-02-turbo **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） **输入：音频** @@ -12396,7 +12452,7 @@ qwen3-livetranslate-flash-realtime-2025-09-22 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） **输入：音频** @@ -12496,7 +12552,7 @@ qwen3-livetranslate-flash-2025-12-01 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-asr-flash-filetrans @@ -12624,7 +12680,7 @@ qwen3-asr-flash-2025-09-08 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-asr-flash-realtime @@ -12692,7 +12748,7 @@ qwen3-asr-flash-realtime-2025-10-27 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） fun-asr @@ -12788,7 +12844,7 @@ fun-asr-flash-2026-06-15 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） fun-asr-realtime @@ -12979,7 +13035,7 @@ paraformer-realtime-8k-v1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） **文本** @@ -13056,7 +13112,7 @@ qwen-audio-3.0-realtime-flash **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） happyhorse-1.1-t2v @@ -13208,7 +13264,7 @@ happyhorse-1.0-t2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） happyhorse-1.1-i2v @@ -13360,7 +13416,7 @@ happyhorse-1.0-i2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） happyhorse-1.1-r2v @@ -13512,7 +13568,7 @@ happyhorse-1.0-r2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） happyhorse-1.0-video-edit @@ -13620,7 +13676,7 @@ happyhorse-1.0-video-edit **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.7-t2v-2026-06-12 @@ -13918,7 +13974,7 @@ wan2.6-t2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.7-i2v-2026-04-25 @@ -14014,7 +14070,7 @@ wan2.7-i2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.6-i2v-flash @@ -14356,7 +14412,7 @@ wan2.6-i2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.2-kf2v-flash @@ -14429,7 +14485,7 @@ wan2.1-kf2v-plus **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.7-r2v-2026-06-12 @@ -14663,7 +14719,7 @@ wan2.6-r2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.7-videoedit @@ -14691,7 +14747,7 @@ wan2.7-videoedit **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wanx2.1-vace-plus @@ -14762,7 +14818,7 @@ wan2.1-vace-plus **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.2-s2v-detect @@ -14805,7 +14861,7 @@ wan2.2-s2v **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.2-animate-move @@ -14817,7 +14873,7 @@ wan2.2-animate-move 50秒 -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） 专业模式`wan-pro` @@ -14865,7 +14921,7 @@ wan2.2-animate-move **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） wan2.2-animate-mix @@ -14877,7 +14933,7 @@ wan2.2-animate-mix 50秒 -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） 专业模式`wan-pro` @@ -14924,7 +14980,7 @@ wan2.2-animate-mix **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） animate-anyone-detect-gen2 @@ -14967,7 +15023,7 @@ animate-anyone-gen2 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） emo-detect-v1 @@ -15007,7 +15063,7 @@ emo-v1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） liveportrait-detect @@ -15042,7 +15098,7 @@ liveportrait **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） emoji-detect-v1 @@ -15074,7 +15130,7 @@ emoji-v1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） videoretalk @@ -15100,7 +15156,7 @@ videoretalk **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） video-style-transform @@ -16422,7 +16478,7 @@ Tripo/Tripo-P1.0 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3.7-text-embedding @@ -16522,7 +16578,7 @@ text-embedding-v3 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） **文本** @@ -16594,7 +16650,7 @@ multimodal-embedding-v1 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen3-vl-rerank @@ -16680,7 +16736,7 @@ farui-plus **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） tongyi-intent-detect-v3 @@ -16712,7 +16768,7 @@ tongyi-intent-detect-v3 **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） qwen-plus-character @@ -16858,7 +16914,7 @@ qwen-plus-character **免费额度**[（注）](https://help.aliyun.com/zh/model-studio/new-free-quota#591f3dfedfyzj) -有效期：阿里云百炼开通后90天内 +有效期：自开通百炼/模型发布/申请通过之日起90天内（以较晚者为准） gui-plus diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md index 8bc376aa..85ba833e 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/model-training-and-deployment-billing.md @@ -474,9 +474,9 @@ wan2.2-kf2v-flash - 后付费时，如果账户欠费，部署的资源将继续保留并计费 24 小时，在这 24 小时内服务仍可正常使用。超过 24 小时后系统停止计费，模型部署进入欠费状态，底层资源将被删除，但模型部署任务仍会保留。补足欠费后，系统将重新分配资源并恢复使用（恢复后继续产生费用）。如果您不希望继续产生费用，可删除模型部署任务，删除成功后将不再计费。 -当模型输入超过最长输入 Token 或 超出购买的 TPM 量时，相关调用将自动切换为当前模型的按量付费模式。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 +当模型输入超过最长输入 Token 时，相关调用将自动切换为当前模型的按量付费模式；超出购买的 TPM 量时，按创建时选择的溢出策略处理（「自动溢出」切换为按量付费，「仅使用 PTU 容量」返回 429）。此时，推理性能可能下降，将受业务空间中当前快照模型的公共流量的管控，[费用](https://help.aliyun.com/zh/model-studio/model-pricing)按模型调用（按量付费）标准计收。 -- 此时，调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 +- 此时（仅「自动溢出」策略下），调用 API 返回 Header 将包含：`x-dashscope-ptu-overflow:true`。 - TPM 统计请前往：[模型监控（北京）](https://bailian.console.aliyun.com/?tab=model#/model-telemetry)。 @@ -820,15 +820,33 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-35B-A3B qwen3.6-35b-a3b -MU8 x 1 +MU1 x 8 -¥47 +¥432 -¥22,400 +¥208,944 + +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 MU9 x 1 @@ -846,6 +864,12 @@ MU1 x 2 ¥52,236 +MU3 x 8 + +¥1,096 + +¥527,752 + 千问3.6-Plus-2026-04-02 qwen3.6-plus-2026-04-02 @@ -866,12 +890,6 @@ PD分离模式：¥417,888 qwen3.5-397b-a17b -MU2 x 8 - -¥504 - -¥240,288 - MU3 x 8 MU3 x 16（PD分离模式） @@ -884,6 +902,12 @@ PD分离模式：¥2,192 PD分离模式：¥1,055,504 +MU6 x 16 + +¥400 + +¥193,424 + 千问3.5-122B-A10B qwen3.5-122b-a10b @@ -894,11 +918,17 @@ MU1 x 4 ¥104,472 -MU2 x 8 +MU3 x 8 -¥504 +¥1,096 -¥240,288 +¥527,752 + +MU6 x 16 + +¥400 + +¥193,424 千问3.5-35B-A3B @@ -916,10 +946,40 @@ MU2 x 8 ¥240,288 +MU3 x 8 + +¥1,096 + +¥527,752 + +MU9 x 1 + +¥51 + +¥24,600 + 千问3.5-27B qwen3.5-27b +MU2 x 8 + +¥504 + +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 + +MU8 x 1 + +¥47 + +¥22,400 + MU9 x 1 ¥51 @@ -936,6 +996,12 @@ MU1 x 2 ¥52,236 +MU2 x 2 + +¥126 + +¥60,072 + MU8 x 1 ¥47 @@ -962,12 +1028,24 @@ MU1 x 2 qwen3.5-plus-2026-02-15 +MU1 x 8 + MU1 x 16（PD分离模式） +¥432 + PD分离模式：¥864 +¥208,944 + PD分离模式：¥417,888 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 8 MU3 x 16（PD分离模式） @@ -996,41 +1074,25 @@ MU2 x 8 ¥240,288 -千问3-Next-80B-A3B-Instruct - -qwen3-next-80b-a3b-instruct - -MU1 x 2 - -¥108 - -¥52,236 - 千问3-32B qwen3-32b -MU1 x 4 - -¥216 - -¥104,472 - -MU6 x 4 +MU6 x 16 -¥100 +¥400 -¥48,356 +¥193,424 -千问3-30B-A3B +千问3-30B-A3B-Thinking-2507 -qwen3-30b-a3b +qwen3-30b-a3b-thinking-2507 -MU9 x 2 +MU1 x 2 -¥102 +¥108 -¥49,200 +¥52,236 千问3-8B @@ -1080,12 +1142,6 @@ MU1 x 2 ¥52,236 -MU5 x 1 - -¥21 - -¥10,139 - 千问3-Embedding-0.6B qwen3-embedding-0.6b @@ -1154,6 +1210,16 @@ MU5 x 1 ¥10,139 +千问2.5-开源版-72B + +qwen2.5-72b-instruct + +MU1 x 8 + +¥432 + +¥208,944 + 千问2.5-开源版-32B qwen2.5-32b-instruct @@ -1190,26 +1256,6 @@ MU5 x 1 ¥10,139 -千问2.5-开源版-3B - -qwen2.5-3b-instruct - -MU5 x 1 - -¥21 - -¥10,139 - -千问-Flash-2025-07-28 - -qwen-flash-2025-07-28 - -MU1 x 4 - -¥216 - -¥104,472 - 千问-Plus-2025-07-28 qwen-plus-2025-07-28 @@ -1266,6 +1312,12 @@ GLM-5.1 glm-5.1 +MU2 x 8 + +¥504 + +¥240,288 + MU3 x 16（PD分离模式） PD分离模式：¥2,192 @@ -1298,6 +1350,16 @@ PD分离模式：¥800 PD分离模式：¥386,848 +GLM-4.7-Flash + +glm-4.7-flash + +MU3 x 16（PD分离模式） + +PD分离模式：¥2,192 + +PD分离模式：¥1,055,504 + ###### DeepSeek **模型名称** @@ -1318,11 +1380,11 @@ DeepSeek-v4-Flash deepseek-v4-flash -MU1 x 8 +MU3 x 8 -¥432 +¥1,096 -¥208,944 +¥527,752 DeepSeek-v3.2 @@ -1350,16 +1412,6 @@ PD分离模式：¥480,576 **最小计费：天** -MiniMax-M2.5 - -MiniMax-M2.5 - -MU1 x 16（PD分离模式） - -PD分离模式：¥864 - -PD分离模式：¥417,888 - Kimi-K2.5 kimi-k2.5 @@ -1402,15 +1454,21 @@ MU2 x 8 **最小计费：天** -千问3-VL-235B-A22B-Instruct +千问3-VL-32B-Instruct -qwen3-vl-235b-a22b-instruct +qwen3-vl-32b-instruct -MU1 x 4 +MU2 x 8 -¥216 +¥504 -¥104,472 +¥240,288 + +MU3 x 8 + +¥1,096 + +¥527,752 千问3-VL-8B-Instruct @@ -1422,6 +1480,12 @@ MU1 x 2 ¥52,236 +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-4B-Instruct qwen3-vl-4b-instruct @@ -1442,6 +1506,16 @@ MU5 x 1 ¥10,139 +千问3-VL-Embedding-2B + +qwen3-vl-embedding-2b + +MU5 x 1 + +¥21 + +¥10,139 + 千问3-VL-Flash-2025-10-15 qwen3-vl-flash-2025-10-15 @@ -1472,16 +1546,6 @@ MU6 x 4 ¥48,356 -千问VL-OCR-2025-11-20 - -qwen-vl-ocr-2025-11-20 - -MU6 x 4 - -¥100 - -¥48,356 - ###### 千问 Omni **模型名称** @@ -1562,6 +1626,14 @@ MU5 **元/千Token** +千问3.5-27B（邀测中） + +qwen3.5-27b + +¥0.0018 + +¥0.0048 + 千问3-32B qwen3-32b @@ -1592,6 +1664,16 @@ qwen3-8b 思考模式：¥0.005 +千问3-4B-Instruct-2507 + +qwen3-4b-instruct-2507 + +¥0.0003 + +非思考模式：¥0.0012 + +思考模式：¥0.003 + 千问2.5-开源版-72B qwen2.5-72b-instruct @@ -1624,6 +1706,14 @@ qwen2.5-7b-instruct ¥0.001 +千问2-开源版-7B + +qwen2-7b-instruct + +¥0.001 + +¥0.002 + ##### 千问VL **基础模型** @@ -1670,6 +1760,14 @@ qwen2.5-vl-7b-instruct ¥0.005 +千问2.5-VL-3B-Instruct + +qwen2.5-vl-3b-instruct + +¥0.0012 + +¥0.0036 + ### **图像生成模型-万相** 经过SFT-LoRA高效微调的万相图像生成模型，部署免费，调用按微调的基础模型的标准调用价格计费。模型训练和部署流程请参见[图像生成模型调优](https://help.aliyun.com/zh/model-studio/wan-image-generation-finetune-guide)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/new-free-quota.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/new-free-quota.md index 6e121bcc..f8407dc6 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/new-free-quota.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/new-free-quota.md @@ -10,11 +10,11 @@ ### 有效期 -免费额度的有效期为 30～90 天，从开通阿里云百炼或模型申请通过之日起计算。额度到期或耗尽后，继续调用模型推理服务将[产生计费](https://help.aliyun.com/zh/model-studio/billing-for-model-studio)。 +免费额度的有效期为 90 天，从开通阿里云百炼、模型发布或模型申请通过之日起计算（以较晚者为准）。额度到期或耗尽后，继续调用模型推理服务将[产生计费](https://help.aliyun.com/zh/model-studio/billing-for-model-studio)。 **重要** -自**2025年9月8日11点**起，首次开通阿里云百炼的用户，获赠的新人免费额度有效期调整为 90 天，在此之前已开通的用户不受影响，详情参考[阿里云百炼新人免费额度有效期调整通知](https://help.aliyun.com/zh/model-studio/new-free-quota-validity-adjustment)。 +**2025年9月8日11点**前已开通阿里云百炼的用户，免费额度有效期可能不足90天；在此之后开通的用户有效期为90天。详情参考[阿里云百炼新人免费额度有效期调整通知](https://help.aliyun.com/zh/model-studio/new-free-quota-validity-adjustment)。 免费额度过期后自动失效，不支持补发、延期或重置： @@ -212,9 +212,12 @@ 免费额度列显示**无免费额度**或**免费额度**区域不显示，可能由以下原因之一导致： -- **免费额度已到期或耗尽**：免费额度的有效期为 30～90 天，从开通阿里云百炼或模型申请通过之日起计算，到期或耗尽后将不再显示，继续调用模型将产生计费。 +- **免费额度已到期或耗尽**：免费额度的有效期为 90 天，从开通阿里云百炼、模型发布或模型申请通过之日起计算（以较晚者为准），到期或耗尽后将不再显示，继续调用模型将产生计费。 + - **该模型所在地域或服务部署范围不享有免费额度**：仅华北2（北京）地域且服务部署范围为中国内地的模型、以及仅新加坡地域且服务部署范围为国际的模型享有免费额度，其他地域和部署范围无免费额度。 + - **该模型本身不提供免费额度**：部分模型不参与新人免费额度发放。 + ### 使用哪种 API Key 才能消耗免费额度？ diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/savings-plan-and-resource-package.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/savings-plan-and-resource-package.md index 5ce9dfe5..a1867096 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/savings-plan-and-resource-package.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/test-1/savings-plan-and-resource-package.md @@ -80,7 +80,7 @@ AI 通用型节省计划是针对大模型按量付费使用场景设计的折 - C 类：qwen3.6-max-preview、DeepSeek、Kimi、GLM、MiniMax、HappyHorse - > 三方直供模型不支持抵扣，详情参见[三方直供模型支持抵扣 AI 通用型节省计划吗？](#85a29cab67489) + > 三方直供模型不支持抵扣，其中 DeepSeek、Kimi、GLM 已有阿里云直供版本可抵扣，MiniMax 暂无阿里云直供版本。详情参见[三方直供模型支持抵扣 AI 通用型节省计划吗？](#85a29cab67489) **每月承诺消费金额范围** @@ -802,7 +802,7 @@ ASR模型按秒计费，TTS模型按字符计费，请前往[百炼控制台](ht - 根据[退订规则](https://help.aliyun.com/zh/user-center/cancel-subscription/)，预付费商品未发生使用的部分，可按未使用额度费用[申请退款](https://billing-cost.console.aliyun.com/refund/refund?commodityType=RESOURCE_PLANS&refundType=NOREASON_REFUND)；已使用的部分则无法退款。 -**使用限制**：资源包按模型名称严格匹配，**跨版本或子型号不通用**，请以资源包购买页标注的适用模型为准。例如，qwen-plus 资源包不支持抵扣 qwen-max 或 qwen-turbo 的调用费用；若需要同时覆盖多个模型版本的调用费用，建议选择 AI 通用型节省计划。 +**使用限制**：资源包按模型名称严格匹配，**跨版本或子型号不通用**，请以资源包购买页标注的适用模型为准。例如，qwen-plus 资源包不支持抵扣 qwen-max 的调用费用；若需要同时覆盖多个模型版本的调用费用，建议选择 AI 通用型节省计划。 ### **大语言模型推理资源包** @@ -812,48 +812,36 @@ ASR模型按秒计费，TTS模型按字符计费，请前往[百炼控制台](ht [大语言模型推理资源包 qwen-max](https://common-buy.aliyun.com/?commodityCode=sfm_llminference2_dp_cn#/buy) -[大语言模型推理资源包 qwen-turbo](https://common-buy.aliyun.com/?commodityCode=sfm_llminference3_dp_cn#/buy) - **适用地域** 华北2（北京） 华北2（北京） -华北2（北京） - **适用模型** qwen-plus 及 qwen-plus-latest的实时推理服务（[非思考模式](https://help.aliyun.com/zh/model-studio/deep-thinking)） qwen-max的实时推理服务（[非思考模式](https://help.aliyun.com/zh/model-studio/deep-thinking)） -qwen-turbo的实时推理服务（[非思考模式](https://help.aliyun.com/zh/model-studio/deep-thinking)） - **包含输入和输出总Tokens** 1,200万/1.1亿 1,800万/3,900万/3.9亿/11.7亿/19.5亿 -3,500万/3.5亿/17.5亿/35亿 - **价格（元）** 11.66/114.4 57.6/125/1250/3750/6250 -11.45/114.45/572.25/1144.5 - **有效期** 自购买日起生效，有效期可选 3 个月、6 个月或 1 年。 自购买之日起有效期为 1 年。 -自购买之日起有效期为 1 年。 - **使用限制** - **qwen-plus**、**qwen-plus-latest** @@ -866,7 +854,7 @@ qwen-turbo的实时推理服务（[非思考模式](https://help.aliyun.com/zh/m - [Batch调用](https://help.aliyun.com/zh/model-studio/batch-interfaces-compatible-with-openai/)、[上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)、[模型调优](https://help.aliyun.com/zh/model-studio/model-training-overview)、[模型部署](https://help.aliyun.com/zh/model-studio/model-deployment-introduction)产生的费用。 -- **qwen-max**、**qwen-turbo** +- **qwen-max** - 仅支持抵扣实时推理产生的费用（[非思考模式](https://help.aliyun.com/zh/model-studio/deep-thinking)，包含输入和输出），不支持抵扣[Batch调用](https://help.aliyun.com/zh/model-studio/batch-interfaces-compatible-with-openai/)、[上下文缓存](https://help.aliyun.com/zh/model-studio/context-cache)、[模型调优](https://help.aliyun.com/zh/model-studio/model-training-overview)、[模型部署](https://help.aliyun.com/zh/model-studio/model-deployment-introduction)产生的费用。 @@ -895,7 +883,7 @@ qwen-turbo的实时推理服务（[非思考模式](https://help.aliyun.com/zh/m **图像编辑**：qwen-image-edit-plus -**资源包容量 (生成图片张数)** +**资源包容量（生成图片张数）** 80/400 @@ -962,7 +950,7 @@ qwen-turbo的实时推理服务（[非思考模式](https://help.aliyun.com/zh/m ### **三方直供模型支持抵扣 AI 通用型节省计划吗？** -[C 类模型](#ho1f5x10wuun0)中，阿里直供的模型支持抵扣，三方直供的模型不支持抵扣。可以在[百炼模型广场](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all)中通过模型卡片右上角标识（如"阿里直供"或"三方直供"标签）判断。 +[C 类模型](#ho1f5x10wuun0)中，阿里直供的模型支持抵扣，三方直供的模型不支持抵扣。目前，DeepSeek、Kimi、GLM 有阿里云直供版本，可通过 AI 通用型节省计划抵扣；MiniMax 暂无阿里云直供版本，暂不支持通过节省计划抵扣。可以在[百炼模型广场](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all)中通过模型卡片右上角标识（如"阿里直供"或"三方直供"标签）查看最新的直供模型列表。 ### **购买节省计划后如何使用？** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md index 23651b2d..f20936f9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md @@ -1,6 +1,6 @@ # 添加视觉理解能力 -百炼 Coding Plan 中的部分模型（qwen3.6-plus、qwen3.5-plus、kimi-k2.5）原生支持视觉理解，可直接处理图片输入。对于 glm-5、MiniMax-M2.5 等纯文本模型，可通过添加本地 Skill 使其获得视觉能力。 +百炼 Coding Plan 中的部分模型（qwen3.7-plus、qwen3.6-plus、qwen3.5-plus、kimi-k2.5）原生支持视觉理解，可直接处理图片输入。对于 glm-5、MiniMax-M2.5 等纯文本模型，可通过添加本地 Skill 使其获得视觉能力。 **说明** @@ -21,6 +21,8 @@ **说明** +- qwen3.7-plus + - qwen3.6-plus - qwen3.5-plus @@ -51,7 +53,7 @@ ## 方法 1：直接使用视觉模型（推荐） -qwen3.6-plus、qwen3.5-plus 和 kimi-k2.5 具备视觉理解能力。如果经常需要处理图片，直接切换到这些模型是最简单、推荐的做法。 +qwen3.7-plus、qwen3.6-plus、qwen3.5-plus 和 kimi-k2.5 具备视觉理解能力。如果经常需要处理图片，直接切换到这些模型是最简单、推荐的做法。 **工具** @@ -59,15 +61,15 @@ qwen3.6-plus、qwen3.5-plus 和 kimi-k2.5 具备视觉理解能力。如果经 Claude Code -`/model qwen3.6-plus`或`/model qwen3.5-plus`或 `/model kimi-k2.5` +`/model qwen3.7-plus`或`/model qwen3.6-plus`或`/model qwen3.5-plus`或 `/model kimi-k2.5` OpenCode -`/models`→ 搜索并选择`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` +`/models`→ 搜索并选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` Qwen Code -`/model`→ 选择`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` +`/model`→ 选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` 更多编程工具中的模型切换方式请参考[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。切换后可直接在对话中引用图片路径，或拖拽/粘贴图片。 @@ -91,9 +93,9 @@ Qwen Code --- name: image-analyzer description: 帮助没有视觉能力的模型进行图像理解。当需要分析图像内容、提取图片中的信息、文字、界面元素，或理解截图、图表、架构图等任何视觉内容时，使用此技能，传入图片路径即可获得描述信息。 - model: qwen3.6-plus + model: qwen3.7-plus --- - qwen3.6-plus具有视觉理解能力，请直接使用qwen3.6-plus模型进行图片理解。 + qwen3.7-plus具有视觉理解能力，请直接使用qwen3.7-plus模型进行图片理解。 ``` 创建完成后的目录结构如下： @@ -111,7 +113,7 @@ Qwen Code 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，并提问：`请加载image-analyzer skill，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： - ![image.png](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/5928202771/p1054884.png) + aliyun.png 为阿里云官网首页截图，banner 区域标题为 **Coding Plan 已支持 Qwen3.5**，正文介绍阿里云百炼支持 Qwen3.5、Kimi-k2.5、GLM-4.7 等模型，新客首月仅 7.9 元，页面提供**立即订阅**和**在线咨询**入口。 ### OpenCode @@ -128,13 +130,13 @@ Qwen Code **说明** - model 字段必须使用 OpenCode 配置文件中定义的 provider 和模型名称。参考 [OpenCode](https://help.aliyun.com/zh/model-studio/opencode) 文档的配置示例，应为`bailian-coding-plan/qwen3.6-plus`。 + model 字段必须使用 OpenCode 配置文件中定义的 provider 和模型名称。参考 [OpenCode](https://help.aliyun.com/zh/model-studio/opencode) 文档的配置示例，应为`bailian-coding-plan/qwen3.7-plus`。 ``` --- description: Analyzes images using a vision-capable model. Use this agent when the user needs to understand image content, extract information from screenshots, diagrams, UI mockups, or any visual content. Invoke with @image-analyzer followed by the image path and your question. mode: subagent - model: bailian-coding-plan/qwen3.6-plus + model: bailian-coding-plan/qwen3.7-plus tools: write: false edit: false @@ -156,7 +158,18 @@ Qwen Code 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，通过`@`唤起`image-analyzer`并提问：`@image-analyzer，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/6472262771/p1055847.png) + ``` + Banner位置包含： + 左侧： + - 汉堡菜单图标 + - 阿里云橙色logo和"阿里云"文字 + - 导航菜单：大模型、产品、解决方案、权益、定价、云市场、伙伴、服务、了解阿里云 + 右侧： + - 搜索框(显示"大模型") + - 图标：蓝色圆圈、地球、耳机 + - 链接：文档、备案、控制台 + Build · glm-5 · 37.0s + ``` ## **常见问题** @@ -181,6 +194,24 @@ Qwen Code "apiKey": "sk-sp-xxx" }, "models": { + "qwen3.7-plus": { + "name": "Qwen3.7 Plus", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + }, "qwen3.6-plus": { "name": "Qwen3.6 Plus", "modalities": { @@ -259,6 +290,15 @@ Qwen Code "apiKey": "YOUR_API_KEY", "api": "openai-completions", "models": [ + { + "id": "qwen3.7-plus", + "name": "qwen3.7-plus", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 1000000, + "maxTokens": 65536 + }, { "id": "qwen3.6-plus", "name": "qwen3.6-plus", @@ -296,6 +336,7 @@ Qwen Code "primary": "bailian/qwen3.6-plus" }, "models": { + "bailian/qwen3.7-plus": {}, "bailian/qwen3.6-plus": {}, "bailian/qwen3.5-plus": {}, "bailian/kimi-k2.5": {} diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md index 1ab71393..57403f95 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md @@ -50,11 +50,11 @@ Coding Plan 整合了千问、GLM、Kimi 、MiniMax顶级模型，并兼容主 - 每月**90,000** 次请求 -- **限时优惠：**活动已结束，当前价格以下单页为准。 +- **限时优惠**：活动已结束，当前价格以下单页为准。 - **限量抢购**：名额有限、先到先得。每日 09:30:00（UTC+08:00）补充，可前往[Coding Plan 页面](https://www.aliyun.com/benefit/scene/codingplan)抢购。 -- **额度消耗：**单次提问将按实际“模型调用次数”扣除额度。简单任务约消耗 5-10 次，复杂任务约 10-30+ 次，实际消耗受任务难度、上下文及工具使用影响。在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)可以查看用量。 +- **额度消耗：**单次提问将按实际“模型调用次数”扣除额度。简单任务约消耗 5-10 次，复杂任务约 10-30+ 次，实际消耗受任务难度、上下文及工具使用影响。在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=plan#/efm/subscription/coding-plan)可以查看用量。 - **额度恢复**： @@ -84,7 +84,7 @@ Coding Plan 整合了千问、GLM、Kimi 、MiniMax顶级模型，并兼容主 您需要获取并配置套餐专属的 API Key 和 Base URL，才能正确使用并抵扣套餐额度。 -- **API Key**：在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)，获取Coding Plan 专属 API Key（格式为`sk-sp-xxxxx`）。 +- **API Key**：在[Coding Plan 页面](https://bailian.console.aliyun.com/cn-beijing/?tab=plan#/efm/subscription/coding-plan)，获取Coding Plan 专属 API Key（格式为`sk-sp-xxxxx`）。 - **Base URL**：后续需在 AI 工具中配置以下其中一个Base URL（因工具而异），具体操作请参见对应的AI工具文档。 @@ -99,33 +99,33 @@ Coding Plan 专属的 API Key 和 Base URL 与百炼按量计费的 API Key（`s ### **步骤三：接入AI工具** - [**OpenClaw**开源、自托管个人 AI 助手](https://help.aliyun.com/zh/model-studio/openclaw) +[**OpenClaw**开源、自托管个人 AI 助手](https://help.aliyun.com/zh/model-studio/openclaw) - [**Hermes Agent**开源 AI 代理框架，内置自学习循环](https://help.aliyun.com/zh/model-studio/hermes-agent) +[**Hermes Agent**开源 AI 代理框架，内置自学习循环](https://help.aliyun.com/zh/model-studio/hermes-agent) - [**Claude Code**AI 终端编码助手，支持自然语言编程](https://help.aliyun.com/zh/model-studio/claude-code) +[**Claude Code**AI 终端编码助手，支持自然语言编程](https://help.aliyun.com/zh/model-studio/claude-code) - [**OpenCode**开源 AI 编程代理工具](https://help.aliyun.com/zh/model-studio/opencode) +[**OpenCode**开源 AI 编程代理工具](https://help.aliyun.com/zh/model-studio/opencode) - [**Cursor**AI 原生代码编辑器](https://help.aliyun.com/zh/model-studio/cursor) +[**Cursor**AI 原生代码编辑器](https://help.aliyun.com/zh/model-studio/cursor) - [**Codex**OpenAI 推出的命令行编程工具](https://help.aliyun.com/zh/model-studio/codex) +[**Codex**OpenAI 推出的命令行编程工具](https://help.aliyun.com/zh/model-studio/codex) - [**Qwen Code**开源命令行 AI 编码工具](https://help.aliyun.com/zh/model-studio/qwen-code) +[**Qwen Code**开源命令行 AI 编码工具](https://help.aliyun.com/zh/model-studio/qwen-code) - [**QwenPaw**开源个人 AI 助手，支持本地与云端部署](https://help.aliyun.com/zh/model-studio/qwenpaw) +[**QwenPaw**开源个人 AI 助手，支持本地与云端部署](https://help.aliyun.com/zh/model-studio/qwenpaw) - [**Cherry Studio**多模型桌面客户端](https://help.aliyun.com/zh/model-studio/cherry-studio) +[**Cherry Studio**多模型桌面客户端](https://help.aliyun.com/zh/model-studio/cherry-studio) - [**Chatbox**跨平台 AI 桌面客户端](https://help.aliyun.com/zh/model-studio/chatbox) +[**Chatbox**跨平台 AI 桌面客户端](https://help.aliyun.com/zh/model-studio/chatbox) - [**Cline**VS Code 扩展，智能代码补全和调试](https://help.aliyun.com/zh/model-studio/cline) +[**Cline**VS Code 扩展，智能代码补全和调试](https://help.aliyun.com/zh/model-studio/cline) - [**Qoder**面向真实软件开发的 Agentic 编码平台](https://help.aliyun.com/zh/model-studio/qoder-agent) +[**Qoder**面向真实软件开发的 Agentic 编码平台](https://help.aliyun.com/zh/model-studio/qoder-agent) - [**Lingma**阿里云推出的智能编码辅助工具](https://help.aliyun.com/zh/model-studio/lingma-agent) +[**Lingma**阿里云智能编码助手，提供独立 IDE](https://help.aliyun.com/zh/model-studio/lingma-agent) - [**Kilo CLI**轻量高性能命令行编程工具](https://help.aliyun.com/zh/model-studio/kilo-cli) +[**Kilo CLI**轻量高性能命令行编程工具](https://help.aliyun.com/zh/model-studio/kilo-cli) [··· **更多工具**其他编程工具](https://help.aliyun.com/zh/model-studio/more-tools) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md new file mode 100644 index 00000000..dad44bd5 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md @@ -0,0 +1,329 @@ +# 添加视觉理解能力 + +Token Plan 支持的部分模型（qwen3.7-plus 等）原生支持视觉理解，可直接处理图片输入。对于 glm-5、MiniMax-M2.5 等纯文本模型，可通过添加本地 Skill 使其获得视觉能力。 + +**说明** + +运行图片理解 Skill 会消耗 Token Plan Credits，无其他收费项。 + +## 前提条件 + +1. 已订阅 [Token Plan](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription)。 + +2. 已在 AI 工具中完成接入配置，且能正常对话，详情请参见[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。 + + +## 视觉支持情况 + +**模型** + +**是否支持视觉** + +**说明** + +- qwen3.8-max-preview + +- qwen3.7-plus + +- qwen3.6-plus + +- kimi-k2.5 等 + + +是 + +无需额外配置，可直接传入图片 + +- qwen3-max-2026-01-23 + +- qwen3-coder-next + +- qwen3-coder-plus + +- glm-5 + +- glm-4.7 + +- MiniMax-M2.5 + + +否 + +需通过 Skill 或 Agent 辅助模型获得视觉能力 + +## 方法 1：直接使用视觉模型（推荐） + +qwen3.7-plus 等模型具备视觉理解能力。如果经常需要处理图片，直接切换到这些模型是最简单、推荐的做法。 + +**工具** + +**模型切换方式** + +Claude Code + +`/model qwen3.7-plus`或`/model qwen3.6-plus`或`/model qwen3.5-plus`或 `/model kimi-k2.5` + +OpenCode + +`/models`→ 搜索并选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` + +Qwen Code + +`/model`→ 选择`qwen3.7-plus`或`qwen3.6-plus`或`qwen3.5-plus`或`kimi-k2.5` + +更多编程工具中的模型切换方式请参考[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。切换后可直接在对话中引用图片路径，或拖拽/粘贴图片。 + +## 方法 2：通过 Skill 或 Agent 添加视觉能力 + +如需使用 glm-5、MiniMax-M2.5 等不支持视觉的模型处理图片，可通过配置 Skill 或 Agent 实现。 + +## Claude Code + +1. **添加 Skill** + + 在项目目录下的 `.claude` 文件夹中新建 `skills/image-analyzer` 目录： + + ``` + mkdir -p .claude/skills/image-analyzer + ``` + + 在该目录下创建 `SKILL.md` 文件，并写入以下内容： + + ``` + --- + name: image-analyzer + description: 帮助没有视觉能力的模型进行图像理解。当需要分析图像内容、提取图片中的信息、文字、界面元素，或理解截图、图表、架构图等任何视觉内容时，使用此技能，传入图片路径即可获得描述信息。 + model: qwen3.7-plus + --- + qwen3.7-plus具有视觉理解能力，请直接使用qwen3.7-plus模型进行图片理解。 + ``` + + 创建完成后的目录结构如下： + + ``` + .claude/ + └── skills/ + └── image-analyzer/ + └── SKILL.md + ``` + +2. **开始使用** + + 1. 在项目目录下运行`claude`启动 Claude Code，并运行`/model glm-5`切换到`glm-5`模型。 + + 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，并提问：`请加载image-analyzer skill，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： + + aliyun.png 为阿里云官网首页截图，banner 区域标题为 **Coding Plan 已支持 Qwen3.5**，正文介绍阿里云百炼支持 Qwen3.5、Kimi-k2.5、GLM-4.7 等模型，新客首月仅 7.9 元，页面提供**立即订阅**和**在线咨询**入口。 + + +### OpenCode + +1. **添加 Agent** + + 在项目目录下的 `.opencode` 文件夹中新建 `agents` 目录： + + ``` + mkdir -p .opencode/agents + ``` + + 在该目录下创建`image-analyzer.md`文件，并写入以下内容： + + **说明** + + model 字段必须使用 OpenCode 配置文件中定义的 provider 和模型名称。参考 [OpenCode](https://help.aliyun.com/zh/model-studio/opencode) 文档的配置示例，应为`bailian-token-plan/qwen3.7-plus`。 + + ``` + --- + description: Analyzes images using a vision-capable model. Use this agent when the user needs to understand image content, extract information from screenshots, diagrams, UI mockups, or any visual content. Invoke with @image-analyzer followed by the image path and your question. + mode: subagent + model: bailian-token-plan/qwen3.7-plus + tools: + write: false + edit: false + --- + You have vision capabilities. Analyze the provided image and return a clear, structured description focused on what the user is asking about. + ``` + + 创建完成后的目录结构如下： + + ``` + .opencode/ + └── agents/ + └── image-analyzer.md + ``` + +2. **开始使用** + + 1. 在项目目录下运行`opencode`启动 OpenCode，并切换到`glm-5`模型。 + + 2. 下载[aliyun.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260225/hxwnny/aliyun.png)到项目目录下，通过`@`唤起`image-analyzer`并提问：`@image-analyzer，描述一下 aliyun.png banner位置是什么信息。`可收到如下回复： + + ``` + Banner位置包含： + 左侧： + - 汉堡菜单图标 + - 阿里云橙色logo和"阿里云"文字 + - 导航菜单：大模型、产品、解决方案、权益、定价、云市场、伙伴、服务、了解阿里云 + 右侧： + - 搜索框(显示"大模型") + - 图标：蓝色圆圈、地球、耳机 + - 链接：文档、备案、控制台 + Build · glm-5 · 37.0s + ``` + + +## **常见问题** + +### **OpenCode + 视觉理解模型为什么无法理解图片？** + +**原因**：OpenCode 默认不启用模型的视觉能力，需要在配置文件中显式声明 `modalities` 参数。 + +**解决方案**：在 OpenCode 配置文件的模型定义中添加 `modalities` 字段，将 `input` 设为 `["text", "image"]`，如下所示： + +> 将sk-sp-xxx替换为Token Plan API Key。 + +``` +{ + "$schema": "https://opencode.ai/config.json", + "provider": { + "bailian-token-plan": { + "npm": "@ai-sdk/anthropic", + "name": "Model Studio Token Plan", + "options": { + "baseURL": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "apiKey": "sk-sp-xxx" + }, + "models": { + "qwen3.6-plus": { + "name": "Qwen3.6 Plus", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + }, + "qwen3.5-plus": { + "name": "Qwen3.5 Plus", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + }, + "kimi-k2.5": { + "name": "Kimi K2.5", + "modalities": { + "input": [ + "text", + "image" + ], + "output": [ + "text" + ] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 1024 + } + } + } + } + } + } +} +``` + +### **OpenClaw + 视觉理解模型为什么无法理解图片？** + +**原因**：OpenClaw 需要通过配置文件中的 input 字段来判断模型是否支持视觉能力。 + +**解决方案**： + +1. 在`~/.openclaw/openclaw.json`配置文件中，确保模型定义包含`"input": ["text", "image"]`字段。 + + ``` + { + "models": { + "mode": "merge", + "providers": { + "bailian": { + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "apiKey": "YOUR_API_KEY", + "api": "openai-completions", + "models": [ + { + "id": "qwen3.6-plus", + "name": "qwen3.6-plus", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 1000000, + "maxTokens": 65536 + }, + { + "id": "qwen3.5-plus", + "name": "qwen3.5-plus", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 1000000, + "maxTokens": 65536 + }, + { + "id": "kimi-k2.5", + "name": "kimi-k2.5", + "reasoning": false, + "input": ["text", "image"], + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "contextWindow": 262144, + "maxTokens": 32768 + } + ] + } + } + }, + "agents": { + "defaults": { + "model": { + "primary": "bailian/qwen3.6-plus" + }, + "models": { + "bailian/qwen3.6-plus": {}, + "bailian/qwen3.5-plus": {}, + "bailian/kimi-k2.5": {} + } + } + }, + "gateway": { + "mode": "local" + } + } + ``` + +2. 修改配置后，需要清除 OpenClaw 的模型缓存并重启，否则旧的配置仍会生效。 + + ``` + rm ~/.openclaw/agents/main/agent/models.json + openclaw gateway restart + ``` diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md new file mode 100644 index 00000000..88c71bd8 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md @@ -0,0 +1,79 @@ +# 接入 Harness 工具 + +Token Plan 支持的部分 Qwen 模型内置 Harness 工具，可为 AI 编程工具扩展联网搜索、代码解释器、网页抓取等能力。 + +**说明** + +适用于 Token Plan，不适用于 Coding Plan。 + +## **工具概览** + +**工具** + +**说明** + +联网搜索 + +检索互联网信息，结合搜索结果生成回答 + +代码解释器 + +在沙箱环境中编写与运行 Python 代码，用于数学计算、数据分析等场景 + +网页抓取 + +访问指定 URL 并提取内容，为大模型提供所需信息 + +以图搜图 + +根据输入图片从互联网搜索视觉相似的图片，适用于以图找同款、视觉内容溯源等场景 + +文搜图 + +根据文本描述从互联网搜索相关图片，适用于可视化问答、配图推荐等场景 + +## **支持的模型和工具** + +### **个人版** + +**模型** + +**支持的工具** + +qwen3.8-max-preview + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +qwen3.7-max + +联网搜索、代码解释器、网页抓取 + +qwen3.7-plus + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +### **团队版** + +**模型** + +**支持的工具** + +qwen3.8-max-preview + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +qwen3.7-max + +联网搜索、代码解释器、网页抓取 + +qwen3.7-plus + +联网搜索、代码解释器、网页抓取、以图搜图、文搜图 + +## **费用说明** + +Harness 工具按成功调用次数计费，费用从套餐 Credits 中抵扣。 + +## **使用方式** + +将 AI 编程工具的模型切换为上述支持 Harness 的 Qwen 模型，在对话中直接提问即可。模型会根据问题自动调用相应的内置工具，无需额外配置。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md index 4daf85ea..55d418ac 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md @@ -1,14 +1,6 @@ # 接入多模态生成模型 -图像生成模型需通过工具的扩展机制（Skill、Slash Command 或 Agent）接入。 - -## **前提：获取套餐专属凭证** - -在控制台「我的订阅」打开 Token Plan 套餐详情页，接入信息卡片展示套餐专属 API Key（以 `sk-sp-` 为前缀，掩码显示），支持生成、重置与复制 API Key。 - -**说明** - -套餐详情页「可使用模型」以文本、编程模型为主；图像生成模型不在该列表展示，需通过 `multimodal-generation` API 调用。 +Token Plan 中的图像生成、视频生成模型需通过工具的扩展机制（Skill、Slash Command 或 Agent）接入。 ## **示例：在 Claude Code 中接入图像生成模型** @@ -27,7 +19,7 @@ ## 步骤 -1. 从用户需求中提取 prompt（图片描述）、model、size（默认 1024*1024）。若用户明确指定了模型（如“模型=wan2.7-image”或“用 wan2.7-image 画”），必须严格使用用户指定的模型名，不要回退到默认模型；仅当用户未指定模型时才使用默认 qwen-image-2.0。常用图像生成模型有 qwen-image-2.0、qwen-image-2.0-pro、wan2.7-image、wan2.7-image-pro、z-image-turbo 等，完整列表以百炼模型列表为准。 +1. 从用户需求中提取 prompt（图片描述）、model、size（默认 1024*1024）。若用户明确指定了模型（如“模型=wan2.7-image”或“用 wan2.7-image 画”），必须严格使用用户指定的模型名，不要回退到默认模型；仅当用户未指定模型时才使用默认 qwen-image-2.0。常用图像生成模型有 qwen-image-2.0、qwen-image-2.0-pro、wan2.7-image、wan2.7-image-pro 等，完整列表以百炼模型列表为准。 2. 调用 API 生成图片（使用 Bash 工具执行 curl）： @@ -55,9 +47,73 @@ curl -s -X POST "https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/services 在 Claude Code 中输入 `/text-to-image 画一只猫`。如需使用默认模型以外的图像生成模型，在指令中写明模型名即可，例如 `/text-to-image 用 wan2.7-image 画一只猫`。 +## **示例：在 Claude Code 中接入视频生成模型** + +以 Claude Code 为例，通过 Slash Command 接入视频生成模型。视频生成为异步接口，流程为"提交任务 → 轮询状态 → 下载视频"。 + +### **步骤一：创建 Slash Command** + +将套餐专属 API Key（以 `sk-sp-` 为前缀）配置为环境变量 `$ANTHROPIC_AUTH_TOKEN`，供后续 curl 鉴权使用。 + +在项目根目录创建 `.claude/commands/text-to-video.md`，写入以下内容： + +``` +调用 Token Plan 文生视频 API，根据描述生成视频并自动下载到本地。 + +用户需求：$ARGUMENTS + +## 步骤 + +1. 从用户需求中提取 prompt（视频描述）、model（默认 happyhorse-1.1-t2v）、resolution（默认 720P）、ratio（默认 16:9）、duration（默认 5 秒）。若用户明确指定了模型（如"模型=happyhorse-1.0-t2v"），必须严格使用用户指定的模型名。 + +2. 使用 Bash 工具执行以下脚本，一次性完成提交任务、等待完成、下载视频： + +```bash +#!/bin/bash +set -e + +TASK_RESPONSE=$(curl -s -X POST "https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis" \ + -H "X-DashScope-Async: enable" \ + -H "Authorization: Bearer $ANTHROPIC_AUTH_TOKEN" \ + -H "Content-Type: application/json" \ + -d '{ + "model": "", + "input": {"prompt": ""}, + "parameters": {"resolution": "", "ratio": "", "duration": } + }') + +TASK_ID=$(echo "$TASK_RESPONSE" | grep -o '"task_id":"[^"]*"' | head -1 | cut -d'"' -f4) +if [ -z "$TASK_ID" ]; then echo "提交失败: $TASK_RESPONSE"; exit 1; fi +echo "任务已提交，ID: $TASK_ID，等待生成..." + +while true; do + sleep 15 + STATUS_RESPONSE=$(curl -s "https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/tasks/$TASK_ID" \ + -H "Authorization: Bearer $ANTHROPIC_AUTH_TOKEN") + STATUS=$(echo "$STATUS_RESPONSE" | grep -o '"task_status":"[^"]*"' | cut -d'"' -f4) + if [ "$STATUS" = "SUCCEEDED" ]; then + VIDEO_URL=$(echo "$STATUS_RESPONSE" | grep -o '"video_url":"[^"]*"' | cut -d'"' -f4) + OUTPUT="generated_$(date +%Y%m%d_%H%M%S).mp4" + curl -s -o "$OUTPUT" "$VIDEO_URL" + echo "视频已下载: $(pwd)/$OUTPUT" + exit 0 + elif [ "$STATUS" = "FAILED" ]; then + echo "生成失败: $STATUS_RESPONSE"; exit 1 + fi + echo "生成中..." +done +``` + +3. 向用户展示生成的视频文件路径。 +``` + +### **步骤二：生成视频** + +在 Claude Code 中输入 `/text-to-video 一只白色的猫在阳台上晒太阳`。如需使用其他视频生成模型，在指令中写明模型名即可，例如 `/text-to-video 用 happyhorse-1.1-r2v 生成一只猫跳跃的视频`。 + ## **其他工具** -控制台套餐详情页「快速接入 AI 编程工具」入口提供 Qwen Code、Qoder、OpenClaw、Claude Code、OpenCode 等工具的接入文档。不同工具的扩展机制和配置文件路径如下表所示，该表为支持扩展机制的主流 AI 编程工具示例。将上述 Claude Code 示例中的配置内容保存到对应路径即可。 +不同工具的扩展机制和配置文件路径如下表所示，该表为支持扩展机制的主流 AI 编程工具示例。将上述 Claude Code 示例中的配置内容保存到对应路径即可。 工具 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md deleted file mode 100644 index aaf9db77..00000000 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md +++ /dev/null @@ -1,253 +0,0 @@ -# 工具调用 - -Token Plan 团队版支持通过模型内置工具和 MCP 服务两种方式为 AI 编程工具扩展能力，如联网搜索、代码解释器、网页抓取等。 - -## **工具概览** - -Token Plan 团队版提供两种方式接入工具： - -- **模型内置工具**：qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash 模型的 Responses API 内置了联网搜索、代码解释器、网页抓取、以图搜图、文搜图五种工具。启用后，模型会在需要时自动调用相应工具。 - -- **MCP 服务**：其他模型（如 deepseek-v3.2、glm-5 等）可通过百炼 MCP 广场的 MCP 服务获取工具能力。本文以联网搜索 MCP 为例说明接入方式，其他 MCP 服务的接入方式类似。 - - -## **费用说明** - -### **模型内置工具** - -qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash 模型内置工具的费用可通过 Token Plan 团队版抵扣，内置工具不额外收费，产生的 token 消耗统一从套餐 Credits 中抵扣。具体价格以[控制台模型详情页](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen3.6-plus)为准。 - -### **MCP 服务** - -百炼 MCP 广场提供联网搜索、代码解释器、网页抓取等 MCP 服务。联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费；其他 MCP 服务部分**限时免费**，每月提供一定免费额度。具体价格以[MCP 广场](https://bailian.console.aliyun.com/cn-beijing/?tab=app#/mcp-market)各服务详情页为准。 - -## **使用方式** - -### **使用 qwen3.7-max / qwen3.7-plus / qwen3.6-plus / qwen3.6-flash 模型内置工具** - -将 AI 工具的模型设置为 `qwen3.7-max`、`qwen3.7-plus`、`qwen3.6-plus` 或 `qwen3.6-flash`，在对话中直接提问即可。模型会根据问题自动调用相应的内置工具： - -**工具** - -**说明** - -联网搜索 - -检索互联网信息，结合搜索结果生成回答 - -代码解释器 - -调用模型时启用内置的 Python 代码解释器，可使模型在沙箱环境里编写与运行 Python 代码，以解决数学计算、数据分析等复杂问题。 - -网页抓取 - -网页抓取工具可以访问指定 URL 并提取内容，为大模型提供所需信息。 - -以图搜图 - -图搜图工具使模型能够根据输入图片从互联网搜索视觉相似的图片，并基于搜索结果进行分析和推理，适用于以图找同款、视觉内容溯源等场景。 - -文搜图 - -文搜图工具使模型能够根据文本描述从互联网搜索相关图片，并基于图片内容进行描述和推理，适用于可视化问答、配图推荐等场景。 - -### **通过 MCP 服务接入工具** - -其他模型可通过百炼 MCP 广场的 MCP 服务获取工具能力。以下以联网搜索 MCP 为例说明接入方式。 - -#### **前提条件** - -已获取[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。此处的 API Key 为百炼通用 API Key（格式为 sk-xxx），用于调用 MCP 服务，与 Token Plan 团队版专属 API Key（格式为 sk-sp-xxx）不同。 - -#### **开通 MCP 服务** - -1. 进入百炼的[MCP 广场](https://bailian.console.aliyun.com/cn-beijing/?tab=app#/mcp-market)，找到需要的 MCP 服务（如联网搜索）。 - -2. 点击**立即开通**，确认开通。 - -3. 开通成功后，获取以下配置信息： - - - **Streamable HTTP Endpoint**：MCP 服务的连接地址。 - - - **API Key**：即百炼 API Key，是 MCP 服务的鉴权密钥。 - - -#### **接入工具** - -将 MCP 服务添加到 AI 编程工具中。以下以联网搜索 MCP 为例，示例中的 `YOUR_API_KEY` 需替换为百炼 API Key。接入其他 MCP 服务时，将 Endpoint 地址替换为对应服务的地址即可。 - -## OpenClaw - -1. 在终端执行如下命令安装 MCPorter。 - - ``` - npm install -g mcporter - ``` - -2. 在终端执行如下命令启用 MCPorter。 - - ``` - openclaw config set skills.entries.mcporter.enabled true - ``` - -3. 在 `~/.openclaw/workspace` 目录下，执行如下命令添加联网搜索 MCP。 - - ``` - mcporter config add WebSearch https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp --transport http --header "Authorization=Bearer YOUR_API_KEY" - ``` - -4. 执行如下命令确认 MCP 已安装。 - - ``` - mcporter list - ``` - -5. 执行如下命令使配置生效。 - - ``` - openclaw gateway restart - ``` - -6. 发送提问 `用 mcporter 搜索阿里云的新闻` 即可看到搜索结果。 - - -## OpenCode - -1. 在配置文件 `~/.config/opencode/opencode.json` 中写入 MCP 配置信息。 - - ``` - { - "mcp": { - "WebSearch": { - "type": "remote", - "httpUrl": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", - "headers": { - "Authorization": "Bearer YOUR_API_KEY" - } - } - } - } - ``` - - 若 `opencode.json` 中已有其他配置（如 provider），将 mcp 字段合并到现有配置中即可。 - -2. 在终端执行以下命令进入 OpenCode。 - - ``` - opencode - ``` - -3. 在对话框执行 `/mcps` 确认 `websearch` 状态为 Enabled。确认后按 Esc 退出。 - -4. 发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Claude Code - -1. 在终端执行以下命令添加联网搜索 MCP 服务。 - - ``` - claude mcp add WebSearch https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp -t http -H "Authorization: Bearer YOUR_API_KEY" - ``` - - 终端返回 `Added SSE MCP server xx` 即表示添加成功。 - -2. 执行以下命令进入 Claude Code。 - - ``` - claude - ``` - -3. 在对话框执行 `/mcp` 命令，确认 `websearch` 的状态为 connected。 - -4. 按 Esc 退出 MCP 列表后，发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Qwen Code - -1. 在终端执行以下命令添加联网搜索 MCP。 - - ``` - qwen mcp add WebSearch \ - -t http \ - "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp" \ - -H "Authorization: Bearer YOUR_API_KEY" - ``` - -2. 在终端执行以下命令进入 Qwen Code。 - - ``` - qwen - ``` - -3. 在对话框执行 `/mcp` 命令确认 MCP 连接状态。 - -4. 发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Kilo CLI - -1. 在配置文件 `~/.config/kilo/opencode.json` 中写入 MCP 配置信息。 - - ``` - { - "mcp": { - "websearch": { - "type": "remote", - "url": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", - "headers": { - "Authorization": "Bearer YOUR_API_KEY" - } - } - } - } - ``` - - 若 `opencode.json` 中已有其他配置（如 provider），将 mcp 字段合并到现有配置中即可。 - -2. 在终端执行以下命令查看 MCP 状态。Connected 即表示连接成功。 - - ``` - kilocode mcp list - ``` - -3. 在终端执行以下命令进入 Kilo CLI。 - - ``` - kilo - ``` - -4. 发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - - -## Kilo Code IDE 插件 - -1. 打开 Kilo Code IDE 插件，配置联网搜索 MCP 信息。 - - ``` - { - "mcpServers": { - "websearch": { - "type": "streamable-http", - "url": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", - "headers": { - "Authorization": "Bearer YOUR_API_KEY" - } - } - } - } - ``` - - 当联网搜索的 MCP 状态显示为绿色时，表示添加成功。 - -2. 返回对话界面，发送提问 `用 websearch MCP 搜索阿里云的新闻` 即可看到搜索结果。 - - > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md similarity index 51% rename from skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md rename to skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md index 3208f230..5fd78221 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md @@ -1,6 +1,6 @@ # 联网搜索 -在 Coding Plan 支持的编程工具中添加联网搜索工具，使模型能够检索实时信息。 +在 Token Plan 支持的编程工具中添加联网搜索工具，使模型能够检索实时信息。 ## 适用范围 @@ -8,11 +8,11 @@ ## 前提条件 -1. 已订阅 [Coding Plan](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)，详情请参见[快速开始](https://help.aliyun.com/zh/model-studio/coding-plan-quickstart)。 +1. 已订阅 [Token Plan](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription)，详情请参见[快速开始](https://help.aliyun.com/zh/model-studio/coding-plan-quickstart)。 -2. 已在 Coding Plan 工具（如 Claude Code、Qwen Code）中完成接入配置，且能正常对话，详情请参见[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。 +2. 已在 Token Plan 支持的工具（如 Claude Code、Qwen Code）中完成接入配置，且能正常对话，详情请参见[接入客户端/开发工具](https://help.aliyun.com/zh/model-studio/use-chat-client-or-development-tool/)。 -3. 已获取[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。此处的 API Key 为百炼通用 API Key（格式为 sk-xxx），用于调用 MCP 服务，与 Coding Plan 专属 API Key（格式为 sk-sp-xxx）不同。 +3. 已获取[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。此处的 API Key 为百炼通用 API Key（格式为 sk-xxx），用于调用 MCP 服务，与 Token Plan 专属 API Key（格式为 sk-sp-xxx）不同。 ## 开通或升级联网搜索 MCP @@ -27,6 +27,8 @@ - 联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费。如果使用第三方 MCP 服务，该 MCP 服务可能收费，以 MCP 服务的介绍信息为准。 + - 部分MCP服务支持**个人FC资源部署**，按实际调用时长和次数计费，适用于需要专属资源、指定资源地域等场景。 + 3. 开通成功后，可以获取以下配置信息： 1. **Streamable HTTP Endpoint**：MCP 服务的连接地址。联网搜索 MCP 的连接地址为`https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp`。 @@ -38,10 +40,12 @@ 1. 进入百炼的[MCP广场](https://bailian.console.aliyun.com/cn-beijing/?tab=app#/mcp-market)，找到**联网搜索** MCP 服务。 -2. 单击右侧**取消开通**，再单击**立即开通**。 +2. 单击右侧**取消开通**，再单击**立即开通** > **确认开通**。 - 联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费。如果使用第三方 MCP 服务，该 MCP 服务可能收费，以 MCP 服务的介绍信息为准。 + - 部分MCP服务支持**个人FC资源部署**，按实际调用时长和次数计费，适用于需要专属资源、指定资源地域等场景。 + 3. 重新开通成功后，即完成协议升级，可以获取以下配置信息： 1. **Streamable HTTP Endpoint**：MCP 服务的连接地址。联网搜索 MCP 的连接地址为`https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp`。 @@ -78,8 +82,11 @@ ``` mcporter list ``` - - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9753812771/p1055340.png) + ``` + mcporter 0.7.3 — Listing 1 server(s) (per-server timeout: 30s) + - websearch (1 tool, 2.4s) + [ok] Listed 1 server (1 healthy). + ``` 5. 在终端执行如下命令使配置生效。 @@ -89,7 +96,7 @@ 6. 发送提问`用 mcporter 搜索阿里云的新闻`即可看到搜索结果。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9753812771/p1055129.png) + 系统返回包含 4 条阿里云相关新闻的卡片，每条新闻显示标题、来源及发布时间，底部提示是否需要抓取某篇新闻的详细内容。 ## OpenCode @@ -120,13 +127,27 @@ 3. 在对话框执行`/mcps`确认`websearch`状态是否为 Enabled。确认后按 Esc 退出。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4753812771/p1054875.png) - 4. 发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9228202771/p1054876.png) + ``` + 已为您搜索到最新的阿里云相关新闻： + 主要新闻摘要 + 1. 阿里云2026年战略目标 + 阿里云目标在2026年拿下中国AI云市场增量的80%，重点发力MaaS（模型即服务）和GPU算力服务。 + 目前阿里云上调用大模型API的客户中，有七成同时使用其GPU算力服务。 + 2. 阿里云服务器2026年优惠活动 + - 最便宜服务器：38元/年（2核2G、200M峰值带宽） + - 99元/年 ECS服务器（新老用户同享，续费同价） + - 199元/年企业专享服务器（2核4G、5M带宽） + 3. AI自动化工具生态 + 阿里云推出OpenClaw（原Clawdbot）AI + 自动化代理工具部署方案，支持一键部署到轻量应用服务器，可与阿里云百炼大模型无缝联动。 + 4. 企业智能客服 + 瓴羊Quick Service智能客服平台基于通义千问大模型，提供大模型驱动的语义理解、多轮对话、 + 知识库智能生成等功能。 + ``` ## Claude Code @@ -155,17 +176,54 @@ 3. 在对话框执行`/mcp`命令，确认`websearch`的状态为 connected。首次添加可能需要等待状态从 connecting 变成 connected。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054987.png) - 若连接状态显示 failed，请选中该 MCP 并选择 Reconnect 重连。若重试 1-2 次仍失败，请核实配置。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0613342771/p1055684.png) + ``` + /mcp + WebSearch MCP Server + Status: [ok] connected + Auth: [ok] authenticated + URL: https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp + xxx + Capabilities: tools + Tools: 1 tools + 1. View tools + 2. Re-authenticate + 3. Clear authentication + > 4. Reconnect + 5. Disable + ``` 4. 按 Esc 退出 MCP 列表后，发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054990.png) + ``` + > 用websearch MCP搜索阿里云的新闻 + * websearch – bailian_web_search (MCP)(query: "阿里云 新闻", count: 10) + └ { + "status": 0, + "pages": [ + … +51 lines (ctrl+o to expand) + ] + } + * 搜索结果已返回，以下是阿里云的最新新闻摘要： + 阿里云近期新闻 + 1. 编程模型订阅服务推出（2026 年 2 月 25 日） + 阿里云百炼推出 Coding Plan 编程模型订阅服务，包含四款开源模型 API： + - Qwen3.5、GLM-5、MiniMax M2.5、Kimi K2.5 + - 用户可在 Qwen Code、Claude Code、Cline 等 AI 工具上无缝切换使用 + - 降低开发者模型选型与接入成本 + 2. 千问 3.5 新模型开源（2026 年 2 月 25 日） + 阿里发布三款中型千问 3.5 新模型： + - Qwen3.5-35B-A3B、Qwen3.5-122B-A10B、Qwen3.5-27B + - 基于 Qwen3.5-35B-A3B 的托管模型 Qwen3.5-Flash 已上线阿里云百炼 + - 每百万 Token 输入低至 0.2 元 + 3. 市场表现亮眼 + - 千问（Qwen）大模型调用量占比跃升至 32.1%，排名中国企业级大模型第一 + - 2026 财年第二季度收入 398.24 亿元，同比增长 34% + - AI 相关产品收入连续第九个季度实现三位数增长 + ``` ## Qwen Code @@ -197,13 +255,80 @@ 3. 在`Qwen Code`对话框执行`/mcp`命令以确认 MCP 连接状态。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4753812771/p1054878.png) + ``` + > /mcp + Configured MCP servers: + * WebSearch – Ready (1 tool) + Tools: + – mcp__WebSearch__bailian_web_search + [tip] Tips: + – Use /mcp desc to show server and tool descriptions + – Use /mcp schema to show tool parameter schemas + – Use /mcp nodesc to hide descriptions + – Use /mcp auth to authenticate with OAuth-enabled servers + – Press Ctrl+T to toggle tool descriptions on/off + ``` 4. 发送提问`用 websearch MCP 搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及`websearch MCP`。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9228202771/p1054879.png) + ``` + * 搜索结果已返回，我需要整理并总结其中与阿里云相关的主要新闻信息，以清晰的方式呈现给用户。 + * 已为您搜索到阿里云相关新闻，以下是主要内容： + 阿里云最新动态 + 1. 阿里云千问大模型表现亮眼 + - 2025 年下半年，阿里云千问（Qwen）在中国企业级大模型市场占比跃升至32.1%，几乎翻倍（上半年为 + 17.7%），位居第一 + - 字节豆包占比 21.3% 排名第二，DeepSeek 占比 18.4% 排名第三 + 2. AI 战略投入 + - 阿里豪掷3800 亿元押注 AI 基础设施 + - 2026 年，阿里云将 AI 相关收入目标增速上调至200% + - 2026 年 2 月推出30 亿元"春节请客计划"，联合淘宝、飞猪、盒马等以免单形式发放福利 + 3. Coding Plan 服务更新 + - 阿里云 Coding Plan 订阅服务新增支持 Qwen 3.5-Plus、GLM-4.7、Kimi-K2.5 等编程模型 + - 新用户首月首购享两折优惠 + 4. 技术进展 + - 除夕夜开源的千问 Qwen3.5-Plus 采用混合注意力机制和稀疏 MoE 架构 + - 总参数 3970 亿，激活 170 亿，推理速度达主流模型的 2 倍 + 需要我为您搜索更具体的阿里云新闻主题吗？ + > 输入您的消息或 @ 文件路径 + 按 ? 查看快捷键 1.8% context used + ``` + + +## Cline + +1. 点击MCP Servers，进入Configure页面，点击Configure MCP Servers。 + + ![2026-02-26\_13-58-09](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054977.jpg) + +2. 在配置文件`cline_mcp_settings.json`中写入 MCP 配置信息，并将`YOUR_API_KEY`替换为上一步骤获取的 API Key。配置完成后，保存文件。 + + ``` + { + "mcpServers": { + "websearch": { + "type": "http", + "url": "https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp", + "headers": { + "Authorization": "Bearer YOUR_API_KEY" + }, + "disabled": false + } + } + } + ``` + +3. 配置完成后，在Configure页面下可以查看MCP的相关信息。 + + ![2026-02-26\_14-05-44](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054984.jpg) + +4. 新开对话，发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 + + > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 + + ![2026-02-26\_14-10-05](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9276802771/p1054989.jpg) ## Kilo CLI @@ -231,8 +356,14 @@ ``` kilocode mcp list ``` - - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/0248612771/p1055115.png) + ``` + MCP Servers + │ + * [ok] websearch connected + │ https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/mcp + │ + └ 1 server(s) + ``` 3. 在终端中执行以下命令进入 Kilo CLI。 @@ -244,14 +375,31 @@ > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/9228202771/p1054891.png) + ``` + 以下是阿里云的最新新闻要点： + 阿里云千问大模型市场份额跃升第一 + - 市场份额翻倍：根据沙利文2026年2月报告，阿里云千问（Qwen）占比跃升至*32.1%*，相较2025年上半年的17.7%几乎翻倍，超越字节豆包（21.3%）和DeepSeek(18.4%)，成为企业级大模型市场第一 + - 日均调用量激增：2025年下半年中国企业级大模型日均调用量达37.0万亿tokens，较上半年增长263% + AI基础设施投资战略 + - 3800亿元投资：阿里宣布豪掷3800亿元押注AI基础设施 + - 收入目标：2026年将AI相关收入目标增速上调至200% + - 市场目标：阿里云目标拿下中国AI云市场增量的80% + 千问模型技术进展 + - 开源Qwen3.5-Plus：除夕夜开源，采用混合注意力机制和稀疏MoE架构 + - 高效能设计：总参数3970亿，仅激活170亿，推理速度达到主流模型的2倍 + - 春节免单计划：千问启动30亿元"春节请客计划"，联合淘宝、飞猪、盒马等生态业务发放福利 + 其他动态 + - Coding Plan上新：支持千问3.5、GLM-4.7、Kimi-K2.5等编程模型，新用户首月两折优惠 + - 云服务器优惠：轻量应用服务器38元/年起，200M带宽不限流量 + Code · kimi-k2.5 · 49.8s + ``` ## Kilo Code IDE 插件 1. 打开Kilo Code IDE插件配置联网搜索 MCP 信息，并将`YOUR_API_KEY`替换为上一步骤获取的 API Key。配置完成后，保存文件。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3100902771/p1055026.png) + 依次单击左上角齿轮图标，在侧边栏选择 **Agent Behaviour**，单击 **MCP Servers** 页签，然后单击底部 **Edit Global MCP** 按钮，打开 `mcp_settings.json` 配置文件，将以下 JSON 内容粘贴并保存。 ``` { @@ -269,14 +417,10 @@ 当联网搜索的MCP状态显示为绿色时，表示添加成功。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3100902771/p1055021.png) - 2. 返回对话界面，发送提问`用websearch MCP搜索阿里云的新闻`即可看到搜索结果。 > 为了避免和其他工具混淆，建议提问时明确提及 websearch MCP。 - ![image](https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/3100902771/p1055023.png) - ## 常见问题 @@ -292,7 +436,7 @@ - 如果使用的 URL 为 `https://dashscope.aliyuncs.com/api/v1/mcps/WebSearch/sse`，说明开通的是旧版 SSE 协议，请将协议[升级至Streamable HTTP](#da7cd47fa8pcd)。 -3. **API Key 错误**：请确认使用了有效的百炼通用 API Key（格式为 sk-xxx，非 Coding Plan 专属 API Key），并已在命令中正确替换 YOUR\_API\_KEY。 +3. **API Key 错误**：请确认使用了有效的百炼通用 API Key（格式为 sk-xxx，非 Token Plan 专属 API Key），并已在命令中正确替换 YOUR\_API\_KEY。 4. **免费额度用尽**：联网搜索 MCP 全部用户前 2000 次调用免费，免费额度用尽后按 29 元/千次计费，请确认账户余额充足。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-faq.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-faq.md deleted file mode 100644 index 76b285c1..00000000 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-faq.md +++ /dev/null @@ -1,292 +0,0 @@ -# 常见问题 - -Token Plan 团队版常见问题汇总，涵盖购买、使用、计量和性能相关的问题解答。 - -## **Token Plan 团队版和 Coding Plan 有什么区别？** - -**Token Plan 团队版** - -**Coding Plan** - -适用场景 - -一人公司/团队/企业日常办公 - -个人开发场景 - -支持的模型 - -文本生成、图像生成模型 - -文本生成模型 - -计费方式 - -按 Token 消耗抵扣 Credits - -按模型调用次数 - -使用频次 - -无每 5 小时/每周限额 - -每 5 小时/每周限额 - -API Key 和 Base URL - -在[管理后台](https://tokenplan-enterprise.bailian.aliyunportal.com)生成专属 API Key，Base URL 详见[快速开始](https://help.aliyun.com/zh/model-studio/token-plan-quickstart) - -在[Coding Plan 页面](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/coding-plan)获取专属 API Key 和专属 Base URL - -高峰期性能 - -多租户隔离 - -高峰期间可能排队 - -数据安全 - -承诺不使用数据训练模型 - -用户数据授权 - -## **接入与调用** - -### **如何在编程工具中使用图像生成模型？** - -图像生成模型使用独立的接口，无法通过文本模型的 Base URL 直接调用。需要通过工具的 Skill 或扩展机制接入，具体配置方法请参见[接入多模态生成模型](https://help.aliyun.com/zh/model-studio/token-plan-multimodal-gen)。 - -### **常见报错及解决方案** - -**报错信息** - -**可能原因** - -**解决方案** - -**401 InvalidApiKey: No API-key provided.** - -请求头中未携带 API Key（`Authorization: Bearer` 或 `x-api-key` 均未传）。 - -在管理后台生成 API Key，并在工具中完成配置。 - -**401 InvalidApiKey: Invalid API-key provided.** - -1. 误用了百炼通用 API Key（sk-xxx 格式）或 Coding Plan 的 API Key - -2. Token Plan 团队版订阅过期 - -3. API Key 复制不完整或包含空格 - - -1. 确认使用的是 Token Plan 专属 API Key，确保完整且无空格。 - -2. 确认订阅是否过期。 - -3. 如仍报错，重置 API Key，重置后使用新 Key 配置。 - - -**404 model 'xxx' not found or not supported** - -**400 Model not exist.** - -1. 模型名称拼写错误或大小写错误 - -2. 模型 ID 不在套餐支持列表中 - - -1. 确认模型名称区分大小写，与套餐支持的模型 ID 一致。 - -2. 检查所选套餐是否包含该模型。 - - -**401 invalid access token or token expired** - -误用了 Coding Plan 或其他套餐的 Base URL - -Anthropic 兼容端点：`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` - -OpenAI 兼容端点：`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` - -**401 Incorrect API key provided** - -误用了百炼通用 Base URL（dashscope.aliyuncs.com） - -Anthropic 兼容端点：`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` - -OpenAI 兼容端点：`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` - -**400 InvalidParameter: Range of input length should be \[1, xxx\]** - -输入内容（含对话历史、代码上下文等）超出模型的最大上下文长度 - -新建会话清空历史，或使用工具自带的上下文压缩命令（如 Claude Code 的 `/compact`、Qwen Code 的 `/clear`）。也可切换上下文窗口更大的模型。 - -**400 InvalidParameter: url error, please check url！** - -Base URL 路径与协议不匹配。例如把 OpenAI 兼容路径配在 Anthropic 端点上，或反之。 - -按工具实际使用的协议选择对应的端点： - -- Anthropic 兼容协议（Claude Code 等）：以 `/apps/anthropic` 结尾。 - -- OpenAI 兼容协议（Cursor、Qwen Code 等）：以 `/compatible-mode/v1` 结尾。 - - -**400 InvalidParameter: Range of max\_tokens should be \[1, xxxx\]** - -请求中的 `max_tokens`（或工具配置中的最大输出长度）超出当前模型支持的最大输出 Token 数。 - -将 `max_tokens` 调整为不超过报错信息中提示的上限值。 - -**400 invalid\_parameter\_error: The thinking\_budget parameter must be a positive integer and not greater than xxxxx** - -工具配置中的思维链长度（如 `thinking_budget`、`budgetTokens`）超过当前模型支持的上限。各模型上限不同，以报错中的数值为准。 - -将思维链长度调整为不超过报错提示的上限值，或在不支持思考模式的模型上移除该配置项。 - -**400 data\_inspection\_failed: Input text data may contain inappropriate content.** - -输入或输出命中平台内容安全策略。 - -修改输入内容后重新提交。如多次触发，调整提示词避免敏感话题。 - -**429 API-Key Requests rate limit exceeded, please try again later.** - -短时间内请求过于密集，触发模型调用限流。 - -等待一分钟后重试；如频繁触发请降低请求频率，并确认 API Key 未被他人共享使用。 - -**429 Throttling.AllocationQuota: Allocated quota exceeded, please increase your quota limit.** - -**insufficient\_quota: You exceeded your current quota, please check your plan and billing details.** - -该报错可能由以下两种原因触发： - -**套餐额度已用尽**：坐席额度和共享用量包均已耗尽。 - -**触发模型调用限流**：即使套餐额度充足，每秒或每分钟消耗的 Token 数（TPS/TPM）超过模型限流阈值也会触发。限流按主账号维度计算，账号下所有 RAM 子账号、业务空间和 API Key 的调用量合并计算；即使每分钟总调用量未超限，短时间内的请求激增也可能触发。 - -**额度已用尽**：可加购坐席（加购后需将新坐席分配给成员后再使用）、加购共享用量包，或等待下一计费周期额度自动重置。 - -**触发限流**：等待约一分钟后重试，并采用平滑请求策略（如匀速调度、指数退避或请求队列缓冲）避免瞬时高峰。 - -**Connection error** - -Base URL 域名拼写错误或网络连接异常 - -检查 Base URL 域名拼写及网络连接。 - -## **产品功能相关** - -### **Token Plan 团队版的 API Key 能与其他套餐或普通 API 混用吗？** - -不能。Token Plan 团队版、Coding Plan 和百炼按量计费三者的 API Key 和 Base URL 互不相通，请勿混用。误用其他 API Key 不会抵扣 Token Plan 团队版的套餐额度。 - -### **能在多个工具中使用同一订阅吗？** - -可以。同一 API Key 可在全部兼容的 AI 编程和智能体工具中使用，额度共享消耗。每个成员持有独立的 API Key，不可共享给其他成员。 - -### **有哪些使用限制？** - -仅限在兼容的 AI 编程和智能体工具中交互式使用，不可用于自动化脚本或应用后端。违规使用可能导致订阅暂停或 API Key 封禁。 - -### **团队管理入口在哪里？** - -阿里云主账号或 RAM 用户登录[Token Plan 控制台](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan)后，在左侧菜单进入**我的订阅**，通过订阅卡片的**设置**、**用量分析**、**分配座席**入口进入成员管理与设置面板；也可点击**进入管理平台**跳转独立管理平台。通过 SSO 或钉钉加入的成员，通过管理员分发的**管理平台地址**（形如 tokenplan-enterprise.bailian.aliyunportal.com）登录管理平台。详见[访问入口](https://help.aliyun.com/zh/model-studio/token-plan-team#tp05-enter)。 - -### **成员如何获取 API Key？** - -管理员在管理后台创建成员账号并分配席位后，为成员生成 API Key。成员无法自行生成，需联系管理员获取。详见[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)。 - -### **回收席位、修改角色、移出组织有什么区别？** - -这三个操作都在成员管理页面执行，但作用范围不同： - -- **回收席位**：撤销成员的席位使用权并将席位释放回席位池。成员失去使用权，但仍留在组织中，可被重新分配席位。 - -- **修改角色**：变更成员的权限（如管理员/普通成员），不影响席位分配和组织归属。 - -- **移出组织**：将成员从团队完全移除，席位自动回收至席位池，成员从成员列表消失。 - - -### **为什么 API Key 只能查看一次，丢失后如何处理？** - -为避免团队间 API Key 混用导致计费混乱，API Key 仅在首次生成或重置时显示，后续无法再次查看或复制。若 API Key 丢失，在**成员管理**页面找到对应成员，点击**重置**生成新 Key，原 Key 立即失效，需在工具中重新配置。 - -## **购买相关** - -### **可以同时购买多个套餐吗？** - -每个阿里云账号限购一个订阅，同一订阅下每种坐席类型均可购买多个。共享用量包可叠加购买，单次最多 1000 个。 - -### **可以单独购买共享用量包吗？** - -不可以。共享用量包是 Token Plan 团队版的附加商品，需先订阅 Token Plan 团队版坐席套餐后，才能购买共享用量包。 - -### **套餐是否支持退订？** - -支持按席位退订。在控制台**Token Plan 订阅详情页**的订阅明细中，点击对应席位的**退订**，已有用量消耗的席位不可退订。也可勾选多个席位后点击**批量退订**。退款原路退回支付账户，预计 1-3 个工作日到账。详见[订阅管理](https://help.aliyun.com/zh/model-studio/token-plan-overview#tp01-sub-mgmt)。 - -### **阿里云账号欠费是否影响 Token Plan 团队版的使用？** - -Token Plan 团队版为预付费订阅产品，只要套餐额度未用尽且订阅仍在有效期内，阿里云账号欠费不影响 Token Plan 团队版的正常使用。 - -### **如何加购坐席？** - -在 Token Plan 订阅详情页的订阅明细中，点击**加购座席**，选择坐席类型和数量后提交订单。加购后需将新坐席分配给成员才能使用。详见[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)。 - -### **如何关闭或开启自动续费？** - -在 Token Plan 订阅详情页的订阅明细中，点击**关闭自动续费**或**开启自动续费**。关闭后订阅到期不自动续费，需手动续费。 - -### **套餐变更与退订重购有哪些限制？** - -Token Plan 团队版与 Coding Plan 是两个独立的订阅计划，不支持相互转换： - -- **套餐互转限制**：不支持将已购买的 Token Plan 团队版更换为 Coding Plan，也不支持将 Coding Plan 直接转换为 Token Plan 团队版（即使补差价也不行）。可以同时订阅这两个计划，各自独立计费。 - -- **退订重购注意事项**：退款并重新购买后，API Key 和 Base URL 会发生变更，需在工具中重新配置新的专属 API Key 才能正常使用。 - - -## **计量相关** - -### **Credits 抵扣规则是什么？** - -Token Plan 团队版实际消耗取决于每次请求中输入 Token、缓存 Token 和输出 Token 的组合。优先从坐席额度抵扣，坐席额度用尽后从共享用量包抵扣，全部用尽后服务暂停至下一计费周期或购买共享用量包补充额度。 - -### **如何查看用量？** - -在[Token Plan 订阅详情页](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan)可查看套餐和共享用量包的用量详情。管理员还可在[管理后台](https://tokenplan-enterprise.bailian.aliyunportal.com)的用量分析页面查看全部成员的消耗明细。 - -### **用量如何重置？** - -坐席额度在每个订阅月到期时重置，未用完的额度不累积到下月。共享用量包额度购买后有效期为 1 个月，到期后需重新购买，不随座席额度按月重置。 - -### **超出限额之后怎么办？** - -坐席额度用尽后自动从共享用量包抵扣；全部额度用尽后服务暂停。可通过以下方式恢复： - -- 购买共享用量包补充额度。 - -- 等待下一计费周期额度自动重置。 - - -### **续费后为什么 Credits 没有增加？** - -Token Plan 团队版的坐席额度按订阅周期计算，每个订阅月到期时自动重置。续费（续订）仅延长订阅有效期或预定下一计费周期的额度，**不会叠加补充至当前计费周期**。 - -若当前周期额度已用尽且需立即恢复服务，续订下月额度无法即时补充，可通过以下方式恢复： - -- 购买共享用量包补充额度。 - -- 升级至更高规格的坐席。 - -- 加购坐席（加购后需将新坐席分配给成员方可使用）。 - - -## **数据安全** - -### **数据安全如何保障？** - -Token Plan 团队版承诺不使用对话数据训练模型，传输过程采用 HTTPS 加密，并基于多租户隔离架构保障企业级数据隔离。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md index 8abf5759..b828c0a9 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-overview.md @@ -1,299 +1,170 @@ -# Token Plan（团队版）概述 +# Token Plan 概述 -Token Plan 团队版是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持文本生成与图像生成模型，兼容主流 AI 编程与智能体工具，提供团队管理后台、数据安全保障，调用平稳运行。 +Token Plan 是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持多种 AI 编程和智能体工具。Token Plan 提供个人版和团队版两个版本，满足从个人开发者到企业团队的不同需求。 **说明** -Token Plan 团队版目前仅支持**华北2（北京）**地域。 +Token Plan 目前仅支持**华北2（北京）**地域，请在[百炼控制台](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan)左上角将地域切换至**华北2（北京）**后购买并使用。 ## **产品简介** -Token Plan 团队版整合千问和三方模型，支持文本生成与图像生成。通过 Credits 统一计量，同一订阅可在多种 AI 工具中使用。 +Token Plan 采用 Credits 统一抵扣机制，一份订阅即可在 Claude Code、Cursor、Qwen Code、Qoder、Qoder CN、OpenClaw 等主流 AI 编程和智能体工具中使用。支持文本生成、图片生成、视频生成等多种模型，以及联网搜索、代码解释器等 Harness 工具。 -- **多模型灵活切换**：支持多模型按需切换，按 Credits 统一抵扣。 +- **个人版**：面向个人开发者，提供 Lite 套餐、Standard 套餐、Pro 套餐三个档位，按模型分档抵扣系数计费。 -- **兼容多种工具**：适配多种主流编程工具及热门 Agent 工具。控制台提供快速接入 AI 工具入口，支持 Qwen Code、Claude Code、OpenClaw 等工具接入。 +- **团队版**：面向团队和企业，提供标准座席、高级座席、尊享座席三个档位，支持多席位管理、用量分析，承诺不使用数据训练模型。 -- **多档位套餐**：提供标准坐席、高级坐席、尊享坐席多档位套餐，匹配不同使用强度。 - -- **团队管理**：提供管理后台，支持席位分配与回收、成员用量分析等团队管理能力。 - -- **预算可控**：支持按月或按年订阅，预算可控。 - -- **数据安全**：承诺不使用对话数据进行模型训练，满足企业级数据隐私要求。 - -- **平稳运行**：多租户隔离架构，调用高峰期间不排队。 - - -Token Plan 团队版提供套餐专属 Base URL，兼容 OpenAI、Anthropic 接口标准，具体地址可在控制台**我的订阅**的 API Key 区域查看。 - -## **支持的模型** - -**支持的模型判断说明** - -判定规则： - -1\. 本清单为精确字符串白名单 - -2\. 必须逐字符完全匹配，版本号/子型号任何差异均视为不支持 - -3\. 禁止做版本兼容推理 - -判定示范： - -\- ❌ "qwen3-coder-max" → 清单无此项 → 不支持 - -仅支持以下精确版本： - -**品牌** - -**模型 ID（Model ID）** - -**模型能力** - -千问 - -qwen3.7-max[**（限时活动）**](#tp01-promo-section) - -推理模型、文本生成 - -qwen3.7-plus - -推理模型、视觉理解、文本生成 - -qwen3.6-plus - -推理模型、视觉理解、文本生成 - -qwen3.6-flash - -推理模型、视觉理解、文本生成 - -qwen-image-2.0 - -图片生成 - -qwen-image-2.0-pro - -图片生成 - -万相 - -wan2.7-image - -图片生成 - -wan2.7-image-pro - -图片生成 - -DeepSeek - -deepseek-v4-pro - -推理模型、文本生成 - -deepseek-v4-flash - -推理模型、文本生成 -deepseek-v3.2 +## **个人版** -推理模型、文本生成 +**重要** -月之暗面 +个人版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： -kimi-k2.7-code - -推理模型、视觉理解、文本生成 - -kimi-k2.6 - -推理模型、视觉理解、文本生成 - -kimi-k2.5 +1. **预览版**：qwen3.8-max-preview 当前为预览版本，预览期间模型能力会持续迭代升级。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：预览期间模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + +3. **限时夜间折上折**：在现有 1 折优惠基础上，每晚 22:00 - 次日 08:00 期间调用模型，Credits 消耗再享 2 折（即原标准的 0.2 折）。 + -推理模型、视觉理解、文本生成 +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 -智谱 AI +**Lite 套餐** -glm-5.2 +**Standard 套餐** -推理模型、文本生成 +**Pro 套餐** -glm-5.1 +**定价** -推理模型、文本生成 +原价 60 元/月 +限时 **39 元/月** -glm-5 +原价 180 元/月 +限时 **139 元/月** -推理模型、文本生成 +原价 600 元/月 +限时 **499 元/月** -MiniMax +**5 小时限额** -MiniMax-M2.5 +700 Credits -推理模型、文本生成 +3,000 Credits -## **套餐与定价** +12,000 Credits -前往 [Token Plan 团队版购买页面](https://common-buy.aliyun.com/token-plan/)选择坐席类型、数量和订阅周期，完成订阅。主账号和 RAM 账号均可订阅。 +**每 7 天限额** -订阅周期支持按月购买、按年购买、连续包月包年。 +2,500 Credits -### **限时活动** +10,000 Credits -即日起至 2026 年 7 月 22 日 23:59（UTC+8），qwen3.7-max 模型 Credits 消耗减半，同时支持隐式缓存。 +40,000 Credits -### **Token Plan 团队版** +**并发 Agent** -提供标准坐席、高级坐席、尊享坐席三个档位，匹配不同使用强度。 +1-2 个 -席位（坐席）是 Token Plan 团队版的最小订阅单位，代表一个团队成员的使用名额。管理员在[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)中将席位分配给成员后，系统自动为该成员生成专属的 API Key。每个席位绑定一个成员、对应一个 API Key，不可共享。 +3-4 个 -**坐席类型** +6-8 个 -**价格** +**模型** -**额度** +qwen3.8-max-preview、qwen3.7-max、deepseek-v4-pro、wan2.7-image、happyhorse-1.1 等（[查看完整列表](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview#tpp01-models)） -**适用场景** +**Harness 工具** -标准坐席 +支持联网搜索、文搜图、图搜图、网页抓取、代码解释器（[查看详情](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview#tpp01-harness)） -¥198/坐席/月 +## **团队版** -25,000 Credits/坐席/月 +**重要** -轻度使用 AI 辅助的团队成员 +团队版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： -高级坐席 +1. **预览版**：qwen3.8-max-preview 当前为预览版本，预览期间模型能力会持续迭代升级。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：预览期间模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + -¥698/坐席/月 +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 -100,000 Credits/坐席/月 +**标准座席 Standard** -日常高频使用 AI 编程或办公的团队成员 +**高级座席 Pro** -尊享坐席 +**尊享座席 Max** -¥1,398/坐席/月 +**共享用量包 Extra Bundle** -250,000 Credits/坐席/月 +**定价** -重度依赖 AI 的核心开发者或高强度使用者 +原价 198 元/座席/月 +限时 **150 元/座席/月** -### Token Plan 团队版 - 共享用量包 +原价 698 元/座席/月 +限时 **550 元/座席/月** -跨坐席共享的弹性用量包，当个别坐席用量超出套餐额度时，可从共享用量包中抵扣。每个共享用量包有效期为 1 个月，到期未使用的额度自动清零。持有多个共享用量包时，优先抵扣最近到期的用量包。 +**1,398 元/座席/月** -**档位** +5,000 元/个/月 -**价格** +**每月总额度** -**额度** +25,000 Credits/座席/月 -Token Plan 团队版 - 共享用量包 +100,000 Credits/座席/月 -¥5,000/个 +250,000 Credits/座席/月 625,000 Credits/个 -## **订阅管理** - -在[Token Plan 控制台](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan)的**我的订阅**页面管理订阅： - -- **加购席位**：点击**加购座席**，新加席位与现有订阅统一到期，费用和 Credits 额度均按剩余时长折算。 - -- **升级席位**：在**订阅明细**中点击席位的**升级**，将低档位席位升级为高档位，按差价补缴费用。升级当月的 Credits 额度按**高低档位差值**、依本计费周期的剩余时长折算后补充到当月可用额度；自下一计费周期起按新档位的完整额度发放。实际到账额度以控制台**我的订阅**页面为准。 - -- **退订席位**：在**订阅明细**中点击席位的**退订**，按席位维度退订；已有用量消耗的席位不可退订。退款原路退回支付账户，预计 1-3 个工作日到账。 - -- **批量操作**：勾选多个席位后点击**批量升级**或**批量退订**。 - -- **续费**：点击**续费**按钮，续费周期与订阅时一致（按月订阅则按月续费，按年订阅则按年续费），到期前完成可避免服务中断。 - -- **自动续费**：点击**开启自动续费**，确认后次日生效，到期前 9 天系统按订阅周期自动扣款续费。如需关闭，点击**关闭自动续费**并确认，关闭后停止到期前自动扣款续费，订阅到期后自动停订。 - -- **加购共享用量包**：在**共享用量包**区域点击**前往购买**。 - - -## **Credits 计费机制** - -### **计费说明** +**5 小时限额** -单次请求消耗的 Credits **并非固定值**，由模型类型、Token 用量、思考模式及工具调用等动态决定。其中 Token 用量会随多轮对话累积的上下文（历史消息、代码、工具返回、检索内容等）持续增长，且部分模型按**上下文长度阶梯计费**（上下文越长，单价档位可能越高），因此同一模型在不同请求下的消耗可能相差较大。实际消耗以[控制台订阅页用量明细](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan)为准。 +无限制 -### **计算示例** +**7 天限额** -以 qwen3.6-plus 为例，预估单次请求消耗明细如下（不同模型的单价不同，实际以账单为准）： +无限制 -**Token 类型** +**模型** -**数量** +qwen3.8-max-preview、qwen3.7-max、deepseek-v4-pro、wan2.7-image等（[查看完整列表](https://help.aliyun.com/zh/model-studio/token-plan-team-overview#tpt01-models)） -**消耗 Credits** +**团队管理** -输入 tokens +支持多席位管理和用量分析（[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)） -8,349 +**Harness 工具** -1.67 +支持联网搜索、文搜图、图搜图、网页抓取、代码解释器（[查看详情](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview#tpp01-harness)） -缓存 tokens +## **套餐限额** -40,794 +### **个人版** -0.82 +个人版采用 5 小时和 7 天两层固定窗口限额，限额单位为 Credits： -输出 tokens - -573 - -0.69 - -**合计** - -**约 3.18 Credits** - -**说明** - -上表**仅为单次请求的示例**，并不代表每次请求都固定消耗约 3 Credits。在 AI 编程、智能体等**多轮对话**场景中，每次请求都会携带累积的上下文（历史对话、代码、工具返回等），随着对话进行输入 Token 持续增多，单次消耗的 Credits 也会**相应上升**；若模型按上下文长度阶梯计费，长上下文可能进入更高价位档，消耗速度进一步加快。 - -如需控制消耗，建议：任务切换或话题变更时**及时开启新会话**、清理无关历史，以缩短上下文；对长文档、大代码库按需拆分输入；并在上述控制台订阅页用量明细中关注各模型的实时消耗趋势。 - -**说明** - -上表以 qwen3.6-plus 展示 Token 类型分布，其中**“缓存 tokens”一行为通用 Token 分类示意**。**Token Plan 团队版中，隐式缓存的命中取决于所选模型是否支持**——目前仅 qwen3.7-max 在限时活动期间支持隐式缓存（详见上文[限时活动](#tp01-promo-section)章节）；使用其他模型时，输入 Token 不会进入隐式缓存抵扣，此时“缓存 tokens”一行不适用。 - -### **抵扣顺序** - -1. 优先从坐席套餐的月度额度中抵扣。 +- **5 小时限额**：自首次调用起开启 5 小时计时窗口，窗口期内累计消耗达到限额后暂停服务，需等待满 5 小时后额度重置。 -2. 坐席额度用尽后，从共享用量包中抵扣。持有多个共享用量包时，优先抵扣最近到期的用量包。 - -3. 全部额度用尽后，服务将暂停至下一计费周期或购买共享用量包补充额度。 +- **7 天限额**：自首次调用起开启 7 天计时窗口，窗口期内累计消耗达到限额后暂停服务，需等待满 7 天后额度重置。 -## **查看额度消耗情况** +任一层限额触顶即暂停服务，需等待对应窗口周期结束后额度重置。窗口期内未用完的额度不结转至下一周期。 -**通过控制台**：登录[Token Plan 控制台](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan)，在**我的订阅**页面查看总额度使用百分比、重置时间、团队席位分配情况，以及各席位与共享用量包的状态和到期时间。 +### **团队版** -**通过团队管理平台**：在**用量分析**页面，可查看近 1、7、30 天的 Credits 消耗趋势、各模型用量，以及每个成员的消耗明细。详见[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)。 +团队版采用月度总额度制，无 5 小时和 7 天窗口限额。每个座席的月度额度在计费周期内可用，到期未使用的额度不结转。超出月度总额度后调用将被阻断，可购买共享用量包补充额度。 -## **使用细则** +## **常见问题** -1. **使用范围**：仅限在兼容的 AI 编程和智能体工具中交互式使用，不可用于自动化脚本或应用后端。违规使用可能导致订阅暂停或 API Key 封禁。 - -2. **数据安全**：Token Plan 团队版不会使用对话数据训练模型。 - -3. **账号规范**：API Key 仅限已分配席位的成员本人使用，不可共享或公开泄露。 - -4. **退订与退款**：在控制台**我的订阅**页面按席位退订，已有用量消耗的席位不可退订。退款原路退回支付账户，预计 1-3 个工作日到账。 - -5. **服务地域**：Token Plan 团队版目前仅在特定地域提供服务，如需从海外调用，请确认符合当地法律法规要求。关于百炼支持的地域和服务部署范围，请参见[选择地域和服务部署范围](https://help.aliyun.com/zh/model-studio/regions/)。 - +### **个人版和团队版可以同时购买吗？** + +可以。同一阿里云账号可以同时持有个人版和团队版，各自独立计费。 -## 错误码 +### **关于 Coding Plan** -如果模型调用失败并返回报错信息，请参见[错误码](https://help.aliyun.com/zh/model-studio/error-code)进行解决。 +Coding Plan 和 Token Plan 是两个独立的订阅产品，两者之间无法迁移或升级。Coding Plan Lite 已于 2026 年 3 月 20 日停止新购，2026 年 4 月 13 日停止续费和升级；Coding Plan Pro 为限量抢购，库存售罄后不再补充。推荐使用 **Token Plan**，支持更多模型和 Harness 工具。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md new file mode 100644 index 00000000..df430a0d --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md @@ -0,0 +1,172 @@ +# 常见问题 + +Token Plan 个人版的额度、购买、订阅和接入常见问题。 + +## **额度与限额** + +### 5 小时限额和 7 天限额是什么意思？ + +Token Plan 个人版采用 5 小时和每 7 天两层固定窗口限额，限额单位为 Credits。两层限额独立计算，任一层触顶即暂停服务，需等待对应窗口周期结束后额度重置。窗口期内未用完的额度不结转至下一周期。 + +- **5 小时限额**：自首次调用起开启 5 小时计时窗口，窗口期内累计消耗达到限额后暂停服务，需等待满 5 小时后额度重置。 + + 例如：Standard 套餐的 5 小时限额为 3,000 Credits。您在 7 月 20 日 10:00 首次调用，系统开启窗口（10:00 ~ 15:00）。10:00 消耗 2,000 Credits，11:00 消耗 1,000 Credits，累计 3,000 Credits 触顶暂停。需等到 15:00 窗口结束，额度重置为 3,000 Credits，服务恢复。 + +- **7 天限额**：自首次调用起开启 7 天计时窗口，窗口期内累计消耗达到限额后暂停服务，需等待满 7 天后额度重置。 + + 例如：Standard 套餐的 7 天限额为 10,000 Credits。您在 7 月 20 日首次调用，系统开启窗口（7 月 20 日 ~ 7 月 27 日）。7 月 20 日消耗 4,000 Credits，7 月 22 日消耗 6,000 Credits，累计 10,000 Credits 触顶暂停。需等到 7 月 27 日窗口结束，额度重置为 10,000 Credits，服务恢复。 + + +各档位限额如下： + +**档位** + +**5 小时限额** + +**7 天限额** + +Lite 套餐 + +700 Credits + +2,500 Credits + +Standard 套餐 + +3,000 Credits + +10,000 Credits + +Pro 套餐 + +12,000 Credits + +40,000 Credits + +### 5 小时限额到了但7 天限额还有余量，还能继续使用吗？ + +不能。任一层限额触顶即暂停服务，需等待对应窗口周期结束后额度重置。 + +### 7 天限额是固定日期重置吗？ + +不是。7 天限额采用固定窗口机制，自首次调用起计时 7 天，到期后额度重置。重置时间取决于您首次调用的时间，而非固定的日历日期（如每周一）。 + +### 额度用完了怎么办？ + +限额用完后调用会被阻断，不会按量计费。恢复方式： + +- 等待额度释放。 + +- 升级套餐。 + + +## **接入报错** + +### 常见报错及解决方案 + +**报错信息** + +**可能原因** + +**解决方案** + +401 InvalidApiKey: No API-key provided. + +请求头中未携带 API Key + +生成 API Key 并在工具中完成配置 + +401 InvalidApiKey: Invalid API-key provided. + +误用了按量计费的 API Key 或 Coding Plan 的 Key；订阅过期；Key 复制不完整 + +确认使用 Token Plan 个人版专属 API Key，确保完整且无空格 + +404 model 'xxx' not found or not supported + +模型名称拼写错误或不在支持列表 + +确认模型名称区分大小写，与套餐支持的模型 ID 一致。 + +401 invalid access token or token expired + +误用了 Coding Plan 或其他计费模式的 Base URL + +使用 Token Plan 个人版专属 Base URL + +401 Incorrect API key provided + +误用了百炼通用 Base URL（dashscope.aliyuncs.com） + +使用 Token Plan 个人版专属 Base URL + +429 Requests rate limit exceeded + +短时间内请求过于密集 + +等待一分钟后重试，降低请求频率 + +429 Allocated quota exceeded + +5 小时或7 天限额用尽 + +等待窗口释放额度 + +## **并发与性能** + +### 最多支持多少个 Agent 并发？ + +并发能力与套餐档位相关： + +**档位** + +**建议并发** + +Lite 套餐 + +可同时支持 1-2 个 Agent 并发运行 + +Standard 套餐 + +可同时支持 3-4 个 Agent 并发运行 + +Pro 套餐 + +可同时支持 6-8 个 Agent 并发运行 + +### 高峰期响应会变慢吗？ + +高峰期可能出现排队等待。如需更稳定的吞吐，可升级到更高档位或使用团队版。 + +## **使用规则** + +### "禁止 API 生产自动化调用"具体是什么意思？ + +Token Plan 个人版仅供个人通过官方指定工具（如 Cursor、Claude Code、Windsurf 等）进行交互式开发。不允许将 API Key 用于生产环境的自动化服务、批量脚本或后台定时任务等非交互场景。 + +### 多人共用一个账号可以吗？ + +不可以。Token Plan 个人版限单人使用，不允许多人共用同一账号或 API Key。如需多人协作，请使用 Token Plan 团队版。 + +## **购买与订阅** + +### RAM 用户可以使用 Token Plan 吗？ + +可以，需由主账号完成以下授权： + +1. 在 [RAM 控制台](https://ram.console.aliyun.com/)为该 RAM 用户授予 `AliyunTokenPlanReadOnlyAccess`（只读）或 `AliyunTokenPlanFullAccess`（管理）系统策略。 + +2. 在百炼控制台[账号管理](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)页面，为该 RAM 用户分配管理员或订阅套餐权限。 + + +### 可以升配吗？升配后额度怎么算？ + +支持从低档位升级到更高档位。升级按剩余时长补缴差价，升级后每 5 小时限额和每 7 天限额立即提升至新档位对应额度。 + +### 可以降配吗？ + +不支持降配。如需更换为更低档位，可在订阅到期后重新购买。 + +### 自动续费怎么取消？ + +登录[百炼控制台 Token Plan](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan) 页面，在订阅管理中关闭自动续费。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md new file mode 100644 index 00000000..09fb4b2a --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md @@ -0,0 +1,234 @@ +# 概述 + +[Token Plan 个人版](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)是面向个人开发者的 AI 大模型订阅服务，以 Credits 统一计量，支持文本、多模态模型及 Harness 工具，适配主流 AI 编程和智能体工具。 + +**说明** + +Token Plan 个人版目前仅支持**华北2（北京）**地域。 + +## **核心特性** + +- **Credits 统一计量**：通过 Credits 统一抵扣不同模型和 Harness 工具的费用。 + +- **多模态模型支持**：覆盖文本生成、推理、视觉理解、图片生成、语音合成、语音识别、视频生成等能力。 + +- **Harness 工具集成**：支持联网搜索、文搜图、图搜图、网页抓取、代码解释器。 + +- **兼容多种工具**：适配 Claude Code、Cursor、Qwen Code、Qoder、Qoder CN、OpenClaw 等主流 AI 编程和智能体工具。 + + +## **套餐档位与定价** + +**Lite 套餐** + +**Standard 套餐** + +**Pro 套餐** + +**定价** + +原价 60 元/月 +限时 **39 元/月** + +原价 180 元/月 +限时 **139 元/月** + +原价 600 元/月 +限时 **499 元/月** + +**每 7 天限额** + +2,500 Credits + +10,000 Credits + +40,000 Credits + +**每 5 小时限额** + +700 Credits + +3,000 Credits + +12,000 Credits + +**并发 Agent** + +1-2 个 + +3-4 个 + +6-8 个 + +**权益** + +文本、视觉等多模态模型 + +联网搜索等 Harness 工具 + +适配主流工具并持续扩展 + +享受 Lite 套餐所有权益 + +4x Lite 套餐用量 + +享受 Standard 套餐所有权益 + +16x Lite 套餐用量 + +更高的并发上限 + +- **每 5 小时限额**：自首次调用起开启 5 小时计时窗口，窗口期内累计消耗达到限额后暂停服务，需等待满 5 小时后额度重置。 + +- **每 7 天限额**：自首次调用起开启 7 天计时窗口，窗口期内累计消耗达到限额后暂停服务，需等待满 7 天后额度重置。 + + +任一层限额触顶即暂停服务，需等待对应窗口周期结束后额度重置。窗口期内未用完的额度不结转至下一周期。 + +## **Credits 计费机制** + +### **计费说明** + +单次消耗的 Credits 由模型类型、Token 用量、思考模式及工具调用等动态决定，实际消耗以[控制台订阅页](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal)用量详情为准。 + +### **抵扣顺序** + +1. 每次调用消耗的 Credits 同时计入每 5 小时限额和每 7 天限额。 + +2. 任一层限额（5 小时或 7 天）触顶后，服务暂停，需等待对应窗口周期结束后额度重置，或升级套餐以获取更高额度上限。 + + +## **支持的模型** + +**重要** + +个人版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： + +1. **预览版**：qwen3.8-max-preview 当前为预览版本，**预览期间模型能力会持续迭代升级**。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：限时活动期间，模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + +3. **限时夜间折上折**：在现有 1 折优惠基础上，每晚 22:00 - 次日 08:00 期间调用模型，Credits 消耗再享 2 折（即原标准的 0.2 折）。 + + +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 + +**品牌** + +**模型 ID（Model ID）** + +**模型能力** + +千问 + +qwen3.8-max-preview + +推理模型、视觉理解、文本生成 + +qwen3.7-max + +推理模型、文本生成 + +qwen3.7-plus + +推理模型、视觉理解、文本生成 + +qwen3.6-flash + +推理模型、视觉理解、文本生成 + +智谱 AI + +glm-5.2 + +推理模型、文本生成 + +DeepSeek + +deepseek-v4-pro + +推理模型、文本生成 + +万相 + +wan2.7-image + +图片生成 + +wan2.7-image-pro + +图片生成 + +HappyHorse + +happyhorse-1.1-i2v + +视频生成 + +happyhorse-1.1-t2v + +视频生成 + +happyhorse-1.1-r2v + +视频生成 + +## **支持的 Harness 工具** + +**工具能力** + +**工具名称** + +联网搜索 + +web\_search + +文搜图 + +t2i\_search + +图搜图 + +i2i\_search + +网页抓取 + +web\_extractor + +代码解释器 + +code\_interpreter + +## **订阅管理** + +### **升级** + +支持从低档位升级到更高档位。升级按剩余时长补缴差价，升级后每 5 小时限额和每 7 天限额立即提升至新档位对应额度。 + +### **续费** + +续费支持切换续费周期，也可一次续费多个周期。 + +- **手动续费**：支持选择不同续费时长，可续费多个周期。 + +- **自动续费**：开启后到期前系统自动扣款续费。 + + +续费仅延长订阅有效期，不会叠加补充至当前计费周期的额度。 + +### **其他** + +- 个人版暂不支持退订。 + +- 订阅到期后重新购买，API Key 会发生变更，需在工具中重新配置。新 API Key 可在控制台[**我的订阅**](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal)页面的 API Key 区域获取。 + + +## **订阅前须知** + +1. **严禁 API 调用**：仅限在编程工具和智能体工具（如 Claude Code、Cursor、Qwen Code、Qoder、Qoder CN、OpenClaw 等）中使用，禁止以 API 调用的形式用于自动化脚本、自定义应用程序后端或任何非交互式批量调用场景。将套餐 API Key 用于允许范围之外的调用将被视为违规或滥用，可能会导致订阅被暂停或 API Key 被封禁。 + +2. **数据使用授权**：使用 Token Plan 个人版期间，模型输入以及模型生成的内容将用于服务改进与模型优化。停止使用 Token Plan 个人版服务可终止后续数据授权，但终止授权的范围不涵盖已授权使用的数据。详细条款请参见[阿里云百炼服务协议](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20230728213935489/20230728213935489.html)第 5.2 条。 + +3. **账号使用规范**：套餐为订阅人专享使用，禁止共享。账号共享可能导致订阅权益受限。 + +4. **购买限制**：同一实名认证主体限购一份，可同时购买个人版和团队版。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md new file mode 100644 index 00000000..9ec1d5be --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md @@ -0,0 +1,81 @@ +# 快速开始 + +三步完成 Token Plan 个人版订阅和接入：选择套餐、获取 API Key、配置 AI 工具。 + +## **步骤一：订阅 Token Plan 个人版** + +访问 [Token Plan 个人版购买页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)，选择套餐档位和订阅周期，完成订阅。 + +购买须知： + +- **RAM 用户授权**：RAM 用户使用 Token Plan 前，需由主账号完成以下授权： + + 1. 在 [RAM 控制台](https://ram.console.aliyun.com/)为该 RAM 用户授予 `AliyunTokenPlanReadOnlyAccess`（只读）或 `AliyunTokenPlanFullAccess`（管理）系统策略。 + + 2. 在百炼控制台[账号管理](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)页面，为该 RAM 用户分配管理员或订阅套餐权限。 + + +## **步骤二：获取 API Key 和 Base URL** + +- **API Key**：订阅完成后，在 Token Plan 控制台的**我的订阅**页面生成 API Key。API Key 仅在生成时完整显示一次，请立即复制并妥善保存。 + +- **Base URL**：根据 AI 工具支持的协议，选择对应的 Base URL。 + + +**协议** + +**Base URL** + +OpenAI 兼容 + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +Anthropic 兼容 + +`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` + +**重要** + +Token Plan 的 API Key 以 `sk-sp-` 开头，与百炼通用 API Key（`sk-` 开头）格式不同，两者不可混用。Token Plan、Coding Plan 和按量付费的 API Key 与 Base URL 完全隔离，必须配套使用。 + +## **步骤三：接入 AI 工具** + +将 API Key 和 Base URL 配置到 AI 工具中，即可开始使用。 + +[**OpenClaw**开源、自托管个人 AI 助手](https://help.aliyun.com/zh/model-studio/openclaw) + +[**Hermes Agent**开源 AI 代理框架，内置自学习循环](https://help.aliyun.com/zh/model-studio/hermes-agent) + +[**Claude Code**AI 终端编码助手，支持自然语言编程](https://help.aliyun.com/zh/model-studio/claude-code) + +[**OpenCode**开源 AI 编程代理工具](https://help.aliyun.com/zh/model-studio/opencode) + +[**Cursor**AI 原生代码编辑器](https://help.aliyun.com/zh/model-studio/cursor) + +[**Codex**OpenAI 推出的命令行编程工具](https://help.aliyun.com/zh/model-studio/codex) + +[**Qwen Code**开源命令行 AI 编码工具](https://help.aliyun.com/zh/model-studio/qwen-code) + +[**QwenPaw**开源个人 AI 助手，支持本地与云端部署](https://help.aliyun.com/zh/model-studio/qwenpaw) + +[**Cherry Studio**多模型桌面客户端](https://help.aliyun.com/zh/model-studio/cherry-studio) + +[**Chatbox**跨平台 AI 桌面客户端](https://help.aliyun.com/zh/model-studio/chatbox) + +[**Cline**VS Code 扩展，智能代码补全和调试](https://help.aliyun.com/zh/model-studio/cline) + +[**Qoder**面向真实软件开发的 Agentic 编码平台](https://help.aliyun.com/zh/model-studio/qoder-agent) + +[**Lingma**阿里云智能编码助手，提供独立 IDE](https://help.aliyun.com/zh/model-studio/lingma-agent) + +[**Kilo CLI**轻量高性能命令行编程工具](https://help.aliyun.com/zh/model-studio/kilo-cli) + +[··· **更多工具**其他编程工具](https://help.aliyun.com/zh/model-studio/more-tools) + +## **可选：接入多模态生成模型** + +Token Plan 个人版支持多模态生成模型（wan2.7-image、happyhorse-1.1-t2v 等）。多模态生成模型使用独立的接口，需要通过 AI 工具的 Skill 或扩展机制接入，详见[接入多模态生成模型](https://help.aliyun.com/zh/model-studio/token-plan-multimodal-gen)。 + +## **可选：接入 Harness 工具** + +通过 Harness 工具调用，模型可以在对话中调用联网搜索、文搜图、图搜图、网页抓取、代码解释器等扩展能力。当前仅 qwen3.7、qwen3.8 支持原生工具调用，通过 Responses API 直接调用，Harness 工具按抵扣系数消耗 Credits。详见[接入 Harness 工具](https://help.aliyun.com/zh/model-studio/token-plan-harness-tool)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-faq.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-faq.md new file mode 100644 index 00000000..0b296d0c --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-faq.md @@ -0,0 +1,205 @@ +# 常见问题 + +Token Plan 团队版的常见问题解答，包括产品选择、Credits 计费与额度、模型与工具兼容性、使用限制、购买续费与退订等。 + +## **产品定位与套餐选择** + +### **个人版和团队版有什么区别？我该买哪个？** + +**对比项** + +**个人版** + +**团队版** + +适用场景 + +个人开发者 + +团队/企业 + +额度机制 + +5 小时 + 7 天固定窗口限额 + +固定月额度 + +团队管理 + +不支持 + +席位分配与回收、成员用量分析、SSO 接入 + +数据安全 + +数据使用遵循服务协议 + +承诺不使用对话数据训练模型 + +高峰期性能 + +高峰期可能出现等待 + +多租户隔离，高峰期不排队 + +个人开发者、日常使用 AI 编程工具，选择个人版即可；团队需要多人协作、统一管理席位和用量、对数据安全有更高要求，选择团队版。 + +### **个人版和团队版能同时买吗？额度是分开算的还是共享的？** + +可以同时购买。同一阿里云账号可以同时持有个人版和团队版，各自独立计费，额度不共享。 + +## **Credits 计费与额度** + +### **团队版的额度机制是怎样的？** + +团队版采用固定月额度，无 5 小时/7 天窗口限制。各坐席类型的月度额度： + +- **标准坐席**：25,000 Credits/坐席/月 + +- **高级坐席**：100,000 Credits/坐席/月 + +- **尊享坐席**：250,000 Credits/坐席/月 + + +坐席额度在每个订阅月到期时重置，未用完的额度不累积到下月。 + +### **坐席额度用完了怎么办？** + +坐席额度用尽后调用会被阻断，不会按量计费。恢复方式： + +- 等待下一个订阅月额度自动重置。 + +- 购买共享用量包（625,000 Credits/个，有效期 1 个月），团队内全部成员共享使用。 + + +## **模型与工具兼容性** + +### **Token Plan 团队版支持哪些模型？** + +团队版支持文本生成、推理、视觉理解、图片生成和语音模型。具体模型列表和抵扣系数请参见控制台的模型列表页面。 + +### **支持 Cursor / Claude Code / Cline 等第三方工具吗？** + +支持。Token Plan 兼容 OpenAI 和 Anthropic 协议，任何支持自定义 Base URL 和 API Key 的工具均可接入，包括 Cursor、Claude Code、Qwen Code、Qoder、Qoder CN、Cline、OpenClaw、Cherry Studio、Chatbox 等。具体配置方法请参见快速开始中的接入 AI 工具部分。 + +### **团队版的 API Key 能用在个人版上吗？** + +不能。个人版和团队版各自生成独立的 API Key，不可混用。系统会根据 API Key 自动识别对应的套餐。 + +### **Harness 工具是什么？** + +Harness 工具是模型内置的扩展能力，包括联网搜索、文搜图、图搜图、网页抓取、代码解释器等。团队版支持 Harness 工具，调用时按工具抵扣系数消耗 Credits。当前仅 qwen3.7 和 qwen3.8 系列模型支持原生 Harness 工具调用。 + +## **使用限制** + +### **模型调用限流是怎么计算的？** + +每秒或每分钟消耗的 Token 数（TPS/TPM）超过模型限流阈值时会触发限流。限流按主账号维度计算，账号下全部 RAM 子账号、业务空间和 API Key 的调用量合并计算。 + +### **高峰期性能如何？** + +团队版基于多租户隔离架构，调用高峰期间不排队。 + +## **购买、续费与退订** + +### **支持 RAM 子账号购买吗？** + +支持。RAM 子账号使用前，需主账号完成以下授权： + +1. 在 RAM 控制台为该 RAM 用户授予 `AliyunTokenPlanReadOnlyAccess`（只读）或 `AliyunTokenPlanFullAccess`（管理）系统策略。 + +2. 在百炼控制台账号管理页面，为该 RAM 用户分配管理员或订阅套餐权限。 + + +### **可以升配吗？升配后额度怎么算？** + +支持坐席升配。升配后立即生效，限额按新坐席类型执行。升配需补缴差价（按剩余天数折算）。 + +### **可以降配吗？** + +不支持降配。如需使用更低坐席类型，可在当前订阅到期后重新订阅。 + +### **自动续费怎么取消？** + +登录[费用中心 > 续费管理](https://usercenter2.aliyun.com/finance/renew-manage)，找到 Token Plan 团队版订单，关闭自动续费。 + +### **续费时可以更换订阅时长吗？** + +不可以。续费仅支持按原订阅时长续费。如需更换订阅时长，可在订阅到期后重新购买。 + +### **限时优惠的计费规则是什么？** + +限时优惠仅适用于包月订阅的新购、续费和自动续费，包年订阅和升级坐席不参与。 + +加购坐席时按剩余时长折算费用，实际收费取折算金额与限时价中的较低值。 + +**示例**：标准坐席原价 ¥198/月，限时价 ¥150/月。 + +- 加购时按剩余时长折算为 ¥99，低于限时价，实际收取 ¥99。 + +- 加购时按剩余时长折算为 ¥165，高于限时价，实际收取 ¥150。 + + +## **与现有产品的关系** + +### **已有个人版，再买团队版会冲突吗？** + +不冲突。两者可以同时持有，各自独立计费。使用时根据 API Key 自动匹配对应套餐。 + +## **接入报错** + +### **常见报错及解决方案** + +**报错信息** + +**可能原因** + +**解决方案** + +401 InvalidApiKey: No API-key provided. + +请求头中未携带 API Key + +生成 API Key 并在工具中完成配置 + +401 InvalidApiKey: Invalid API-key provided. + +误用了按量计费的 API Key 或 Coding Plan 的 Key；订阅过期；Key 复制不完整 + +确认使用 Token Plan 团队版专属 API Key，确保完整且无空格 + +404 model 'xxx' not found or not supported + +模型名称拼写错误或不在支持列表 + +确认模型名称区分大小写，与套餐支持的模型 ID 一致 + +401 invalid access token or token expired + +误用了 Coding Plan 或其他计费模式的 Base URL + +使用 Token Plan 团队版专属 Base URL + +401 Incorrect API key provided + +误用了百炼通用 Base URL（dashscope.aliyuncs.com） + +使用 Token Plan 团队版专属 Base URL + +400 Range of input length should be \[1, xxx\] + +输入内容超出模型最大上下文长度 + +新建会话清空历史，或使用工具的上下文压缩命令 + +429 Requests rate limit exceeded + +短时间内请求过于密集，触发模型限流 + +等待一分钟后重试，降低请求频率 + +429 Allocated quota exceeded + +坐席月度额度用尽 + +购买共享用量包或等待下月额度重置 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md new file mode 100644 index 00000000..4b4358d0 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md @@ -0,0 +1,314 @@ +# 概述 + +Token Plan 团队版是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持文本生成、图像生成与视频生成模型，兼容主流 AI 编程与智能体工具，提供团队管理后台、数据安全保障，调用平稳运行。 + +**说明** + +Token Plan 团队版目前仅支持**华北2（北京）**地域。 + +## **产品简介** + +Token Plan 团队版整合千问和三方模型，支持文本生成、图像生成与视频生成。通过 Credits 统一计量，同一订阅可在多种 AI 工具中使用。 + +- **多模型灵活切换**：支持多模型按需切换，按 Credits 统一抵扣。 + +- **兼容多种工具**：适配多种主流编程工具及热门 Agent 工具。控制台提供快速接入 AI 工具入口，支持 Qwen Code、Claude Code、Qoder、Qoder CN、OpenClaw 等工具接入。 + +- **多档位套餐**：提供标准坐席、高级坐席、尊享坐席多档位套餐，匹配不同使用强度。 + +- **团队管理**：提供管理后台，支持席位分配与回收、成员用量分析等团队管理能力。 + +- **预算可控**：支持按月或按年订阅，预算可控。 + +- **数据安全**：承诺不使用对话数据进行模型训练，满足企业级数据隐私要求。 + +- **平稳运行**：多租户隔离架构，调用高峰期间不排队。 + + +Token Plan 团队版提供套餐专属 Base URL，兼容 OpenAI、Anthropic 接口标准，具体地址可在控制台**我的订阅**的 API Key 区域查看。 + +## **支持的模型** + +**重要** + +团队版支持 qwen3.8-max-preview 预览模型，享有以下限时权益： + +1. **预览版**：qwen3.8-max-preview 当前为预览版本，**预览期间模型能力会持续迭代升级**。预览结束后该模型会下线或替换成正式版本。 + +2. **限时加量 10 倍**：限时活动期间，模型调用 Credits 消耗低至 1 折，相当于增加 10 倍用量。 + + +阿里云百炼有权根据运营情况对活动进行变更或调整，包括不限于活动内容和有效期等，请以页面最新内容或阿里云通知为准。 + +**品牌** + +**模型 ID（Model ID）** + +**模型能力** + +千问 + +qwen3.8-max-preview + +推理模型、视觉理解、文本生成 + +qwen3.7-max + +推理模型、文本生成 + +qwen3.7-plus + +推理模型、视觉理解、文本生成 + +qwen3.6-plus + +推理模型、视觉理解、文本生成 + +qwen3.6-flash + +推理模型、视觉理解、文本生成 + +qwen-image-2.0 + +图片生成 + +qwen-image-2.0-pro + +图片生成 + +万相 + +wan2.7-image + +图片生成 + +wan2.7-image-pro + +图片生成 + +DeepSeek + +deepseek-v4-pro + +推理模型、文本生成 + +deepseek-v4-flash + +推理模型、文本生成 + +deepseek-v3.2 + +推理模型、文本生成 + +月之暗面 + +kimi-k2.7-code + +推理模型、视觉理解、文本生成 + +kimi-k2.6 + +推理模型、视觉理解、文本生成 + +kimi-k2.5 + +推理模型、视觉理解、文本生成 + +智谱 AI + +glm-5.2 + +推理模型、文本生成 + +glm-5.1 + +推理模型、文本生成 + +glm-5 + +推理模型、文本生成 + +MiniMax + +MiniMax-M2.5 + +推理模型、文本生成 + +HappyHorse + +happyhorse-1.1-i2v + +视频生成 + +happyhorse-1.1-t2v + +视频生成 + +happyhorse-1.1-r2v + +视频生成 + +## **套餐与定价** + +前往 Token Plan 团队版购买页面选择坐席类型、数量和订阅周期，完成订阅。主账号和 RAM 账号均可订阅。订阅周期支持按月购买、按年购买、连续包月包年。 + +### **限时活动** + +即日起至 2026 年 7 月 22 日 23:59（UTC+8），qwen3.7-max 模型 Credits 消耗减半，同时支持隐式缓存。 + +### **Token Plan 团队版** + +提供标准坐席、高级坐席、尊享坐席三个档位，匹配不同使用强度。 + +席位（坐席）是 Token Plan 团队版的最小订阅单位，代表一个团队成员的使用名额。管理员在团队管理中将席位分配给成员后，系统自动为该成员生成专属的 API Key。每个席位绑定一个成员、对应一个 API Key，不可共享。 + +**坐席类型** + +**价格** + +**额度** + +**适用场景** + +标准坐席 + +原价 ¥198/坐席/月 +限时 **¥150/坐席/月** + +25,000 Credits/坐席/月 + +轻度使用 AI 辅助的团队成员 + +高级坐席 + +原价 ¥698/坐席/月 +限时 **¥550/坐席/月** + +100,000 Credits/坐席/月 + +日常高频使用 AI 编程或办公的团队成员 + +尊享坐席 + +¥1,398/坐席/月 + +250,000 Credits/坐席/月 + +重度依赖 AI 的核心开发者或高强度使用者 + +**重要** + +限时优惠仅适用于包月订阅的新购、续费和自动续费，包年订阅和升级坐席不参与。加购坐席时按剩余时长折算费用，实际收费取折算金额与限时价中的较低值。 + +### **Token Plan 团队版 - 共享用量包** + +跨坐席共享的弹性用量包，当个别坐席用量超出套餐额度时，可从共享用量包中抵扣。每个共享用量包有效期为 1 个月，到期未使用的额度自动清零。持有多个共享用量包时，优先抵扣最近到期的用量包。 + +**档位** + +**价格** + +**额度** + +Token Plan 团队版 - 共享用量包 + +¥5,000/个 + +625,000 Credits/个 + +## **Credits 计费机制** + +### **计费说明** + +单次消耗的 Credits 由模型类型、Token 用量、思考模式及工具调用等动态决定，实际消耗以控制台订阅页用量明细为准。 + +### **计算示例** + +以 qwen3.6-plus 为例，预估单次请求消耗明细如下（不同模型的单价不同，实际以账单为准）： + +**Token 类型** + +**数量** + +**消耗 Credits** + +输入 tokens + +8,349 + +1.67 + +缓存 tokens + +40,794 + +0.82 + +输出 tokens + +573 + +0.69 + +**合计** + +**约 3.18 Credits** + +### **抵扣顺序** + +1. 优先从坐席套餐的月度额度中抵扣。 + +2. 坐席额度用尽后，从共享用量包中抵扣。持有多个共享用量包时，优先抵扣最近到期的用量包。 + +3. 全部额度用尽后，服务将暂停至下一计费周期或购买共享用量包补充额度。 + + +## **查看额度消耗情况** + +**通过控制台**：登录 Token Plan 控制台，在**我的订阅**页面查看总额度使用百分比、重置时间、团队席位分配情况，以及各席位与共享用量包的状态和到期时间。 + +**通过团队管理平台**：在**用量分析**页面，可查看近 1、7、30 天的 Credits 消耗趋势、各模型用量，以及每个成员的消耗明细。详见团队管理。 + +## **订阅管理** + +### **加购席位** + +在 Token Plan 控制台的**我的订阅**页面，点击**加购座席**，选择席位档位和数量后提交订单。新加席位与现有订阅统一到期，费用和 Credits 额度均按剩余时长折算。 + +### **升级席位** + +在**订阅明细**中找到目标席位，点击**升级**，选择更高档位后提交订单。需要批量操作时，勾选多个席位后点击**批量升级**。升级按剩余时长补缴差价。 + +### **续费** + +- 点击**续费**按钮，续费周期与订阅时一致（按月订阅则按月续费，按年订阅则按年续费），到期前完成可避免服务中断。 + +- **自动续费**：点击**开启自动续费**，确认后次日生效，到期前 9 天系统按订阅周期自动扣款续费。如需关闭，点击**关闭自动续费**并确认。 + + +### **退订席位** + +在**订阅明细**中点击席位的**退订**，按席位维度退订；已有用量消耗的席位不可退订。也可勾选多个席位后点击**批量退订**。退款原路退回支付账户，预计 1-3 个工作日到账。 + +### **加购共享用量包** + +在**共享用量包**区域点击**前往购买**。 + +### **注意事项** + +- 退订重购后，API Key 和 Base URL 会发生变更，需在工具中重新配置。新 API Key 和 Base URL 均可在控制台[**我的订阅**](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/enterprise)页面的 API Key 区域获取。 + +- 续费仅延长订阅有效期，不会叠加补充至当前计费周期的额度。 + +- 团队版与个人版可同时持有，各自独立计费。 + + +## **使用细则** + +1. **使用范围**：仅限在兼容的 AI 编程和智能体工具中交互式使用，不可用于自动化脚本或应用后端。违规使用可能导致订阅暂停或 API Key 封禁。 + +2. **数据安全**：Token Plan 团队版不会使用对话数据训练模型。 + +3. **账号规范**：API Key 仅限已分配席位的成员本人使用，不可共享或公开泄露。 + +4. **服务地域**：Token Plan 团队版目前仅在特定地域提供服务，如需从海外调用，请确认符合当地法律法规要求。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-quickstart.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-quickstart.md similarity index 70% rename from skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-quickstart.md rename to skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-quickstart.md index 4486ad53..5137b357 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-quickstart.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-quickstart.md @@ -4,16 +4,16 @@ ## **步骤一：订阅 Token Plan 团队版** -访问 [Token Plan 团队版购买页面](https://common-buy.aliyun.com/token-plan/)，选择坐席类型、数量和订阅周期（按月或按年）并完成订阅，主账号和 RAM 账号均可订阅。 +访问 [Token Plan 团队版购买页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)，选择套餐档位和订阅周期并完成订阅，主账号和 RAM 账号均可订阅。 购买须知： -- RAM 子账号订阅前，需主账号在 RAM 控制台授予 AliyunBailianFullAccess 权限。 +- RAM 用户使用 Token Plan 前，需主账号在 RAM 控制台授予 `AliyunTokenPlanReadOnlyAccess`（只读）或 `AliyunTokenPlanFullAccess`（管理）系统策略，并在百炼控制台账号管理页面分配管理员或订阅套餐权限。 ## **步骤二：获取 API Key 和 Base URL** -- **API Key**：在 Token Plan 控制台的[成员管理页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)或管理平台创建成员账号，分配席位后，为成员生成 API Key。详见[团队管理](https://help.aliyun.com/zh/model-studio/token-plan-team)。 +- **API Key**：在 Token Plan 控制台的成员管理页面或管理平台创建成员账号，分配席位后，为成员生成 API Key。详见团队管理。 API Key 使用须知： @@ -53,6 +53,8 @@ Token Plan、Coding Plan 和按量付费的 API Key 与 Base URL 完全隔离， ## **步骤三：接入 AI 工具** +将 API Key 和 Base URL 配置到 AI 工具中，即可开始使用。 + [**OpenClaw**开源、自托管个人 AI 助手](https://help.aliyun.com/zh/model-studio/openclaw) [**Hermes Agent**开源 AI 代理框架，内置自学习循环](https://help.aliyun.com/zh/model-studio/hermes-agent) @@ -83,17 +85,10 @@ Token Plan、Coding Plan 和按量付费的 API Key 与 Base URL 完全隔离， [··· **更多工具**其他编程工具](https://help.aliyun.com/zh/model-studio/more-tools) -## **可选：接入图像生成模型** - -Token Plan 团队版支持图像生成模型（qwen-image-2.0、wan2.7-image 等）。图像生成模型使用独立的接口，需要通过 AI 工具的 Skill 或扩展机制接入。具体配置方法请参见[接入多模态生成模型](https://help.aliyun.com/zh/model-studio/token-plan-multimodal-gen)。 - -## **可选：工具调用** +## **可选：接入多模态生成模型** -通过接入工具调用，模型可以在对话中调用联网搜索、代码解释器等扩展能力。 +Token Plan 团队版支持图像生成模型（qwen-image-2.0、wan2.7-image 等）。图像生成模型使用独立的接口，需要通过工具的 Skill 或扩展机制接入。详见[接入多模态生成模型](https://help.aliyun.com/zh/document_detail/6546109.html)。 -- qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash：内置联网搜索、代码解释器、网页抓取、以图搜图、文搜图 5 个工具，通过 Responses API 直接调用。内置工具不额外收费，产生的 token 消耗统一从套餐 Credits 中抵扣。 - -- 其他模型：通过 MCP 服务接入工具。 - +## **可选：接入 Harness 工具** -详细说明请参见[工具调用](https://help.aliyun.com/zh/model-studio/token-plan-tool)。 +部分模型支持通过 Responses API 调用联网搜索、代码解释器等扩展能力。详见[接入 Harness 工具](https://help.aliyun.com/zh/document_detail/6528494.html)。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md index fe1e76b9..f56aec75 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md @@ -4,7 +4,7 @@ **重要** -deepseek-v3、deepseek-v3.1、deepseek-v3.2、deepseek-v3.2-exp、deepseek-r1、deepseek-r1-0528、deepseek-r1-distill-qwen-7b/14b/32b 将于**2026年7月9日**下架。推荐转用：[qwen3.7-plus](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-plus)、[qwen3.7-max](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-max)、[qwen3.6-flash](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.6-flash)。 +deepseek-v3、deepseek-v3.1、deepseek-v3.2、deepseek-v3.2-exp、deepseek-r1、deepseek-r1-0528、deepseek-r1-distill-qwen-7b/14b/32b 将于**2026年10月10日**下架。推荐转用：[qwen3.7-plus](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-plus)、[qwen3.7-max](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.7-max)、[qwen3.6-flash](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/detail/qwen3.6-flash)。 ## **服务接入地址** @@ -514,11 +514,9 @@ curl -X POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/apps/anthropic/v ## **推理强度（reasoning\_effort）** -deepseek-v4-pro 和 deepseek-v4-flash 默认开启思考模式。通过`reasoning_effort`参数可以调整推理强度，可选值为`high`和`max`，默认为`high`。 +deepseek-v4-pro 和 deepseek-v4-flash 默认开启思考模式。通过`reasoning_effort`参数可以调整推理强度，可选值为`low`、`medium`、`high`、`xhigh`和`max`，默认为`high`。 -**说明** - -设为`low`或`medium`时会映射为`high`，设为`xhigh`时会映射为`max`。 +其中，`low`和`medium`的效果等同于`high`；`xhigh`的效果等同于`max`。 ## **OpenAI兼容** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md index 23cc13c0..f58696f1 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md @@ -24,22 +24,28 @@ - 如果通过SDK调用，需要[安装SDK](https://help.aliyun.com/zh/model-studio/install-sdk#8833b9274f4v8) -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5 均支持输入文本、图像或视频。kimi/kimi-k2.7-code-highspeed 与 kimi/kimi-k2.7-code 功能完全一致，速度提升5~6倍。kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 为仅思考模型（`enable_thinking` 始终为 true，无法设置为 false）。kimi/kimi-k2.6、kimi/kimi-k2.5 可通过 `enable_thinking` 参数控制思考模式，默认开启思考模式： +kimi 系列模型均支持输入文本、图像或视频： -- **思考模式**（`enable_thinking: true`）：模型会输出详细的推理过程（`reasoning_content`） +1. kimi/kimi-k2.7-code-highspeed 与 kimi/kimi-k2.7-code 功能完全一致，速度提升5~6倍。 -- **非思考模式**（`enable_thinking: false` 或不设置）：直接输出结果，不包含推理过程 +2. kimi/kimi-k3、kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 为仅思考模型。 +3. kimi/kimi-k2.6、kimi/kimi-k2.5 可通过 `enable_thinking` 参数控制思考模式，默认开启思考模式： + + - **思考模式**（`reasoning_effort: "max"`）：模型会输出详细的推理过程（`reasoning_content`） + + - **非思考模式**（`enable_thinking: false` 或不设置）：直接输出结果，不包含推理过程 + -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6 支持通过 `preserve_thinking` 参数在多轮对话中传递思考过程，详情请参见[传递思考过程](https://help.aliyun.com/zh/model-studio/deep-thinking#jln7docdq5et5)。 +除 kimi/kimi-k2.5外，其他模型均支持通过 `preserve_thinking` 参数在多轮对话中传递思考过程，详情请参见[传递思考过程](https://help.aliyun.com/zh/model-studio/deep-thinking#jln7docdq5et5)。 -以下示例演示如何调用思考模式的 kimi-k2.6 模型进行文本生成。 +以下示例演示如何调用思考模式的 kimi/kimi-k3 模型进行文本生成。 ## OpenAI兼容 **说明** -`enable_thinking`非 OpenAI 标准参数，OpenAI Python SDK 通过 `extra_body`传入，Node.js SDK 作为顶层参数传入。 +`reasoning_effort`非 OpenAI 标准参数，OpenAI Python SDK 通过 `extra_body`传入，Node.js SDK 作为顶层参数传入。 ## Python @@ -53,10 +59,10 @@ client = OpenAI( ) completion = client.chat.completions.create( - model="kimi/kimi-k2.6", + model="kimi/kimi-k3", messages=[{"role": "user", "content": "1+1等于多少？"}], - # 通过 extra_body 设置 enable_thinking 开启思考模式 - extra_body={"enable_thinking": True} + # 通过 extra_body 设置 reasoning_effort 开启思考模式 + extra_body={"reasoning_effort": "max"} ) msg = completion.choices[0].message @@ -109,9 +115,9 @@ const messages = [ ]; const response = await client.chat.completions.create({ - model: "kimi/kimi-k2.6", + model: "kimi/kimi-k3", messages, - extra_body: { enable_thinking: true }, + extra_body: { reasoning_effort: "max" }, }); const msg = response.choices[0].message; @@ -156,7 +162,7 @@ curl --location 'https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completi --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ --header 'Content-Type: application/json' \ --data '{ - "model": "kimi/kimi-k2.6", + "model": "kimi/kimi-k3", "messages":[ { "role": "system", @@ -167,13 +173,13 @@ curl --location 'https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completi "content": "1+1等于多少？" } ], - "enable_thinking": true + "reasoning_effort": "max" }' ``` ## **多模态调用示例** -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5不仅支持纯文本对话，还具备强大的多模态理解能力。本章节将介绍如何让模型理解图像和视频内容。 +Kimi 系列模型不仅支持纯文本对话，还具备强大的多模态理解能力。本章节将介绍如何让模型理解图像和视频内容。 **重要** @@ -198,7 +204,7 @@ client = OpenAI( # 单图传入示例（开启思考模式） completion = client.chat.completions.create( - model="kimi/kimi-k2.6", + model="kimi/kimi-k3", messages=[ { "role": "user", @@ -213,7 +219,7 @@ completion = client.chat.completions.create( ] } ], - extra_body={"enable_thinking":True} # 开启思考模式 + extra_body={"reasoning_effort":"max"} # 开启思考模式 ) # 输出思考过程 @@ -227,7 +233,7 @@ print(completion.choices[0].message.content) # 多图传入示例（开启思考模式，取消注释使用） # completion = client.chat.completions.create( -# model="kimi/kimi-k2.6", +# model="kimi/kimi-k3", # messages=[ # { # "role": "user", @@ -244,7 +250,7 @@ print(completion.choices[0].message.content) # ] # } # ], -# extra_body={"enable_thinking":True} +# extra_body={"reasoning_effort":"max"} # ) # # # 输出思考过程和回复 @@ -266,7 +272,7 @@ const openai = new OpenAI({ // 单图传入示例（开启思考模式） const completion = await openai.chat.completions.create({ - model: 'kimi/kimi-k2.6', + model: 'kimi/kimi-k3', messages: [ { role: 'user', @@ -281,7 +287,7 @@ const completion = await openai.chat.completions.create({ ] } ], - enable_thinking: true // 开启思考模式 + reasoning_effort: "max" // 开启思考模式 }); // 输出思考过程 @@ -313,7 +319,7 @@ console.log(completion.choices[0].message.content); // ] // } // ], -// enable_thinking: true +// reasoning_effort: "max" // }); // // // 输出思考过程和回复 @@ -332,7 +338,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H "Content-Type: application/json" \ -d '{ - "model": "kimi/kimi-k2.6", + "model": "kimi/kimi-k3", "messages": [ { "role": "user", @@ -350,7 +356,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions ] } ], - "enable_thinking": true + "reasoning_effort": "max" }' # 多图输入示例（取消注释使用） @@ -358,7 +364,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions # -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ # -H "Content-Type: application/json" \ # -d '{ -# "model": "kimi/kimi-k2.6", +# "model": "kimi/kimi-k3", # "messages": [ # { # "role": "user", @@ -382,7 +388,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions # ] # } # ], -# "enable_thinking": true +# "reasoning_effort": "max" # }' ``` @@ -404,7 +410,7 @@ client = OpenAI( ) completion = client.chat.completions.create( - model="kimi/kimi-k2.6", + model="kimi/kimi-k3", messages=[ { "role": "user", @@ -440,7 +446,7 @@ const openai = new OpenAI({ async function main() { const response = await openai.chat.completions.create({ - model: "kimi/kimi-k2.6", + model: "kimi/kimi-k3", messages: [ { role: "user", @@ -500,7 +506,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ -H 'Content-Type: application/json' \ -d '{ - "model": "kimi/kimi-k2.6", + "model": "kimi/kimi-k3", "messages": [ { "role": "user", @@ -560,7 +566,7 @@ curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions [结构化输出](https://help.aliyun.com/zh/model-studio/qwen-structured-output) -kimi/kimi-k2.7-code-highspeed +kimi/kimi-k3 支持 @@ -574,22 +580,34 @@ kimi/kimi-k2.7-code-highspeed 支持 +kimi/kimi-k2.7-code-highspeed + kimi/kimi-k2.7-code kimi/kimi-k2.6 kimi/kimi-k2.5 -- kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5支持上下文缓存（隐式缓存，自动开启），kimi/kimi-k2.7-code-highspeed命中缓存的输入Token按输入价格的20.0%计费，kimi/kimi-k2.7-code命中缓存的输入Token按输入价格的20.0%计费，kimi/kimi-k2.6命中缓存的输入Token按输入价格的16.9%计费，kimi/kimi-k2.5命中缓存的输入Token按输入价格的17.5%计费。 +以上模型支持上下文缓存（隐式缓存，自动开启）： + +- kimi/kimi-k3命中缓存的输入Token按输入价格的10%计费 -- 在思考模式下，使用 kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code、kimi/kimi-k2.6、kimi/kimi-k2.5 进行工具调用时：必须在每轮 assistant 消息中保留 `reasoning_content` 字段，`tool_choice` 也仅支持 `"auto"`（默认）和 `"none"`），否则会报错。 +- kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 命中缓存的输入Token按输入价格的20.0%计费， + +- kimi/kimi-k2.6命中缓存的输入Token按输入价格的16.9%计费 + +- kimi/kimi-k2.5命中缓存的输入Token按输入价格的17.5%计费。 ## **参数默认值** **模型** -**stream\_options** +**tool\_choice** + +**preserve\_thinking** + +**reasoning\_effort** **temperature** @@ -599,33 +617,33 @@ kimi/kimi-k2.5 **presence\_penalty** -**tool\_choice** +**stream\_options** -**top\_k** +kimi/kimi-k3 -**preserve\_thinking** +auto -kimi/kimi-k2.7-code-highspeed +默认关闭 -仅支持设置为`true` +max -1.0 +1 0.95 0.0 -0.0 +\- -auto +仅支持设置为`true` -\- +kimi/kimi-k2.7-code-highspeed -默认开启 +auto -kimi/kimi-k2.7-code +默认开启 -仅支持设置为`true` +\- 1.0 @@ -635,33 +653,37 @@ kimi/kimi-k2.7-code 0.0 +仅支持设置为`true` + +kimi/kimi-k2.7-code + auto +默认开启 + \- -默认开启 +1.0 -kimi/kimi-k2.6 +0.95 + +0.0 + +0.0 仅支持设置为`true` +kimi/kimi-k2.6 + +思考模式/非思考模式：auto + +默认关闭 + +\- + 思考模式：1.0 非思考模式：0.6 - - - - - - - - - - - - - - 思考模式/非思考模式：0.95 @@ -669,27 +691,25 @@ kimi/kimi-k2.6 思考模式/非思考模式：0.0 -思考模式/非思考模式：auto - -\- - -默认关闭 +仅支持设置为`true` kimi/kimi-k2.5 \- +\- + - `stream_options`仅支持设置为`true`，`temperature`、`top_p`、`repetition_penalty`、`presence_penalty`不支持设置为其他值； -- 在思考模式下，不支持强制调用某个工具，`tool_choice`仅支持设置为`auto`（默认值）和`none`。 +- kimi/kimi-k3 支持 `reasoning_effort` 参数，唯一支持值为 `max`。 + +- 在思考模式下，使用 Kimi 模型进行工具调用时：必须在每轮 assistant 消息中保留 `reasoning_content` 字段；对于`tool_choice`参数，`kimi-k3` 支持 `auto` / `none` / `required` 三档；其他模型不支持 `required`，传入会报错。`kimi-k3` 支持动态加载工具，详细用法请参见[动态加载工具](https://platform.kimi.com/docs/guide/use-dynamic-tool-loading)。 - ”-”表示没有默认值，也不支持设置。 ## **模型列表与计费** -kimi/kimi-k2.7-code-highspeed、kimi/kimi-k2.7-code 为仅思考模型（`enable_thinking` 始终为 true，无法设置为 false）。kimi/kimi-k2.7-code-highspeed 与 kimi/kimi-k2.7-code 功能完全一致，速度提升5~6倍。kimi/kimi-k2.6、kimi/kimi-k2.5属于混合思考模型，通过`enable_thinking`参数控制是否开启思考模式（注意：均无法通过`thinking_budget`限制思考长度）。 - 模型上下文长度与价格信息请参见[百炼控制台](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all)。 按照模型的输入与输出 Token 计费。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md index 51c73192..71ef83c0 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md @@ -1,6 +1,6 @@ # Chatbox -Chatbox 是一款跨平台 AI 客户端应用，可以通过Token Plan 团队版、Coding Plan或按量计费接入阿里云百炼。 +Chatbox 是一款跨平台 AI 客户端应用，可以通过 Token Plan 个人版、Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 ## **下载安装 Chatbox** @@ -12,6 +12,8 @@ Chatbox 是一款跨平台 AI 客户端应用，可以通过Token Plan 团队版 百炼提供三种计费方案，根据需要选择： +- **Token Plan 个人版**：按 token 消耗抵扣个人 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -19,6 +21,24 @@ Chatbox 是一款跨平台 AI 客户端应用，可以通过Token Plan 团队版 - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +**配置项** + +**说明** + +**API 密钥** + +填入 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal)。 + +**API 主机** + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +**模型** + +填入 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)，如 `qwen3.8-max-preview`。 + ### Token Plan 团队版 **配置项** @@ -27,7 +47,7 @@ Chatbox 是一款跨平台 AI 客户端应用，可以通过Token Plan 团队版 **API 密钥** -填入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。 +填入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/enterprise)。 **API 主机** @@ -100,4 +120,6 @@ Chatbox 是一款跨平台 AI 客户端应用，可以通过Token Plan 团队版 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md index af83a91a..bc6b8419 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md @@ -1,6 +1,6 @@ # Cherry Studio -Cherry Studio 是一款开源 AI 桌面客户端，可以通过 Token Plan 团队版、Coding Plan或按量计费接入阿里云百炼。 +Cherry Studio 是一款开源 AI 桌面客户端，可以通过 Token Plan 个人版、Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 ## **安装 Cherry Studio** @@ -12,6 +12,8 @@ Cherry Studio 是一款开源 AI 桌面客户端，可以通过 Token Plan 团 百炼提供三种计费方案，根据需要选择： +- **Token Plan 个人版**：按 token 消耗抵扣个人 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -19,6 +21,24 @@ Cherry Studio 是一款开源 AI 桌面客户端，可以通过 Token Plan 团 - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +**配置项** + +**说明** + +**API 密钥** + +填入 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal)。 + +**API 地址** + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +**模型** + +可用模型请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + ### Token Plan 团队版 **配置项** @@ -27,7 +47,7 @@ Cherry Studio 是一款开源 AI 桌面客户端，可以通过 Token Plan 团 **API 密钥** -填入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。 +填入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/enterprise)。 **API 地址** @@ -96,6 +116,8 @@ Cherry Studio 是一款开源 AI 桌面客户端，可以通过 Token Plan 团 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md index 00895664..fac07e19 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md @@ -1,6 +1,6 @@ # Claude Code -Claude Code 是 Anthropic 推出的命令行 AI 编程助手。通过阿里云百炼，可以使用按量计费、Coding Plan 或 Token Plan 团队版接入 Claude Code。 +Claude Code 是 Anthropic 推出的命令行 AI 编程助手。通过阿里云百炼，可以使用按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入 Claude Code。 ## **安装 Claude Code** @@ -47,6 +47,36 @@ npm install -g @anthropic-ai/claude-code 新建 `~/.claude/settings.json`（Windows 路径：`C:\Users\<用户名>\.claude\settings.json`），写入对应套餐的配置。 +### Token Plan 个人版 + +将 YOUR\_API\_KEY 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro。完整说明参见 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +{ + "env": { + "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", + "ANTHROPIC_BASE_URL": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic", + "ANTHROPIC_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen3.6-flash", + "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.8-max-preview", + "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.7-max", + "CLAUDE_CODE_MAX_CONTEXT_TOKENS": "983616" + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- **thinking**：始终开启，不支持关闭。 + +- **temperature**：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- **reasoning\_effort**：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 将 YOUR\_API\_KEY 替换为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。可用模型参见 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -56,15 +86,27 @@ npm install -g @anthropic-ai/claude-code "env": { "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_BASE_URL": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic", - "ANTHROPIC_MODEL": "qwen3.7-max", + "ANTHROPIC_MODEL": "qwen3.8-max-preview", "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen3.6-flash", - "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.7-max", - "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.7-max", - "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.7-max" + "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.8-max-preview", + "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.7-max", + "CLAUDE_CODE_MAX_CONTEXT_TOKENS": "983616" } } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- **thinking**：始终开启，不支持关闭。 + +- **temperature**：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- **reasoning\_effort**：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 YOUR\_API\_KEY 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型参见 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -169,6 +211,14 @@ Claude Code 默认使用 200K 上下文窗口。如果需要处理大型代码 **配置信息** + Token Plan 个人版 + + 供应商名称：百炼-Token Plan 个人版 + + API Key：[控制台获取](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + + 请求地址：`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` + Token Plan 团队版 供应商名称：百炼-Token Plan @@ -208,35 +258,23 @@ Claude Code 默认使用 200K 上下文窗口。如果需要处理大型代码 ### 接入 Claude Code 桌面版 +Claude Code 桌面版（Claude Desktop）与 Claude Code CLI 是两个独立入口，在 CC Switch 中分别对应 **Claude Code** 与 **Claude Desktop** 面板。桌面版通过 CC Switch 本地网关访问百炼：网关地址与鉴权令牌均由 CC Switch 自动写入桌面版配置，**无需在桌面版中手动填写百炼 API Key**——百炼 API Key 只在 CC Switch 供应商配置中填写，由本地路由转发时自动注入。 + +**重要** + +请勿在桌面版的第三方推理配置中手动填写百炼 API Key。桌面版对 CC Switch 本地网关（地址 `http://127.0.0.1:15721/claude-desktop`）的鉴权令牌由 CC Switch 自动生成并写入，手动填入百炼 API Key 会因令牌不匹配导致鉴权失败。桌面版第三方配置写入目前仅支持 macOS、Windows。 + 1. 从 [Claude 下载页](https://claude.ai/download)安装 Claude Code 桌面版。 -2. 顶部菜单 **Help** → **Troubleshooting** → **Enable Developer Mode**，重启后顶部出现 **Developer** 菜单。 - -3. **Developer** → **Configure Third-Party Inference**，**Connection** 选 **Gateway**，按下表填写后点击 **Apply locally**： - - **字段** - - **填写** - - Gateway base URL - - CC Switch 路由监听地址，默认 `http://127.0.0.1:15721`，如已修改则与下一步保持一致。 +2. 在 CC Switch 左侧应用切换器切换到 **Claude Desktop** 面板。若未显示该入口，前往**设置 → 通用 → 应用可见性**确认 Claude Desktop 未被隐藏。 - Gateway API key +3. 添加百炼供应商：若已在 **Claude Code** 面板配置过百炼供应商，可点击**将 Claude Code 中已有的供应商导入**一键复用；也可点击右上角 **+** 新增。由于百炼模型 ID（如 `qwen3.7-max`）不是 Claude Desktop 识别的 `claude-sonnet-* / claude-opus-* / claude-haiku-*` 三档角色 ID，需开启**需要模型映射**，为 Sonnet、Opus、Haiku 三档分别填写实际请求的百炼模型（如 Sonnet → qwen3.7-max）。 - 百炼API Key +4. 开启本地路由：前往**设置 → 路由 → 本地路由**，打开**在主页面显示本地路由开关**；回到 Claude Desktop 面板，打开 **Claude Desktop 本地路由**开关，监听地址默认 `127.0.0.1:15721`。 - Gateway auth scheme +5. 在供应商卡片点击**启用**，CC Switch 会自动将第三方推理配置写入 Claude Code 桌面版。 - bearer - - Model list - - Model ID须为 Anthropic 风格，如 `claude-opus-4.7`。实际调用模型由 CC Switch 路由决定，对应关系即供应商[高级选项中的模型映射](#ccswitch-add-li2)。Display name 仅影响下拉显示。 - -4. CC Switch 左上角设置 → **路由**，开启**路由总开关**，监听地址默认 `127.0.0.1:15721`，如需修改请同步上一步。 - -5. 在桌面版模型下拉中选择已配置的模型ID即可使用。 +6. 保持 CC Switch 运行，**完全退出并重启** Claude Code 桌面版后生效，在模型菜单中选择已配置的模型即可使用。 ## **Claude Code IDE 插件** @@ -295,6 +333,8 @@ Claude Code 默认使用 200K 上下文窗口。如果需要处理大型代码 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cline.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cline.md index 0d220bf9..450861ab 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cline.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cline.md @@ -1,6 +1,6 @@ # Cline -Cline 是一款 VSCode 智能编程插件，可以通过 Token Plan 团队版、Coding Plan或按量计费接入阿里云百炼。 +Cline 是一款 VSCode 智能编程插件，可以通过 Token Plan 个人版、Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 ## **安装 Cline** @@ -15,6 +15,8 @@ Cline 是一款 VSCode 智能编程插件，可以通过 Token Plan 团队版、 阿里云百炼提供三种计费方案，根据需要选择： +- **Token Plan 个人版**：按 token 消耗抵扣个人 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -22,6 +24,28 @@ Cline 是一款 VSCode 智能编程插件，可以通过 Token Plan 团队版、 - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +**配置项** + +**说明** + +API Provider + +选择 **OpenAI Compatible**。 + +Base URL + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +API Key + +填入 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。 + +Model ID + +填入 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)，如 `qwen3.8-max-preview`。 + ### Token Plan 团队版 **配置项** @@ -42,7 +66,7 @@ API Key Model ID -填入 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)，如 `qwen3.7-max`。 +填入 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)，如 `qwen3.8-max-preview`。 ### Coding Plan @@ -133,6 +157,8 @@ Model ID - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md index 76a25932..45e0c023 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/codex.md @@ -1,6 +1,6 @@ # Codex -Codex 是 OpenAI 推出的终端 AI 编程助手。可通过 Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 +Codex 是 OpenAI 推出的终端 AI 编程助手。可通过 Token Plan 个人版、Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 ## **安装 Codex** @@ -21,19 +21,199 @@ Codex 是 OpenAI 推出的终端 AI 编程助手。可通过 Token Plan 团队 ## **配置接入凭证** -接入需要编辑配置文件`~/.codex/config.toml`并配置环境变量`OPENAI_API_KEY`。根据所选计费方案替换对应值，阿里云百炼提供三种计费方案： +接入需要编辑配置文件`~/.codex/config.toml`并配置环境变量`OPENAI_API_KEY`。根据所选计费方案替换对应值，阿里云百炼提供以下计费方案： + +### 配置模型元数据 + +使用自定义模型（如 qwen3.8-max-preview）时，需要配置模型元数据文件，使 Codex 正确识别模型的上下文窗口、推理深度等参数。 + +1. 新建文件 `~/.codex/model-catalog.local.json`，写入以下内容： + + ``` + { + "models": [ + { + "slug": "qwen3.8-max-preview", + "display_name": "qwen3.8-max-preview", + "description": "DashScope model: qwen3.8-max-preview", + "default_reasoning_level": "xhigh", + "supported_reasoning_levels": [ + { + "effort": "low", + "description": "Fast responses with lighter reasoning" + }, + { + "effort": "high", + "description": "Greater reasoning depth for complex problems" + }, + { + "effort": "xhigh", + "description": "Extra high reasoning depth for complex problems" + } + ], + "context_window": 983616, + "effective_context_window_percent": 95, + "supports_parallel_tool_calls": false, + "supports_image_detail_original": true, + "input_modalities": ["text", "image"], + "shell_type": "default", + "visibility": "list", + "supported_in_api": true, + "priority": 1, + "base_instructions": "", + "support_verbosity": false, + "supports_reasoning_summaries": false, + "experimental_supported_tools": [], + "truncation_policy": { + "mode": "bytes", + "limit": 10000 + } + } + ] + } + ``` + +2. 在 `~/.codex/config.toml` 中添加以下配置，指向元数据文件： + + ``` + model_catalog_json = "~/.codex/model-catalog.local.json" + ``` + + +### Token Plan 个人版 + +`model`请选择[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)，可用模型包括 qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro。将`OPENAI_API_KEY`环境变量设置为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。 + +#### Responses API（qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash） + +qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus 和 qwen3.6-flash 支持 Responses API，可使用最新版 Codex。 + +``` +model_provider = "Model_Studio_Token_Plan_Personal" +model = "qwen3.8-max-preview" +[model_providers.Model_Studio_Token_Plan_Personal] +name = "Model_Studio_Token_Plan_Personal" +base_url = "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" +env_key = "OPENAI_API_KEY" +wire_api = "responses" +``` + +#### Chat/Completions API（其他模型） + +其他模型需通过 Chat/Completions API 接入，需安装旧版本 Codex，如 0.80.0： + +``` +npm install -g @openai/codex@0.80.0 +``` +``` +model_provider = "Model_Studio_Token_Plan_Personal" +model = "glm-5" +[model_providers.Model_Studio_Token_Plan_Personal] +name = "Model_Studio_Token_Plan_Personal" +base_url = "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" +env_key = "OPENAI_API_KEY" +wire_api = "chat" +``` + +#### 配置环境变量 + +将`OPENAI_API_KEY`环境变量设置为 Token Plan 个人版专属 API Key。 + +## macOS + +1. 在终端中执行以下命令，查看默认 Shell 类型。 + + ``` + echo $SHELL + ``` + +2. 根据 Shell 类型设置环境变量： + + ## Zsh + + ``` + # 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + echo 'export OPENAI_API_KEY="YOUR_API_KEY"' >> ~/.zshrc + ``` + + ## Bash + + ``` + # 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + echo 'export OPENAI_API_KEY="YOUR_API_KEY"' >> ~/.bash_profile + ``` + +3. 执行以下命令使环境变量生效。 + + ## Zsh + + ``` + source ~/.zshrc + ``` + + ## Bash + + ``` + source ~/.bash_profile + ``` + + +## Windows + +## CMD + +1. 在 CMD 中运行以下命令，设置环境变量。 + + ``` + REM 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + setx OPENAI_API_KEY "YOUR_API_KEY" + ``` + +2. 打开一个新的 CMD 窗口，运行以下命令检查环境变量是否生效。 + + ``` + echo %OPENAI_API_KEY% + ``` + + +## PowerShell + +1. 在 PowerShell 中运行以下命令，设置环境变量。 + + ``` + # 将 YOUR_API_KEY 替换为 Token Plan 个人版 API Key + [Environment]::SetEnvironmentVariable("OPENAI_API_KEY", "YOUR_API_KEY", [EnvironmentVariableTarget]::User) + ``` + +2. 打开一个新的 PowerShell 窗口，运行以下命令检查环境变量是否生效。 + + ``` + echo $env:OPENAI_API_KEY + ``` + + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + ### Token Plan 团队版 `model`请选择[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。将`OPENAI_API_KEY`环境变量设置为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。 -#### Responses API（qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash） +#### Responses API（qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash） -qwen3.7-max、qwen3.7-plus、qwen3.6-plus 和 qwen3.6-flash 支持 Responses API，可使用最新版 Codex。 +qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-plus 和 qwen3.6-flash 支持 Responses API，可使用最新版 Codex。 ``` model_provider = "Model_Studio_Token_Plan" -model = "qwen3.7-max" +model = "qwen3.8-max-preview" [model_providers.Model_Studio_Token_Plan] name = "Model_Studio_Token_Plan" base_url = "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" @@ -135,6 +315,17 @@ wire_api = "chat" ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan `model`请选择[支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan-overview)。将`OPENAI_API_KEY`环境变量设置为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。 @@ -368,11 +559,11 @@ codex ### **第三方工具提示“不支持国内模型”或“检查被拒 / Bad request (400)”怎么办？** -**原因**：部分第三方管理工具（如 CC-Switch）在切换供应商时会发起“健康检查/连接测试”探测请求，该探测请求的格式与 Codex 实际调用的请求格式不同，百炼网关可能因此返回 400 Bad request 并提示“检查被拒”，工具据此显示“不支持国内模型”。此提示仅代表健康检查探测未通过，**并不代表百炼不支持国内模型，也不影响 Codex 的实际使用。** +**原因**：部分第三方管理工具（如 CC-Switch）在切换供应商时会发起“健康检查/连接测试”探测请求，该探测请求的格式与 Codex 实际调用的请求格式不同，百炼网关可能因此返回 400 Bad request 并提示“检查被拒”，工具据此显示“不支持国内模型”。此提示仅代表健康检查探测未通过，**并不代表百炼不支持中国内地模型，也不影响 Codex 的实际使用。** -**说明**：百炼支持通过 Codex 使用 qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash、glm-5 等国内模型，配置方式详见上文[配置接入凭证](#cdx-config)。 +**说明**：百炼支持通过 Codex 使用 qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash、glm-5 等中国内地模型，配置方式详见上文[配置接入凭证](#cdx-config)。 -**解决方案**：建议参照上文配置接入凭证，直接在`~/.codex/config.toml`中完成配置，无需依赖第三方工具的健康检查结果；配置完成后参照[验证配置](#cdx-verify)启动 Codex，若能正常进入对话界面即表示可正常使用国内模型。 +**解决方案**：建议参照上文配置接入凭证，直接在`~/.codex/config.toml`中完成配置，无需依赖第三方工具的健康检查结果；配置完成后参照[验证配置](#cdx-verify)启动 Codex，若能正常进入对话界面即表示可正常使用中国内地模型。 ### **报错 wire\_api 配置问题怎么办？** @@ -394,7 +585,7 @@ codex **原因**： -- 误用了其他方案的 API Key（Token Plan 团队版、Coding Plan 和按量计费的 API Key 互不相通） +- 误用了其他方案的 API Key（Token Plan 个人版、Token Plan 团队版、Coding Plan 和按量计费的 API Key 互不相通） - 订阅过期 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md index f903bf87..ab200d1f 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/cursor.md @@ -1,6 +1,6 @@ # Cursor -Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Cursor** @@ -12,6 +12,8 @@ Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan 或 Toke 阿里云百炼提供三种计费方案，根据需要选择： +- **Token Plan 个人版**：按 token 消耗抵扣个人 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -19,6 +21,20 @@ Cursor 是一款 AI 编程 IDE，可以通过按量计费、Coding Plan 或 Toke - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +**API Key** + +Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +**Base URL** + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +**可用模型** + +Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview) + ### Token Plan 团队版 **API Key** @@ -110,6 +126,8 @@ Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-pla - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md index 247ca4b6..d02f35ba 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md @@ -1,6 +1,6 @@ # Hermes Agent -Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Hermes Agent** @@ -31,6 +31,8 @@ Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding 通过 `hermes config set` 命令配置接入参数，根据所选方案填入对应的 Base URL 和 API Key： +- **Token Plan 个人版**：个人订阅，按 token 消耗抵扣 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -44,6 +46,42 @@ Hermes Agent 是一款终端 AI 编程工具，可以通过按量计费、Coding 除命令行版外，Hermes Agent 还提供桌面版（Hermes Desktop）。可从 [Hermes 官网](https://hermes-agent.nousresearch.com/) 下载安装包，或在命令行版安装完成后运行 `hermes desktop` 启动。桌面版与命令行版共用同一份 `~/.hermes/config.yaml` 配置文件，接入参数与本文一致；在桌面版中以自定义端点（Custom Endpoint）方式接入时，请使用上述 OpenAI 兼容 Base URL。 +### Token Plan 个人版 + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，完整列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +hermes config set model.provider custom +hermes config set model.base_url https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic +hermes config set model.api_mode anthropic_messages +hermes config set model.api_key YOUR_API_KEY +hermes config set model.default qwen3.8-max-preview +``` + +以上命令将配置写入 `~/.hermes/config.yaml`。也可以直接编辑该文件，写入以下内容： + +config.yaml 配置示例 + +``` +model: + default: qwen3.8-max-preview + provider: custom + base_url: https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic + api_mode: anthropic_messages + api_key: YOUR_API_KEY +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 将 `YOUR_API_KEY` 替换为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。可用模型请参考 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -53,7 +91,7 @@ hermes config set model.provider custom hermes config set model.base_url https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic hermes config set model.api_mode anthropic_messages hermes config set model.api_key YOUR_API_KEY -hermes config set model.default qwen3.7-max +hermes config set model.default qwen3.8-max-preview ``` 以上命令将配置写入 `~/.hermes/config.yaml`。也可以直接编辑该文件，写入以下内容： @@ -62,13 +100,24 @@ config.yaml 配置示例 ``` model: - default: qwen3.7-max + default: qwen3.8-max-preview provider: custom base_url: https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic api_mode: anthropic_messages api_key: YOUR_API_KEY ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -150,4 +199,6 @@ hermes chat -m qwen3.7-max - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md index aec56898..6cd4fc09 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md @@ -1,6 +1,6 @@ # Kilo CLI -Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Kilo CLI** @@ -23,6 +23,8 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding 使用文本编辑器打开配置文件 `~/.config/kilo/config.json`，根据所选方案写入对应配置： +- **Token Plan 个人版**：个人订阅，按 token 消耗抵扣 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -30,6 +32,89 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +需先购买 Token Plan 个人版套餐且套餐处于有效期内。可在[Token Plan 个人版页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)购买套餐。 + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型：qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，完整列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +{ + "$schema": "https://kilo.ai/config.json", + "provider": { + "bailian-token-plan-personal": { + "npm": "@ai-sdk/openai-compatible", + "name": "Alibaba Cloud Model Studio", + "options": { + "baseURL": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "apiKey": "YOUR_API_KEY" + }, + "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "reasoning": true, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 262144 + } + } + }, + "qwen3.7-max": { + "name": "Qwen3.7 Max", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.7-plus": { + "name": "Qwen3.7 Plus", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-plus": { + "name": "Qwen3.6 Plus", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-flash": { + "name": "Qwen3.6 Flash", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + } + } + } + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 需先购买 Token Plan 团队版套餐且套餐处于有效期内。可在[Token Plan 团队版页面](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/overview)购买套餐。 @@ -48,6 +133,18 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding "apiKey": "YOUR_API_KEY" }, "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "reasoning": true, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 262144 + } + } + }, "qwen3.7-max": { "name": "Qwen3.7 Max", "options": { @@ -156,6 +253,17 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan-overview#b01f82a4218kx)。 @@ -305,4 +413,6 @@ Kilo CLI 是 Kilo Code 的命令行客户端，可以通过按量计费、Coding - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/lingma-agent.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/lingma-agent.md index addc7866..73ccab14 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/lingma-agent.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/lingma-agent.md @@ -1,6 +1,6 @@ # Qoder CN（原 Lingma） -Qoder CN（原 Lingma）是阿里云智能编码助手，提供独立 IDE，可以通过 Token Plan、Coding Plan 或按量付费接入阿里云百炼。 +Qoder CN（原 Lingma）是阿里云智能编码助手，提供独立 IDE，可以通过 Token Plan 个人版、Token Plan 团队版、Coding Plan 或按量付费接入阿里云百炼。 **说明** @@ -31,7 +31,7 @@ Qoder CN 个人社区版和个人专业版均支持接入百炼，企业版不 类型 - 根据计费方案选择 **Token Plan**、**Coding Plan** 或 **按量付费** + 根据计费方案选择 **Token Plan**（个人版或团队版）、**Coding Plan** 或 **按量付费** 模型 @@ -41,7 +41,9 @@ Qoder CN 个人社区版和个人专业版均支持接入百炼，企业版不 填写对应方案的专属 API Key： - - Token Plan 团队版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list) + - Token Plan 个人版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal) + + - Token Plan 团队版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/enterprise) - Coding Plan：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan) @@ -55,7 +57,7 @@ Qoder CN 个人社区版和个人专业版均支持接入百炼，企业版不 ## 了解更多 -如需进一步了解 Qoder CN 的智能体、MCP、Skills 等扩展能力，请参考 [Qoder CN 官方文档](https://help.aliyun.com/zh/lingma/product-overview/introduction-of-lingma)。 +如需进一步了解 Qoder CN 的智能体、MCP、Skills 等扩展能力，请参考 [Qoder CN 官方文档](https://help.aliyun.com/zh/lingma/introduction-of-lingma)。 ## 常见问题 @@ -65,6 +67,8 @@ Qoder CN 个人社区版和个人专业版均支持接入百炼，企业版不 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) - 按量计费：[错误码](https://help.aliyun.com/zh/model-studio/error-code) @@ -85,7 +89,7 @@ Qoder CN 个人社区版和个人专业版均支持接入百炼，企业版不 - **提供商或类型与实际套餐不一致**：在 Qoder CN 模型配置中，**提供商**与**类型**需与所购套餐保持一致。例如使用 Token Plan 团队版的 API Key，但**类型**选成了 Coding Plan。 -- **选用了套餐不支持的模型**：仅支持当前套餐覆盖的文本生成模型。例如，Token Plan 团队版的支持模型列表可在[Token Plan 团队版页面](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/overview)查看。 +- **选用了套餐不支持的模型**：仅支持当前套餐覆盖的文本生成模型。例如，Token Plan 团队版的支持模型列表可在[Token Plan 团队版页面](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/token-plan/enterprise)查看。 - **临时网络或服务波动**：稍后重试。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md index d3f45eae..1a607972 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md @@ -1,9 +1,31 @@ # 更多工具 -除已列出的工具外，阿里云百炼还支持接入兼容 OpenAI / Anthropic API 协议且支持自定义服务端点的第三方编程工具。可通过按量计费、Coding Plan 或 Token Plan 团队版接入。 +除已列出的工具外，阿里云百炼还支持接入兼容 OpenAI / Anthropic API 协议且支持自定义服务端点的第三方编程工具。可通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入。 ## **配置接入凭证** +### Token Plan 个人版 + +**API 协议** + +**Base URL** + +**API Key** + +**支持模型** + +OpenAI + +`https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + +Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)（仅文本生成类） + +Anthropic + +`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` + ### Token Plan 团队版 **API 协议** @@ -97,7 +119,7 @@ Trae 支持接入自定义模型，无需安装插件即可直接配置上述任 ## **不支持的工具类型** -Token Plan 团队版和 Coding Plan 仅限在 AI 编程工具和 OpenClaw 类型 Agent 中使用，以下类型的工具**不支持**接入： +Token Plan 个人版、Token Plan 团队版和 Coding Plan 仅限在 AI 编程工具和 OpenClaw 类型 Agent 中使用，以下类型的工具**不支持**接入： - **工作流/自动化平台**：如 Dify、n8n、Coze 等。 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md index 6f73f11e..05ae329d 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md @@ -1,6 +1,6 @@ # OpenClaw -OpenClaw 是一个开源的个人 AI 助手平台，支持通过多种消息渠道与 AI 交互。通过配置可接入阿里云百炼平台上的 AI 模型，支持按量付费、Coding Plan、Token Plan 团队版三种接入方式。 +OpenClaw 是一个开源的个人 AI 助手平台，支持通过多种消息渠道与 AI 交互。通过配置可接入阿里云百炼平台上的 AI 模型，支持按量付费、Coding Plan、Token Plan 个人版、Token Plan 团队版四种接入方式。 ## **安装 OpenClaw** @@ -84,6 +84,142 @@ How do you want to hatch your bot? ## **配置接入凭证** +### **Token Plan 个人版** + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型包括 qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，完整列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +**API Key** + +Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) + +**Base URL** + +`https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` + +**可用模型** + +Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview) + +配置文件位于 `~/.openclaw/openclaw.json`，OpenClaw 启动时会自动读取。 + +**说明** + +示例禁用了网关鉴权（`auth.mode: none`），仅适合单机本地使用。如需共享或远程访问，请运行 `openclaw doctor --fix` 启用 token 鉴权。 + +**首次配置**：复制以下内容到配置文件，将 `YOUR_API_KEY` 替换为 Token Plan 个人版 API Key。 + +**已有配置**：若需保留已有配置，请勿直接全量替换，详见[已有配置如何安全修改](#cp-openclaw-faq-safe-modify)。 + +``` +{ + "meta": { + "lastTouchedVersion": "2026.2.1", + "lastTouchedAt": "2026-02-03T08:20:00.000Z" + }, + "models": { + "mode": "merge", + "providers": { + "bailian-token-plan": { + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic", + "apiKey": "YOUR_API_KEY", + "api": "anthropic-messages", + "models": [ + { + "id": "qwen3.8-max-preview", + "name": "qwen3.8-max-preview", + "reasoning": true, + "input": ["text", "image"], + "contextWindow": 983616, + "maxTokens": 131072, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "qwen3.7-max", + "name": "qwen3.7-max", + "reasoning": false, + "input": ["text"], + "contextWindow": 1000000, + "maxTokens": 65536, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "qwen3.7-plus", + "name": "qwen3.7-plus", + "reasoning": false, + "input": ["text", "image"], + "contextWindow": 1000000, + "maxTokens": 65536, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "qwen3.6-flash", + "name": "qwen3.6-flash", + "reasoning": false, + "input": ["text", "image"], + "contextWindow": 1000000, + "maxTokens": 32768, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "glm-5.2", + "name": "glm-5.2", + "reasoning": false, + "input": ["text"], + "contextWindow": 1000000, + "maxTokens": 16384, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, + { + "id": "deepseek-v4-pro", + "name": "deepseek-v4-pro", + "reasoning": false, + "input": ["text"], + "contextWindow": 163840, + "maxTokens": 32768, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 } + } + ] + } + } + }, + "agents": { + "defaults": { + "model": { + "primary": "bailian-token-plan/qwen3.8-max-preview" + }, + "models": { + "bailian-token-plan/qwen3.8-max-preview": {}, + "bailian-token-plan/qwen3.7-max": {}, + "bailian-token-plan/qwen3.7-plus": {}, + "bailian-token-plan/qwen3.6-flash": {}, + "bailian-token-plan/glm-5.2": {}, + "bailian-token-plan/deepseek-v4-pro": {} + } + } + }, + "gateway": { + "mode": "local", + "auth": { "mode": "none" } + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### **Token Plan 团队版** 将 `YOUR_API_KEY` 替换为 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。可用模型请参考 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -134,6 +270,16 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "apiKey": "YOUR_API_KEY", "api": "anthropic-messages", "models": [ + { + "id": "qwen3.8-max-preview", + "name": "qwen3.8-max-preview", + "reasoning": true, + "input": ["text", "image"], + "contextWindow": 983616, + "maxTokens": 131072, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, { "id": "qwen3.7-max", "name": "qwen3.7-max", @@ -278,9 +424,10 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "agents": { "defaults": { "model": { - "primary": "bailian-token-plan/qwen3.7-plus" + "primary": "bailian-token-plan/qwen3.8-max-preview" }, "models": { + "bailian-token-plan/qwen3.8-max-preview": {}, "bailian-token-plan/qwen3.7-max": {}, "bailian-token-plan/qwen3.7-plus": {}, "bailian-token-plan/qwen3.6-plus": {}, @@ -350,6 +497,16 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "apiKey": "YOUR_API_KEY", "api": "anthropic-messages", "models": [ + { + "id": "qwen3.8-max-preview", + "name": "qwen3.8-max-preview", + "reasoning": true, + "input": ["text", "image"], + "contextWindow": 983616, + "maxTokens": 131072, + "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }, + "compat": { "thinkingFormat": "openai" } + }, { "id": "qwen3.7-max", "name": "qwen3.7-max", @@ -494,9 +651,10 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to "agents": { "defaults": { "model": { - "primary": "bailian-token-plan/qwen3.7-plus" + "primary": "bailian-token-plan/qwen3.8-max-preview" }, "models": { + "bailian-token-plan/qwen3.8-max-preview": {}, "bailian-token-plan/qwen3.7-max": {}, "bailian-token-plan/qwen3.7-plus": {}, "bailian-token-plan/qwen3.6-plus": {}, @@ -526,6 +684,17 @@ Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/to 先单击 **Save** 按钮将配置写入磁盘，再单击 **Apply** 按钮重启网关使配置生效。 +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### **Coding Plan** 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)（格式为 `sk-sp-xxxxx`）。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -1215,6 +1384,14 @@ Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-pla 以上配置中 `dmPolicy` 和 `groupPolicy` 均设为 `open`，适用于测试或个人使用场景。生产环境中建议设为 `allowlist`，通过白名单限制可访问的用户和群组，降低安全风险。 +切换到 `allowlist` 模式时，将 `dmPolicy` 和 `groupPolicy` 改为 `"allowlist"`，并添加 `allowFrom` 字段，填入允许访问的工号和群 ID。示例： + +``` +"dmPolicy": "allowlist", +"groupPolicy": "allowlist", +"allowFrom": ["你的工号", "群ID"] +``` + #### 步骤四：测试 1. 执行以下命令重启网关。 @@ -1790,7 +1967,7 @@ Skill 是可扩展的能力模块，Agent 会根据请求自动匹配并加载 ### 接入 MCP 服务 -OpenClaw 支持通过 MCP（Model Context Protocol）插件扩展 Agent 的工具调用能力，例如联网搜索、网页抓取等。具体案例可以参考[添加联网搜索MCP](https://help.aliyun.com/zh/model-studio/web-search-for-coding-plan)。 +OpenClaw 支持通过 MCP（Model Context Protocol）插件扩展 Agent 的工具调用能力，例如联网搜索、网页抓取等。具体案例可以参考[添加联网搜索MCP](https://help.aliyun.com/zh/model-studio/web-search-mcp)。 ## 常见问题 diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md index 2f2b6d2a..7ec72a7b 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/opencode.md @@ -1,6 +1,6 @@ # OpenCode -OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 OpenCode** @@ -30,6 +30,8 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla 根据所选方案写入对应配置： +- **Token Plan 个人版**：个人订阅，按 token 消耗抵扣 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -37,6 +39,102 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +需先购买 Token Plan 个人版套餐且套餐处于有效期内。可在[Token Plan 个人版页面](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)购买套餐。 + +将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview)。可用模型包括 qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus、qwen3.6-flash、glm-5.2、deepseek-v4-pro，详细列表请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +``` +{ + "$schema": "https://opencode.ai/config.json", + "provider": { + "bailian-token-plan-personal": { + "npm": "@ai-sdk/anthropic", + "name": "Alibaba Cloud Model Studio", + "options": { + "baseURL": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic/v1", + "apiKey": "YOUR_API_KEY" + }, + "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 99072 + }, + "temperature": 0.6, + "reasoning": true + } + }, + "qwen3.7-max": { + "name": "Qwen3.7 Max", + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.7-plus": { + "name": "Qwen3.7 Plus", + "modalities": { + "input": ["text", "image"], + "output": ["text"] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-plus": { + "name": "Qwen3.6 Plus", + "modalities": { + "input": ["text", "image"], + "output": ["text"] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + }, + "qwen3.6-flash": { + "name": "Qwen3.6 Flash", + "modalities": { + "input": ["text", "image"], + "output": ["text"] + }, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 8192 + } + } + } + } + } + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 需先购买 Token Plan 团队版套餐且套餐处于有效期内。可在[Token Plan 团队版页面](https://bailian.console.aliyun.com/?tab=plan#/efm/subscription/overview)购买套餐。 @@ -55,6 +153,19 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla "apiKey": "YOUR_API_KEY" }, "models": { + "qwen3.8-max-preview": { + "name": "Qwen3.8 Max Preview", + "contextWindow": 983616, + "maxOutputTokens": 131072, + "options": { + "thinking": { + "type": "enabled", + "budgetTokens": 99072 + }, + "temperature": 0.6, + "reasoning": true + } + }, "qwen3.7-max": { "name": "Qwen3.7 Max", "options": { @@ -187,6 +298,17 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 将 `YOUR_API_KEY` 替换为 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan)。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -291,9 +413,9 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla `baseURL` 按地域设置，API Key 需与所选地域对应： -- 华北2（北京）：`https://dashscope.aliyuncs.com/apps/anthropic/v1` +- 华北2（北京）：`https://dashscope.aliyuncs.com/compatible-mode/v1` -- 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/apps/anthropic/v1`，请将`WorkspaceId`替换为真实的[获取Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu) +- 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1`，请将`WorkspaceId`替换为真实的[获取Workspace ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id#d3eb3cd37b7fu) ``` @@ -301,10 +423,10 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla "$schema": "https://opencode.ai/config.json", "provider": { "bailian-payg": { - "npm": "@ai-sdk/anthropic", + "npm": "@ai-sdk/openai-compatible", "name": "Alibaba Cloud Model Studio", "options": { - "baseURL": "https://dashscope.aliyuncs.com/apps/anthropic/v1", + "baseURL": "https://dashscope.aliyuncs.com/compatible-mode/v1", "apiKey": "YOUR_API_KEY" }, "models": { @@ -368,4 +490,6 @@ OpenCode 是一款终端 AI 编程工具，可以通过按量计费、Coding Pla - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) -- Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-team-faq) + +- Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-team-faq) diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qoder-agent.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qoder-agent.md index 1de85109..04e9150e 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qoder-agent.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qoder-agent.md @@ -1,6 +1,6 @@ # Qoder -Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 JetBrains 插件，可以通过按量付费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 JetBrains 插件，可以通过按量付费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## Qoder IDE @@ -27,7 +27,7 @@ Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 类型 - 根据计费方案选择 **Token Plan**、**Coding Plan** 或 **按量付费** + 根据计费方案选择 **Token Plan**（个人版或团队版）、**Coding Plan** 或 **按量付费** 模型 @@ -37,7 +37,9 @@ Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 填写对应方案的专属 API Key： - - Token Plan 团队版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list) + - Token Plan 个人版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal) + + - Token Plan 团队版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/enterprise) - Coding Plan：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan) @@ -99,7 +101,7 @@ Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 1. 在对话框中输入 `/model`，通过 Tab 键切换至 `Custom`。 -2. 回车选择 Add custom model，提供商选择 Alibaba Cloud Model Studio - China，类型根据计费方案选择 **Token Plan**、**Coding Plan** 或 **按量付费**。 +2. 回车选择 Add custom model，提供商选择 Alibaba Cloud Model Studio - China，类型根据计费方案选择 **Token Plan**（个人版或团队版）、**Coding Plan** 或 **按量付费**。 3. 选择模型后输入对应方案的专属 API Key，确认后等待配置生效。 @@ -135,7 +137,7 @@ Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 类型 - 根据计费方案选择 **Token Plan**、**Coding Plan** 或 **按量付费** + 根据计费方案选择 **Token Plan**（个人版或团队版）、**Coding Plan** 或 **按量付费** 模型 @@ -145,7 +147,9 @@ Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 填写对应方案的专属 API Key： - - Token Plan 团队版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list) + - Token Plan 个人版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal) + + - Token Plan 团队版：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/enterprise) - Coding Plan：[获取 API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan) @@ -195,8 +199,12 @@ Qoder 是面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) +- 按量计费：[错误码](https://help.aliyun.com/zh/model-studio/error-code) + ### 为什么在 Qoder 设置中找不到模型选项？ diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md index 7ca6ebb6..23488022 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md @@ -1,6 +1,6 @@ # Qwen Code -Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan 或 Token Plan 团队版接入阿里云百炼。 +Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Plan、Token Plan 个人版或 Token Plan 团队版接入阿里云百炼。 ## **安装 Qwen Code** @@ -33,8 +33,10 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl ## **配置接入凭证** -启动 Qwen Code 后输入 `/auth` 命令进行可视化配置。阿里云百炼提供三种计费方案，根据需要选择： +启动 Qwen Code 后输入 `/auth` 命令进行可视化配置。阿里云百炼提供四种计费方案，根据需要选择： +- **Token Plan 个人版**：按 token 消耗抵扣个人 Credits。 + - **Token Plan 团队版**：按坐席订阅，按 token 消耗抵扣 Credits。 - **Coding Plan**：固定月费订阅，按模型调用次数计量。 @@ -42,6 +44,98 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl - **按量计费**：按实际调用量后付费。 +### Token Plan 个人版 + +启动 Qwen Code 后输入 `/auth`，依次选择 **订阅计划** > **阿里云百炼 Token Plan**，输入 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/overview) 即可完成配置。可用模型请参考 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + +高级配置：通过 settings.json 配置文件 + +编辑或新建 `settings.json` 文件，将 `YOUR_API_KEY` 替换为 Token Plan 个人版专属 API Key。文件路径如下： + +- macOS/Linux：`~/.qwen/settings.json` + +- Windows：`C:\Users\\.qwen\settings.json` + + +``` +{ + "env": { + "BAILIAN_TOKEN_PLAN_API_KEY": "YOUR_API_KEY" + }, + "modelProviders": { + "openai": [ + { + "id": "qwen3.8-max-preview", + "name": "[Token Plan 个人版] qwen3.8-max-preview", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "qwen3.7-max", + "name": "[Token Plan 个人版] qwen3.7-max", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "qwen3.7-plus", + "name": "[Token Plan 个人版] qwen3.7-plus", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "qwen3.6-flash", + "name": "[Token Plan 个人版] qwen3.6-flash", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, + { + "id": "glm-5.2", + "name": "[Token Plan 个人版] glm-5.2", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY" + }, + { + "id": "deepseek-v4-pro", + "name": "[Token Plan 个人版] deepseek-v4-pro", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY" + } + ] + } +} +``` + +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Token Plan 团队版 启动 Qwen Code 后输入 `/auth`，依次选择 **订阅计划** > **阿里云百炼 Token Plan**，输入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list) 即可完成配置。可用模型请参考 Token Plan 团队版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-overview)。 @@ -62,6 +156,17 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl }, "modelProviders": { "openai": [ + { + "id": "qwen3.8-max-preview", + "name": "[Token Plan 团队版] qwen3.8-max-preview", + "baseUrl": "https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", + "envKey": "BAILIAN_TOKEN_PLAN_API_KEY", + "generationConfig": { + "extra_body": { + "enable_thinking": true + } + } + }, { "id": "qwen3.7-max", "name": "[Token Plan 团队版] qwen3.7-max", @@ -207,12 +312,23 @@ Qwen Code 是一款终端 AI 编程工具，可以通过按量计费、Coding Pl "region": "china" }, "model": { - "name": "qwen3.7-plus" + "name": "qwen3.8-max-preview" }, "$version": 3 } ``` +**重要** + +**qwen3.8-max-preview 思考模式说明**： + +- thinking：始终开启，不支持关闭。 + +- temperature：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 + +- reasoning\_effort：控制推理深度，可选 xhigh、high、low，默认 xhigh。 + + ### Coding Plan 启动 Qwen Code 后输入 `/auth`，依次选择 **订阅计划** > **阿里云百炼 Coding Plan**，选择 Coding Plan 区域（china），输入 Coding Plan 专属 [API Key](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/efm/coding_plan) 即可完成配置。可用模型请参考 Coding Plan [支持的模型](https://help.aliyun.com/zh/model-studio/coding-plan)。 @@ -547,7 +663,7 @@ Qwen Code 支持在 VS Code 中以插件方式使用，在 IDE 中提供 AI 编 4. 输入以下内容安装 skill。 ``` - 查看我是否有find skills，没有就直接帮我安装：npx skills add https://github.com/vercel-labs/skills --skill find-skills -y -a qwen-code，然后帮我安装 web-component-design 到当前目录qwen code skills中。 + 查看我是否有find skills，没有就直接帮我安装：npx skills add https://github.com/vercel-labs/skills --skill find-skills -y -a qwen-code，然后从 wshobson/agents 帮我安装 web-component-design 到当前目录：npx skills add https://github.com/wshobson/agents --skill web-component-design -y ``` 5. 下载[website.png](https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260318/ymehla/website.png)到项目目录，输入以下内容，将自动识别截图的布局、样式，生成网页代码。 @@ -593,7 +709,9 @@ Qwen Code 支持在 VS Code 中以插件方式使用，在 IDE 中提供 AI 编 - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) -- Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) +- Token Plan 个人版：[Token Plan 常见问题](https://help.aliyun.com/zh/model-studio/token-plan-team-faq) + +- Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-team-faq) ### **如何切换模型？** diff --git a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwenpaw.md b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwenpaw.md index 00dddafd..dddad007 100644 --- a/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwenpaw.md +++ b/skills/bailian-docs-llm-wiki/raw/model-user-guide/use-chat-client-or-development-tool/qwenpaw.md @@ -1,6 +1,6 @@ # QwenPaw -QwenPaw（原 CoPaw）是 AgentScope 团队开源的个人 AI 助手，支持本地或云端部署，可通过 Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 +QwenPaw（原 CoPaw）是 AgentScope 团队开源的个人 AI 助手，支持本地或云端部署，可通过 Token Plan 个人版、Token Plan 团队版、Coding Plan 或按量计费接入阿里云百炼。 ## **安装 QwenPaw** @@ -52,6 +52,22 @@ qwenpaw app 在 Console 点击 **设置** > **模型**，根据计费方案配置对应的提供商。 +### Token Plan 个人版 + +进入内置的 **Aliyun Token Plan** 提供商**设置**页面，填入 API Key。 + +**配置项** + +**说明** + +**API 密钥** + +填入 Token Plan 个人版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/personal)。 + +**模型** + +已预设常用模型。新增模型点击**添加模型**，**模型 ID**填入 Token Plan 个人版[支持的模型](https://help.aliyun.com/zh/model-studio/token-plan-personal-overview)。 + ### Token Plan 团队版 进入内置的 **Aliyun Token Plan** 提供商**设置**页面，填入 API Key。 @@ -62,7 +78,7 @@ qwenpaw app **API 密钥** -填入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/uac-admin/organization/members/list)。 +填入 Token Plan 团队版专属 [API Key](https://bailian.console.aliyun.com/cn-beijing?tab=plan#/efm/subscription/token-plan/enterprise)。 **模型** @@ -125,6 +141,8 @@ qwenpaw app - Coding Plan：[Coding Plan 常见问题](https://help.aliyun.com/zh/model-studio/coding-plan-faq) +- Token Plan 个人版：[Token Plan 个人版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) + - Token Plan 团队版：[Token Plan 团队版常见问题](https://help.aliyun.com/zh/model-studio/token-plan-faq) diff --git a/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md b/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md index 74caf7e8..520c7970 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/3d-generation.md @@ -1,88 +1,141 @@ # 3d generation -百炼平台基于 Tripo 模型提供 3D 资产生成能力，支持文生 3D、单图生 3D 与多图生 3D 三种输入方式，产出带贴图的 PBR 材质 GLB 模型或无贴图基础模型。由于生成耗时较长，API 采用[异步调用](../concepts/async-invocation.md)，整体流程为「创建任务 → 轮询获取结果」。详细接口与参数见 [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md)。 +百炼平台通过集成 Tripo 系列模型，提供 3D 模型生成能力，支持**文生3D**、**单图生3D**和**多图生3D**三种输入方式，输出 GLB 格式的带贴图或无贴图三维模型。API 采用[异步调用](../concepts/async-invocation.md)模式，整体流程分为"创建任务 → 轮询查询"两步。详细接口规范参见 [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md)。 -## 适用范围 +> **注意**：本接口**仅适用于华北2（北京）地域**，必须使用北京地域的 API Key，其他地域的 Key 将无法调用成功。 -- 仅适用于**华北2（北京）**地域，且必须使用该地域的 [API Key](../concepts/api-key.md)。 -- 需先在百炼控制台模型市场搜索「Tripo」并开通服务、完成授权，再配置好 [API Key](../concepts/api-key.md) 环境变量。具体开通与配置步骤见 [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md)。 - -## 调用流程 +## 支持的模型 -API 仅支持[异步调用](../concepts/async-invocation.md)，包含两个步骤： +| 模型名称 | 说明 | 最高面数 | +| --- | --- | --- | +| `Tripo/Tripo-H3.1` | 高精度3D模型，对应 Tripo 官方 API `v3.1-20260211` | 200 万面（ultra 模式） | +| `Tripo/Tripo-P1.0` | 专业3D模型，速度更快，对应 Tripo 官方 API `P1-20260311` | 2 万面 | -1. **创建任务**：`POST https://dashscope.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation` -2. **轮询查询结果**：`GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` +## 前置配置 -创建任务时必须携带 `X-DashScope-Async: enable` 请求头，否则会报错 `current user api does not support synchronous calls`。成功创建后返回 `task_id`，有效期 24 小时，**请勿重复创建任务**，轮询获取即可。 +1. 在[阿里云百炼控制台](https://bailian.console.aliyun.com/cn-beijing/?tab=model#/model-market/all)搜索"Tripo"并开通服务。 +2. 获取**北京地域** API Key 并配置到环境变量 `DASHSCOPE_API_KEY`。 -轮询建议间隔约 15 秒，任务状态流转为 `PENDING`（排队中）→ `RUNNING`（处理中）→ `SUCCEEDED` / `FAILED`。查询接口默认 RPS 为 20，如需更高频查询或事件通知建议配置异步任务回调。 +## 调用方式 -## 支持的模型 +所有请求均为异步 HTTP，需在请求头加 `X-DashScope-Async: enable`，否则报错 `"current user api does not support synchronous calls"`。 -| 模型名 | 定位 | 输出面数 | 对应官方 API 版本 | -| --- | --- | --- | --- | -| `Tripo/Tripo-H3.1` | 高精度生成 | 最高 200 万面 | `v3.1-20260211` | -| `Tripo/Tripo-P1.0` | 专业生成，速度更快 | 最高 2 万面 | `P1-20260311` | +### 步骤一：创建任务 -## 输入方式 +``` +POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation +``` -`input` 中 `prompt`、`image`、`images` 三者**互斥**，只能选其一，同时传多个将报错。 +请将 `{WorkspaceId}` 替换为真实的业务空间 ID。 -- **文生 3D**：`prompt` 必填，支持中英文等多语言，每个字符计 1 个字符，最大 1024 字符。 -- **单图生 3D**：`image` 必填，传入单张图像公网 URL。图像格式限 JPEG/PNG，宽高范围 [20, 6000] 像素（建议边长大于 256），文件不超过 20MB，支持 HTTP/HTTPS。 -- **多图生 3D**：`images` 必填，数组长度固定为 4，对应视角顺序为**前、左、后、右**；不需要的视角传空对象 `{}`。实际有效图片数为 2~4 张，多张图像的分辨率和宽高比不要求一致。每个对象含 `type`（`jpeg` 或 `png`）与 `file_token`（公网 URL）字段。 +#### input 参数（三选一） -## 关键参数（parameters） - -| 参数 | 适用模型 | 默认值 | 说明 | +| 字段 | 类型 | 使用场景 | 限制 | | --- | --- | --- | --- | -| `texture_quality` | 全部 | `standard` | 贴图质量，可选 `standard`（标清）/`detailed`（高清） | -| `geometry_quality` | `Tripo/Tripo-H3.1` | `standard` | 几何精度，`standard` 最高 150 万面，`ultra` 最高 200 万面 | -| `pbr` | 全部 | `true` | 是否生成 PBR 材质模型。设为 `true` 时强制启用贴图，返回 `pbr_model_url` | -| `texture` | 全部 | `true` | 是否生成贴图。生成无贴图模型需**同时**将 `texture` 和 `pbr` 设为 `false`，返回 `base_model_url` | - -## 响应与产物 +| `prompt` | string | 文生3D | 最大 1024 字符，支持中英文 | +| `image` | string（URL） | 单图生3D | JPEG/PNG，宽高 [20, 6000]px，≤ 20MB | +| `images` | array[object] | 多图生3D | 固定长度 4，对应前/左/后/右，有效图片 2～4 张 | -成功响应的 `output.results` 仅在 `task_status` 为 `SUCCEEDED` 时返回，包含以下字段： +`prompt`、`image`、`images` 三者互斥，同时传入多个将报错。 -- `pbr_model_url`：PBR 材质模型（GLB）下载 URL，当 `pbr` 为 `true`（默认）时返回。 -- `base_model_url`：无贴图基础模型（GLB）下载 URL，当 `texture` 与 `pbr` 均为 `false` 时返回。 -- `rendered_image_url`：3D 模型预览渲染图（1 张）URL。 +多图模式下，`images` 数组长度固定为 4，不需要的视角传入空对象 `{}` 即可，顺序为**前、左、后、右**。 -> **注意**：以上下载链接有效期均为 **2 小时**，请及时下载。 +#### parameters 参数 -`usage` 字段记录任务类型（`text-to-3d` / `image-to-3d` / `multi-image-to-3d`）、生成数量 `count`、贴图质量与几何精度，仅对成功结果计数。任务状态 `task_status` 的完整枚举为 `PENDING` / `RUNNING` / `SUCCEEDED` / `FAILED` / `CANCELED` / `UNKNOWN`，其中 `UNKNOWN` 表示任务不存在或超过 24 小时有效期。更多响应字段说明见 [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md)。 +| 字段 | 默认值 | 说明 | 适用模型 | +| --- | --- | --- | --- | +| `texture_quality` | `standard` | 贴图质量：`standard`（标清）/ `detailed`（高清） | 全部 | +| `geometry_quality` | `standard` | 几何精度：`standard`（最高150万面）/ `ultra`（最高200万面） | 仅 `Tripo/Tripo-H3.1` | +| `pbr` | `true` | 是否生成 PBR 材质，设为 `true` 时强制启用贴图 | 全部 | +| `texture` | `true` | 是否生成贴图；无贴图时需同时设 `texture=false` 和 `pbr=false` | 全部 | + +#### 创建成功响应示例 + +```json +{ + "output": { + "task_status": "PENDING", + "task_id": "0385dc79-5ff8-4d82-bcb6-xxxxxx" + }, + "request_id": "4909100c-7b5a-9f92-bfe5-xxxxxx" +} +``` + +保存 `task_id`，有效期 **24 小时**，切勿重复创建任务。 + +### 步骤二：查询任务结果 + +``` +GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} +``` + +建议每隔 **15 秒**轮询一次，查询接口默认 RPS 为 20。任务状态流转： + +``` +PENDING → RUNNING → SUCCEEDED / FAILED +``` + +| 状态 | 说明 | +| --- | --- | +| `PENDING` | 排队中 | +| `RUNNING` | 处理中 | +| `SUCCEEDED` | 成功，返回模型 URL | +| `FAILED` | 失败，返回错误码和信息 | +| `CANCELED` | 已取消 | +| `UNKNOWN` | 不存在或超过 24 小时有效期 | + +#### 成功响应中的 results 字段 + +| 字段 | 说明 | 返回条件 | +| --- | --- | --- | +| `pbr_model_url` | PBR 材质模型（GLB），有效期 2 小时 | `pbr=true`（默认） | +| `base_model_url` | 无贴图基础模型（GLB），有效期 2 小时 | `texture=false` 且 `pbr=false` | +| `rendered_image_url` | 模型预览渲染图（1张），有效期 2 小时 | 始终返回 | +| `orig_prompt` | 原始 [prompt](../guides/prompt.md) 输入 | 文生3D 模式 | + +> **注意**：模型文件和渲染图 URL **有效期仅 2 小时**，请及时下载，过期后需重新生成任务。 + +## 示例代码 + +以下示例均来自 [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md)，仅展示关键差异。 + +**文生3D（有贴图）** + +```bash +curl --location 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/3d-generation' \ + -H 'X-DashScope-Async: enable' \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ + -H 'Content-Type: application/json' \ + -d '{ + "model": "Tripo/Tripo-P1.0", + "input": { "prompt": "一只可爱的猫" }, + "parameters": { "texture_quality": "standard" } +}' +``` + +**无贴图生成**（需同时设 `texture` 和 `pbr` 为 `false`） + +```bash +# 参数中同时设置 texture 和 pbr 为 false +-d '{ + "model": "Tripo/Tripo-P1.0", + "input": { "prompt": "一只可爱的猫" }, + "parameters": { "texture": false, "pbr": false } +}' +``` ## 限制与注意事项 -- 仅限北京地域 [API Key](../concepts/api-key.md) 调用，地域不匹配将无法使用。 -- `task_id` 查询有效期 24 小时，超时返回 `UNKNOWN` 且无法再查询。 -- 查询接口默认 RPS 限制为 20，建议通过异步任务回调获取更高频通知。 -- 产物下载链接有效期仅 2 小时。 -- 调用失败时响应中会返回 `code` 与 `message`，可参照百炼错误码文档排查。 +- **地域限制**：仅支持华北2（北京）地域，API Key 也必须是北京地域的，详见 [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md)。 +- **异步强制**：HTTP 调用必须携带 `X-DashScope-Async: enable`，不支持同步调用。 +- **task_id 有效期**：24 小时，超时后状态返回 `UNKNOWN`，无法补查结果。 +- **input 互斥**：`prompt`、`image`、`images` 三者只能选其一，混用会报错。 +- **多图视角顺序**：`images` 数组固定长度为 4，顺序为前、左、后、右，缺省视角传 `{}`。 +- **模型 URL 时效**：生成结果 URL（模型文件、渲染图）有效期仅 2 小时，请及时下载。 +- **错误排查**：调用失败可参考[错误码文档](https://help.aliyun.com/zh/model-studio/error-code)。 ## 来源文档 - [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md) - - - - - - - - - - - - - - - - - - - diff --git a/skills/bailian-docs-llm-wiki/wiki/api/application-call.md b/skills/bailian-docs-llm-wiki/wiki/api/application-call.md index eb343a80..a2683a12 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/application-call.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/application-call.md @@ -1,6 +1,6 @@ # application call -阿里云百炼平台提供两套 API 来调用智能体和工作流应用：**OpenAI 兼容的 Responses API** 和 **DashScope API**。两者均支持同步/[异步调用](../concepts/async-invocation.md)、多轮对话、[流式输出](../concepts/streaming.md)等核心能力，开发者可根据生态兼容性和功能需求选择合适的接入方式。调用前需先获取 APP ID（以及子[业务空间](../concepts/workspace.md)场景下的 Workspace ID）和 [API Key](../concepts/api-key.md)。 +阿里云百炼平台提供两套 API 来调用智能体和[工作流](../concepts/workflow.md)应用：**OpenAI 兼容的 Responses API** 和 **DashScope API**。两者均支持同步/[异步调用](../concepts/async-invocation.md)、多轮对话、[流式输出](../concepts/streaming.md)等核心能力，开发者可根据生态兼容性和功能需求选择合适的接入方式。调用前需先获取 APP ID（以及子[业务空间](../concepts/workspace.md)场景下的 Workspace ID）和 [API Key](../concepts/api-key.md)。 ## 前置准备 @@ -16,7 +16,7 @@ ### 其他前提 - 已获取 [API Key](../concepts/api-key.md) 并配置到环境变量 `DASHSCOPE_API_KEY`。 -- 已创建并发布百炼应用（智能体或工作流）。 +- 已创建并发布百炼应用（智能体或[工作流](../concepts/workflow.md)）。 - 如使用 SDK 调用，需安装对应的 SDK（OpenAI SDK 或 [DashScope SDK](../concepts/dashscope-sdk.md)）。 ## 两套 API 对比 @@ -81,7 +81,7 @@ Responses API 支持在 `content` 数组中混合多种输入类型： ### [流式输出](../concepts/streaming.md) -设置 `stream=true` 可边生成边输出，适用于需要实时展示生成内容的场景。若应用类型为工作流，需在结束节点或流程输出节点中启用「[流式输出](../concepts/streaming.md)」开关并重新发布。 +设置 `stream=true` 可边生成边输出，适用于需要实时展示生成内容的场景。若应用类型为[工作流](../concepts/workflow.md)，需在结束节点或流程输出节点中启用「[流式输出](../concepts/streaming.md)」开关并重新发布。 ## DashScope API @@ -149,3 +149,11 @@ response = await client.responses.create( + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md b/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md index 65de9baf..af276245 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/application-component-api-reference.md @@ -1,165 +1,166 @@ # application component api reference -百炼平台应用组件 API（`bailian/2023-12-29`）提供了数据连接、知识库、Prompt 模板、长期记忆等核心能力的 OpenAPI 接口，采用 ROA 签名风格。开发者可通过阿里云百炼 SDK 直接调用，也可使用自签名方式对接。所有接口均需传入 `WorkspaceId`（[业务空间](../concepts/workspace.md) ID），RAM 子账号需要先获取对应权限策略并加入[业务空间](../concepts/workspace.md)后才能调用。 +阿里云百炼平台（`bailian/2023-12-29`）的应用组件 API 采用 ROA 签名风格，覆盖数据连接（原应用数据）、知识库、Prompt 模板、长期记忆等核心功能，供开发者以编程方式管理平台资源。建议优先使用[多语言 SDK](https://api.aliyun.com/api-tools/sdk/bailian?version=2023-12-29) 调用，避免手动处理签名细节。 -## 服务接入点与鉴权 +## 接入前提 -当前支持两个地域的接入点： - -| 地域 | 地域 ID | 公网接入地址 | VPC 接入地址 | -|------|---------|-------------|-------------| -| 华北2（北京） | cn-beijing | bailian.cn-beijing.aliyuncs.com | bailian-vpc.cn-beijing.aliyuncs.com | -| 新加坡 | ap-southeast-1 | bailian.ap-southeast-1.aliyuncs.com | bailian-vpc.ap-southeast-1.aliyuncs.com | - -调用前需准备 AccessKey，建议使用 RAM 用户而非主账号以降低安全风险。RAM 权限策略的 RamCode 为 `sfm`，授权粒度为操作级。大多数写操作需要 `AliyunBailianDataFullAccess` 策略，部分只读接口（如 DescribeFile、GetIndexJobStatus）也支持 `AliyunBailianDataReadOnlyAccess`。详见[授权信息](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md)。 +- **AccessKey**：主账号或已授权的 RAM 子账号。RAM 子账号调用大多数接口需要 `AliyunBailianDataFullAccess` 策略（部分只读接口也接受 `AliyunBailianDataReadOnlyAccess`），并已加入至少一个业务空间。 +- **服务接入点**：华北 2（北京）`bailian.cn-beijing.aliyuncs.com`；新加坡 `bailian.ap-southeast-1.aliyuncs.com`（VPC 版本使用 `bailian-vpc..aliyuncs.com`）。详见[服务接入点](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-endpoint.md)。 +- **RAM 授权**：百炼 RAM 代码（RamCode）为 `sfm`，授权粒度为操作级。权限策略示例见[授权信息](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-ram.md)。 +- **限流**：大多数接口限制 5–10 次/秒，`ListIndexDocuments` 限 15 次/秒，遇到限流错误请稍后重试。 ## 数据连接（原应用数据） -数据连接相关 API 用于管理类目、文件、解析设置、表格和连接器，是构建知识库的数据基础。 +该组 API 管理文件、类目、连接器及解析配置，为知识库构建提供原始数据。 ### 类目管理 -| API | 说明 | 限流 | 幂等性 | -|-----|------|------|--------| -| AddCategory | 在[业务空间](../concepts/workspace.md)中新建类目，每空间最多 500 个 | 5 次/秒 | 否 | -| ListCategory | 查询类目列表，支持分页 | 5 次/秒 | 是 | -| DeleteCategory | 永久删除指定类目 | 5 次/秒 | 是 | +| API | 方法 | 功能 | +|-----|------|------| +| `AddCategory` | POST `/{WorkspaceId}/datacenter/category/` | 新建类目（每空间最多 500 个；非幂等） | +| `ListCategory` | POST `/{WorkspaceId}/datacenter/categories` | 查询类目列表（Token 分页；仅支持 UNSTRUCTURED 类型） | +| `DeleteCategory` | DELETE `/{WorkspaceId}/datacenter/category/{CategoryId}/` | 永久删除类目（幂等） | -> **注意**：当前不支持通过 API 查询或新增数据表，数据表操作请通过控制台完成。 +> **注意**：数据表（TABLE 类型）无法通过 API 创建、查询或删除，须前往控制台操作。 ### 文件管理 -文件上传采用两步流程：先调用 ApplyFileUploadLease 获取上传租约，使用返回的 URL 上传文件后，再调用 AddFile 将文件导入百炼。也可通过 AddFilesFromAuthorizedOss 直接从已授权的 OSS Bucket 导入。详见[ApplyFileUploadLease - 申请文件上传租约](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-data-connection-original-application-data/api-bailian-2023-12-29-applyfileuploadlease.md)。 +文件上传分两步：先调用 `ApplyFileUploadLease` 获取上传租约，再调用 `AddFile` 将临时存储中的文件正式导入。或直接通过 `AddFilesFromAuthorizedOss` 从已授权 OSS Bucket 批量导入。 -| API | 说明 | 限流 | +| API | 功能 | 限流 | |-----|------|------| -| ApplyFileUploadLease | 申请上传租约（知识库文件或会话交互文件） | 10 次/秒 | -| AddFile | 将临时存储文件导入数据连接 | 10 次/秒 | -| AddFilesFromAuthorizedOss | 从已授权 OSS Bucket 批量导入文件 | 5 次/秒 | -| DescribeFile | 查询文件基本信息（名称、类型、状态等） | 10 次/秒 | -| ListFile | 分页查询指定类目下的文件列表 | 5 次/秒 | -| UpdateFileTag | 更新单个文件的标签 | 5 次/秒 | -| BatchUpdateFileTag | 批量更新文件标签 | 5 次/秒 | -| DeleteFile | 删除单个文件 | 5 次/秒 | -| DeleteFiles | 批量删除文件 | 5 次/秒 | - -AddFile 接口的 `Parser` 参数支持以下解析器类型： +| `ApplyFileUploadLease` | 申请文件上传租约（用于知识库文件或智能体会话文件） | 10 次/秒 | +| `AddFile` | 将临时存储文件导入应用数据 | 10 次/秒 | +| `AddFilesFromAuthorizedOss` | 从已授权 OSS Bucket 批量导入 | 5 次/秒 | +| `DescribeFile` | 查询文件详情（名称、类型、解析状态等） | 10 次/秒 | +| `ListFile` | 获取指定类目下的文件列表（Token 分页） | 5 次/秒 | +| `UpdateFileTag` | 更新单个文件标签（最多 100 个标签，总长度 ≤700） | 5 次/秒 | +| `BatchUpdateFileTag` | 批量更新文件标签（支持 APPEND/OVERWRITE 模式） | 5 次/秒 | +| `DeleteFile` | 永久删除单个文件（仅 PARSE_FAILED 或 PARSE_SUCCESS 状态可删） | 10 次/秒 | +| `DeleteFiles` | 批量删除文件（单次最多 20 个） | 10 次/秒 | + +> **注意**：`DeleteFile`/`DeleteFiles` 只删除应用数据中的文件，**不会**影响已构建的知识库。若需从知识库中删除，请调用 `DeleteIndexDocument`。 + +`AddFile` 支持的解析器类型（`Parser` 字段）： - `DOCMIND`（智能文档解析） - `DOCMIND_DIGITAL`（电子文档解析） - `DOCMIND_LLM_VERSION`（大模型文档解析） - `DASH_QWEN_VL_PARSER`（Qwen VL 解析） - `DOCMIND_LLM_VERSION_MEDIA`（音视频解析） -- `AUTO_SELECT`（自动选择解析器） +- `AUTO_SELECT`（自动选择） -### 解析设置 +### 解析配置 -| API | 说明 | -|-----|------| -| GetParseSettings | 获取类目的解析设置 | -| GetAvailableParserTypes | 获取指定文件支持的解析器类型列表 | -| ChangeParseSetting | 修改类目的解析设置 | +- `GetParseSettings`：查询指定类目的解析配置（按文件类型列出当前使用的解析方式）。 +- `GetAvailableParserTypes`：根据文件扩展名（pdf/docx/pptx/xlsx/md/txt/png/jpg 等）查询支持的解析器列表。 +- `ChangeParseSetting`：为指定类目的特定文件类型设置解析方式（非幂等，10 次/秒）。 -### 表格与连接器 +### 连接器与表格 -| API | 说明 | -|-----|------| -| AddTable | 添加表格 | -| UpdateTableFromAuthorizedOss | 从已授权 OSS Bucket 更新表格 | -| AddConnector | 新增连接器 | -| GetConnector | 获取连接器信息（当前仅支持文件连接器） | -| UpdateConnector | 编辑连接器名称和描述 | +- `AddConnector`：创建文件类型连接器（支持 `OSS_CUSTOM` 自有 OSS 或 `OSS_PLATFORM` 平台 OSS）。 +- `GetConnector`：查询连接器信息（精确匹配名称或 ID）。 +- `UpdateConnector`：修改连接器名称和描述。 +- `AddTable`：为表格连接器添加表格（需提供表名、列定义及 ConnectorId）。 +- `UpdateTableFromAuthorizedOss`：使用已授权 OSS 文件更新指定表格。 + +### 临时存储 -连接器的 `StorageType` 支持 `OSS_CUSTOM`（自有 OSS 存储）和 `OSS_PLATFORM`（平台 OSS 存储）。 +`ApplyTempStorageLease`：为智能体应用会话交互申请临时存储租约（与文件上传租约不同，该租约不要求指定类目，传 `default` 即可）。 -## Prompt 工程 +## Prompt 模板 -Prompt 模板 API 支持对 Prompt 模板的完整 CRUD 操作。模板内容支持变量占位符（如 `${theme}`），系统会自动提取变量列表。详见[CreatePromptTemplate - 创建Prompt模板](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-createprompttemplate.md)。 +Prompt 模板支持变量占位符（格式：`${变量名}`），可通过 API 进行增删改查，详见[CreatePromptTemplate 文档](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-prompt-engineering/api-bailian-2023-12-29-createprompttemplate.md)。 | API | 方法 | 说明 | |-----|------|------| -| CreatePromptTemplate | POST | 创建模板（暂不支持文生图模板） | -| GetPromptTemplate | GET | 按模板 ID 获取详情 | -| UpdatePromptTemplate | PATCH | 增量更新模板名称或内容 | -| DeletePromptTemplate | DELETE | 按模板 ID 删除 | -| ListPromptTemplates | GET | 分页查询模板列表，支持按名称和类型（System/Custom）过滤 | +| `CreatePromptTemplate` | POST `/{workspaceId}/promptTemplates` | 创建模板（**不支持**文生图模板；非幂等） | +| `GetPromptTemplate` | GET `/{workspaceId}/promptTemplates/{promptTemplateId}` | 按 ID 查询，返回模板内容及变量列表 | +| `UpdatePromptTemplate` | PATCH `/{workspaceId}/promptTemplates/{promptTemplateId}` | 增量更新名称或内容 | +| `DeletePromptTemplate` | DELETE `/{workspaceId}/promptTemplates/{promptTemplateId}` | 按 ID 删除 | +| `ListPromptTemplates` | GET `/{workspaceId}/promptTemplates` | 列表查询，支持按名称关键字过滤，按类型（`System`/`Custom`）过滤，Token 分页 | ## 知识库 -知识库 API 是百炼 RAG 能力的核心，覆盖知识库的创建、数据导入、检索、文件与切片管理全流程。 +知识库创建为两步流程：先调用 `CreateIndex` 初始化（**获取 IndexId**），再调用 `SubmitIndexJob` 提交任务触发实际构建。任务执行时间较长，高峰期可达数小时，可通过 `GetIndexJobStatus` 轮询（建议间隔 ≥5 秒）。 -### 知识库生命周期 +### 创建与管理 -创建知识库的典型流程为：CreateIndex -> SubmitIndexJob -> 轮询 GetIndexJobStatus 直到完成。详见[CreateIndex - 创建知识库](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-createindex.md)。 - -| API | 说明 | 限流 | -|-----|------|------| -| CreateIndex | 创建知识库（非结构化或结构化），不具幂等性 | 10 次/秒 | -| SubmitIndexJob | 提交知识库创建任务，必须在 CreateIndex 后调用 | 10 次/秒 | -| SubmitIndexAddDocumentsJob | 向已有知识库追加文件（不支持数据查询/图片问答类） | 10 次/秒 | -| GetIndexJobStatus | 查询任务状态，调用间隔建议 5 秒以上 | - | -| UpdateIndex | 更新知识库配置（名称、描述、检索参数等） | - | -| ListIndices | 分页查询[业务空间](../concepts/workspace.md)下的知识库列表 | 10 次/秒 | -| DeleteIndex | 永久删除知识库（不可逆，不删除源文件） | 10 次/秒 | -| GetIndexMonitor | 获取知识库监控数据 | - | +| API | 功能 | +|-----|------| +| `CreateIndex` | 初始化知识库（非幂等，重复调用会创建多个同名库；仅初始化，需配合 SubmitIndexJob） | +| `SubmitIndexJob` | 提交知识库创建任务 | +| `SubmitIndexAddDocumentsJob` | 向已有知识库追加文件（仅支持非结构化知识库；需先用 AddFile 上传文件） | +| `GetIndexJobStatus` | 查询创建/追加任务状态（需传 JobId + IndexId） | +| `UpdateIndex` | 更新知识库名称、描述及检索参数（幂等） | +| `ListIndices` | 查询业务空间下的知识库列表（支持按名称过滤，分页） | +| `DeleteIndex` | 永久删除知识库（不可逆；若知识库被应用关联，需先在控制台解除关联） | +| `GetIndexMonitor` | 查询知识库监控数据 | + +`CreateIndex` 支持的知识库类型： +- 非结构化知识库（基于文档或音视频） +- 结构化知识库（用于数据查询或图片问答） + +`UpdateIndex` 的主要可调参数： +- `DenseSimilarityTopK`：向量检索 Top-K（0–100，默认 100） +- `SparseSimilarityTopK`：关键词检索 Top-K（0–100，默认 100），二者之和 ≤200 +- `RerankMinScore`：排序最低分数（0–1） +- `PipelineCommercialType`：规格类型（standard/enterprise） + +### 检索与文档管理 + +| API | 功能 | +|-----|------| +| `Retrieve` | 检索知识库（幂等；支持 SDK/Spring AI Alibaba 两种调用方式） | +| `ListIndexFileDetails` | 查询知识库中文件详情（支持按状态/名称过滤，分页） | +| `ListIndexDocuments` | 查询知识库文件概要（按状态过滤，15 次/秒） | +| `DeleteIndexDocument` | 永久删除知识库中的文件（仅 INSERT_ERROR 或 FINISH 状态可删；不删除应用数据中的文件） | -> **注意**：CreateIndex 仅初始化知识库，必须后续调用 SubmitIndexJob 才能完成创建，否则将得到空知识库。CreateIndex 不具幂等性，重复调用会创建多个同名知识库。 +### 文本切片 -UpdateIndex 支持调整检索参数： -- `DenseSimilarityTopK`：向量检索 Top K，范围 [0-100]，默认 100 -- `SparseSimilarityTopK`：关键词检索 Top K，范围 [0-100]，默认 100 -- 两者之和不超过 200 -- `RerankMinScore`：排序最低分数，范围 [0-1] -- `PipelineCommercialType`：知识库规格（standard / enterprise） +| API | 功能 | +|-----|------| +| `ListChunks` | 查询切片列表（支持非结构化和结构化知识库；支持 Fields 过滤） | +| `UpdateChunk` | 修改切片内容/标题/检索开关（**仅**文档搜索类知识库；幂等；更新通常立即生效） | +| `AddChunk` | 向知识库添加新切片 | -### 知识库检索 +> **注意**：`UpdateChunk` 不支持数据查询/图片问答类知识库。`DeleteIndexDocument` 同样不支持删除数据查询/图片问答类知识库中的数据，这类操作需通过控制台完成。 -Retrieve 接口用于在指定知识库中检索信息，支持通过百炼 SDK（AccessKey 鉴权）或 Spring AI Alibaba（API-Key 鉴权）调用。接口具有幂等性，但因包含复杂检索逻辑，响应时间可能较长，建议合理设置超时和重试策略。详见[Retrieve - 检索知识库](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-knowledge-base/api-bailian-2023-12-29-retrieve.md)。 +## 长期记忆 -### 文件与切片管理 +长期记忆 API 用于构建应用的持久化记忆，分为记忆（Memory）和记忆片段（MemoryNode）两个层级。 -| API | 说明 | +| API | 功能 | |-----|------| -| ListIndexFileDetails | 查询知识库中文件的详细信息，支持按状态和名称过滤 | -| ListIndexDocuments | 查询知识库中文件的概要信息 | -| DeleteIndexDocument | 从知识库中删除指定文件 | -| ListChunks | 查询文件的切片列表（文档搜索类查指定文件，数据查询类查全部） | -| UpdateChunk | 修改切片内容和标题（仅支持文档搜索类知识库） | -| DeleteChunk | 删除指定切片 | +| `CreateMemory` | 创建记忆 | +| `GetMemory` | 查询记忆详情 | +| `UpdateMemory` | 更新记忆配置 | +| `DeleteMemory` | 删除记忆 | +| `ListMemories` | 查询记忆列表 | +| `CreateMemoryNode` | 创建记忆片段 | +| `GetMemoryNode` | 查询记忆片段 | +| `UpdateMemoryNode` | 更新记忆片段内容 | +| `DeleteMemoryNode` | 删除记忆片段 | +| `ListMemoryNodes` | 查询记忆片段列表 | -文件导入状态包括：`RUNNING`（构建中）、`FINISH`（成功）、`INSERT_ERROR`（导入失败）、`PARSE_FAILED`（解析失败）、`DOC_PARSING`（解析中）、`DELETED`（已删除）。 +## 支付集成 -## 长期记忆 +`GetAlipayUrl` 和 `GetAlipayTransferStatus` 提供支付宝支付相关能力，用于在百炼应用中集成支付功能。 -长期记忆 API 用于管理智能体的记忆能力，包括记忆体（Memory）和记忆片段（MemoryNode）两个层级。 +## 版本变更记录 -| API | 说明 | -|-----|------| -| CreateMemory | 创建长期记忆体 | -| GetMemory | 获取记忆体详情 | -| UpdateMemory | 更新记忆体 | -| DeleteMemory | 删除记忆体 | -| ListMemories | 查询记忆体列表 | -| CreateMemoryNode | 创建记忆片段 | -| GetMemoryNode | 获取记忆片段详情 | -| UpdateMemoryNode | 更新记忆片段 | -| DeleteMemoryNode | 删除记忆片段 | -| ListMemoryNodes | 查询记忆片段列表 | - -## 其他 - -| API | 说明 | -|-----|------| -| ApplyTempStorageLease | 申请临时文件上传许可 | -| GetAlipayTransferStatus | 查询支付宝打赏状态 | -| GetAlipayUrl | 获取支付宝打赏 URL | +近期重要变更（详见[版本说明](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-changeset.md)）： -## 通用注意事项 +- **2026-03-30**：`CreateIndex` 入参变更；`Retrieve` 内部配置变更（不影响调用）。 +- **2026-01-19**：新增 `UpdateIndex` API。 +- **2026-01-15**：`DescribeFile` 返回结构变更。 +- **2026-01-14**：新增 `GetIndexMonitor` API。 -- 所有接口均需 `WorkspaceId` 路径参数，获取方式参见[业务空间](../concepts/workspace.md)文档 -- 建议使用官方 SDK 调用而非自签名，自签名对接复杂度高（约需 5 个工作日） -- 分页查询使用 `NextToken` / `MaxResults` 模式（部分接口使用 `PageNumber` / `PageSize`） -- 各接口限流频率为 5-15 次/秒不等，触发限流后需等待后重试 -- 版本变更历史可查看[版本说明](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-changeset.md)，近期变更包括 CreateIndex 入参调整、UpdateIndex 新增、GetIndexMonitor 新增等 +## 通用限制与注意事项 + +1. **分页**：使用 Token 分页的接口（ListCategory、ListFile、ListPromptTemplates 等），首次请求只传 `MaxResults`，后续请求将上次返回的 `NextToken` 传入，`NextToken` 为空时表示结果已全部返回。 +2. **自签名接入**：若无法使用 SDK，自签名对接复杂度高（约 5 个工作日），建议先联系钉钉群（147535001692）获取技术支持。 +3. **安全建议**：避免直接使用主账号 AccessKey，应创建 RAM 子账号并遵循最小权限原则。 +4. **非幂等接口**：`AddFile`、`CreateIndex`、`AddCategory`、`CreatePromptTemplate` 等接口不具幂等性，重复调用可能产生重复数据，请在业务层做防重处理。 ## 来源文档 @@ -220,13 +221,6 @@ Retrieve 接口用于在指定知识库中检索信息，支持通过百炼 SDK - [UpdateMemoryNode - 更新记忆片段](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-updatememorynode.md) - [DeleteMemoryNode - 删除记忆片段](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-deletememorynode.md) - [ListMemoryNodes - 获取记忆片段列表](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-dir-long-term-memory/api-bailian-2023-12-29-listmemorynodes.md) - - - - - - - - +- [AddChunk - 新增切片](../../raw/application-api-reference/application-component-api-reference/api-bailian-2023-12-29-dir/api-bailian-2023-12-29-dir-others/api-bailian-2023-12-29-addchunk.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md b/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md index 912b6483..ea261fa1 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/file-management-api.md @@ -1,6 +1,6 @@ # file management api -文件管理 API 用于管理上传至百炼平台的文件，覆盖上传、查询、列举和删除等基础操作。它是使用需要文件输入的模型能力（如文档解析、多模态理解、批量任务等）的前置步骤，开发者需先将文件上传到平台并获取文件标识，再在后续调用中引用。详见 [文件管理](../../raw/model-api-reference/file-management-api.md)。 +文件管理 API 用于管理上传至百炼平台的文件，覆盖上传、查询、列举和删除等基础操作。它是使用需要文件输入的模型能力（如文档解析、[多模态](../concepts/multimodal.md)理解、批量任务等）的前置步骤，开发者需先将文件上传到平台并获取文件标识，再在后续调用中引用。详见 [文件管理](../../raw/model-api-reference/file-management-api.md)。 ## 核心功能 @@ -36,3 +36,11 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md b/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md index c4de7ce6..8f7e6d87 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/frameworks.md @@ -121,7 +121,7 @@ this.chatClient = builder ## 限制与注意事项 - LlamaIndex 云端方案不支持自定义文档切分与嵌入模型；本地需可访问公网，文件上传与生成回答均需等待。 -- Spring AI Alibaba 应用集成仅支持[智能体应用](../concepts/agent-application.md)与工作流应用，其他应用类型不在支持范围。 +- Spring AI Alibaba 应用集成仅支持[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用，其他应用类型不在支持范围。 - 知识库检索需提前创建好知识库并获取其名称；检索默认[业务空间](../concepts/workspace.md)知识库无需配置 `workspace-id`。 - 子[业务空间](../concepts/workspace.md)场景必须配置对应的[业务空间](../concepts/workspace.md) ID 环境变量，否则会鉴权或定位失败。 - [API Key](../concepts/api-key.md) 一律通过环境变量注入，切勿硬编码到源码或配置文件中。 @@ -143,6 +143,14 @@ this.chatClient = builder + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md b/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md index 18e498c4..ae5e3214 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/image-generation.md @@ -1,55 +1,112 @@ # image generation -阿里云百炼平台提供了一整套图像生成与编辑 API，覆盖文生图、图像编辑、图像翻译以及大量垂直创意工具（虚拟模特、鞋靴模特、扩图、擦除补全、海报生成等）。这些接口以 DashScope 网关为基础，模型来自千问（Qwen-Image）、通义万相（Wan/WanX）、Z-Image、可灵（Kling）、Vidu 等多个系列。本文面向开发者，梳理各类模型能力、调用方式、关键参数及常见限制。 +百炼平台提供丰富的图像生成与编辑 API，涵盖文生图、图像编辑、图像翻译、涂鸦作画、局部重绘、虚拟模特、试衣、海报生成、背景生成、擦除补全、画面扩展、人物分割、写真生成、创意文字等多种能力。底层模型包括千问图像（Qwen-Image）、万相（Wan）、Z-Image、可灵（Kling）、Vidu 等多个系列，支持同步与异步两种调用模式。 -## 支持的模型与功能 +## 模型概览 -按能力可将图像模型大致分为四类： +### 文生图模型 -- **通用文生图**：千问文生图（qwen-image 系列，擅长复杂文本渲染）、万相文生图 V2（wan2.6-t2i / wan2.5-t2i-preview / wan2.2-t2i-* / wanx2.1-t2i-*）、万相文生图 V1（wanx-v1，仅存量）、轻量快速的 z-image-turbo，以及可灵、Vidu 系列。详见 [千问-文生图API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md) 与 [万相-文生图V2版API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-v2-api-reference.md)。 -- **图像编辑 / 多图融合**：千问图像编辑（qwen-image-edit 系列，支持多图输入输出、改文字/增删物体/风格迁移）、万相通用图像编辑 2.5/2.6/2.7、万相通用图像编辑（wanx2.1-imageedit，支持风格化、指令编辑、局部重绘、去水印、扩图、超分、上色、线稿生图）、图像局部重绘（wanx-x-painting）。参见 [千问-图像编辑API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-edit-api.md) 与 [万相-通用图像编辑API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/wanx-image-edit-api-reference.md)。 -- **图像翻译**：千问图像翻译（qwen-mt-image），精准翻译图中文字并保留排版。见 [千问-图像翻译API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-mt-image-api.md)。 -- **垂直创意工具**：人像风格重绘（wanx-style-repaint-v1）、虚拟模特（wanx-virtualmodel / virtualmodel-v2）、鞋靴模特（shoemodel-v1）、图像画面扩展（image-out-painting）、创意海报生成（wanx-poster-generation-v1）、人物实例分割（image-instance-segmentation）、AI 试衣 OutfitAnyone（aitryon 系列）、图像背景生成（wanx-background-generation-v2）、图像擦除补全（image-erase-completion）、人物写真 FaceChain、创意文字 WordArt 锦书。 +| 模型系列 | 推荐模型名称 | 输出图像规格 | 调用方式 | +| --- | --- | --- | --- | +| 千问图像 | qwen-image-2.0-pro、qwen-image-2.0、qwen-image-max、qwen-image-plus | 分辨率 512×512~2048×2048，PNG，1-6张 | 同步 | +| 万相文生图 | wan2.7-image-pro、wan2.7-image、wan2.6-t2i、wan2.5-t2i-preview、wan2.2-t2i-flash/plus、wanx2.1-t2i-turbo/plus | PNG，尺寸依模型不同 | 同步（wan2.6+）/异步（2.5及以下） | +| Z-Image | z-image-turbo | 512×512~2048×2048，PNG，1张 | 同步 | +| 可灵图像 | kling/kling-v3-image-generation、kling/kling-v3-omni-image-generation | 1K/2K/4K，1-9张，PNG | 异步 | +| Vidu图像 | vidu/vidu-image_reference2image 等 | 1K/2K/4K，1张，PNG | 异步 | + +千问图像模型擅长复杂文字渲染和真实质感，万相文生图支持多种艺术风格与写实摄影，Z-Image 为轻量快速生图模型，可灵支持文生图和参考图生图（含组图分镜模式），Vidu 擅长中英文字精准渲染和 UI/图表像素级还原。详见[千问-文生图API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md)和[万相-文生图V2版API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-v2-api-reference.md)。 + +### 图像编辑模型 + +| 模型系列 | 推荐模型名称 | 核心能力 | +| --- | --- | --- | +| 千问图像编辑 | qwen-image-2.0-pro、qwen-image-2.0、qwen-image-edit-max、qwen-image-edit-plus | 多图输入/输出、精确修改文字、增删移动物体、风格迁移、细节增强 | +| 万相图像编辑 | wan2.7-image-pro、wan2.6-image、wan2.5-i2i-preview、wanx2.1-imageedit | 单图编辑、多图融合、风格化、去水印、扩图、超分、上色、线稿生图 | +| 万相局部重绘 | wanx-x-painting | 基于涂抹区域和提示词的局部重绘 | +| 万相涂鸦作画 | wanx-sketch-to-image-lite | 手绘图案+文字描述生成涂鸦绘画 | + +千问图像编辑模型支持多图融合和精确文字修改，万相通用编辑覆盖风格化、局部重绘、去水印、扩图、超分等场景。详见[千问-图像编辑API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-edit-api.md)。 + +### 图像翻译 + +千问-图像翻译模型（qwen-mt-image）可精准翻译图像中的文字并保留原始排版，支持中/英文与日/韩/西/法等语种互译（不支持非中英语种间直接翻译），还支持领域提示、敏感词过滤、术语干预。详见[千问-图像翻译API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-mt-image-api.md)。 + +### 创意工具类模型 + +| 模型名称 | 功能 | 状态 | +| --- | --- | --- | +| wanx-style-repaint-v1 | 人像风格重绘 | 付费 | +| wanx-virtualmodel / virtualmodel-v2 | 虚拟模特生成 | 免费体验 | +| shoemodel-v1 | 鞋靴模特试穿 | 免费体验 | +| image-out-painting | 图像画面扩展 | 付费 | +| wanx-poster-generation-v1 | 创意海报生成 | 免费体验 | +| image-instance-segmentation | 人物实例分割 | 免费体验 | +| aitryon / aitryon-plus / aitryon-refiner / aitryon-parsing-v1 | AI试衣（基础/Plus/精修/分割） | 付费 | +| wanx-background-generation-v2 | 图像背景生成 | 付费 | +| image-erase-completion | 图像擦除补全 | 免费体验 | +| FaceChain | 人物写真生成 | — | +| WordArt锦书 | 创意文字变形/纹理生成 | — | + +> **注意**：wanx-x-painting、wanx-virtualmodel、virtualmodel-v2、image-erase-completion、image-instance-segmentation、shoemodel-v1、wanx-poster-generation-v1 等模型当前仅提供免费体验，额度用完后不可调用且不支持付费。官方推荐参考千问图像编辑或万相2.1图像编辑获取替代方案。 ## 调用方式 -图像 API 主要有两种调用协议，选择取决于模型版本： +### 同步调用（推荐） -- **异步调用（传统主流）**：由于生成耗时较长（通常 1-2 分钟），多数模型仅支持异步。流程为「创建任务 → 轮询获取结果」两步：先 POST 创建任务拿到 `task_id`，再用 `task_id` 查询状态直至 `SUCCEEDED` 并取回图像 URL。任务创建请求必须携带请求头 `X-DashScope-Async: enable`，否则会报错 `current user api does not support synchronous calls`。返回的图像 URL 有效期为 24 小时，`task_id` 有效期也为 24 小时，请勿重复创建任务。 -- **HTTP 同步调用（新版协议）**：仅新版模型支持，一次请求即可拿到结果，流程更简单，推荐大多数场景使用。目前支持同步的有 **wan2.6 / wan2.7 图像模型**、**z-image-turbo** 等，走 `multimodal-generation/generation` 端点。 +适用于千问图像、万相2.6+、Z-Image、千问3.0等新版模型。一次请求即可获得结果： -> **注意**：同步调用仅限新版模型。以万相文生图为例，wan2.6 支持 HTTP 同步/异步与 SDK 调用，而 **wan2.5 及以下版本不支持 HTTP 同步调用**，只能异步 + SDK。请勿把同步协议用在旧模型上。 +``` +POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation +``` -任务状态取值：`PENDING`（排队）、`RUNNING`（处理中）、`SUSPENDED`（挂起）、`SUCCEEDED`（成功）、`FAILED`（失败）。 +请求体采用 `model` + `input.messages`（含 `text`/`image` 内容块）+ `parameters` 结构，类似[多模态](../concepts/multimodal.md)对话格式。 -不同模型使用的服务端点也不同，常见的有： +### [异步调用](../concepts/async-invocation.md) -- `.../aigc/text2image/image-synthesis`（万相 V1、创意海报等文生图） -- `.../aigc/image2image/image-synthesis`（图像编辑、涂鸦、局部重绘、图像翻译、擦除补全等） -- `.../aigc/multimodal-generation/generation`（wan2.6/2.7、z-image 等新版） -- `.../aigc/image-generation/generation`（可灵、Vidu、人像风格重绘） -- `.../aigc/virtualmodel/generation`（虚拟模特、鞋靴模特） -- `.../aigc/image2image/out-painting`（图像画面扩展） -- `.../aigc/background-generation/generation`（图像背景生成） +适用于万相2.5及以下版本、可灵、Vidu、以及大部分创意工具类模型。分两步： -## 关键参数 +1. **创建任务**：发送请求，获取 `task_id`（有效期24小时）。 +2. **轮询结果**：使用 `task_id` 查询任务状态，成功后获取图像URL（有效期24小时）。 -- **鉴权与请求头**：`Authorization: Bearer $DASHSCOPE_API_KEY`（必选）、`Content-Type: application/json`（必选）、异步接口需 `X-DashScope-Async: enable`。子账号调用可通过 `X-DashScope-WorkSpace` 指定业务空间 ID。 -- **input**：文生图通常传 `prompt`（可选 `negative_prompt` 反向提示词）；图像编辑/参考图任务传 `image_url` / `images` / `base_image_url` / `mask_image_url` 等；新版多模态模型使用 `messages`（含 `text` 与 `image` 的 content 数组）结构。 -- **parameters**：`size`（分辨率，格式 `宽*高` 或档位如 `1K`/`2K`/`4K`）、`n`（生成张数）、`style`、`watermark`、`prompt_extend`（智能改写/思考，如 z-image、wan2.6）、`thinking_mode`、`aspect_ratio`/`resolution`（可灵）等，随模型而异。 +创建任务时必须携带 `X-DashScope-Async: enable` 请求头，否则会报错。接口路径因功能不同而异： +- 文生图：`/api/v1/services/aigc/text2image/image-synthesis` +- 图生图/编辑：`/api/v1/services/aigc/image2image/image-synthesis` +- 可灵/Vidu图像生成：`/api/v1/services/aigc/image-generation/generation` +- 虚拟模特：`/api/v1/services/aigc/virtualmodel/generation` +- 背景生成：`/api/v1/services/aigc/background-generation/generation` +- 画面扩展：`/api/v1/services/aigc/image2image/out-painting` -输出图像规格差异较大：例如千问 Pro/Plus 系列总像素需在 512\*512 至 2048\*2048 之间、可 1-6 张；万相 2.6 总像素在 [1280\*1280, 1440\*1440]、宽高比 [1:4, 4:1]；可灵支持 1k/2k/4k 及组图；z-image 固定 1 张。具体以各模型文档为准。 +## 关键参数 -## 限制与注意事项 +| 参数 | 适用场景 | 说明 | +| --- | --- | --- | +| `prompt` | 文生图/编辑 | 正向提示词，描述期望生成的图像内容 | +| `negative_prompt` | 文生图 | 反向提示词，描述不希望出现的元素（V1版本支持） | +| `size` | 通用 | 输出图像分辨率，如 `1024*1024`、`1K`、`2K`、`4K` | +| `n` | 通用 | 输出图像张数，范围1-9（因模型而异） | +| `style` | 文生图 | 风格预设，如 ``、`` | +| `watermark` | 通用 | 是否添加水印，默认 true | +| `prompt_extend` | 万相/Z-Image/千问3.0 | 开启智能提示词扩展，优化生成效果 | +| `thinking_mode` | 万相2.7 | 开启智能思考模式 | +| `enable_interleave` | 万相2.6 | 开启图文混排输出（仅流式） | +| `aspect_ratio` / `resolution` | 可灵 | 宽高比（16:9/9:16/1:1）和分辨率（1k/2k/4k） | + +## [计费](../concepts/billing.md)与限流 + +- **免费额度**：开通百炼服务后自动发放，有效期90天，主账号与RAM子账号共享。仅成功生成的输出图片占用免费额度。 +- **限时免费**：公测阶段模型，免费额度用尽后不可使用。 +- **商业化模型**：如 wanx-v1（0.16元/张）、wanx2.1-imageedit（0.14元/张）、image-out-painting（0.18元/张）等，按成功输出图片[计费](../concepts/billing.md)。 +- **限流**：任务下发接口QPS限制通常为2，同时处理中任务数量1-5（因模型而异），主账号与RAM子账号共享。详见[常见问题](../../raw/model-api-reference/image-generation/image-faq.md)。 -- **地域隔离**：华北2（北京）、新加坡、美国（弗吉尼亚）等地域拥有**独立的 API Key 与请求地址，不可混用**，跨地域调用会导致鉴权失败或报错。相当一部分创意工具（如虚拟模特、鞋靴模特、人像风格重绘、图像翻译、可灵、Vidu 等）**仅在华北2（北京）地域可用**。 -- **专属域名迁移**：百炼为北京/新加坡地域推出业务空间专属域名（`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` / `...ap-southeast-1.maas.aliyuncs.com`），性能与稳定性更佳，建议从 `https://dashscope.aliyuncs.com` 迁移。旧域名仍可用。 -- **图片 URL 必须公网可访问**：使用自有图片时若报 `BadRequest.InputDownloadFailed`（下载图片失败），需确认 URL 完整、支持公网访问，可上传至 OSS 等云存储；URL 中不能包含中文字符。相关排查见 [常见问题](../../raw/model-api-reference/image-generation/image-faq.md)。 -- **计费与限流**：只对成功生成的输出图片计费，输入图片和失败任务不计费；免费额度（通常 500 张）有效期 90 天，主账号与 RAM 子账号共享额度与限流。部分模型标注「限时免费」（公测阶段，额度用尽即不可用）。 +## 限制与注意事项 -> **注意**：多个模型（如 wanx-x-painting 局部重绘、wanx-virtualmodel/virtualmodel-v2 虚拟模特、wanx-poster-generation-v1 海报生成、image-erase-completion 擦除补全等）当前**仅供免费体验，额度用完后不可调用且不支持付费**，官方推荐迁移到千问图像编辑或万相 2.1 等替代方案。新项目集成前请确认目标模型的商业化状态。 +- **地域隔离**：华北2（北京）、新加坡、美国（弗吉尼亚）地域拥有独立的 API Key 与请求地址，不可混用，跨地域调用将导致鉴权失败。建议使用[业务空间](../concepts/workspace.md)专属域名 `{WorkspaceId}.cn-beijing.maas.aliyuncs.com`。 +- **图片URL要求**：输入图片URL需支持公网访问。若报错"下载图片失败"，请确保URL完整且可公网访问，可将图片上传至OSS等云存储。 +- **图片格式与大小**：支持 JPEG、PNG、BMP、WEBP 等格式，图片大小建议小于5-10MB，分辨率不低于512×512。 +- **task_id与结果有效期**：task_id 有效期24小时，生成结果图像URL有效期24小时，请及时下载。 +- **SDK支持**：千问、万相等模型支持 [DashScope SDK](../concepts/dashscope-sdk.md)（Python/Java），部分创意工具类模型（如人像风格重绘）仅提供HTTP API。 -> **注意**：万相文生图 V1（wanx-v1）已被 V2 版全面替代，官方推荐使用 V2；旧版仅适用于北京地域。选择模型时优先考虑最新版本。 +> **注意**：万相文生图V1版（wanx-v1）为早期模型，官方推荐使用升级后的V2版模型。万相2.5及以下版本不支持HTTP同步调用，仅支持[异步调用](../concepts/async-invocation.md)。 ## 来源文档 @@ -79,5 +136,7 @@ - [人物写真生成FaceChain](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/facechain-portrait-generation.md) - [创意文字WordArt锦书](../../raw/model-api-reference/image-generation/image-creative-tools-api-reference/wordart-quick-start.md) - [Vidu-图像生成API参考](../../raw/model-api-reference/image-generation/vidu-image-models/vidu-image-generation-api-reference.md) +- [千问-图像生成与编辑3.0 API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-generation-and-editing-api-reference.md) + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md b/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md index 6af4d028..391a5313 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/knowledge.md @@ -35,7 +35,7 @@ https://{workspaceId}.cn-beijing.maas.aliyuncs.com - 知识检索接口适合需要自定义生成流程的场景：拿到排序后的切片后，自行拼接 [prompt](../guides/prompt.md) 调用大模型。 - 知识问答接口适合开箱即用的问答场景：服务端自动完成规划、检索、生成，通过 SSE 流式返回三个阶段的结果。 -- 调用前确认 API Key 与[业务空间](../concepts/workspace.md) ID 已正确配置，详见 [知识检索与问答](../../raw/application-api-reference/knowledge.md)。 +- 调用前确认 [API Key](../concepts/api-key.md) 与[业务空间](../concepts/workspace.md) ID 已正确配置，详见 [知识检索与问答](../../raw/application-api-reference/knowledge.md)。 ## 来源文档 @@ -52,6 +52,14 @@ https://{workspaceId}.cn-beijing.maas.aliyuncs.com + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md b/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md index 75c168a8..56ad4bf1 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/long-term-memory-new.md @@ -1,6 +1,6 @@ # long term memory new -百炼平台的「长期记忆（新）」提供一组 RESTful API，用于存储、检索、更新和删除用户记忆片段，并支持通过画像模板（profile schema）维护用户画像。记忆片段会从对话中自动提取关键信息，可在后续对话中通过语义检索召回，从而实现跨会话的个性化上下文。完整接口参考见 [长期记忆（新）API 参考](../../raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md)。 +百炼平台的「[长期记忆](../concepts/long-term-memory.md)（新）」提供一组 RESTful API，用于存储、检索、更新和删除用户记忆片段，并支持通过画像模板（profile schema）维护用户画像。记忆片段会从对话中自动提取关键信息，可在后续对话中通过语义检索召回，从而实现跨会话的个性化上下文。完整接口参考见 [长期记忆（新）API 参考](../../raw/application-api-reference/long-term-memory-new/long-term-memory-api-reference.md)。 ## 公共请求信息 @@ -12,7 +12,7 @@ ## 接口概览 -长期记忆（新）提供以下 API 接口： +[长期记忆](../concepts/long-term-memory.md)（新）提供以下 API 接口： | 接口名称 | HTTP 方法 | 路径 | 说明 | | --- | --- | --- | --- | @@ -221,6 +221,14 @@ asyncio.run(add_memory_example()) + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md b/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md index 021b21a6..08d5861d 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/managed-agents-api.md @@ -1,6 +1,6 @@ # [managed agents](../guides/managed-agents.md) api -Managed Agents API 是百炼平台提供的智能体托管运行时，由平台负责会话管理、沙箱执行、工具调用与事件流推送。开发者通过 REST API 或 SDK 完成 Agent 定义、Environment 配置、Session 创建与事件交互，五分钟即可跑通端到端流程。详细的认证方式与 SDK 版本要求见 [API 总览与认证](../../raw/application-api-reference/managed-agents-api/managed-agents-api-overview.md)。 +Managed Agents API 是百炼平台提供的智能体托管运行时，由平台负责会话管理、沙箱执行、工具调用与[事件流](../concepts/event-stream.md)推送。开发者通过 REST API 或 SDK 完成 Agent 定义、Environment 配置、Session 创建与事件交互，五分钟即可跑通端到端流程。详细的认证方式与 SDK 版本要求见 [API 总览与认证](../../raw/application-api-reference/managed-agents-api/managed-agents-api-overview.md)。 ## 核心概念与资源模型 @@ -142,3 +142,11 @@ Managed Agents 模块通过 [DashScope SDK](../concepts/dashscope-sdk.md) 接入 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/model-production.md b/skills/bailian-docs-llm-wiki/wiki/api/model-production.md index f2c1d6e0..8a6f9e1f 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/model-production.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/model-production.md @@ -22,7 +22,7 @@ 详细的接口定义和参数说明请参考[模型部署](../../raw/model-api-reference/model-production/deployments-api.md)文档。 -## 典型工作流 +## 典型[工作流](../concepts/workflow.md) 1. 准备训练数据集 2. 通过调优 API 提交微调训务，等待训练完成 @@ -44,3 +44,11 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md b/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md index b2130305..aab7e2b3 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/more-about-models.md @@ -14,9 +14,9 @@ POST https://dashscope.aliyuncs.com/api/v1/tokens?expire_in_seconds= - `expire_in_seconds`：有效期，范围 [1, 1800] 秒，默认 60 秒。 - 返回的 `token` 字段即为临时 [API Key](../concepts/api-key.md)，`expires_at` 为 UNIX 过期时间戳。 -- 临时 API Key 继承生成它的永久 API Key 的全部权限，到期后自动失效，无法手动删除。 +- 临时 [API Key](../concepts/api-key.md) 继承生成它的永久 [API Key](../concepts/api-key.md) 的全部权限，到期后自动失效，无法手动删除。 -> **注意**：各地域的 API Key 不同，新加坡地域需将 Endpoint 中的 WorkspaceId 替换为实际值。 +> **注意**：各地域的 [API Key](../concepts/api-key.md) 不同，新加坡地域需将 Endpoint 中的 WorkspaceId 替换为实际值。 ## 异步任务管理 @@ -63,13 +63,13 @@ POST https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}/cancel ## 子[业务空间](../concepts/workspace.md)的模型调用 -默认[业务空间](../concepts/workspace.md)的 API Key 拥有所有模型的调用权限。如需按业务线隔离权限或分账，可使用[子业务空间的模型调用](../../raw/model-api-reference/more-about-models/model-calling-in-sub-workspace.md)。 +默认[业务空间](../concepts/workspace.md)的 [API Key](../concepts/api-key.md) 拥有所有模型的调用权限。如需按业务线隔离权限或分账，可使用[子业务空间的模型调用](../../raw/model-api-reference/more-about-models/model-calling-in-sub-workspace.md)。 **使用要点**： -- 必须使用子[业务空间](../concepts/workspace.md)自身的 API Key 进行调用。 +- 必须使用子[业务空间](../concepts/workspace.md)自身的 [API Key](../concepts/api-key.md) 进行调用。 - 调用标准模型（如 `qwen-plus`）前，需为该空间设置模型调用权限。 -- 调用在百炼上调优并部署的模型无需额外授权，但仅能由其所在空间的 API Key 调用。 +- 调用在百炼上调优并部署的模型无需额外授权，但仅能由其所在空间的 [API Key](../concepts/api-key.md) 调用。 - 支持 OpenAI 兼容方式和 DashScope 方式调用，但调优后模型仅支持 DashScope 方式。 ## 上传本地文件获取临时 URL @@ -80,7 +80,7 @@ POST https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}/cancel - 文件有效期 48 小时，过期自动清理。 - 上传时必须指定模型名称，且与后续调用的模型一致，不同模型无法共享文件。 -- 上传与调用的 API Key 必须属于同一阿里云主账号。 +- 上传与调用的 [API Key](../concepts/api-key.md) 必须属于同一阿里云主账号。 - 单文件不超过 1GB，上传凭证接口限流 100 QPS。 - 使用 `oss://` 形式的 URL 调用模型时，HTTP 请求头中必须添加 `X-DashScope-OssResourceResolve: enable`。 @@ -126,3 +126,11 @@ POST https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}/cancel + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/more-models.md b/skills/bailian-docs-llm-wiki/wiki/api/more-models.md index 65fa010b..84b5c36d 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/more-models.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/more-models.md @@ -132,6 +132,14 @@ completion = client.chat.completions.create( + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/more.md b/skills/bailian-docs-llm-wiki/wiki/api/more.md index 43d4533d..350ae73f 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/more.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/more.md @@ -125,6 +125,14 @@ resp = client.retrieve('请传入实际的业务空间ID', retrieve_request) + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md b/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md index 9a40d452..1fd0cbb6 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/omni-realtime-api.md @@ -1,164 +1,192 @@ # omni realtime api -Qwen-Omni-Realtime API 是阿里云百炼平台提供的实时[多模态](../concepts/multimodal.md)交互接口，基于 WebSocket 协议实现低延迟的音视频对话。该 API 支持语音输入/输出、图像输入、语音活动检测（VAD）、工具调用（Function Calling）、联网搜索及声音复刻等功能，适用于智能客服、语音助手等实时对话场景。 +Qwen-Omni-Realtime API 是阿里云百炼平台提供的实时[多模态](../concepts/multimodal.md)对话接口，基于 WebSocket 长连接实现低延迟的语音和视频对话。客户端与服务端通过事件驱动的消息协议交互，支持语音活动检测（VAD）、工具调用（Function Calling）、联网搜索、声音复刻等能力。 ## 支持的模型 -| 模型系列 | 模型名称 | 特性 | -| --- | --- | --- | -| Qwen3.5-Omni-Realtime | qwen3.5-omni-plus-realtime、qwen3.5-omni-flash-realtime | 支持 semantic_vad、联网搜索、工具调用、idle_timeout_ms | -| Qwen3-Omni-Flash-Realtime | qwen3-omni-flash-realtime | 支持 smooth_output 参数 | -| Qwen-Omni-Turbo-Realtime | qwen-omni-turbo-realtime | 大部分生成参数不支持修改 | +| 模型名称 | 特性说明 | +|---|---| +| `qwen3.5-omni-plus-realtime` | Qwen3.5-Omni-Realtime 系列旗舰版，支持 `semantic_vad`、联网搜索、工具调用、`idle_timeout_ms` | +| `qwen3.5-omni-flash-realtime` | Qwen3.5-Omni-Realtime 系列轻量版，同上 | +| `qwen3-omni-flash-realtime` | 支持 `smooth_output` 参数，默认音色 Cherry | +| `qwen-omni-turbo-realtime` | 旧版 Turbo 系列，大多数生成参数（temperature/top_p/top_k 等）**不支持修改** | -各模型的默认音色不同：Qwen3.5-Omni-Realtime 系列为 `Tina`，Qwen3-Omni-Flash-Realtime 为 `Cherry`，Qwen-Omni-Turbo-Realtime 为 `Chelsie`。 +默认音色：Qwen3.5-Omni-Realtime 系列为 `Tina`，Qwen3-Omni-Flash-Realtime 为 `Cherry`，Qwen-Omni-Turbo-Realtime 为 `Chelsie`。 -## 交互模式 +## 交互流程 -根据[实时多模态交互流程](../../raw/model-api-reference/omni-realtime-api/omni-realtime-interaction-process.md)，API 支持两种交互模式： +详细时序图见 [实时多模态交互流程](../../raw/model-api-reference/omni-realtime-api/omni-realtime-interaction-process.md)。 ### VAD 模式（默认） -将 `session.turn_detection` 设为 `server_vad` 或 `semantic_vad`。服务端自动检测语音起止并触发模型响应，适用于持续音频流场景。支持语音打断。 +将 `session.turn_detection.type` 设为 `server_vad` 启用。服务端自动检测语音起止并提交音频缓冲区，无需客户端手动提交。流程： + +1. 客户端持续发送 `input_audio_buffer.append` +2. 服务端检测到语音开始 → 返回 `input_audio_buffer.speech_started` +3. 服务端检测到语音结束 → 返回 `input_audio_buffer.speech_stopped` → 自动提交缓冲区 → 触发模型响应 + +`semantic_vad` 是基于语义的 VAD 变体，可过滤回应语、背景音等无意义声音，**仅 `qwen3.5-omni-realtime` 系列支持**。 ### Manual 模式 -将 `session.turn_detection` 设为 `null`。客户端通过 `input_audio_buffer.commit` + `response.create` 手动控制对话节奏，适用于按下即说场景。 +将 `session.turn_detection` 设为 `null` 启用。客户端需显式发送 `input_audio_buffer.commit` 和 `response.create`，适用于"按下即说"场景。 -## 连接地址 +### 工具调用流程 -``` -wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime # 北京地域 -wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime # 新加坡地域 -``` +两种模式下工具调用流程基本一致： -将 `{WorkspaceId}` 替换为[业务空间](../concepts/workspace.md) ID。建议使用[业务空间](../concepts/workspace.md)专属域名以获得更好的性能和稳定性。 +1. 服务端发送 `response.function_call_arguments.done`，包含 `call_id` 和参数 +2. 客户端执行工具，通过 `conversation.item.create`（`type: function_call_output`）回传结果 +3. VAD 模式下服务端自动生成最终响应；Manual 模式下客户端需再发一次 `response.create` ## 客户端事件 -详细参数说明参见[客户端事件](../../raw/model-api-reference/omni-realtime-api/client-events.md)。 +完整参数见 [客户端事件](../../raw/model-api-reference/omni-realtime-api/client-events.md)。核心事件汇总： -| 事件 | 用途 | -| --- | --- | -| `session.update` | 更新会话配置（模态、音色、VAD、工具等） | -| `input_audio_buffer.append` | 追加音频数据（Base64 编码） | -| `input_audio_buffer.commit` | 提交音频缓冲区（Manual 模式必需） | +| 事件类型 | 说明 | +|---|---| +| `session.update` | 建立连接后更新会话配置（modalities、voice、VAD、tools 等） | +| `input_audio_buffer.append` | 追加 Base64 编码音频到缓冲区 | +| `input_audio_buffer.commit` | 手动提交音频缓冲区（Manual 模式必须） | | `input_audio_buffer.clear` | 清空音频缓冲区 | -| `input_image_buffer.append` | 追加图像数据（JPG/JPEG，Base64 编码） | -| `response.create` | 触发模型生成响应 | -| `response.cancel` | 取消正在进行的响应 | -| `conversation.item.create` | 回传工具调用结果 | +| `input_image_buffer.append` | 追加图像数据（需先发送过 audio append） | +| `response.create` | 触发模型生成响应（Manual 模式或工具调用后必须） | +| `response.cancel` | 取消进行中的响应 | +| `conversation.item.create` | 回传工具调用结果（仅支持 `function_call_output` 类型） | ## 服务端事件 -详细参数说明参见[服务端事件](../../raw/model-api-reference/omni-realtime-api/server-events.md)。 +完整列表见 [服务端事件](../../raw/model-api-reference/omni-realtime-api/server-events.md)。关键事件： -| 事件 | 含义 | -| --- | --- | -| `session.created` | 连接建立，返回默认配置 | -| `session.updated` | 会话配置更新成功 | -| `error` | 错误信息 | +| 事件类型 | 说明 | +|---|---| +| `session.created` | 连接建立后返回的第一个事件，包含默认会话配置 | +| `session.updated` | `session.update` 处理成功后返回 | +| `error` | 参数非法或请求错误时返回，含 `type`/`code`/`message`/`param` | | `input_audio_buffer.speech_started` | VAD 检测到语音开始 | | `input_audio_buffer.speech_stopped` | VAD 检测到语音结束 | | `input_audio_buffer.committed` | 音频缓冲区已提交 | -| `response.audio.delta` | 增量音频输出 | +| `conversation.item.input_audio_transcription.delta` | 实时语音识别中间结果（`text` + `stash` 拼接为当前预览） | +| `conversation.item.input_audio_transcription.completed` | 语音识别最终结果 | +| `response.audio.delta` | 增量音频数据（Base64） | | `response.audio_transcript.delta` | 增量文本转录 | -| `response.done` | 响应完成 | -| `response.function_call_arguments.done` | 工具调用参数完成 | -| `conversation.item.input_audio_transcription.delta` | 实时语音识别中间结果 | - -## 关键会话参数 - -通过 `session.update` 事件配置： - -| 参数 | 说明 | 默认值 | -| --- | --- | --- | -| `modalities` | 输出模态：`["text"]` 或 `["text","audio"]` | `["text","audio"]` | -| `voice` | 音色名称 | 因模型而异 | -| `input_audio_format` | 输入音频格式，仅支持 `pcm`（16kHz） | `pcm` | -| `output_audio_format` | 输出音频格式，仅支持 `pcm`（24kHz） | `pcm` | -| `instructions` | 系统消息 | - | -| `turn_detection.type` | VAD 类型：`server_vad` / `semantic_vad` | `server_vad` | -| `turn_detection.threshold` | VAD 灵敏度，范围 [-1.0, 1.0] | 0.5 | -| `turn_detection.silence_duration_ms` | 静音触发时间（ms），范围 [200, 6000] | 800 | -| `turn_detection.idle_timeout_ms` | 静默超时（ms），范围 [5000, 30000]，仅 qwen3.5 系列 | - | -| `enable_search` | 联网搜索，仅 Qwen3.5-Omni-Realtime | `false` | -| `tools` | 工具定义列表，仅 Qwen3.5-Omni-Realtime | `[]` | -| `smooth_output` | 口语化风格，仅 Qwen3-Omni-Flash-Realtime | `true` | - -> **注意**：`tools` 和 `enable_search` 不兼容，不可同时开启。 - -### 生成参数 - -| 参数 | Qwen3.5-Omni-Realtime | Qwen3-Omni-Flash-Realtime | Qwen-Omni-Turbo-Realtime | -| --- | --- | --- | --- | -| `temperature` | 0.7 | 0.9 | 1.0（不可改） | -| `top_p` | 0.8 | 1.0 | 0.01（不可改） | -| `top_k` | 20 | 50 | 20（不可改） | -| `repetition_penalty` | 1.0 | 1.05 | 1.05（不可改） | -| `presence_penalty` | 1.5 | 0.0 | 0.0（不可改） | - -> **注意**：`qwen-omni-turbo` 系列模型的生成参数不支持修改。 +| `response.function_call_arguments.done` | 工具调用参数完整返回 | +| `response.done` | 本轮响应完成 | + +语音转录模型固定为 `qwen3-asr-flash-realtime`，不支持修改，其转录结果与模型实际理解可能存在差异，仅供参考。 + +## 关键会话参数（session.update） + +| 参数 | 类型 | 说明 | +|---|---|---| +| `modalities` | array | `["text"]` 或 `["text","audio"]`（默认） | +| `voice` | string | 音色名称 | +| `input_audio_format` | string | 固定 `pcm`，输入需 16 kHz 单声道 PCM | +| `output_audio_format` | string | 固定 `pcm`，输出为 24 kHz PCM，不支持自定义采样率 | +| `instructions` | string | 系统提示词 | +| `turn_detection` | object/null | VAD 配置；设为 `null` 启用 Manual 模式 | +| `turn_detection.threshold` | float | VAD 灵敏度，范围 [-1.0, 1.0]，默认 0.5 | +| `turn_detection.silence_duration_ms` | int | 静音触发阈值（毫秒），范围 [200, 6000]，默认 800 | +| `turn_detection.idle_timeout_ms` | int | 静默超时后主动引导对话，范围 [5000, 30000]；仅 `qwen3.5-omni-plus-realtime`/`qwen3.5-omni-flash-realtime` + `server_vad` 时生效 | +| `enable_search` | boolean | 联网搜索开关；仅 Qwen3.5-Omni-Realtime 系列支持 | +| `tools` | array | 工具定义列表；与 `enable_search` 互斥，不可同时开启 | +| `smooth_output` | boolean/null | 回复风格（口语化/书面化/自动）；仅 Qwen3-Omni-Flash-Realtime 系列支持 | +| `temperature` | float | 采样温度，范围 [0, 2)；qwen-omni-turbo 系列不支持修改 | +| `max_tokens` | integer | 最大输出 Token 数，超出则截断；qwen-omni-turbo 系列不支持修改 | + +> **注意**：`tools` 和 `enable_search` 不兼容，不可同时开启。命中工具调用时模型不生成音频，仅返回工具调用参数。 ## SDK 使用 +### 连接地址 + +推荐使用业务空间专属域名（需将 `{WorkspaceId}` 替换为实际 ID）： + +- 华北2（北京）：`wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime` +- 新加坡：`wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime` + ### Python SDK -需要 [DashScope SDK](../concepts/dashscope-sdk.md) >= 1.25.17。核心类为 `OmniRealtimeConversation`，通过 `from dashscope.audio.qwen_omni import OmniRealtimeConversation` 引入。详见 [Python SDK](../../raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md)。 +SDK 版本需 ≥ 1.25.17，详见 [Python SDK](../../raw/model-api-reference/omni-realtime-api/omni-realtime-python-sdk.md)。 + +核心类：`OmniRealtimeConversation`（从 `dashscope.audio.qwen_omni` 引入） ```python -from dashscope.audio.qwen_omni import MultiModality, OmniRealtimeCallback, OmniRealtimeConversation +from dashscope.audio.qwen_omni import OmniRealtimeConversation, OmniRealtimeCallback, MultiModality conv = OmniRealtimeConversation(model="qwen3.5-omni-plus-realtime", callback=callback, url=url) conv.connect() conv.update_session( output_modalities=[MultiModality.AUDIO, MultiModality.TEXT], voice="Tina", - enable_turn_detection=True + enable_turn_detection=True, + turn_detection_type="server_vad" ) -conv.append_audio(audio_base64) +# 发送音频 +conv.append_audio(base64_audio_str) +# Manual 模式：手动提交并触发响应 +conv.commit() +conv.create_response() +# 关闭连接 conv.close() ``` +回调需继承 `OmniRealtimeCallback` 并实现 `on_open` / `on_event` 方法处理服务端事件。 + ### Java SDK -需要 DashScope Java SDK >= 2.22.15。核心类为 `OmniRealtimeConversation`，通过 `OmniRealtimeParam` 和 `OmniRealtimeConfig` 配置参数。详见 [Java SDK](../../raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md)。 +SDK 版本需 ≥ v2.22.15，详见 [Java SDK](../../raw/model-api-reference/omni-realtime-api/omni-realtime-java-sdk.md)。 + +核心类：`OmniRealtimeConversation`（`import com.alibaba.dashscope.audio.omni.OmniRealtimeConversation`） ```java OmniRealtimeParam param = OmniRealtimeParam.builder() .model("qwen3.5-omni-plus-realtime") .url(url) .build(); -OmniRealtimeConversation conversation = new OmniRealtimeConversation(param, callback); -conversation.connect(); -conversation.updateSession(OmniRealtimeConfig.builder() +OmniRealtimeConversation conv = new OmniRealtimeConversation(param, callback); +conv.connect(); +conv.updateSession(OmniRealtimeConfig.builder() .modalities(Arrays.asList(OmniRealtimeModality.AUDIO, OmniRealtimeModality.TEXT)) .voice("Tina") .enableTurnDetection(true) .build()); +conv.appendAudio(base64AudioStr); +conv.commit(); // Manual 模式 +conv.createResponse(null, null); +conv.close(); ``` -> **注意**：Java SDK 中 `instructions`、`smooth_output`、`enable_search`、`search_options`、`tools` 及生成参数（temperature/top_p/top_k 等）需通过 `OmniRealtimeConfig` 的 `parameters` 方法设置。 +`instructions`、`temperature`、`tools`、`enable_search` 等参数需通过 `OmniRealtimeConfig.builder().parameters(Map.of(...))` 传入。 -## 工具调用（Function Calling） +## 声音复刻 -仅 Qwen3.5-Omni-Realtime 模型支持。流程如下： +声音复刻允许用 10~20 秒音频创建专属音色，创建后可在实时对话中使用。完整接口说明见 [声音复刻API参考](../../raw/model-api-reference/omni-realtime-api/qwen-omni-voice-cloning.md)。 -1. 通过 `session.update` 配置 `tools` 列表 -2. 服务端识别到需要调用工具时，通过 `response.function_call_arguments.done` 返回函数名和参数 -3. 客户端执行工具函数，通过 `conversation.item.create` 回传结果（`type: "function_call_output"`） -4. VAD 模式下服务端自动生成响应；Manual 模式下需额外发送 `response.create` +**流程**： -## 声音复刻 +1. 调用 `qwen-voice-enrollment` 模型的创建接口，上传音频并指定 `target_model` +2. 实时对话时传入上一步返回的 `voice` 值，所用模型**必须与 `target_model` 一致** + +**音频要求**：WAV(16bit)/MP3/M4A，时长 10~20 秒（最长 60 秒），文件 < 10 MB，采样率 ≥ 24 kHz，单声道，内容需包含至少 3 秒连续清晰朗读。 + +> **注意**：声音复刻目前仅支持 `qwen3.5-omni-plus-realtime`、`qwen3.5-omni-flash-realtime`、`qwen3.5-omni-plus`、`qwen3.5-omni-flash` 四个模型。 -通过 `qwen-voice-enrollment` 模型创建自定义音色，然后在实时对话中使用。音频要求：WAV/MP3/M4A 格式，10-20 秒，采样率 >= 24kHz，单声道，文件 < 10MB。创建音色时指定的 `target_model` 必须与后续对话使用的模型一致。 +## 图像输入限制 -支持的驱动模型：qwen3.5-omni-plus-realtime、qwen3.5-omni-flash-realtime。 +- 格式：JPG/JPEG，建议分辨率 480p 或 720p，最高 1080p +- 单张 Base64 编码后不超过 256 KB（建议编码前原始图片 < 190 KB） +- 建议以 1 张/秒频率发送 +- 发送 `input_image_buffer.append` 前，必须已发送过至少一次 `input_audio_buffer.append` +- 图像缓冲区通过 `input_audio_buffer.commit` 与音频一起提交 -## 输入限制 +## 注意事项 -- 音频输入：16kHz 采样率 PCM，音频缓冲区最大 15MiB -- 图像输入：JPG/JPEG 格式，建议 480p-720p（最高 1080p），Base64 编码后不超过 256KB，建议 1 帧/秒 -- 图像需在至少一次 `input_audio_buffer.append` 之后发送，通过 `input_audio_buffer.commit` 与音频一起提交 +- `qwen-omni-turbo` 系列模型的 `temperature`、`top_p`、`top_k`、`max_tokens`、`repetition_penalty`、`presence_penalty`、`seed` 均**不支持修改**。 +- Manual 模式下，若音频缓冲区为空时调用 commit，服务端返回错误事件。 +- `max_tokens` 只截断输出，不影响生成过程本身。 +- VAD 模式下无需发送 `response.create`，服务端自动触发；工具调用完成后需手动发送。 +- 若 `response.cancel` 时无正在进行的响应，服务端返回错误事件。 ## 来源文档 @@ -170,10 +198,3 @@ conversation.updateSession(OmniRealtimeConfig.builder() - [声音复刻API参考](../../raw/model-api-reference/omni-realtime-api/qwen-omni-voice-cloning.md) - - - - - - - diff --git a/skills/bailian-docs-llm-wiki/wiki/api/preparations.md b/skills/bailian-docs-llm-wiki/wiki/api/preparations.md index b4840377..4d118864 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/preparations.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/preparations.md @@ -1,73 +1,216 @@ # preparations -本页汇总在阿里云百炼平台调用模型 API 前的准备工作，涵盖获取鉴权凭证（API Key）、安装官方或兼容 SDK、使用百炼 CLI 快速集成，以及常见错误码的排查思路。面向开发者，帮助你从零完成环境搭建并稳定发起第一次调用。 +在调用阿里云百炼 API 之前，需要完成三项准备工作：获取 API Key 作为鉴权凭证、安装对应语言的 SDK、以及了解可能遇到的错误码。此外，百炼还提供了专为 AI Agent 打造的命令行工具（百炼 CLI），可快速将百炼能力集成到各类工具中。 -## 获取并配置 API Key +## 获取 API Key -调用模型或应用前，需先获取 API Key 作为鉴权凭证。需使用主账号，或具备 `管理员` / `API-Key` 页面权限的子账号，在[阿里云百炼控制台](https://bailian.console.aliyun.com/)对应地域的 **API Key** 页面创建。详见 [获取API Key](../../raw/model-api-reference/preparations/get-api-key.md)。 +API Key 是调用百炼模型的鉴权凭证。详细操作步骤见 [获取API Key](../../raw/model-api-reference/preparations/get-api-key.md)。 -创建时的关键选项： +**创建方式**：登录[阿里云百炼控制台](https://bailian.console.aliyun.com)，在右上角选择目标地域，进入 **API Key** 页面点击**创建API Key**。需使用主账号，或具备`管理员`或`API-Key`页面权限的子账号操作。 -- **归属业务空间**：决定该 Key 的调用权限。同一空间内的 Key 权限相同，无需为不同模态（文生文、文生图、语音等）分别创建。默认业务空间的 Key 可调用所有标准模型及默认空间内的应用；子业务空间的 Key 只能调用已授权的模型及本空间应用。 -- **权限**：可选 **全部**（调用所有模型与应用），或 **自定义**（配置 IP 白名单最多 20 个 IPv4/IPv6 地址或网段，以及可访问的模型/应用范围）。 +**地域说明**： +- **华北2（北京）、新加坡、日本（东京）、德国（法兰克福）**：支持自定义权限（IP 白名单、可访问模型范围），升级后新建的 Key 以 `sk-ws` 开头，**创建后仅展示一次明文**，关闭弹窗后无法再次查看，丢失须重置或重建。 +- **美国（弗吉尼亚）**：不支持禁用、重置、IP 白名单等操作。 -> **注意**：百炼已对按量付费 API Key 做安全升级（美国（弗吉尼亚）地域除外）。升级后新建的 Key 以 `sk-ws` 开头，且**仅在创建时展示一次明文**，关闭弹窗后无法再次查看，务必立即复制保存；升级前 `sk-` 开头的旧 Key 仍可正常使用。此外，Token Plan / Coding Plan 使用以 `sk-sp-` 开头的专属 Key，不同于本文的按量付费 Key。 +**权限配置**： +| 类型 | 说明 | +|------|------| +| 全部 | 授予调用所有模型与应用的权限 | +| 自定义 | 配置 IP 白名单（最多 20 个 IPv4/IPv6 地址或网段）和可访问模型范围 | -推荐将 API Key 配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄漏。各系统配置方式（`~/.bashrc`、`~/.zshrc`、`~/.bash_profile`、Windows 系统属性 / `setx` / PowerShell）参见原文。调用时除 API Key 外，还需指定**服务端点** `base_url`（即创建弹窗中的 API Host），且 OpenAI 兼容协议与 Anthropic 兼容协议的 `base_url` 不同、随地域变化，请以对应接口文档为准。 +**安全建议**： +- 将 API Key 配置到环境变量（`DASHSCOPE_API_KEY`），避免硬编码在代码中。 +- **不要**以任何方式公开 API Key。 +- 升级前创建的 `sk-` 开头 Key 可继续使用；建议替换为新版 `sk-ws` 开头的 Key 以获得更完善的安全保障。 -除控制台外，百炼还提供 OpenAPI（`CreateApiKey` / `GetApiKey` / `ListApiKeys` / `UpdateApiKey` / `DeleteApiKey` / `EnableApiKey` / `DisableApiKey` / `ResetApiKey`）以编程方式管理 Key，调用需使用阿里云账号 AccessKey 签名认证并具备相应 RAM 权限。 +**通过环境变量配置**（以 Linux/macOS 为例）： + +```bash +# 永久生效（写入 ~/.bashrc 或 ~/.zshrc） +export DASHSCOPE_API_KEY="YOUR_DASHSCOPE_API_KEY" +source ~/.bashrc # 或 source ~/.zshrc +``` + +```powershell +# Windows PowerShell（永久） +[Environment]::SetEnvironmentVariable("DASHSCOPE_API_KEY", "YOUR_DASHSCOPE_API_KEY", [EnvironmentVariableTarget]::User) +``` + +**通过 OpenAPI 管理 API Key**（编程方式，需阿里云账号 AccessKey 签名）： + +| 接口 | 说明 | +|------|------| +| `CreateApiKey` | 创建 | +| `GetApiKey` / `ListApiKeys` | 查询 | +| `UpdateApiKey` | 编辑描述与权限 | +| `DeleteApiKey` | 删除（不可恢复） | +| `EnableApiKey` / `DisableApiKey` | 启用/禁用（弗吉尼亚除外） | +| `ResetApiKey` | 重置（旧 Key 立即失效，弗吉尼亚除外） | + +**API Key 权限与业务空间**： +- 默认业务空间下的 Key 可调用所有标准模型及默认空间内的应用。 +- 子业务空间下的 Key 仅可调用该空间已授权的模型。 +- 经百炼调优并部署的模型，仅能用其所在业务空间的 Key 调用。 +- 同一业务空间内的 Key 权限相同，无需为不同模型类型（文生文、文生图、语音等）分别创建 Key。 ## 安装 SDK -百炼同时支持官方 **DashScope SDK**（Python、Java）与通过 **[OpenAI 兼容接口](../concepts/openai-compatible-interface.md)**调用的多语言 SDK。详见 [安装SDK](../../raw/model-api-reference/preparations/install-sdk.md)。 +百炼支持两类 SDK，详细安装方式参见 [安装SDK](../../raw/model-api-reference/preparations/install-sdk.md)。 + +### [DashScope SDK](../concepts/dashscope-sdk.md)（官方） + +适用于需要使用百炼特有功能（如思考模式参数、DashScope 协议）的场景，支持 Python 和 Java。 + +**Python**（需 Python ≥ 3.8）： +```bash +pip install -U dashscope +``` + +**Java（Maven）**： +```xml + + com.alibaba + dashscope-sdk-java + the-latest-version + +``` + +### OpenAI 兼容 SDK + +适用于需要与 OpenAI 生态互通的场景，支持 Python、Node.js、Java、Go。 + +**Python**（需 Python ≥ 3.8）： +```bash +pip install -U openai +``` + +**Node.js**： +```bash +npm install --save openai +# 如遇网络问题可配置镜像：npm config set registry https://registry.npmmirror.com/ +``` -- **Python**（需 `python >= 3.8`）：`pip install -U openai` 或 `pip install -U dashscope` -- **Java**：DashScope 用 `com.alibaba:dashscope-sdk-java`；OpenAI 用 `com.openai:openai-java`（需 Java 8+，推荐 `3.5.0`），均通过 Maven / Gradle 引入。 -- **Node.js**：`npm install --save openai`（或 `yarn add openai`）；安装失败可配置镜像源 `npm config set registry https://registry.npmmirror.com/`。 -- **Go**（需 `Go 1.22+`）：`go get 'github.com/openai/openai-go/v3'`；超时可设 `go env -w GOPROXY=https://mirrors.aliyun.com/goproxy/,direct`。 +**Go**（需 Go 1.22+）： +```bash +go get 'github.com/openai/openai-go/v3' +# 国内访问超时可配置：go env -w GOPROXY=https://mirrors.aliyun.com/goproxy/,direct +``` + +**Java（Maven）**： +```xml + + com.openai + openai-java + the-latest-version + +``` -安装后即可调用文本生成、图像生成、视频生成、语音合成/识别、向量、排序等模型。 +> **注意**：使用 OpenAI SDK 时，`base_url` 需指向百炼的 OpenAI 兼容端点，与标准 OpenAI 地址不同，且会随地域变化。百炼同时提供 OpenAI 兼容协议和 Anthropic 兼容协议，两者 `base_url` 不同，请以对应接口文档为准。使用临时 URL 传入文件时，仅 [DashScope SDK](../concepts/dashscope-sdk.md) 支持，不可使用 OpenAI SDK。 + +## 错误码 + +调用接口出错时，可参考 [错误码](../../raw/model-api-reference/preparations/error-code.md) 查找原因和解决方案。也可使用[阿里云 AI 助理](https://www.aliyun.com/ai-assistant/)直接输入报错信息获取解决方案。 + +常见错误类型汇总： + +### HTTP 400 - InvalidParameter + +| 错误信息 | 原因 | 解决方案 | +|---------|------|---------| +| `parameter.enable_thinking must be set to false for non-streaming calls` | 非流式调用了思考模式模型 | 改用[流式输出](../concepts/streaming.md)，或设 `enable_thinking=false` | +| `This model only support stream mode` | 模型仅支持[流式输出](../concepts/streaming.md) | 启用 `stream=true` | +| `Model not exist.` | 模型名称不存在或格式有误 | 检查大小写和空格，不要混用开源社区模型名（如 `Qwen/Qwen3-235B-A22B-Instruct`）与百炼 model ID（如 `qwen3-235b-a22b-instruct-2507`）| +| `Range of input length should be [1, xxx]` | 输入超过模型 Token 上限 | 减少 messages 长度或开启新对话 | +| `Range of max_tokens should be [1, xxx]` | `max_tokens` 超出模型最大输出 Token 数 | 参考模型文档中的"最大输出 Token 数" | +| `Temperature should be in [0.0, 2.0)` | temperature 参数超范围 | 设置为 [0.0, 2.0) 内的数字 | +| `'messages' must contain the word 'json'` | 使用 JSON 结构化输出时提示词缺少 `json` 关键词 | 在提示词中加入 "json"（不区分大小写）| +| `Json mode response is not supported when enable_thinking is true` | 结构化输出与思考模式同时开启 | 使用结构化输出时设 `enable_thinking=false` | +| `Repetitive tool calls detected` | 工具调用陷入循环（HTTP 400，`InternalError.Algo.InvalidParameter`）| 在每轮工具调用后追加 Tool Message，在应用侧加调用次数上限 | +| `The provided messages input is invalid... Unexpected item type in content` | messages 中 content 含不支持的元素类型（数字、嵌套数组等）；或纯文本模型收到了图片等[多模态](../concepts/multimodal.md) content | 纯文本模型 content 设为字符串；[多模态](../concepts/multimodal.md)模型只用合法的 `text`/`image_url` 等 type | +| `Value error, batch size is invalid` | Embedding 模型输入文本数量超限 | 参考 Embedding 文档中模型的批次大小上限 | +| `The value of the enable_thinking parameter is restricted to True.` | 部分模型（如 `qwen3-235b-a22b-thinking-2507`）不允许关闭思考模式 | 将 `enable_thinking` 设为 `true` | +| `File [id:file-fe-...] format is not supported.` | Qwen-Long 不支持图片/扫描文档 | 图片内容提取改用千问VL模型 | +| `Too many files provided.` | file-id 数量超限 | 确保 file-id 数量 < 100 | + +### HTTP 401 / 403 - 鉴权/欠费 + +| 错误码 | 原因 | +|--------|------| +| `Arrearage` | 账号欠费，登录控制台充值后等待几分钟 | + +### 参数范围速查 + +| 参数 | 合法范围 | +|------|---------| +| `temperature` | [0.0, 2.0) | +| `top_p` | (0.0, 1.0] | +| `top_k` | ≥ 0 | +| `repetition_penalty` | > 0 | +| `presence_penalty` | [-2.0, 2.0] | +| `n` | [1, 4] | +| `seed`（DashScope 协议） | [0, 9223372036854775807] | +| 文件大小 | < 150 MB | +| 文件页数 | < 15000 页 | +| file-id 数量 | < 100 | ## 使用百炼 CLI -百炼 CLI（npm 包 `bailian-cli`，命令 `bl` / `bailian`）是面向 AI Agent 的命令行工具，可将平台能力集成到各类 AI 工具中。安装前置要求 **Node.js ≥ 22.12.0**，且**仅支持 npm 安装**（勿用 pnpm / yarn 安装该包）。详见 [使用百炼 CLI](../../raw/model-api-reference/preparations/use-model-studio-cli.md)。 +百炼 CLI（`bailian-cli`，命令 `bl`）是专为 AI Agent 打造的命令行工具，可将百炼的文本、图像、视频、语音等能力集成到 Claude Code、Cursor、Codex、Qwen Code 等主流 AI 工具中。详细安装与使用说明见 [使用百炼 CLI](../../raw/model-api-reference/preparations/use-model-studio-cli.md)。 + +**前置要求**：Node.js ≥ 22.12.0，使用 `npm`（唯一支持的包管理器）。 + +**安装**： ```bash -# 1. 安装 CLI +# 第 1 步：安装 CLI npm install -g bailian-cli -# 2. 安装 Skills（注册能力描述文件到各 Agent） + +# 第 2 步：安装 Skills（将百炼能力注册到 AI Agent 的 Skills 目录） npx skills add modelstudioai/cli --all -g -# 3. 验证 + +# 第 3 步：验证安装 bl --version ``` -**认证方式**（可组合使用，互不覆盖）： +> 若 `bl: command not found`，检查 `npm config get prefix` 下的 `bin` 目录是否已加入 PATH。 + +**认证方式**： | 方式 | 命令 | 适用场景 | -| --- | --- | --- | -| 控制台登录（推荐） | `bl auth login --console` | 模型调用 + 应用管理（浏览器 OAuth） | -| API Key | `bl auth login --api-key sk-xxx` | 模型调用；会先校验 Key 有效性 | +|------|------|---------| +| 控制台登录（推荐） | `bl auth login --console` | 模型调用 + 应用管理（拉起浏览器 OAuth）| +| API Key | `bl auth login --api-key sk-xxx` | 模型调用（文本、图像、视频、语音等）| | 环境变量 | 配置 API Key 环境变量 | CI/CD、无界面环境 | -| 配置文件 | `bl config set --key api_key --value sk-xxx` | 持久化，**不校验** Key 有效性 | -| 临时传入 | `bl text chat --api-key sk-xxx ...` | 单次调用，不落盘 | +| 配置文件 | `bl config set --key api_key --value sk-xxx` | 持久化（不校验 Key 有效性）| +| 临时传入 | `bl text chat --api-key sk-xxx --message "..."` | 单次调用，不落盘 | -常用全局参数：`--region `（默认 cn）、`--base-url`、`--output `、`--non-interactive`（Agent/CI）、`--dry-run`、`--concurrent ` 等。子命令覆盖文本对话（`bl text chat`）、全模态（`bl omni`）、图像（`bl image generate/edit`）、视频（`bl video generate/edit/ref`）、视觉理解（`bl vision describe`）、语音合成（`bl speech synthesize`）等。 +认证后可通过 `bl config show` 查看当前配置，并使用 `bl config set` 设置默认模型、输出目录等参数。 -> **注意**：CLI 文档中示例默认模型（如 `qwen3.7-max`、`qwen3.5-omni-plus`、`qwen-image-2.0`、`happyhorse-1.0-t2v` 等）为工具内置默认值，可能随版本变化；实际可用模型请以模型列表 / 控制台为准。安全约束上，禁止将真实 API Key 写入仓库、日志、Skill 或聊天记录的可公开部分。 +**常用全局参数**：`--region `（切换地域，默认 cn）、`--output `、`--non-interactive`（适用于 Agent 和 CI/CD）、`--dry-run`（预览，不实际执行）。 -## 常见错误码与排查 +**主要命令概览**： -调用过程中的报错多为 **400-InvalidParameter** 类的参数问题，可对照错误信息定位。完整清单见 [错误码](../../raw/model-api-reference/preparations/error-code.md)，以下为高频场景： +| 命令 | 说明 | +|------|------| +| `bl text chat` | 文本对话（OpenAI 兼容格式） | +| `bl omni` | 全模态对话（图片/音频/视频输入，文本/语音输出） | +| `bl image generate` | 文字生成图像 | +| `bl image edit` | 编辑/合成图像 | +| `bl video generate` | 文字或图片生成视频 | +| `bl video edit` | 视频风格转换、对象替换 | +| `bl video ref` | 多图参考生成视频（多主体/多镜头） | +| `bl vision describe` | 图片/视频内容理解 | +| `bl speech synthesize` | 文字转语音（TTS） | +| `bl search web` | 联网搜索 | -- **思考模式相关**：思考模式模型需 `enable_thinking=true` 时配合[流式输出](../concepts/streaming.md)，并设 `incremental_output=true`、`result_format="message"`；部分模型（如 `qwen3-235b-a22b-thinking-2507`）不允许将 `enable_thinking` 设为 `false`。 -- **参数取值范围**：`temperature` ∈ [0.0, 2.0)、`top_p` ∈ (0.0, 1.0]、`top_k` ≥ 0、`presence_penalty` ∈ [-2.0, 2.0]、`n` ∈ [1, 4]；`max_tokens` 与输入长度上限以模型列表为准。 -- **模型不存在（Model not exist）**：核对 `model` 名称大小写与空格，勿混用开源社区名与百炼模型 ID（用 `qwen3-235b-a22b-instruct-2507` 而非 `Qwen/Qwen3-235B-A22B-Instruct-2507`）。 -- **content 类型错误**：纯文本模型的 `content` 必须为字符串，不能传数组或图片等多模态元素；需要图片输入请改用 Qwen-VL / Qwen3-VL 等多模态模型。 -- **结构化输出**：使用 `response_format` 的 `json_object` 时，提示词须包含 `json` 关键词，且不能同时开启思考模式。 -- **文件类（Qwen-Long）**：仅支持纯文本格式（TXT/DOCX/PDF/EPUB/MOBI/MD），单文件 < 150 MB、< 15000 页，file-id 数量 < 100。 -- **账号状态（Arrearage）**：账号欠费会导致访问被拒绝，需在费用与成本页面充值后等待系统更新。 +**最小功能验证**（配置完成后执行）： -排障时可借助[阿里云 AI 助理](https://www.aliyun.com/ai-assistant/)，直接粘贴报错信息即可获得原因与解决方案。 +```bash +bl auth status --output json +bl text chat --message "ping" --non-interactive --output json +``` + +若失败，根据 `stderr` / JSON 中的 `hint` 或 `message` 字段排查（网络、Key 无效、region 等）。 ## 来源文档 @@ -77,4 +220,3 @@ bl --version - [使用百炼 CLI](../../raw/model-api-reference/preparations/use-model-studio-cli.md) - diff --git a/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md b/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md index f4dc1072..7ad5bf41 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/qwen-api-reference.md @@ -22,7 +22,7 @@ ## 使用方式与注意事项 -- [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)可直接复用官方 OpenAI 客户端库，仅需替换 base URL 和 API Key，改动量小。 +- [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)可直接复用官方 OpenAI 客户端库，仅需替换 base URL 和 [API Key](../concepts/api-key.md)，改动量小。 - 若依赖联网搜索、代码解释器等内置工具，需使用 Responses 接口，而非普通的 Chat Completions。 - 不同接口在参数集合和功能覆盖上存在差异：DashScope 参数最全，OpenAI/Anthropic 兼容接口以对应生态的字段约定为准，跨接口迁移时需核对参数映射。 @@ -35,3 +35,11 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md b/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md index fad0f724..427eb4ee 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/toolkits-and-frameworks.md @@ -1,98 +1,187 @@ # toolkits and [frameworks](frameworks.md) -阿里云百炼的通义千问等模型提供了一套与 OpenAI 高度兼容的接口体系，覆盖 Chat Completions、Responses、Completions、Embedding、文件、Batch、Conversations 等能力，并可直接接入 LangChain/LangChain4j 等主流框架。对于已有 OpenAI 应用，通常只需替换 `api_key`、`base_url` 与 `model` 三项即可完成迁移，无需改动业务逻辑。 +阿里云百炼全面兼容 OpenAI 接口规范，开发者只需替换 `api_key`、`base_url` 和模型名称，即可将原有 OpenAI 应用迁移至百炼平台。除标准的 Chat Completions 外，百炼还提供 Responses、Completions、Embedding、Files、Batch、Conversations 等一系列兼容接口，并支持在 LangChain 等主流框架中直接使用。 -## 迁移三要素与服务地址 +## BASE_URL 配置 -将 OpenAI 应用迁移到百炼的核心是配置以下三项（详见 [OpenAI Chat接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md)）： - -- **`api_key`**：替换为[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)。**各地域的 API Key 不同**，切换地域时需同步更换。建议配置到环境变量 `DASHSCOPE_API_KEY` 以降低泄露风险。 -- **`base_url`**：OpenAI SDK 调用统一使用 `/compatible-mode/v1` 路径；HTTP 调用在其后追加具体资源路径（如 `/chat/completions`、`/responses`、`/embeddings`、`/files`）。 -- **`model`**：替换为百炼支持的模型名称。 - -各地域 SDK `base_url`： +所有兼容接口共用同一 `base_url` 格式，按部署地域区分： | 地域 | base_url | -| --- | --- | +|------|----------| | 华北2（北京） | `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | | 新加坡 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | | 日本（东京） | `https://{WorkspaceId}.ap-northeast-1.maas.aliyuncs.com/compatible-mode/v1` | | 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` | -| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | -其中 `{WorkspaceId}` 为业务空间 ID，可在百炼控制台**业务空间详情**页面查看。 +`{WorkspaceId}` 为业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。 + +> **注意**：百炼已为华北2（北京）和新加坡地域推出业务空间专属域名，建议从旧版 `dashscope.aliyuncs.com` / `dashscope-intl.aliyuncs.com` 迁移至新域名，可获得更高性能和稳定性。现有旧域名仍可正常使用。 + +## Chat Completions API + +最常用的对话接口，兼容 OpenAI `/chat/completions` 端点。详见 [OpenAI Chat接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/compatibility-of-openai-with-dashscope.md)。 + +**支持的模型**：Qwen 系列（商业版、开源版）、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math、DeepSeek（阿里云直供及三方直供）、Kimi、GLM、MiniMax 等。 + +> **注意**：三方直供模型仅在中国内地地域可用，使用前需在控制台开通对应服务。Qwen-Audio 不支持 OpenAI 兼容协议，仅支持 DashScope 协议。 + +**快速迁移示例**（Python）： + +```python +from openai import OpenAI +import os + +client = OpenAI( + api_key=os.getenv("DASHSCOPE_API_KEY"), + base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", +) +completion = client.chat.completions.create( + model="qwen-plus", + messages=[{"role": "user", "content": "你好"}] +) +``` + +支持非流式、流式（`stream=True`）及 Function Call 多种调用方式。 + +## Responses API + +作为 Chat Completions API 的演进版本，Responses API 提供更简洁的智能体原生功能。详见 [OpenAI Responses接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md)。 + +**主要优势**： +- **内置工具**：联网搜索、网页抓取、代码解释器、图搜图等，无需手动集成 +- **灵活输入**：支持直接传入字符串或 Chat 格式消息数组 +- **简化上下文**：通过 `previous_response_id` 传递历史，无需手动维护消息列表 + +**端点**：`POST {base_url}/responses` + +> **注意**：旧版路径 `/api/v2/apps/protocols/compatible-mode/v1/responses` 即将停止维护，请迁移至 `/compatible-mode/v1/responses`。 -> **注意**：百炼为北京、新加坡地域推出了业务空间专属域名，性能与稳定性更佳，建议从旧域名迁移：北京 `https://dashscope.aliyuncs.com` → `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com`；新加坡 `https://dashscope-intl.aliyuncs.com` → `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com`。现有域名仍可正常使用。 +Responses API 目前支持 qwen3、qwen-plus、qwen-flash 等多个系列模型，各地域支持范围有所差异。 -> **注意**：Responses 与 Conversations 接口的旧版路径 `/api/v2/apps/protocols/compatible-mode/v1/...` 即将停止维护，请尽快迁移至新版 `/compatible-mode/v1/...` 路径。 +## Completions API（文本补全） -## 各兼容接口一览 +专为代码补全、内容续写设计，支持 FIM（Fill-In-the-Middle）格式。详见 [completions 接口](../../raw/model-api-reference/toolkits-and-frameworks/completions.md)。 -### Chat Completions（对话补全） +**限制**： +- 当前仅支持 `qwen-coder-turbo` 模型 +- 仅适用于中国内地（北京地域），需使用北京地域的 API Key -最常用的兼容接口，支持非流式、流式（`stream=True`，配合 `stream_options={"include_usage": True}` 返回 Token 统计）与 function call（工具调用）。支持模型广泛：Qwen 大语言模型（商业版/开源版）、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math，以及 DeepSeek、Kimi、GLM、MiniMax 等三方模型。 +**提示词格式**： -> **注意**：三方直供模型仅在中国站的中国内地地域可用，调用前需先在百炼控制台开通对应服务。Qwen-Audio 不支持 OpenAI 兼容协议，仅支持 DashScope 协议。 +``` +# 仅前缀补全 +<|fim_prefix|>{prefix}<|fim_suffix|> -### Responses（智能体原生接口） +# 前缀+后缀，生成中间内容 +<|fim_prefix|>{prefix}<|fim_suffix|>{suffix}<|fim_middle|> +``` -作为 Chat Completions 的演进版本，Responses API 内置联网搜索、网页抓取、代码解释器、文搜图/图搜图等工具，输入更灵活（可直接传字符串），并通过 `previous_response_id` 自动管理多轮上下文，无需手动拼接消息历史。详见 [OpenAI Responses接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/compatibility-with-openai-responses-api.md)。 +> **注意**：不支持仅给定后缀生成前缀内容。 -- 支持模型示例：`qwen3-max`、`qwen3.7-plus`、`qwen-plus`、`qwen-flash`、`qwen3-coder-plus` 等。 -- `previous_response_id` 需传入上一轮响应的顶层 `id`（`resp_xxx`），而非 `output` 数组内消息的 `id`；当前响应 `id` 有效期为 **7 天**。 +## Embedding API -### Conversations（会话管理） +文本向量化接口，支持 OpenAI 兼容调用方式。详见 [OpenAI Embedding接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/embedding-interfaces-compatible-with-openai.md)。 -提供会话的创建、查询、更新、删除及消息项管理。配合 Responses API 可自动注入历史上下文，实现跨设备、跨会话的对话延续。初始消息项 `items` 最多 20 条，`metadata` 最多 16 对键值对（key ≤ 64 字符、value ≤ 512 字符）。删除会话时其消息项不会被删除。 +| 模型 | 向量维度 | 单行最大 Token | 单价（每千输入 Token） | +|------|----------|---------------|----------------------| +| text-embedding-v4 | 64~2048（默认1024） | 8192 | 0.0005元 | +| text-embedding-v3 | 64~1024（默认1024） | 8192 | 0.0005元 | +| text-embedding-v2 | 1536 | 2048 | 0.0007元 | +| text-embedding-v1 | 1536 | 2048 | 0.0007元 | -### Completions（文本补全） +`text-embedding-v3` 和 `text-embedding-v4` 支持通过 `dimensions` 参数指定输出维度。 -专为代码补全、内容续写设计，当前仅支持 `qwen-coder-turbo`，且**仅适用于中国内地（北京地域）**。通过 `<|fim_prefix|>...<|fim_suffix|>...<|fim_middle|>` 模板可实现「前缀生成后续」或「前缀+后缀生成中间」两种补全（暂不支持仅凭后缀生成前缀）。关键参数包括 `max_tokens`、`temperature`、`top_p`、`stop`、`seed`、`presence_penalty` 等，详见 [completions 接口](../../raw/model-api-reference/toolkits-and-frameworks/completions.md)。 +> **注意**：[多模态](../concepts/multimodal.md) Embedding 模型（如 qwen3-vl-embedding、tongyi-embedding-vision 系列）不支持 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)，需使用专用的[多模态](../concepts/multimodal.md)向量接口。 -### Embedding（文本向量） +## Files API -兼容 OpenAI Embedding 规范，支持 `text-embedding-v1/v2/v3/v4`。其中 v3、v4 支持通过 `dimensions` 参数指定向量维度（v4 可选 64~2048 多档，默认 1024）。 +文件上传接口，用于文档问答、批量推理和模型调优等场景。详见 [OpenAI文件接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/openai-file-interface.md)。 -> **注意**：多模态 Embedding 模型（如 qwen3-vl-embedding、tongyi-embedding-vision 系列）不支持 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)，需改用[多模态向量接口](https://help.aliyun.com/zh/model-studio/multimodal-embedding-api-reference)。 +**`purpose` 参数说明**： -### Vision（视觉理解） +| purpose | 用途 | 最大文件大小 | +|---------|------|-------------| +| `file-extract` | 文档分析（Qwen-Long、Qwen-Doc-Turbo） | 150 MB | +| `batch` | 批量推理任务输入文件 | 500 MB | +| `fine-tune` | 模型调优训练数据 | 300 MB | -Qwen-VL、QVQ、Qwen-OCR 兼容 OpenAI Chat 接口，通过 `content` 数组中的 `image_url` 传入图片。各地域支持的模型有差异。QVQ 模型仅支持[流式输出](../concepts/streaming.md)。 +**存储限制**：最大文件数 10000 个，总大小不超过 100 GB，暂无有效期限制。 -### 文件接口与 Batch +## Batch API（文件输入） -文件上传接口（`client.files.create`）通过 `purpose` 区分用途，详见 [OpenAI文件接口兼容](../../raw/model-api-reference/toolkits-and-frameworks/openai-file-interface.md)： +通过文件提交批量异步请求，费用为实时调用的 **50%**，适合数据分析、模型评测等时效性要求不高的场景。 -| purpose | 用途 | 单文件大小上限 | -| --- | --- | --- | -| `file-extract` | Qwen-Long / Qwen-Doc-Turbo 文档问答与数据提取 | 150 MB | -| `batch` | 批量推理输入（jsonl） | 500 MB | -| `fine-tune` | 模型调优数据集（jsonl） | 300 MB | +**工作流程**：上传 JSONL 输入文件 → 创建 Batch 任务 → 轮询状态 → 下载结果文件。 -百炼存储空间上限为 10000 个文件、总计 100 GB，达到任一上限后新上传会失败，需删除文件释放配额。上传返回的文件 ID（如 `file-batch-xxx`）可重复使用。 +**输入文件格式**（每行一个请求）： -百炼提供两种批量推理方式，费用均约为实时调用的 **50%**： +```json +{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"user","content":"你好"}]}} +``` -- **Batch（文件输入）**：上传 jsonl 文件异步批处理，适合大批量、时效性要求不高的场景（数据分析、模型评测）。可先用测试模型 `batch-test-model` 做全链路验证（文件 ≤ 1 MB、≤ 100 行、最大并行 2 个任务，不产生推理费用）。 -- **Batch Chat**：保持与实时 API 一致的同步调用方式，仅需将 `base_url` 改为 `https://batch.dashscope.aliyuncs.com/compatible-mode/v1`，单次仅支持一个请求；默认等待超时 3600 秒（可设 60~3600 秒）。 +Batch 场景下部分模型（qwen3.7、qwen3.6、qwen3.5 系列）默认开启思考模式，会产生额外 tokens 费用，建议显式设置 `enable_thinking` 参数。注意 `enable_thinking` 须作为 `body` 的顶层参数与 `model` 同级传入。 -> **注意**：Batch 场景下 `enable_thinking` 须作为请求 body 的顶层参数（与 `model` 同级）传入，不能放在 `extra_body` 中；`qwen3.7`/`qwen3.6`/`qwen3.5` 系列默认开启思考模式，会产生额外思考 Token 成本，建议显式设置。 +## Batch Chat API -## 框架集成（LangChain） +保持同步调用方式的批量对话接口，享有 **5 折**优惠。与 Batch 文件接口的区别在于：每次只提交单个请求，客户端保持连接等待，处理完成后一次性返回。 -百炼可通过两条路径接入 LangChain（Python / JavaScript / Java），详见 [在LangChain中使用阿里云百炼](../../raw/model-api-reference/toolkits-and-frameworks/use-bailian-in-langchain.md)： +**专用端点**：`https://batch.dashscope.aliyuncs.com/compatible-mode/v1` -- **OpenAI 兼容路径**：使用 `langchain_openai.ChatOpenAI`（JS 为 `@langchain/openai`，Java 为 `langchain4j-open-ai`），配置 `base_url` 指向 `compatible-mode/v1`。**仅支持 OpenAI 兼容模式覆盖的部分模型**。 -- **DashScope 原生路径**：使用 `ChatTongyi`（`langchain-community` + `dashscope`）或 JS 的 `ChatAlibabaTongyi`，**支持百炼所有文本生成模型（含部署后的模型）**。 +默认等待超时 3600 秒，可通过 SDK 的 `timeout` 参数自定义（60~3600 秒）。 -> **注意**：LangChain4j 1.0.0-beta3 需要 Java 17 及以上版本，使用 Java 11 编译会报 `Unsupported class file major version 61` 错误。 +## Conversations API + +配合 Responses API 实现跨场景、跨设备的对话上下文持久化，无需手动维护消息历史。支持 Create、Retrieve、Update、Delete 会话及向会话添加消息项等操作。 + +**端点格式**：`{base_url}/conversations`（华北2北京和新加坡两个地域） + +> **注意**：旧版 URL 路径 `/api/v2/apps/protocols/compatible-mode/v1/conversations` 即将停止维护，请迁移至 `/compatible-mode/v1/conversations`。 + +会话创建时可通过 `items` 传入最多 20 条初始消息，通过 `metadata` 存储最多 16 对键值对的附加信息。 + +## Vision 接口 + +视觉模型同样兼容 OpenAI 接口，迁移只需替换 `base_url`、`api_key` 和 `model`。 + +**支持的模型**：Qwen-VL 系列、QVQ、Qwen-OCR。 + +> **注意**：QVQ 模型仅支持[流式输出](../concepts/streaming.md)。各地域支持的视觉模型有所差异，详情参见百炼控制台模型市场。 + +## LangChain 集成 + +百炼可通过 OpenAI 兼容方式或 DashScope 原生方式接入 LangChain。详见 [在LangChain中使用阿里云百炼](../../raw/model-api-reference/toolkits-and-frameworks/use-bailian-in-langchain.md)。 + +**两种接入方式对比**： + +| 方式 | 依赖包 | 支持模型范围 | 备注 | +|------|--------|-------------|------| +| OpenAI 兼容（`langchain_openai`） | `langchain_openai` | 仅 OpenAI 兼容模式支持的模型 | Python/JS/Java 均可用 | +| DashScope 原生（`ChatTongyi`） | `langchain-community` + `dashscope` | 所有文本生成模型，含部署模型 | Python/JS 可用 | + +Java 使用 LangChain4j，需要 **Java 17 及以上版本**（langchain4j 1.0.0-beta3 要求）。 + +**Python OpenAI 方式示例**： + +```python +from langchain_openai import ChatOpenAI +import os + +llm = ChatOpenAI( + api_key=os.getenv("DASHSCOPE_API_KEY"), + base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", + model="qwen-plus", +) +response = llm.invoke([{"role": "user", "content": "你好"}]) +``` ## 限制与注意事项 -- **地域隔离**：API Key 与 `base_url` 均按地域区分，跨地域调用必须成对更换；不同接口/模型在各地域的可用性存在差异，以[百炼控制台](https://bailian.console.aliyun.com/)为准。 -- **协议差异**：并非所有模型都支持 OpenAI 兼容协议（如 Qwen-Audio、多模态 Embedding），此类模型需使用 DashScope 原生协议。 -- **端点区别**：普通请求走各地域 `compatible-mode/v1`，而 Batch Chat 使用独立的 `batch.dashscope.aliyuncs.com` 域名。 -- 调用失败时请参考[错误码](https://help.aliyun.com/zh/model-studio/error-code)排查。 +- **API Key 与地域绑定**：不同地域的 API Key 不同，切换地域时需同步更换。 +- **Completions 接口仅限北京地域**：其他地域暂不支持 `/completions` 端点。 +- **Batch 文件接口存储配额**：单账号最多 10000 个文件、100 GB 总量，超限后需先删除旧文件。 +- **思考模式默认开启**：qwen3.7/qwen3.6/qwen3.5 系列在 Batch 场景下默认开启思考，会增加 token 消耗。 +- **旧版 URL 迁移**：Responses API 和 Conversations API 的旧版路径均即将停止维护，建议尽快迁移。 ## 来源文档 @@ -108,4 +197,3 @@ Qwen-VL、QVQ、Qwen-OCR 兼容 OpenAI Chat 接口，通过 `content` 数组中 - [在LangChain中使用阿里云百炼](../../raw/model-api-reference/toolkits-and-frameworks/use-bailian-in-langchain.md) - diff --git a/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md b/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md index 2a8da565..b35e3a10 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/vector-and-sort.md @@ -1,90 +1,207 @@ # vector and sort -百炼平台围绕"向量化"与"排序"提供了一整套模型 API，覆盖通用文本向量、多模态向量与文本/多模态重排序三大能力。它们共同服务于语义搜索、推荐、聚类、分类与 RAG 检索：向量模型负责把文本、图片、视频编码为同一语义空间中的数值向量，排序（rerank）模型则在召回阶段之后对候选结果做二次精排，提升最终相关性。 +百炼平台提供向量化（Embedding）与排序（Rerank）两类 API，覆盖通用文本向量、[多模态](../concepts/multimodal.md)向量、批量文本向量以及文本排序，可用于语义搜索、RAG、聚类、跨模态检索等下游任务。所有接口均需要有效的 API Key，支持 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)（部分模型）和 DashScope 原生接口两种调用方式。 -## 能力与模型总览 +--- -按用途可分为三类接口，分别对应不同的 endpoint 与调用方式： +## 通用文本向量（同步接口） -- **通用文本向量（同步）**：将字符串 / 字符串列表 / 文件转为向量，实时返回。支持 `qwen3.7-text-embedding`、`text-embedding-v4/v3/v2/v1`。详见 [同步接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-synchronous-api.md)。 -- **通用文本向量（批处理）**：面向大规模离线向量化，仅支持异步模式，通过文件 URL 输入。支持 `text-embedding-async-v2/v1`。详见 [批处理接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md)。 -- **多模态向量**：将文本、图片、视频编码到同一语义空间，支持跨模态检索与融合表征。支持 `qwen3-vl-embedding`、`qwen2.5-vl-embedding`、`tongyi-embedding-vision-plus/flash`（含 `2026-03-06` 快照版）、`multimodal-embedding-v1`。详见 [Multimodal-Embedding API详情](../../raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md)。 -- **文本 / 多模态排序**：对召回文档做精排，支持 `qwen3-rerank`、`qwen3-vl-rerank`（多模态）、`gte-rerank-v2`。详见 [文本排序](../../raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md)。 +详见 [同步接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-synchronous-api.md)。 -> **注意**：`gte-rerank` 模型将于 2026-05-30 下线，官方推荐迁移到 `qwen3-rerank`。新项目请直接选用 `qwen3-rerank` / `qwen3-vl-rerank`。 +### 支持的模型 -## 通用文本向量 +| 模型名称 | 默认维度 | 最大 Token/行 | 最大行数 | 单价（/千 Token） | +|---|---|---|---|---| +| qwen3.7-text-embedding | 1,024 | 128,000 | 20 | 0.0005 元 | +| text-embedding-v4 | 1,024 | 8,192 | 10 | 0.0005 元（Batch 0.00025 元） | +| text-embedding-v3 | 1,024 | 8,192 | 10 | — | +| text-embedding-v2 | 1,536 | 2,048 | 25 | 0.0007 元（Batch 0.00035 元） | +| text-embedding-v1 | 1,536 | 2,048 | 25 | — | -### 同步接口 +`text-embedding-v4` 属于 Qwen3-Embedding 系列，支持 100+ 语种及多种编程语言；`qwen3.7-text-embedding` 支持 201 种主流语种与方言，单行最大 128,000 Token。 -- **兼容方式**：提供 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)，可用 OpenAI SDK 直连。 - - base_url：`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` - - endpoint：`POST .../compatible-mode/v1/embeddings` - - 调用前需将 `{WorkspaceId}` 替换为真实业务空间 ID。 -- **关键参数**： - - `model`（必选）：模型名称。 - - `input`（必选）：`string` / `array` / `file` 三种形态。 - - `dimensions`（可选）：仅 `text-embedding-v3/v4`（及 `qwen3.7-text-embedding` 的 2560 维）支持自定义维度，取值 2560/2048/1536/1024/768/512/256/128/64，默认 1024。 - - `encoding_format`（可选）：当前仅支持 `float`。 -- **输入上限（按模型区分）**： - - `qwen3.7-text-embedding`：单条字符串最长 128,000 Token；列表/文件最多 20 条。 - - `text-embedding-v3/v4`：单条 8,192 Token；列表/文件最多 10 条。 - - `text-embedding-v1/v2`：单条 2,048 Token；列表/文件最多 25 条。 +### 接口端点 -> **注意**：`dimensions` 只对部分模型生效——`text-embedding-v1/v2` 为固定维度（分别 1536 / 1536），传入该参数无意义；`v4` 才支持 2048/1536 等高维度。选维度前请对照模型概览表。 +**OpenAI 兼容（推荐迁移场景使用）：** -### 批处理接口 +``` +POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/embeddings +``` -批处理专用于大批量离线场景，特点是**仅支持异步**： +### 关键请求参数 -- endpoint：`POST https://dashscope.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding`。 -- HTTP 请求**必须**带请求头 `X-DashScope-Async: enable`，否则报错 `current user api does not support synchronous calls`。 -- 输入通过 `input.url` 传入文件 HTTP URL（一行一条），单行最长 2,048 Token、最多 100,000 行、文件不超过 200MB。 -- `parameters.text_type` 可选 `document`（默认）或 `query`；检索类非对称任务建议区分 query / document。 -- 调用两步走：创建任务拿到 `task_id` → `GET .../api/v1/tasks/{task_id}` 轮询结果。任务状态含 PENDING / RUNNING / SUCCEEDED / FAILED / CANCELED / UNKNOWN。 -- **数据时效**：任务结果 URL 仅保留 24 小时，务必及时下载，详见 [批处理接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md)。 -- **限流**：`text-embedding-async-v2` 任务下发 RPS 为 1，排队+运行作业不超过 50 个，同时并发运行不超过 3 个。 +| 参数 | 类型 | 必选 | 说明 | +|---|---|---|---| +| `model` | string | 是 | 模型名称 | +| `input` | string / array / file | 是 | 待向量化文本；字符串、字符串列表或文件 | +| `dimensions` | integer | 否 | 输出维度，仅 v3/v4/qwen3.7 支持，默认 1024 | +| `encoding_format` | string | 否 | 当前仅支持 `float` | -## 多模态向量 +### 调用示例（Python） -多模态向量把 text / image / video 编码进**同一语义空间**，可直接用余弦相似度做跨模态匹配（以文搜图、以图搜视频等）。 +```python +from openai import OpenAI +import os -- endpoint：`POST https://dashscope.aliyuncs.com/api/v1/services/embeddings/multimodal-embedding/multimodal-embedding`。 -- 输入通过 `input.contents` 数组传入，每个元素为 `{"模态类型": "值"}`，支持 `text` / `image` / `video` / `multi_images` 四种类型。图片可用 URL 或 Base64 Data URI，视频仅支持公开 URL。 -- **独立向量 vs 融合向量**： - - 独立向量：为每个输入分别生成一个向量，适合逐项对比（以图搜图）。 - - 融合向量：将所有输入融合为 1 个向量，适合整体语义表征（如商品图+描述文本）。 - - `qwen3-vl-embedding` 通过 `enable_fusion=true` 开启融合；`tongyi-embedding-vision-*-2026-03-06` 则通过把 text/image/video 放进同一个 content 对象来生成融合向量（不使用 `enable_fusion`）。 -- **关键参数（在 `parameters` 内）**：`dimension`（不同模型取值不同）、`output_type`（仅 `dense`）、`fps`（视频帧率比例 [0,1]）、`instruct`（任务说明，建议英文）、`res_level`（分辨率档位 0/1/2/3，仅 2026-03-06 版）、`max_video_frames`（最大采样帧，≤64，仅 2026-03-06 版）。 +client = OpenAI( + api_key=os.getenv("DASHSCOPE_API_KEY"), + base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1" +) +resp = client.embeddings.create( + model="text-embedding-v4", + input="示例文本", + dimensions=1024, + encoding_format="float" +) +print(resp.model_dump_json()) +``` -> **注意**：各模型的向量类型能力差异明显——`qwen2.5-vl-embedding` **仅**支持融合向量、不支持独立向量与多图；`tongyi-embedding-vision-plus/flash`（非快照版）**仅**支持独立向量；`multimodal-embedding-v1` 与 `tongyi-embedding-vision-plus/flash` 不支持 `dimension` 参数（维度固定）。选型前务必核对 [Multimodal-Embedding API详情](../../raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md) 中的"模型能力对照"表。 +--- -## 文本 / 多模态排序（Rerank） +## 通用文本向量（批处理接口） -排序模型对召回文档二次精排，返回相关性分数。不同模型使用不同接口： +详见 [批处理接口API详情](../../raw/model-api-reference/vector-and-sort/general-text-vector/text-embedding-batch-api.md)，适用于超大规模离线向量化场景（单次最多 100,000 行）。 -- `qwen3-rerank`：`POST .../compatible-api/v1/reranks`，且 `query` / `documents` / `top_n` / `instruct` 与 `model` **同层级**（不使用 `input` / `parameters` 包装）。 -- `qwen3-vl-rerank`（多模态）/ `gte-rerank-v2`：`POST .../api/v1/services/rerank/text-rerank/text-rerank`，参数需包装进 `input` 与 `parameters` 对象。 +### 支持的模型 -关键参数与返回： +| 模型 | 向量维度 | 单行最大 Token | 最大行数 | 单价 | +|---|---|---|---|---| +| text-embedding-async-v2 | 1,536 | 2,048 | 100,000 | 0.0007 元/千 Token | +| text-embedding-async-v1 | 1,536 | 2,048 | 100,000 | — | -- `query`（必选）：最大 4,000 Token；`qwen3-vl-rerank` 支持 `{"text": ...}` 或 `{"image": ...}` 对象形式。 -- `documents`（必选）：候选文档数组；`qwen3-vl-rerank` 每项可为 `text` / `image` / `video`。 -- `top_n`（可选）：返回前 N 条，默认全部。 -- `return_documents`（可选，默认 `false`）：是否回带原文，仅 `gte-rerank-v2` / `qwen3-vl-rerank` 支持。 -- `instruct`（可选）：仅 `qwen3-rerank` / `qwen3-vl-rerank` 生效，用于切换问答检索 / 语义相似度等排序策略，建议英文。 -- `fps`（可选）：仅 `qwen3-vl-rerank` 支持，控制视频抽帧比例。 -- 返回 `results` 按 `relevance_score`（0.0–1.0）降序排列，`index` 对应输入原始位置。 +### 调用流程 -> **注意**：`relevance_score` 是**单次请求内的相对分数**，仅用于本次请求内排序，不可作为跨请求比较的绝对阈值。此外两类接口响应结构不同——`qwen3-rerank` 的 `results` 位于响应顶层且无 `output` 对象，其余模型结果在 `output.results` 内，详见 [文本排序](../../raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md)。 +HTTP 批处理接口**仅支持异步模式**，分两步完成： -## 通用限制与注意事项 +1. **创建任务**：`POST` 带 `X-DashScope-Async: enable` 头，请求体中指定文件 URL（一行一条文本）。 +2. **轮询结果**：`GET https://{WorkspaceId}.../api/v1/tasks/{task_id}`，根据 `task_status` 判断任务状态（`PENDING` / `RUNNING` / `SUCCEEDED` / `FAILED`）。 -- **前提条件**：所有接口都需先[获取 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)并配置到环境变量 `DASHSCOPE_API_KEY`；SDK 调用还需安装 DashScope SDK。 -- **地域**：同步向量与 rerank 走 `maas.aliyuncs.com`（需替换 `{WorkspaceId}`），多模态与批处理走 `dashscope.aliyuncs.com`；新加坡地域需将 base_url 换为 `dashscope-intl.aliyuncs.com`。 -- **SDK 与 HTTP 差异**：HTTP 使用嵌套的 `input` / `parameters` 结构，DashScope SDK 多为扁平参数，开发时注意区分。 -- **超长截断**：rerank 中单条超过"单条最大输入 Token"会被截断，API 仅基于截断后内容计算，可能影响排序准确性。 -- **限流与错误码**：触发条件参见平台[限流](https://help.aliyun.com/zh/model-studio/rate-limit)文档，失败响应通过 `code` / `message` 指明原因，对照[错误码](https://help.aliyun.com/zh/model-studio/error-code)排查。 +> **注意**：缺少 `X-DashScope-Async: enable` 请求头时会报错 "current user api does not [support](../guides/support.md) synchronous calls"。任务结果 URL **仅保留 24 小时**，请及时保存。 + +**并发限制：** 同一用户最多 3 个任务并发运行，排队中 + 运行中总计不超过 50 个。 + +```bash +# 1. 创建任务 +curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ + -H 'Content-Type: application/json' \ + -H 'X-DashScope-Async: enable' \ + -d '{"model":"text-embedding-async-v2","input":{"url":""},"parameters":{"text_type":"query"}}' + +# 2. 查询结果 +curl -X GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id} \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" +``` + +--- + +## [多模态](../concepts/multimodal.md)向量（Multimodal Embedding） + +详见 [Multimodal-Embedding API详情](../../raw/model-api-reference/vector-and-sort/multimodal-vector/multimodal-embedding-api-reference.md)，支持文本、图片、视频三种模态，适用于跨模态检索、内容聚类等场景。 + +### 支持的模型（北京地域） + +| 模型 | 默认维度 | 向量类型 | 图片上限 | 视频上限 | 单价 | +|---|---|---|---|---|---| +| qwen3-vl-embedding | 2,560 | 独立 / 融合 | 10 MB/张 | 50 MB | 图片/视频 0.0018 元，文本 0.0007 元 | +| qwen2.5-vl-embedding | 1,024 | 仅融合 | 5 MB/张 | — | — | +| tongyi-embedding-vision-plus-2026-03-06 | 1,152 | 独立 / 融合 | 10 MB/张，最多 64 张 | 50 MB | 0.0005 元 | +| tongyi-embedding-vision-flash-2026-03-06 | 768 | 独立 / 融合 | 同上 | 50 MB | 0.00015 元 | +| tongyi-embedding-vision-plus | 1,152 | 仅独立 | 3 MB/张，最多 8 张 | 10 MB | 0.0005 元 | +| tongyi-embedding-vision-flash | 768 | 仅独立 | 同上 | 10 MB | 0.00015 元 | +| multimodal-embedding-v1 | 1,024 | 固定 | 3 MB/张 | 10 MB | 图片/视频 0.0009 元，文本 0.0007 元 | + +### 接口端点 + +``` +POST https://dashscope.aliyuncs.com/api/v1/services/embeddings/multimodal-embedding/multimodal-embedding +``` + +### 向量类型 + +- **独立向量**：`contents` 中每个元素各自生成一个向量，适用于逐项对比（以图搜图、以文搜图）。 +- **融合向量**：将所有输入融合为 1 个向量，适用于需整体理解[多模态](../concepts/multimodal.md)内容的检索场景。 + - `qwen3-vl-embedding`：通过 `enable_fusion=true` 开启。 + - `tongyi-embedding-vision-plus-2026-03-06` / `flash-2026-03-06`：将 text、image、video 放在同一个 content 对象中实现融合（不使用 `enable_fusion`）。 + - `qwen2.5-vl-embedding`：始终返回融合向量，不支持独立向量。 + +### 关键请求参数 + +| 参数 | 说明 | +|---|---| +| `input.contents` | 内容列表，每个元素为 `{"text":...}` / `{"image":...}` / `{"video":...}` / `{"multi_images":[...]}` | +| `parameters.dimension` | 输出维度，`tongyi-embedding-vision-plus` 和 `multimodal-embedding-v1` 不支持，固定维度 | +| `parameters.enable_fusion` | 仅 `qwen3-vl-embedding` 支持，设为 `true` 开启融合向量 | +| `parameters.res_level` | 分辨率档位 0-3，仅 2026-03-06 版本支持 | +| `parameters.max_video_frames` | 最大视频采样帧数，最大 64，仅 2026-03-06 版本支持 | +| `parameters.fps` | 视频帧数比例 [0,1]，适用于多个模型 | + +--- + +## 文本排序（Rerank） + +详见 [文本排序](../../raw/model-api-reference/vector-and-sort/rerank-model/text-rerank-api.md)，用于对召回阶段的候选文档做二次精排，提升 RAG 应用的答案准确性。 + +### 支持的模型 + +| 模型 | 最大文档数 | 单条最大输入 Token | 请求最大 Token | 应用场景 | +|---|---|---|---|---| +| qwen3-rerank | 500 | 4,000 | — | 文本语义检索、RAG | +| qwen3-vl-rerank | 文本 100 / 图片 40 / 视频 4 | 8,000 | 120,000 | 跨模态搜索、图片检索 | +| gte-rerank-v2 | — | 30,000 | — | 多语种文本排序 | + +> **注意**：`gte-rerank` 模型将于 **2026年05月30日下线**，建议迁移至 `qwen3-rerank`。 + +### 接口端点 + +- **qwen3-rerank**：`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-api/v1/reranks` +- **qwen3-vl-rerank / gte-rerank-v2**：`POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/rerank/text-rerank/text-rerank` + +> **注意**：两个端点的请求体结构和响应格式不同。`qwen3-rerank` 使用扁平参数结构（`query`/`documents` 与 `model` 同级），而 `qwen3-vl-rerank`/`gte-rerank-v2` 使用嵌套的 `input` + `parameters` 结构。 + +### 关键请求参数 + +| 参数 | 类型 | 适用模型 | 说明 | +|---|---|---|---| +| `model` | string | 全部 | 模型名称 | +| `query` | string / object | 全部 | 查询内容，qwen3-vl-rerank 支持文本或图片 object | +| `documents` | array | 全部 | 候选文档列表 | +| `top_n` | int | 全部 | 返回相关性最高的 N 条结果 | +| `return_documents` | bool | gte-rerank-v2, qwen3-vl-rerank | 是否在结果中返回文档原文，默认 false | +| `instruct` | string | qwen3-rerank, qwen3-vl-rerank | 自定义排序任务说明，建议英文，可指定问答检索或语义相似度排序策略 | +| `fps` | float | qwen3-vl-rerank | 视频帧数比例 [0,1]，默认 1.0 | + +### 响应字段说明 + +- `relevance_score`：范围 0.0–1.0，分数越高相关性越强。**该分数为当前请求内的相对分数，不可跨请求比较。** +- `index`：对应输入 `documents` 列表中的原始索引位置。 +- `qwen3-rerank` 响应中 `results` 直接位于顶层，而 `qwen3-vl-rerank`/`gte-rerank-v2` 的 `results` 包裹在 `output` 对象中。 + +### 调用示例（curl，qwen3-rerank） + +```bash +curl --request POST \ + --url https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-api/v1/reranks \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --data '{ + "model": "qwen3-rerank", + "documents": ["文本排序模型广泛用于搜索引擎", "量子计算前沿领域", "预训练语言模型新进展"], + "query": "什么是文本排序模型", + "top_n": 2, + "instruct": "Given a web search query, retrieve relevant passages that answer the query." + }' +``` + +--- + +## 通用注意事项 + +- 所有接口均需将 `{WorkspaceId}` 替换为真实的[业务空间ID](https://help.aliyun.com/zh/model-studio/obtain-the-app-id-and-workspace-id)。 +- API Key 通过环境变量 `DASHSCOPE_API_KEY` 配置，不建议硬编码。 +- 输入内容超过模型 Token 上限时将被**截断**，可能影响结果准确性；批处理接口文件大小不超过 200 MB。 +- 限流规则请参考[限流文档](https://help.aliyun.com/zh/model-studio/rate-limit)。 +- 错误码说明请参考[错误码文档](https://help.aliyun.com/zh/model-studio/error-code)。 ## 来源文档 diff --git a/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md b/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md index f4a55920..e5449faf 100644 --- a/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md +++ b/skills/bailian-docs-llm-wiki/wiki/api/video-generation-api.md @@ -1,66 +1,206 @@ # video generation api -阿里云百炼平台提供覆盖多家厂商（万相 Wan、爱诗 PixVerse、Vidu、可灵 Kling、HappyHorse 等）的视频生成 API，支持文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑、数字人、人像驱动、视频超清与对口型等能力。所有视频生成任务均通过统一的异步调用模式完成，开发者先提交任务拿到 `task_id`，再轮询查询结果。 +阿里云百炼平台提供多家视频生成模型的统一 API 接入，涵盖文生视频、图生视频、参考生视频、视频编辑、人像动画等多类任务。所有视频生成接口均采用**[异步调用](../concepts/async-invocation.md)**模式：先提交任务获取 `task_id`，再轮询查询结果。 -## 统一调用模式：异步「创建任务 → 轮询获取」 +## 支持的模型与功能 -由于视频生成耗时较长（通常 1-5 分钟，个别统一编辑模型约 5-10 分钟），API 全部采用异步方式，流程分两步： +### 万相（Wan）系列 -1. **创建任务**：向 `video-synthesis` 端点发起 `POST` 请求，请求头必须带 `X-DashScope-Async: enable`（缺少会报错 `current user api does not support synchronous calls`），返回一个 `task_id`。 -2. **轮询获取**：用 `task_id` 发起 `GET https:///api/v1/tasks/{task_id}` 查询任务状态，直到完成并拿到视频 URL。 +阿里自研视频生成系列，版本迭代从 wanx2.1 到最新的 wan2.7。 -其余通用约定： +**万相2.7（当前推荐版本）** -- `task_id` 有效期为 **24 小时**，过期无法查询（返回状态 `UNKNOWN`）；请勿重复创建任务，轮询即可。 -- 请求头 `Content-Type: application/json`、`Authorization: Bearer $DASHSCOPE_API_KEY` 为必填。 -- 新手可参考 [Postman 首次调用指引](../../raw/model-api-reference/video-generation-api/wan-api-reference/text-to-video-api-reference.md)。 +| 模型名称 | 能力 | +|---|---| +| `wan2.7-t2v-2026-06-12` | 文生视频，支持单/多镜头叙事 | +| `wan2.7-r2v-2026-06-12` | 参考生视频，[多模态](../concepts/multimodal.md)输入（图像+视频+音频） | +| `wan2.7-videoedit` | 视频编辑，支持指令编辑和视频迁移 | +| wan2.7 图生视频（新协议） | 首帧生视频、首尾帧生视频、视频续写 | -> **注意**：绝大多数视频生成模型使用端点路径 `/api/v1/services/aigc/video-generation/video-synthesis`，但部分数字人/换人/图生动作类模型（[万相-数字人](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-s2v-overview.md)、[万相-图生动作](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-move-api.md)、[万相-视频换人](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-animate-mix-api.md)、[万相2.2-首尾帧](../../raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md)）使用的是 `/api/v1/services/aigc/image2video/video-synthesis`。接入时请以对应文档端点为准。 +万相2.7 图生视频使用新版协议，同时支持首帧生视频、首尾帧生视频、视频续写三大任务，详见 [万相2.7-图生视频API参考](../../raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md)。 -## 支持的模型与功能 +**万相特殊功能模型** + +| 模型名称 | 能力 | +|---|---| +| `wan2.2-animate-move` | 图生动作：将参考视频中的动作迁移到人物图片，分 `wan-std`/`wan-pro` 两档 | +| `wan2.2-animate-mix` | 视频换人：将视频角色替换为指定图片中的人物 | +| `wan2.2-s2v` | 数字人：基于单张图片+音频生成说话/唱歌视频 | + +数字人模型需先调用 `wan2.2-s2v-detect` 检测图片合规性，再调用 `wan2.2-s2v` 生成视频，详见 [万相-数字人](../../raw/model-api-reference/video-generation-api/wan-api-reference/wan-s2v-overview.md)。 + +**万相旧版模型（Legacy，仅北京/新加坡/弗吉尼亚/法兰克福）** + +> **注意**：wan2.6 及更早版本（wan2.5/wan2.2/wanx2.1）使用旧版 API 协议，与 wan2.7 的新版协议不兼容。旧版图生视频（wan2.6 及以下）仅支持首帧生视频，推荐迁移至 [万相2.7-图生视频](../../raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md)；旧版首尾帧生视频（wan2.2）的 endpoint path 为 `/api/v1/services/aigc/image2video/video-synthesis`，与其他模型的 `/api/v1/services/aigc/video-generation/video-synthesis` 不同。 + +--- + +### HappyHorse 系列 + +| 模型名称 | 能力 | +|---|---| +| `happyhorse-1.1-i2v` | 图生视频（基于首帧） | +| `happyhorse-1.1-t2v` | 文生视频 | +| `happyhorse-1.1-r2v` | 参考生视频（多图像融合） | +| `happyhorse-1.0-video-edit` | 视频编辑（参考图+指令） | + +HappyHorse 支持北京、新加坡、美国（弗吉尼亚）、德国（法兰克福）四个地域，是覆盖地域最多的系列。 + +--- + +### 爱诗（PixVerse）系列 + +仅支持华北2（北京）地域，使用前需在控制台搜索"PixVerse"开通服务。 + +| 模型名称 | 能力 | +|---|---| +| `pixverse/pixverse-c1-t2v`、`v6-t2v`、`v5.6-t2v` | 文生视频（c1 支持多镜头） | +| `pixverse/pixverse-c1-it2v`、`v6-it2v`、`v5.6-it2v` | 图生视频（基于首帧） | +| `pixverse/pixverse-c1-kf2v`、`v6-kf2v`、`v5.6-kf2v` | 首尾帧生视频 | +| `pixverse/pixverse-c1-r2v` | 参考生视频（多图像） | +| `pixverse/pixverse-upscale` | 视频超清（输出固定 4K 分辨率） | +| `pixverse/pixverse-lipsync` | 视频对口型（音频驱动或 TTS 文本驱动） | +| `pixverse/pixverse-motioncontrol` | 视频动作模仿（人物图片+动作参考视频） | + +参见 [爱诗-文生视频API参考](../../raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-text-to-video-api-reference.md) 和 [爱诗-视频对口型API参考](../../raw/model-api-reference/video-generation-api/pixverse-api-reference/pixverse-lipsync-api-reference.md)。 + +--- + +### Vidu 系列 + +仅支持华北2（北京）地域，使用前需在控制台开通服务。 + +| 模型名称 | 能力 | +|---|---| +| `vidu/viduq3-pro_text2video`、`viduq3-turbo_text2video`、`viduq2_text2video` | 文生视频 | +| `vidu/viduq3-pro_img2video`、`viduq3-pro-fast_img2video` | 图生视频（基于首帧） | +| `vidu/viduq3-turbo_start-end2video` | 首尾帧生视频 | +| `vidu/viduq3-ad_reference2video` | 参考生视频（广告场景） | + +--- + +### 可灵（Kling）系列 + +仅支持华北2（北京）地域，使用前搜索"kling"开通可灵AI服务。 + +| 模型名称 | 能力 | +|---|---| +| `kling/kling-v3-video-generation` | 文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑 | +| `kling/kling-v3-omni-video-generation` | 同上，支持 omni 模式 | + +支持 `multi_shot`（智能分镜）参数，可通过 `shot_type` 和 `multi_prompt` 控制分镜。 + +--- + +### 人像动画系列 + +所有人像动画模型仅支持华北2（北京）地域。 + +| 模型/产品 | 能力 | +|---|---| +| AnimateAnyone (`animate-anyone-gen2`) | 图生舞蹈视频，需先检测图片再生成动作模板再生成视频（三步调用） | +| EMO (`emo-v1`) | 图生唱演视频（肖像图片+人声音频） | +| LivePortrait (`liveportrait`) | 图生播报视频，轻量快速 | +| VideoRetalk (`videoretalk`) | 视频口型替换（视频+音频） | +| Emoji | 图生表情包视频（人像+预设动态模板） | +| `video-style-transform` | 视频风格重绘，支持8种预设风格 | + +人像动画类模型（AnimateAnyone、EMO、LivePortrait、Emoji）均需先调用图像检测接口确认图片合规，再调用生成接口。 + +--- + +## 通用调用方式 + +### [异步调用](../concepts/async-invocation.md)流程 + +所有视频生成任务耗时较长（通常 1–5 分钟，视频编辑统一模型约 5–10 分钟），统一采用异步方式： + +**步骤1：创建任务** + +```bash +curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \ + -H 'X-DashScope-Async: enable' \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" \ + -H 'Content-Type: application/json' \ + -d '{ + "model": "wan2.7-t2v-2026-06-12", + "input": { "prompt": "..." }, + "parameters": { ... } + }' +``` + +返回 `task_id`，有效期 24 小时，**请勿重复创建任务**。 + +**步骤2：轮询查询结果** + +```bash +curl -X GET 'https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}' \ + -H "Authorization: Bearer $DASHSCOPE_API_KEY" +``` + +### 公共请求头 + +| Header | 说明 | +|---|---| +| `X-DashScope-Async: enable` | **必填**，缺少将报错 "current user api does not [support](../guides/support.md) synchronous calls" | +| `Authorization: Bearer ` | **必填**，使用对应地域的 API Key | +| `Content-Type: application/json` | **必填** | + +--- + +## 关键请求参数 + +### 通用参数（input） + +| 参数 | 类型 | 说明 | +|---|---|---| +| `prompt` | string | 文本提示词，支持中英文 | +| `media` | array | [多模态](../concepts/multimodal.md)输入（图像/视频/音频），通过 `type` 字段区分：`first_frame`、`last_frame`、`image_url`、`video_url`、`audio_url`、`reference_image` 等 | + +### 通用参数（parameters） + +| 参数 | 类型 | 说明 | +|---|---|---| +| `resolution` | string | 视频分辨率，如 `720P`、`1080P`、`480P` | +| `size` | string | 视频尺寸，如 `1280*720`、`1024*576` | +| `duration` | integer | 视频时长（秒），通常为 5 或 8 | +| `watermark` | boolean | 是否添加水印 | +| `audio` | boolean | 是否生成音频 | +| `seed` | integer | 随机种子，用于复现结果 | + +> **注意**：不同模型支持的 `resolution`/`size` 枚举值有差异，请以各模型的原始文档为准。部分模型（如 Vidu、PixVerse）两个参数需同时设置；万相 legacy 和 HappyHorse 仅使用 `resolution`。 -按厂商与任务类型划分，主要能力如下： +### 多镜头参数 -- **万相 Wan（2.7 新版协议）**： - - 文生视频（`wan2.7-t2v-*`），支持通过 `prompt` 自然语言控制单/多镜头。 - - 图生视频（`wan2.7-i2v-*`），支持多模态输入（文本/图像/音频/视频），可完成首帧生视频、首尾帧生视频、视频续写三大任务。 - - 参考生视频（`wan2.7-r2v-*`），多主体参考（图像+视频+音色）。 - - 视频编辑（`wan2.7-videoedit`），指令编辑与视频迁移。 -- **万相 Wan（旧版协议，2.1-2.6）**：文生视频、图生视频-基于首帧、参考生视频（`wan2.6-r2v-flash`）、首尾帧生视频（`wan2.2-kf2v-flash`）、视频编辑统一模型（`wanx2.1-vace-plus`，支持多图参考、视频重绘等 `function`）。 -- **万相人物/数字人系列**：数字人 `wan2.2-s2v`（图片+音频，需先用 `wan2.2-s2v-detect` 检测图片）、图生动作 `wan2.2-animate-move`、视频换人 `wan2.2-animate-mix`（均含 `wan-std`/`wan-pro` 两种模式）。 -- **爱诗 PixVerse**：文生视频、图生视频、首尾帧生视频（`pixverse/pixverse-c1-*`、`-v6-*`、`-v5.6-*`）、参考生视频（`-r2v`）、视频超清（`pixverse/pixverse-upscale`，固定输出 4K）、视频对口型（`pixverse/pixverse-lipsync`，支持音频驱动或 TTS 文本）、视频动作模仿（`pixverse/pixverse-motioncontrol`）。 -- **Vidu**：文生视频、图生视频、首尾帧生视频、参考生视频（`vidu/viduq3-*`、`viduq2_*`）。 -- **可灵 Kling**：一个模型（`kling/kling-v3-video-generation`、`kling/kling-v3-omni-video-generation`）统一支持文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑，并支持智能分镜/多镜头（`multi_shot`、`shot_type`、`multi_prompt`）。 -- **HappyHorse**：文生视频、图生视频-基于首帧、参考生视频（多图像）、视频编辑。 -- **人像驱动系列（两步调用：先检测后生成）**：舞动人像 AnimateAnyone（图生舞蹈）、悦动人像 EMO（图生唱演，`style_level` 控制风格强度）、灵动人像 LivePortrait（图生播报）、表情包 Emoji（预设模板 `driven_id`）、声动人像 VideoRetalk（口型替换）、视频风格重绘 `video-style-transform`（8 种预设风格）。 +wan2.7-t2v、wan2.6 图生视频、PixVerse c1、可灵 v3 均支持多镜头： +- **万相2.7 / PixVerse c1**：在 `prompt` 中用自然语言描述多镜头，无需额外参数 +- **可灵**：设置 `multi_shot: true`，通过 `shot_type` 和 `multi_prompt` 控制分镜 -## 关键参数 +--- -请求体主要由 `model`、`input`、`parameters` 三部分构成： +## Endpoint 与地域 -- `model`：模型名称，决定能力与协议版本。 -- `input`：任务输入。文生类用 `prompt`；图生/参考/编辑类多用 `media` 数组（`type` 可为 `image_url`/`first_frame`/`last_frame`/`video_url`/`audio_url`/`reference_image` 等），部分旧版模型用 `image_url`/`video_url`/`audio_url`/`first_frame_url`/`last_frame_url`/`ref_images_url` 等独立字段。 -- `parameters`：常见有 `resolution`（如 `480P`/`540P`/`720P`/`1080P`）、`size`（如 `1280*720`）、`duration`（秒）、`watermark`、`prompt_extend`（智能改写）、`audio`、`shot_type`/`multi_shot`（分镜）、`seed`、`style`/`style_level` 等，具体取值随模型不同。 +| 地域 | Endpoint（推荐） | +|---|---| +| 华北2（北京） | `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` | +| 新加坡 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` | +| 美国（弗吉尼亚，仅 HappyHorse/万相 legacy） | `https://dashscope-us.aliyuncs.com` | +| 德国（法兰克福，仅 HappyHorse/万相 legacy） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com` | -> **注意**：多镜头控制方式在不同模型间不一致。万相 2.7 与 PixVerse-c1 通过 `prompt` 自然语言描述控制，设置 `shot_type` 不生效；而旧版万相 2.6（见 [万相-文生视频（2.1-2.6）](../../raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-wan-text-to-video-api-reference.md)）需显式设置 `shot_type: "multi"` 且 `prompt_extend: true` 才能启用多镜头。接入前务必确认所用模型的具体协议。 +> **注意**：百炼已为北京和新加坡地域推出业务空间专属域名（`{WorkspaceId}.xxx.maas.aliyuncs.com`），性能和稳定性更高，建议从旧域名（`dashscope.aliyuncs.com` / `dashscope-intl.aliyuncs.com`）迁移至新域名。PixVerse、Vidu、可灵、人像动画系列的示例代码中仍使用旧域名，实际使用时建议替换为新域名。 -## 地域与域名 +**模型、Endpoint URL 和 API Key 必须属于同一地域**，跨地域调用会导致鉴权失败。 -- **必须保证模型、Endpoint URL 与 API Key 属于同一地域**，跨地域调用会失败（鉴权失败或服务报错）。 -- 多数第三方模型（PixVerse、Vidu、Kling、数字人等）**仅支持华北2（北京）地域**；万相与 HappyHorse 部分能力还支持新加坡、美国（弗吉尼亚）、德国（法兰克福）等地域。 -- 百炼为华北2（北京）、新加坡地域推出了业务空间专属域名，提供更高性能与稳定性，建议迁移： - - 华北2（北京）：`https://dashscope.aliyuncs.com` → `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` - - 新加坡：`https://dashscope-intl.aliyuncs.com` → `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` - - `{WorkspaceId}` 为业务空间 ID，可在控制台「业务空间详情」查看；现有域名仍可正常使用。 +--- -## 限制与注意事项 +## 使用限制与注意事项 -- **版本选型**：万相已推出 2.7 新版协议，[万相2.7-图生视频](../../raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md) 支持首帧/首尾帧/续写三大任务，官方推荐优先选用；旧版 wan2.6 及更早模型仅支持首帧生视频。新旧协议接口不通用，`wan2.7-*` 只走新版协议。 -- **服务开通**：PixVerse、Vidu、Kling 等第三方模型需先在百炼控制台模型广场搜索并「立即开通」授权后方可调用。 -- **两步式模型**：数字人、AnimateAnyone、EMO、LivePortrait、Emoji 等需先调用对应的 `-detect` 检测模型确认图片合规（如清晰度、单人、正面），再调用生成模型。检测模型多为同步调用（如 `wan2.2-s2v-detect` 0.004 元/张）。 -- **限流**：视频生成模型通常「同时处理中任务数量」限制较低（多为 1，即同一时刻仅 1 个作业运行，其余排队），任务下发接口 RPS/QPS 约为 5，接入时需做好排队与重试。 -- **计费**：多按生成视频时长计费（如 LivePortrait 0.02 元/秒、EMO/VideoRetalk/AnimateAnyone 0.08 元/秒、数字人 720P 0.9 元/秒），`wan-pro` 等专业模式价格高于标准模式。 -- VideoRetalk 目前仅支持 API 调用，不支持控制台在线体验。 +1. **并发限制**：人像动画类模型（AnimateAnyone、EMO、LivePortrait、VideoRetalk）同时处理中的任务数量通常为 1，其他任务排队等待。 +2. **图片合规检测**：AnimateAnyone、EMO、LivePortrait、Emoji 必须先通过检测接口（如 `animate-anyone-detect-gen2`、`emo-detect-v1`、`liveportrait-detect`）验证输入图片，检测接口为同步调用。 +3. **task_id 有效期**：24 小时内有效，超期返回 `UNKNOWN` 状态，请及时轮询。 +4. **旧版 API 路径差异**：万相2.2 首尾帧生视频（`legacy-image-to-video-by-first-and-last-frame`）和万相图生动作/视频换人使用 `/api/v1/services/aigc/image2video/video-synthesis`，而非通用的 `/api/v1/services/aigc/video-generation/video-synthesis`，详见 [万相-首尾帧生视频API参考（2.2）](../../raw/model-api-reference/video-generation-api/wan-api-reference/legacy-video-models/legacy-image-to-video-by-first-and-last-frame-api-reference.md)。 +5. **服务开通**：PixVerse、Vidu、可灵模型需要在百炼控制台手动搜索并开通，未开通直接调用会报错。 +6. **模型部署模式**：AnimateAnyone 和 EMO 支持后付费调用和独立部署两种模式，独立部署为预付费，按算力单元计费，支持更高并发。 ## 来源文档 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/agent-extensibility.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/agent-extensibility.md new file mode 100644 index 00000000..6c011a5c --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/agent-extensibility.md @@ -0,0 +1,70 @@ +# 插件、MCP 与工具框架对比 + +阿里云百炼为大模型应用提供了三条主流"扩能"路径：**插件（Plug-in）**、**模型上下文协议（MCP）** 与 **工具框架（Toolkits & Frameworks，[OpenAI 兼容接口](../concepts/openai-compatible-interface.md)体系）**。三者定位不同——插件偏向平台预置能力的即插即用，MCP 面向跨系统标准化工具接入，工具框架则聚焦于让既有 OpenAI/LangChain 生态无缝迁移到百炼。本页从形态、集成方式、模型支持、调用协议、计费与典型场景等维度做一次横向对比，帮助开发者在技术选型阶段快速定位合适方案。 + +## 对比背景 + +- **插件**：百炼原生的工具集合概念，一个插件下挂多个工具（API），可通过智能体应用、工作流应用或 Assistant API 触发。分为官方插件、三方插件、自定义插件三类。 +- **MCP**：Anthropic 主导的开源协议，百炼提供官方托管与自定义部署两种服务形态，重点解决"一次接入、多处复用"的工具标准化问题。 +- **工具框架 / [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)**：百炼针对通义千问等模型提供的一整套与 OpenAI 高度兼容的接口（Chat Completions、Responses、Completions、Embedding、Files、Batch、Conversations 等），并可直接对接 LangChain / LangChain4j 等社区框架。 + +## 关键维度对比 + +| 维度 | 插件（Plug-in） | 模型上下文协议（MCP） | 工具框架（Toolkits & Frameworks） | +| --- | --- | --- | --- | +| 本质 | 平台内工具集合，扩展模型能力边界 | 大模型与外部工具间的开源标准协议 | OpenAI 兼容 API 与主流框架适配层 | +| 提供形态 | 官方插件 / 三方插件 / 自定义插件 | 官方 MCP 服务 / 自定义 MCP 服务（脚本部署 / AI 网关 / 阿里云 OpenAPI） | Chat Completions、Responses、Completions、Embedding、Files、Batch、Conversations 等接口 | +| 集成入口 | 智能体应用、工作流应用、Assistant API | 智能体应用、工作流应用；也支持外部第三方客户端（Cherry Studio、Cursor 等）与个人项目 SDK | OpenAI SDK / HTTP，直接调用模型；也可被 LangChain 等框架封装 | +| 与模型的交互协议 | 平台内部触发，由模型基于名称与描述判断是否调用工具 | 遵循 MCP 协议（Streamable HTTP，旧版 SSE 已升级） | OpenAI 兼容协议（REST / SSE 流式） | +| 支持模型 | qwen-turbo / qwen-plus / qwen-max / qwen-vl-max / qwen-vl-plus（以控制台实测为准） | 智能体或工作流中使用的模型（推荐千问 3 系列以获得更稳定的工具调用） | Qwen 商业版与开源版、Qwen-VL、Qwen-Coder、Qwen-Omni、Qwen-Math，以及 DeepSeek、Kimi、GLM、MiniMax 等三方模型 | +| 每个应用可挂载数量 | 智能体应用最多 **10 个工具** | 单个智能体最多 **5 个 MCP 服务**；工作流单节点仅支持 1 个工具 | 无平台侧数量限制（受模型上下文与开发者代码控制） | +| 典型 API 端点 | 通过 Assistant API 传 `tool_id`（如 `calculator`） | 云端：`https://dashscope.aliyuncs.com/api/v1/mcps//mcp`；`type` 必须与端点匹配（`sse` → GET `/sse`，`streamableHttp` → POST `/mcp`） | 各地域 `/compatible-mode/v1` 前缀 + 资源路径（`/chat/completions`、`/responses`、`/embeddings`、`/files` 等） | +| 鉴权方式 | 平台内部授权 + 服务关联角色（`AliyunServiceRoleForSFMAccessCloudAPI`）；自定义插件支持 `basic` / `bearer` / `appcode` | `Authorization: Bearer `；敏感信息可用 KMS 凭据加密 | `api_key` 使用[百炼 API Key](https://help.aliyun.com/zh/model-studio/get-api-key)（`DASHSCOPE_API_KEY`），各地域独立 | +| 是否可直连千问 API | 通过 Assistant API 可直接调用 | **不支持**直连千问 API，必须挂在智能体或工作流内 | 直接调用模型，无需应用层封装 | +| 本地资源访问 | 由自定义插件的后端实现决定 | 托管在函数计算 FC，**不能访问用户本地资源**；如需访问建议在本地部署 MCP Server | 由开发者的应用代码自行处理 | +| 上下文与多轮管理 | 由智能体/工作流内部拼接 | 工具返回内容作为上下文注入模型，会增加 Token 消耗 | Responses + Conversations 可通过 `previous_response_id`（有效期 7 天）自动管理多轮 | +| 计费方式 | 官方插件：多数免费，部分限时免费需申请；三方/自定义按第三方或业务实际计费 | 云部署：限时免部署费，联网搜索超 2000 次后 29 元/千次；自定义部署：基础模式 0.000156 元/秒；极速模式 0.000036 元/秒（部署）+ 0.000156 元/秒（调用） | 按所调用模型的推理 Token 计费；Batch、文件、Embedding 各接口按对应资源计费 | +| 生态兼容性 | 百炼平台专有 | 遵循 MCP 开源标准，可跨支持 MCP 的客户端/项目复用 | 与 OpenAI SDK、LangChain 等生态高度兼容，迁移成本低（改 `api_key`/`base_url`/`model` 三项） | +| 常见错误码 | RAM 授权 140052 等 | `11200044`~`11200060` 系列（连接、超时、鉴权、协议错配 405/404） | 参考 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)的错误规范 | + +## 适用场景建议 + +- **优先选择"插件"的场景** + - 需要"开箱即用"的通用能力：Python 代码解释器、计算器、图片生成、夸克搜索、二维码、GitHub 搜索等。 + - 希望在百炼智能体或工作流中以最低成本让模型具备工具调用能力，且工具形态是较为传统的 REST API。 + - 团队的能力扩展只服务于百炼平台，不需要跨系统标准化。 + +- **优先选择"MCP"的场景** + - 已有多个 Agent 客户端（Cursor、Cherry Studio、自研项目）需要**复用同一套工具**，希望走标准协议避免重复接入。 + - 存在需要通过阿里云 OpenAPI 操作 OSS/ECS 等云资源、或将存量 RESTful API 通过 AI 网关升级为标准工具的诉求。 + - 需要在同一个智能体中组合多个高质量官方服务（如 Amap Maps + QuickChart + WebSearch）完成路径规划、数据可视化、联网检索等复合任务。 + - 对调用频次与冷启动敏感时，选择极速模式；对偶发调用敏感时，选择基础模式。 + +- **优先选择"工具框架 / OpenAI 兼容接口"的场景** + - 已有基于 OpenAI SDK 或 LangChain / LangChain4j 的成熟应用，希望以最小代价迁移到百炼。 + - 需要直接对模型进行编排、控制多轮上下文、批量推理、文档抽取、代码补全（如 `qwen-coder-turbo`）、文本或多模态 Embedding 等能力。 + - 需要在 Chat Completions 之上使用 **Responses API** 的内置工具（联网搜索、网页抓取、代码解释器、文搜图/图搜图）与 `previous_response_id` 免拼接多轮机制。 + - 关注多地域部署（北京、新加坡、东京、法兰克福、弗吉尼亚），需要业务空间专属域名（`{WorkspaceId}..maas.aliyuncs.com`）。 + +## 组合使用建议 + +三者并非互斥关系，实际落地时经常组合出现： + +1. **对话入口 = 智能体应用（挂载插件 + MCP）**：让模型可以按对话上下文自动路由至代码解释、地图、联网搜索等能力。 +2. **业务后端 = OpenAI 兼容接口**：由业务侧直接调用 `chat/completions`、`responses` 或 `embeddings` 完成结构化生成、向量检索、代码补全等确定性任务。 +3. **跨平台复用 = MCP**：将高价值内部工具沉淀为 MCP 服务，同时被百炼智能体、Cursor 等第三方客户端与自研 Agent 共享。 + +## 技术选型速查 + +- 只想"给通义千问加几个能力"、又不想写后端 → **插件**（尤其是官方插件）。 +- 已经/即将在多个 Agent 客户端之间复用工具，或需要操作阿里云资源 → **MCP**。 +- 已有 OpenAI/LangChain 代码或需要 Batch、Embedding、Responses 等原生接口 → **工具框架 / OpenAI 兼容接口**。 +- 复杂业务：三者组合，用工具框架承担确定性接口调用，用 MCP 承担跨端标准工具，用插件补齐平台内即用能力。 + +## 被对比主题页 + +- [plug in](../guides/plug-in.md) +- [model context protocol](../guides/model-context-protocol.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-approaches.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-approaches.md new file mode 100644 index 00000000..8369ebd6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-approaches.md @@ -0,0 +1,91 @@ +# 应用调用方式对比 + +百炼平台围绕"应用"提供了多套 API 与接入路径，开发者在技术选型时常面临选择困难：是用 OpenAI 兼容的 Responses API，还是用 DashScope API？是走 SDK 还是裸 HTTP？管理类操作（知识库、数据连接、Prompt 模板）又该用哪套接口？本页从定位、端点、认证、功能覆盖、SDK 支持等维度对三种方式做横向对比，帮助开发者快速决策。 + +## 对比对象概览 + +| 对比项 | Responses API（OpenAI 兼容） | DashScope API（应用调用） | 应用组件 OpenAPI（bailian/2023-12-29） | +|--------|------------------------------|--------------------------|---------------------------------------| +| 定位 | 运行时调用智能体/工作流应用 | 运行时调用智能体/工作流应用 | 应用资源管理（数据、知识库、Prompt 模板、记忆等） | +| 协议风格 | OpenAI Responses 兼容 | 百炼自有 REST | 阿里云 ROA 签名风格 | +| 典型用途 | 对话交互、[多模态](../concepts/multimodal.md)输入、异步任务 | 对话交互、多轮会话、自定义参数透传 | 文件上传、知识库构建、Prompt 模板 CRUD、数据连接管理 | +| 是否触发模型推理 | 是 | 是 | 否（管理类操作） | + +## 关键维度对比 + +| 维度 | Responses API | DashScope API | 应用组件 OpenAPI | +|------|--------------|--------------|-----------------| +| Endpoint | `POST /api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | `POST /api/v1/apps/{APP_ID}/completion` | `https://bailian..aliyuncs.com` 下多路径 | +| 认证方式 | [API Key](../concepts/api-key.md)（`Authorization: Bearer`） | [API Key](../concepts/api-key.md)（SDK 自动读取 `DASHSCOPE_API_KEY`） | RAM 主账号 / RAM 子账号（需百炼权限 + [业务空间](../concepts/workspace.md)） | +| SDK | OpenAI Python/Java SDK | DashScope Python/Java SDK；同时支持 HTTP（Node.js/PHP/C#/Go/curl） | 阿里云 SDK（多语言 ROA 风格） | +| 多轮对话 | 通过 `input` 数组传完整历史 | `session_id`（云端托管，1 小时有效）或自行管理 `messages` | 不涉及 | +| [流式输出](../concepts/streaming.md) | `stream=true`（工作流需启用开关并重新发布） | 支持 | 不涉及 | +| [异步调用](../concepts/async-invocation.md) | `background=true`（创建→轮询→取结果） | 暂不支持 | 部分 Job 类接口异步执行（如 `SubmitIndexJob`） | +| [多模态](../concepts/multimodal.md)输入 | 支持 `input_image` / `input_file` | 支持（取决于应用配置） | 文件上传走 `ApplyFileUploadLease` → `AddFile` | +| 自定义参数透传 | 不直接支持 | `biz_params.user_defined_params` | 不涉及 | +| 适用地域 | 华北2（北京） | 华北2（北京） | 华北2（北京）、新加坡等 | +| 限流策略 | 按应用/模型维度 | 按应用/模型维度 | 文件类 5–10 次/秒，需退避重试 | + +## 各方案适用场景 + +### Responses API（OpenAI 兼容模式） + +**推荐场景：** +- 团队已有 OpenAI SDK 技术栈，希望最低成本迁移到百炼。 +- 需要异步执行长耗时任务（生成报告、多步骤工具调用），利用 `background` 模式避免请求超时。 +- 需要[多模态](../concepts/multimodal.md)输入（图像、文件），且使用 OpenAI SDK 的 `input_image` / `input_file` 类型。 + +**局限：** +- 暂不支持 `biz_params` 自定义参数透传。 +- 异步任务不支持[流式输出](../concepts/streaming.md)。 +- 地域仅华北2（北京）。 + +### DashScope API（应用调用） + +**推荐场景：** +- 需要多语言 SDK 支持（Python/Java 之外还有 Node.js/PHP/C#/Go 的 HTTP 调用）。 +- 需要通过 `session_id` 让百炼云端托管多轮对话上下文，简化客户端逻辑。 +- 智能体应用使用了自定义插件，需要通过 `biz_params.user_defined_params` 透传业务参数。 +- 工作流应用需通过 `messages` 自行管理对话历史，获得更灵活的上下文控制。 + +**局限：** +- 不支持[异步调用](../concepts/async-invocation.md)模式。 +- 多轮对话 `session_id` 有效期 1 小时，最多 50 轮。 + +### 应用组件 OpenAPI（bailian/2023-12-29） + +**推荐场景：** +- 需要通过 API 管理数据连接（文件上传、类目、解析器、连接器）。 +- 需要编程式创建和管理知识库（`CreateIndex` → `SubmitIndexJob` → `SubmitIndexAddDocumentsJob`）。 +- 需要通过 API 维护 Prompt 模板（`CreatePromptTemplate` / `ListPromptTemplates` 等）。 +- 需要管理记忆（Memory）、临时存储与支付流转等应用侧资源。 +- RAM 子账号需要操作级权限控制（`AliyunBailianDataFullAccess` / `AliyunBailianDataReadOnlyAccess`）。 + +**局限：** +- 这是管理类 API，不触发模型推理；运行时调用仍需走 Responses API 或 DashScope API。 +- 授权粒度为操作级，不支持资源级授权；细粒度隔离需通过[业务空间](../concepts/workspace.md)实现。 +- 文件类接口限流较严（5–10 次/秒），批量操作需注意退避重试。 + +## 选型决策流程 + +1. **需要管理应用资源（数据/知识库/Prompt 模板）吗？** → 是 → 使用应用组件 OpenAPI；运行时调用再从下面两选一。 +2. **已有 OpenAI SDK 技术栈或需要[异步调用](../concepts/async-invocation.md)吗？** → 是 → 使用 Responses API。 +3. **需要 `session_id` 托管多轮对话、多语言 HTTP 调用或自定义参数透传吗？** → 是 → 使用 DashScope API。 +4. **两者均可用时** → 优先选择与现有技术栈兼容性更好的一方；若需要异步能力则必须选 Responses API。 + +## 小结 + +三种方式并非互斥，而是面向不同层面的互补关系： + +- **Responses API 和 DashScope API** 都属于运行时调用层，负责触发应用执行并返回推理结果，开发者按生态兼容性和功能需求二选一即可。 +- **应用组件 OpenAPI** 属于管理层，负责应用所依赖的数据、知识库和模板的创建与维护，与运行时调用层配合使用才能完成端到端的应用集成。 + +实际项目中，典型组合是：先用应用组件 OpenAPI 完成知识库构建和文件上传，再通过 Responses API 或 DashScope API 调用已发布的应用进行对话交互。 + +## 被对比主题页 + +- [application call](../api/application-call.md) +- [bailian application calling](../guides/bailian-application-calling.md) +- [application component api reference](../api/application-component-api-reference.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md index c3c897e5..d7b2b62a 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-calling-comparison.md @@ -1,51 +1,64 @@ -# 应用调用方式对比：API 直调与百炼应用调用 +# 应用调用方式对比 -阿里云百炼平台为已编排好的应用（智能体、工作流、新版智能体 Agent 2.0）提供两套对外调用路径：一是面向 OpenAI 生态的 **Responses API（OpenAI 兼容模式）**，二是面向百炼原生的 **DashScope `Application.call` / `/completion` API**。两者底层均指向同一个 `APP_ID`，但在端点形态、SDK 选型、输入结构、多轮与多模态能力、扩展参数等方面存在差异。本文从技术选型视角对比两种方式，帮助开发者根据现有技术栈与功能需求做出取舍。 +本页对比阿里云百炼平台调用智能体应用和工作流应用的两种 API 方式——**OpenAI 兼容的 Responses API** 与 **DashScope API**，帮助开发者根据生态兼容性、异步能力、多模态支持等需求做出技术选型。两种方式均可调用智能体应用和工作流应用，核心凭证一致（APP ID + API Key），但在端点、SDK、多轮对话机制、异步调用等维度存在差异。 + +## 前提条件 + +无论选择哪种方式，均需完成以下准备： + +- 获取 **API Key**，配置到环境变量 `DASHSCOPE_API_KEY`。 +- 获取 **APP ID**（从控制台「应用管理」页面复制）。若应用位于子业务空间，还需提供 **Workspace ID**。 +- 已创建并发布百炼应用（智能体或工作流应用）。 +- 安装对应 SDK：Responses API 用 OpenAI SDK，DashScope API 用 DashScope SDK（或直接 HTTP 调用）。 + +> 目前 APP ID 和 Workspace ID 只能通过控制台手动获取，不支持 API 或 CLI 查询。 ## 关键维度对比 -| 维度 | OpenAI 兼容 Responses API（API 直调） | DashScope 原生 API（百炼应用调用） | -| --- | --- | --- | -| 调用端点 | `POST https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | `POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion` | -| SDK 选型 | OpenAI SDK（多语言） | DashScope SDK（Python / Java），或直接 HTTP | -| base_url 配置 | `https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1` | 无需 base_url，SDK 内置或直接 POST | -| 输入格式 | `input` 为字符串或消息数组，`role` 取 `system`/`user`/`assistant`，多模态 `content` 为数组（`input_text`/`input_image`/`input_file`） | `input.prompt` 字符串，或 `messages` 数组（自行管理多轮历史） | -| 输出格式 | OpenAI Responses 结构，`response.output` 等 | `{"output": {"finish_reason","session_id","text"}, "usage":{...}, "request_id":"..."}`，业务侧消费 `output.text` | -| 支持模型 | 智能体、工作流、新版智能体 Agent 2.0 | 智能体应用、工作流应用（[智能体编排](../concepts/agent-orchestration.md)应用已被工作流应用替代） | -| 同步/异步 | 支持 `background` 异步执行，同步默认；流式 `stream=true` | 主要为同步调用，`session_id` 由云端管理历史 | -| [流式输出](../concepts/streaming-output.md) | 支持（`stream=true`），异步暂不支持流式 | 通过 SDK / HTTP 支持（详见调用文档） | -| 多轮对话 | 传递完整 `input` 消息数组；基于 `pre_response_id`/`conversation_id` 的上下文能力后续支持 | 两种方式：`session_id`（云端托管，1 小时有效、最多 50 轮）或自行维护 `messages`（推荐，更灵活） | -| 多模态 | 原生支持文本、图像、文件（`input_file` 仅智能体应用支持） | 通过 `messages` 与应用内编排支持 | -| 自定义参数透传 | 通过 `input`/应用编排间接实现 | `biz_params.user_defined_params` 透传至自定义插件与工作流插件节点 | -| 业务空间 | 默认空间仅需 APP ID；子空间或海外地域需在请求中包含 Workspace ID | 同样需要 APP_ID；子空间按地域 Base URL 处理 | -| 典型场景 | 复用现有 OpenAI 代码库与工具链、多模态交互、统一 OpenAI 协议接入 | 全面功能与更高性能、自定义插件参数透传、Java/Node.js 直接 HTTP 集成 | - -## 适用场景建议 - -**OpenAI 兼容 Responses API 适合：** - -- 已有 OpenAI SDK 代码资产、希望以最小改动接入百炼应用的团队。 -- 需要多模态输入（文本 + 图像 + 文件）的智能体交互场景。 -- 希望统一在 OpenAI 协议生态下做模型/应用切换、保持代码中立。 -- 需要异步执行（`background`）与[流式输出](../concepts/streaming-output.md)能力的实时或长任务交互。 - -**DashScope 原生 `/completion` API 适合：** - -- 追求更全面功能与更高性能，使用百炼原生能力（如自定义插件参数透传 `biz_params`）。 -- Java/Node.js 项目希望直接以 HTTP 方式集成，不引入 OpenAI SDK 依赖。 -- 工作流应用需要通过 `session_id` 让云端托管对话历史，简化多轮实现。 -- 需要在工作流大模型节点中配合 `historyList` 变量精细控制提示词与上下文。 - -## 技术选型建议 - -1. **优先看协议生态**：若团队代码栈已围绕 OpenAI SDK 构建（含观测、重试、流式解析），选 Responses API 可降低迁移与维护成本；若以阿里云/DashScope 体系为主，选原生 API 更顺。 -2. **看扩展能力**：自定义插件参数透传（`biz_params.user_defined_params`）目前是原生 API 的明确能力，需要此能力的场景应选原生 API。 -3. **看多轮管理偏好**：希望云端托管历史、降低客户端状态复杂度，用原生 API 的 `session_id`；希望完全自控历史与上下文，两套 API 都支持 `messages` 数组方式。 -4. **看多模态需求**：图像、文件等多模态输入在 Responses API 中有标准化的 `content` 数组结构，接入更直接；原生 API 需结合应用编排实现。 -5. **看地域与业务空间**：两套 API 均支持默认空间仅凭 APP ID 调用；子业务空间或海外地域需携带 Workspace ID，选型不影响该约束，但需在请求中正确拼装。 -6. **凭证一致**：两套方式都使用同一份 `DASHSCOPE_API_KEY`，无需为不同调用方式分别管理密钥，切换成本主要在 SDK 与请求结构层面。 - -综上，两种方式并非互斥：同一 `APP_ID` 可同时被两套 API 调用，团队可按业务模块分别选型——面向外部生态集成用 Responses API，面向内部能力扩展用原生 API。 +| 维度 | Responses API（OpenAI 兼容） | DashScope API | +|------|------------------------------|---------------| +| API 端点 | `POST .../api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | `POST .../api/v1/apps/{APP_ID}/completion` | +| SDK | OpenAI Python / Java SDK | DashScope Python / Java SDK | +| HTTP 调用语言 | 任意支持 HTTP 的语言 | Python、Java、PHP、Node.js、C#、Go 等 | +| 多轮对话 | 通过 `input` 数组传递完整消息历史（role + content） | `session_id`（系统托管，有效期 1 小时，最多 50 轮）或自行维护 `messages` 数组 | +| 异步调用 | 支持，设置 `background=true`，返回任务 ID 后轮询 | 暂不支持 | +| 流式输出 | 支持，设置 `stream=true` | 支持（工作流应用需在结束节点启用流式开关并重新发布） | +| 多模态输入 | 支持图像（`input_image`）和文件（`input_file`） | 通过应用编排配置 | +| 自定义参数透传 | 未提供 | 支持，通过 `biz_params.user_defined_params` 传递业务参数 | +| 可用地域 | 仅华北2（北京） | 仅华北2（北京） | +| 响应结构 | OpenAI 标准响应格式 | `{"output": {"text", "session_id", "finish_reason"}, "usage": {...}, "request_id": "..."}` | +| 典型场景 | OpenAI 生态兼容、异步长任务、多模态交互 | 深度集成百炼能力、多语言调用、自定义参数透传 | + +## Responses API 适用场景 + +Responses API 提供 OpenAI 兼容接口，适合以下场景： + +- **OpenAI 生态复用**：已有基于 OpenAI SDK 的代码或服务，可平滑迁移到百炼，仅需替换 `base_url` 和 `api_key`。 +- **异步长任务**：如生成报告、多步骤工具调用等耗时任务，通过 `background=true` 异步执行，避免请求超时。流程为创建任务 → 轮询状态 → 获取结果。 +- **多模态输入**：需同时传入图像或文件的场景，通过 `input_image` / `input_file` 类型在 `content` 数组中混合多种输入。 + +> 异步任务暂不支持流式输出（`stream=true`）。 + +## DashScope API 适用场景 + +DashScope API 提供更全面的功能支持，适合以下场景： + +- **多语言集成**：除 Python/Java SDK 外，还支持 PHP、Node.js、C#、Go 等语言的 HTTP 直接调用，适合异构技术栈。 +- **自定义参数透传**：通过 `biz_params.user_defined_params` 向自定义插件或自定义节点传递业务参数，实现动态配置。 +- **Session 托管**：通过 `session_id` 让系统自动加载历史对话，减少客户端维护成本（有效期 1 小时，最多 50 轮）。如需更灵活的控制，也可自行管理 `messages` 数组。 +- **工作流应用深度集成**：工作流应用支持在调用时传递自定义参数、配置提示词变量 `historyList` 等能力。 + +## 选型建议 + +| 需求 | 推荐方案 | +|------|----------| +| 已有 OpenAI SDK 代码，希望快速接入 | Responses API | +| 需要异步执行长耗时任务 | Responses API（`background=true`） | +| 需要多模态（图像/文件）输入 | Responses API | +| 需要多语言 HTTP 调用（非 Python/Java） | DashScope API | +| 需要向自定义插件/节点透传业务参数 | DashScope API | +| 希望由系统托管对话上下文 | DashScope API（`session_id`） | +| 需要完全控制对话历史 | 两者皆可（Responses 用 `input` 数组，DashScope 用 `messages` 数组） | ## 被对比主题页 @@ -53,5 +66,3 @@ - [bailian application calling](../guides/bailian-application-calling.md) - - diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-eval-vs-model-eval.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-eval-vs-model-eval.md new file mode 100644 index 00000000..5ec2e77a --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-eval-vs-model-eval.md @@ -0,0 +1,74 @@ +# 应用评测与模型评测对比 + +百炼平台提供两套相互独立的评测体系：**应用评测**面向已发布的智能体/工作流应用，评估其端到端输出质量；**模型评测**面向基础模型本身，衡量模型的推理能力和回答质量。两者的评测对象、数据格式、评分机制和适用场景均有显著差异，开发者在做技术选型时需要根据实际需求加以区分。 + +## 核心维度对比 + +| 维度 | 应用评测 | 模型评测 | +|------|----------|----------| +| **评测对象** | 智能体应用、工作流应用（端到端） | 文本生成类基础模型 | +| **评测目的** | 评估 RAG 流程、知识库配置、提示词等整体输出质量 | 评估模型本身的推理、理解、生成能力 | +| **数据输入格式** | 旧版：`.xls`/`.xlsx`（对话分析）或 `.jsonl`（知识问答）；新版：根据应用出入参定义的评测集 | 含 Prompt + Completion 列的评测数据集，或已有推理结果集 | +| **评分机制** | 自动评测（qwen-max/qwen-plus 评分）、手动人工打分、新版评估器（LLM/Code） | 大模型评估（裁判模型打分）、规则评估（ROUGE/BLEU/Cosine/字符串匹配）、人工评估 | +| **评分器/维度** | 新版评估器：预置模板 + LLM 评估器 + Code 评估器，每任务最多 10 个 | 评测维度：大模型评估（数值型/分类型）、规则评估（相似度/字符串匹配）、人工评估（分类型） | +| **基线评测** | 不支持 | 支持（C-Eval、MMLU、GSM8K、BBH 等公开数据集，仅北京地域） | +| **多对象横向对比** | 支持（最多 8 个应用或版本同台对比） | 支持（通过排行榜绑定进行模型间排名对比） | +| **归因分析** | 有（将 BadCase 定位到 RAG 流程具体环节：检索/重排/切片/模型理解） | 无内置归因；通过逐条评分数据自行分析 | +| **计费构成** | 评估模型 Token 费用（LLM 评估器产生）；Code 评估器无额外费用 | 被评测模型推理费用 + 裁判模型评分费用；使用推理结果集可免去推理费用 | +| **操作方式** | 控制台 + 新旧两套系统 | 仅控制台，无公开 API/SDK | +| **前提条件** | 应用须已发布并配置知识库；须开通应用观测 | 无需应用，仅需准备数据集和评测维度 | +| **数据规模建议** | 视应用复杂度而定，评测集基于知识库自动生成或手动上传 | 小规模验证 50-100 条，正式评测 200-500 条，全面评估 500+ 条 | + +## 评估器 / 评测维度对比 + +| 类型 | 应用评测（评估器） | 模型评测（评测维度） | +|------|------------------|------------------| +| 大模型语义打分 | LLM 评估器（裁判模型） | 大模型评估-数值型 / 分类型 | +| 规则/代码判断 | Code 评估器（Python 脚本） | 规则评估-文本相似度 / 字符串匹配 | +| 人工标注 | 标签（分类/布尔/数字/文本） | 人工评估-分类型（Pass/Fail） | +| 预置模板 | 有（通用质量、智能体、格式校验等） | 无专用模板，自行配置评分器 Prompt | +| 需要参考答案 | 否（LLM 评估器）；是（部分 Code 评估器） | 规则评估需要；大模型评估和人工评估不需要 | + +## 各方案适用场景建议 + +### 选择应用评测的场景 + +- 已有上线的智能体或工作流应用，希望评估知识库配置、RAG 流程或提示词的整体效果。 +- 需要对同一应用的多个版本进行 A/B 对比，或在多个候选应用中做横向选型。 +- 需要将 BadCase 归因到 RAG 具体环节（检索策略、切片配置等），从而指导优化。 +- 知识库更新后，需要持续回归评测确认质量没有下降。 + +### 选择模型评测的场景 + +- 在选型阶段，需要横向对比不同基础模型（如 Qwen 各规格）的推理能力和任务表现。 +- 完成模型微调/调优后，需要验证调优效果是否达到预期。 +- 需要在标准公开基准（C-Eval、MMLU 等）上快速获得模型基础能力数据。 +- 评测对象是裸模型而非应用，无需关注 RAG 流程的影响。 + +### 两者结合使用 + +在完整的 LLM 应用开发生命周期中，两者可以形成互补：先用**模型评测**选出基础能力最优的模型，再用**应用评测**验证该模型在具体应用场景下的端到端表现，并持续迭代优化 RAG 配置。 + +## 技术选型参考 + +``` +需要评测的对象是： +├─ 基础模型本身 → 模型评测 +│ ├─ 有公开基准需求 → 基线评测（仅北京地域） +│ └─ 自有数据集 → 自定义评测 +│ ├─ 有标准答案且格式固定 → 规则评估（ROUGE/字符串匹配） +│ ├─ 有标准答案但表述多样 → 规则评估（文本相似度） +│ ├─ 无标准答案需语义理解 → 大模型评估 +│ └─ 需主观判断 → 人工评估 +└─ 智能体/工作流应用 → 应用评测 + ├─ 需要 RAG 归因分析 → 自动评测 + ├─ 多应用/版本对比 → 自动评测（横向评测模式） + └─ 领域专家主观评审 → 手动评测 / 新版标签标注 +``` + +## 被对比主题页 + +- [application evaluation](../guides/application-evaluation.md) +- [model evaluation introduction](../guides/model-evaluation-introduction.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/application-lifecycle-management.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-lifecycle-management.md new file mode 100644 index 00000000..4ef8a0c2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/application-lifecycle-management.md @@ -0,0 +1,74 @@ +# 应用评估、监控与权限管理对比 + +在阿里云百炼平台上，应用从开发到上线运营涉及三个互补的能力：**应用评估**（Application Evaluation）用于回答质量的系统化打分与调优，**应用观测**（Application Monitoring）用于运行期链路追踪与指标监控，**权限管理**（Application Permission Management）用于组织内资源与功能的访问控制。三者共同构成应用生命周期管理的闭环，但在使用主体、数据形态、开通方式和计费模式上差异显著。本文横向对比三项能力，为开发者做技术选型和落地路径决策提供参考。 + +## 定位速览 + +- **应用评估**：面向应用回答质量，"生成 → 评分 → 归因 → 迭代"的离线质量闭环。 +- **应用监控**：面向应用运行时行为，端到端追踪调用链路、延时和 Token 消耗，指标分钟级更新。 +- **权限管理**：面向组织与资源，围绕业务空间与角色划分模型、页面、API-Key 的访问范围。 + +## 关键维度对比 + +| 维度 | 应用评估 | 应用监控 | 权限管理 | +| --- | --- | --- | --- | +| 目的 | 评估回答质量、辅助调优 | 追踪运行链路、观测指标 | 控制资源与功能的访问 | +| 生效阶段 | 离线 / 版本迭代期 | 应用发布后运行时 | 全生命周期，先决条件 | +| 使用主体 | 应用开发者、算法工程师 | 应用运营者、SRE | 主账号 / 业务空间管理员 | +| 主要对象 | 智能体应用、工作流应用 | 智能体、工作流、高代码应用 | 业务空间、模型、页面、API-Key | +| 输入形态 | 评测集（JSONL / XLSX / 自定义） | 应用运行期 Prompt 与调用日志 | RAM 用户、角色策略、模型清单 | +| 输出形态 | 评测报告（正确率、BadCase、归因、调优建议） | Trace 列表、监控图表、导出 JSONL / EXCEL | 权限矩阵、限流规则、API-Key | +| 关键组件 | 评测集、评估器（LLM / Code）、标签、评测任务 | CHAIN / AGENT / LLM / TOOL / RETRIEVER 等节点 | 超级管理员、业务空间管理员、普通用户 | +| 触发方式 | 手动创建评测任务（自动 / 人工） | 添加"被观测应用"后自动追踪 | 全局管理 / 业务空间「权限管理」页面 | +| API / OpenAPI | 无独立 OpenAPI，走控制台 | 无 API，仅控制台操作 | OpenAPI 权限须主账号在 RAM 单独授予 | +| 数据时效 | 任务级（分钟到小时） | 分钟级同步，保留最长 30 天 | 授权分钟级生效，高峰期略有延迟 | +| 前置条件 | 已发布应用；须开通应用观测并加入观测列表；子账号需评测操作权限 | 首次需授权 OpenTelemetry 服务角色、开通服务并初始化 LogStore | 授予对应 RAM 策略（如 AliyunBailianFullAccess） | +| 支持模型 / 范围 | 评测集生成与评估仅支持 `qwen-max`、`qwen-plus` | 智能体 / 工作流 / 高代码（高代码不追踪内部链路） | 覆盖所有可管控模型与页面 | +| 计费方式 | 评测任务调用大模型按 Token 计费 | 功能免费；观测数据存储由 OpenTelemetry 服务收取 | 无计费 | +| 与其他能力的关系 | 依赖应用观测的观测列表；共享标签体系 | 数据可导入评测集；标签体系与评估共享 | 是评估、观测能力的准入门槛 | +| 典型场景 | 版本迭代对比、Prompt / 检索调优、RAG BadCase 归因 | 上线后性能监控、线上问题排查、成本分析 | 多地域组织授权、模型调用限流、API-Key 治理 | + +## 数据流示意 + +- **权限管理** → 授予业务空间与页面访问权 → 用户才能创建、发布应用并开通后续能力。 +- **应用监控** → 追踪线上 Trace / Span → 导出或"加入评测集" → 为**应用评估**提供真实样本。 +- **应用评估** → 生成评测报告与调优建议 → 迭代应用 → 新版本再次进入监控与评测循环。 + +## 适用场景建议 + +### 应用评估 + +- 应用完成一轮开发或调整（Prompt / 知识库 / 检索 / 重排 / 模型）后需要客观验证效果。 +- 需要横向对比多个候选应用或同一应用不同版本，用于选型或灰度决策。 +- 需要将人工标注经验固化为可复用的自动评估器，构建长期质量基线。 +- 需要针对 RAG BadCase 做归因（模型理解 / 检索 / 重排 / 切片 / 未获取知识）。 + +### 应用监控 + +- 生产环境的应用需要感知延时、Token 消耗与失败率等运营指标。 +- 排查线上问题：某次调用为什么慢、卡在哪个节点、Guardrail 是否被触发。 +- 希望把真实线上样本沉淀到评测集，用于持续回归。 +- 需要为应用做成本核算（输入 / 输出 Token、按分钟 / 小时 / 天粒度聚合）。 + +### 权限管理 + +- 组织内存在多个 RAM 用户、多个业务空间、多个地域，需要精细化拆分授权。 +- 需要限制特定模型的调用范围、请求数与 Token 限流，或控制模型调优 / 部署权限。 +- 需要为不同团队分配独立的 API-Key，并保证归属业务空间的策略生效。 +- 需要通过 OpenAPI 调用百炼数据 / 知识库 / Prompt 工程 / 长期记忆等能力（须单独授予 `AliyunBailianDataFullAccess` / `AliyunBailianDataReadOnlyAccess`）。 + +## 技术选型参考 + +- **上线前 → 上线后 → 治理**：先用权限管理搭好组织与资源边界，再用应用监控保障运行时可见性，最后用应用评估驱动质量迭代。三者顺序不可颠倒——没有权限即无法访问功能；没有观测，自动评测的前置条件（观测列表、真实样本）就无从谈起。 +- **构建质量闭环**：把应用监控里的高价值 Span 通过"加入评测集"沉淀为回归样本，配合 3-5 个评估器（相关性 LLM + 格式 Code + 幻觉检测等）形成"线上采样 → 离线评测 → 迭代发布"的持续闭环。 +- **控制成本**：应用监控功能本身不收费，但 OpenTelemetry 存储与评测调用 Token 均产生费用；对大规模应用建议在权限管理中先做模型限流与业务空间隔离，避免评测任务或线上流量突增引发失控成本。 +- **子账号协作**：三项能力都对子账号有额外授权要求（评测的"应用评测-操作"、观测的 `ram:CreateServiceLinkedRole`、OpenAPI 的独立系统策略），落地时建议先梳理 RAM 策略清单再逐项开通。 +- **新旧版本兼容**：应用评估存在新旧两套系统，新版围绕"评测集 + 评估器 + 标签 + 评测任务"更灵活；如无历史包袱建议直接采用新版体系，并复用其与应用监控共享的标签管理。 + +## 被对比主题页 + +- [application evaluation](../guides/application-evaluation.md) +- [application monitoring](../guides/application-monitoring.md) +- [application permission management](../guides/application-permission-management.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/content-generation-apis.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/content-generation-apis.md new file mode 100644 index 00000000..cc445223 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/content-generation-apis.md @@ -0,0 +1,58 @@ +# [多模态](../concepts/multimodal.md)生成 API 对比 + +百炼平台提供图像生成、3D 资产生成和视频生成三大类[多模态](../concepts/multimodal.md)生成 API，分别覆盖静态视觉内容、三维空间资产和动态视频内容的生产需求。三者底层模型、调用模式、输入输出格式各有差异，本文从关键维度进行横向对比，帮助开发者在技术选型时快速定位合适的 API 方案。 + +## 关键维度对比 + +| 对比维度 | 图像生成 API | 3D 生成 API | 视频生成 API | +| --- | --- | --- | --- | +| **输入格式** | 文本（[prompt](../guides/prompt.md)）、图像 URL（图生图/编辑）、涂抹区域、手绘涂鸦 | 文本（[prompt](../guides/prompt.md)，最大1024字符）、单张图像 URL、多图（固定4视角，前/左/后/右） | 文本（[prompt](../guides/prompt.md)）、图像 URL（首帧/首尾帧/参考图）、视频 URL、音频 URL | +| **输出格式** | PNG 图像（1-9张，分辨率512×512~4K） | GLB 格式 3D 模型（PBR材质/无贴图基础模型）+ 预览渲染图 | 视频（分辨率480P~4K，时长5/8秒等） | +| **支持模型** | 千问图像（Qwen-Image）、万相（Wan）、Z-Image、可灵（Kling）、Vidu，及多个创意工具模型 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业，速度更快） | 万相（wan2.7/wan2.6/早期）、HappyHorse、PixVerse、Vidu、可灵（Kling）、人像动画系列、万相动作/数字人 | +| **调用模式** | 同步（千问/万相2.6+/Z-Image）+ 异步（万相2.5及以下/可灵/Vidu/创意工具） | 仅异步 | 仅异步 | +| **API 端点** | 同步：`/api/v1/services/aigc/multimodal-generation/generation`；异步：`/api/v1/services/aigc/text2image/image-synthesis` 等多路径 | 创建：`/api/v1/services/aigc/video-generation/3d-generation`；查询：`/api/v1/tasks/{task_id}` | 创建：`/api/v1/services/aigc/video-generation/video-synthesis`；查询：`/api/v1/tasks/{task_id}` | +| **地域要求** | 支持多地域（北京、新加坡、弗吉尼亚、法兰克福） | 仅限华北2（北京），须使用北京地域 API Key | 支持多地域，但模型、Endpoint、API Key 必须属同一地域 | +| **异步任务有效期** | task_id 有效期24小时，图像 URL 有效期24小时 | task_id 有效期24小时，产物下载链接有效期仅2小时 | task_id 有效期24小时，过期返回 UNKNOWN | +| **轮询间隔建议** | — | 约15秒，查询 RPS 限制为20 | 约15秒，状态流转 PENDING→RUNNING→SUCCEEDED/FAILED | +| **典型场景** | 文生图、图像编辑、虚拟模特、海报生成、试衣、背景生成、创意文字等 | 文生3D、单图生3D、多图生3D，输出可编辑 GLB 模型 | 文生视频、图生视频、参考生视频、视频编辑、视频超分、对口型、数字人 | + +## 调用模式差异 + +三者最显著的技术差异在于调用模式： + +- **图像生成**：部分模型支持同步调用（千问图像、万相2.6+、Z-Image），一次请求即可获得结果，开发体验最佳；旧版模型及创意工具仍需异步轮询。 +- **3D 生成**和**视频生成**：由于生成耗时较长，均采用纯异步模式。创建任务时必须携带 `X-DashScope-Async: enable` 请求头，否则报错 `current user api does not support synchronous calls`。 + +异步流程统一为「创建任务获取 task_id → 轮询查询结果」，但产物有效期差异较大：3D 生成的下载链接仅2小时，远短于图像和视频的24小时，需特别注意及时下载。 + +## 模型丰富度与功能覆盖 + +| 能力类别 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| 文生内容 | 支持 | 支持 | 支持 | +| 图生内容 | 支持（图生图/编辑/局部重绘） | 支持（单图生3D/多图生3D） | 支持（首帧/首尾帧/参考生视频） | +| 内容编辑/增强 | 支持（风格迁移、超分、去水印、扩图） | 不支持 | 支持（视频编辑、超清、对口型、动作模仿） | +| 文字渲染 | 支持（千问擅长复杂文字） | 不适用 | 部分支持（Vidu 中英文字精准渲染） | +| 模型数量 | 最多（5+系列，十余个创意工具） | 最少（2个模型） | 较多（7+家族） | + +## 选型建议 + +- **静态视觉内容生产**（海报、模特图、产品图、创意设计）→ 优先选择图像生成 API。千问图像擅长文字渲染和真实质感，万相支持多种艺术风格，Z-Image 适合轻量快速生图。 +- **三维空间资产生产**（游戏道具、电商3D展示、AR/VR内容）→ 选择 3D 生成 API。需要北京地域 API Key，且注意产物下载链接仅2小时有效期。 +- **动态视频内容生产**（短视频、广告、数字人播报、视频编辑增强）→ 选择视频生成 API。万相2.7为新版协议推荐使用，可灵支持智能分镜，PixVerse 支持4K超清和动作模仿，人像动画系列适合舞蹈/唱演等场景。 +- **混合需求**：若需先生成静态素材再制作动态内容，可组合使用。例如先用图像生成 API 产出首帧图，再用视频生成 API 做图生视频；或用3D生成 API 产出模型后截图作为视频参考素材。 + +## 来源文档 + +- [千问-文生图API参考](../../raw/model-api-reference/image-generation/qwen-image-api-reference/qwen-image-api.md) +- [万相-文生图V2版API参考](../../raw/model-api-reference/image-generation/wan-image-api-reference/text-to-image-v2-api-reference.md) +- [Tripo-3D模型生成](../../raw/model-api-reference/3d-generation/tripo-3d-generation-api-reference.md) +- [万相2.7-图生视频API参考](../../raw/model-api-reference/video-generation-api/wan-api-reference/image-to-video-general-api-reference.md) + +## 被对比主题页 + +- [image generation](../api/image-generation.md) +- [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md index deadf313..6373370c 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-comparison.md @@ -1,67 +1,71 @@ # 应用评测与模型评测对比 -百炼平台提供两套独立的评测体系：**应用评测**面向已构建的智能体应用和工作流应用，评估端到端的输出质量与 RAG 链路效果；**模型评测**面向底层大模型本身，评估模型的推理能力和指令遵循表现。两者的评测对象、数据流、评分机制和适用场景均有显著差异，开发者需要根据当前所处的开发阶段选择合适的评测方式。 +百炼平台提供两套独立的评测能力：**应用评测**面向已发布的智能体应用和工作流应用，评估端到端的输出质量；**模型评测**面向文本生成类模型本身，评估模型的基础推理能力。两者在评测对象、数据流转、评分机制和适用场景上存在显著差异，开发者应根据实际选型需求选择对应能力。 ## 关键维度对比 | 维度 | 应用评测 | 模型评测 | |------|----------|----------| -| **评测对象** | 智能体应用、工作流应用（已发布的完整应用） | 文本生成类大模型（基础模型或调优后模型） | -| **核心目标** | 验证应用端到端输出质量，定位 RAG 链路问题 | 评估模型推理能力，辅助模型选型或调优验证 | -| **评测方式** | 自动评测（单应用 / 多应用横向）、手动评测 | 自定义评测（AI / 规则 / 人工）、基线评测（公开数据集） | -| **评测集来源** | 基于应用关联知识库自动生成，或手动上传 | 手动上传评测数据集，或使用公开标准数据集（C-Eval、MMLU 等） | -| **评估器 / 评分机制** | 新版评估器（LLM 评估器 + Code 评估器 + 预置模板）；旧版由平台内置评分 | 评测维度模板（大模型评估数值型/分类型、规则评估相似度/匹配、人工评估） | -| **归因分析** | 支持 RAG 链路归因（模型理解有误、重排不佳、检索无效、切片不完整、未获取知识） | 不提供链路归因，仅输出维度得分和通过率 | -| **横向对比能力** | 最多 8 个应用同基准横向对比 | 支持多模型评测结果排行榜对比 | -| **人工标注** | 新版通过标签体系支持四种类型标注（分类 / 布尔值 / 数字 / 文本） | 人工评估维度（Pass/Fail 标注） | -| **前提条件** | 应用已发布、已配置知识库、已开通应用观测 | 无特殊前提，上传数据集即可评测 | -| **地域限制** | 无特殊地域限制 | 基线评测仅北京地域可用 | -| **API 支持** | 通过控制台操作 | 仅控制台操作，不提供公开 API/SDK（可参考 PAI Judge Model API） | -| **计费构成** | 评测集生成 + 应用调用 + 评估器模型的 Token 费用 | 被评测模型推理费用 + 裁判模型评分费用 | - -## 评分体系差异 - -| 对比项 | 应用评测 | 模型评测 | -|--------|----------|----------| -| **评分范围** | 1-5 分（正确率 = 得分 >= 4 的占比） | 可自定义整数区间（默认 0-5，建议不超过 10） | -| **自动评分方式** | LLM 评估器（语义）+ Code 评估器（规则） | 大模型评估（裁判模型）+ 规则评估（ROUGE/BLEU/Cosine/字符串匹配） | -| **评估器数量** | 每任务最多 10 个，建议组合 3-5 个 | 按评测维度配置，无上限说明 | -| **评分模型** | 评测集生成和评估仅支持 qwen-max 和 qwen-plus | 裁判模型推荐千问-Max，被评测模型不限 | +| 评测对象 | 已发布的智能体应用、工作流应用 | 文本生成类模型（含已部署的调优模型） | +| 评测方式 | 自动评测（LLM 生成评测集 + 自动评分）、手动评测（人工标注） | 自定义评测（自有数据集 + 自定义维度）、基线评测（公开标准数据集） | +| 前置条件 | 应用须已发布并配置知识库；须开通应用观测 | 拥有被评测模型的调用权限；基线评测仅北京地域可用 | +| 输入数据格式 | 对话分析 `.xls`/`.xlsx`；知识问答 `.jsonl`；新版支持智能体、工作流、自定义类型评测集 | 评测数据集（含 Prompt + Completion 列）；或推理结果集（已含 Output，免去推理费用） | +| 评测集创建方式 | 旧版：自动生成（基于知识库）或手动上传；新版：手动上传、从应用观测导入 | 在数据管理模块上传评测集类型数据 | +| 评分机制 | 评估器（LLM 评估器 + Code 评估器）+ 标签（分类、布尔值、数字、文本） | 评测维度（大模型评估、规则评估、人工评估） | +| 自动评分支持模型 | `qwen-max`、`qwen-plus` | 推荐千问-Max 作为裁判模型 | +| 人工标注 | 支持，新版通过评测任务 + 标签组合实现 | 支持人工评估维度（Pass/Fail 逐条标注） | +| 横向对比 | 支持最多 8 个应用（或同应用不同版本）横向评测 | 支持排行榜功能，多个任务结果参与排名 | +| 报告内容 | 总正确率、BadCase 分析、调优建议、RAG 归因分析 | 综合得分、通过率、逐条评分明细 | +| [计费](../concepts/billing.md)构成 | LLM 评估器产生 Token 费用；Code 评估器无额外费用 | 被评测模型推理费用 + 裁判模型评分费用；规则评估和人工评估无裁判模型费用 | +| API/SDK 支持 | 新版支持控制台操作 | 仅支持控制台操作，不提供公开 API/SDK | +| 地域限制 | 无特殊限制 | 基线评测仅北京地域可用 | +| 维度/评估器上限 | 每个评测任务最多 10 个评估器，建议组合 3-5 个 | 每个评测任务可关联多个评测维度模板 | + +## 评测流程对比 + +| 步骤 | 应用评测（自动模式） | 模型评测 | +|------|----------------------|----------| +| 1 | 创建评测任务 | 准备数据集（上传含 Prompt + Completion 的数据） | +| 2 | 设置评测集（自动生成或上传） | 创建评测维度（选择评分器类型并配置参数） | +| 3 | 配置评测规则（评估器 + 标签） | 创建评测任务（选模型、关联数据集和维度） | +| 4 | 执行评测，生成报告 | 提交评测，查看指标统计和数据明细 | + +## 评分方式对比 + +| 评分方式 | 应用评测 | 模型评测 | +|----------|----------|----------| +| LLM 语义评分 | LLM 评估器（相关性、有害性、幻觉检测） | 大模型评估-数值型（0-5 打分）、大模型评估-分类型（Pass/Fail 标签） | +| 规则/代码评分 | Code 评估器（Python 代码规则，格式校验、数值计算） | 规则评估-文本相似度（ROUGE/BLEU/Cosine）、规则评估-字符串匹配 | +| 人工评分 | 标签标注（分类、布尔值、数字、文本） | 人工评估-分类型（Pass/Fail） | ## 适用场景建议 -### 优先选择应用评测的场景 +| 场景 | 推荐能力 | 理由 | +|------|----------|------| +| 评估智能体应用的端到端回答质量 | 应用评测 | 支持基于知识库自动生成评测集，提供 RAG 归因分析定位检索/重排/切片问题 | +| 对比多个应用或同一应用不同版本的表现 | 应用评测 | 支持最多 8 个应用横向评测，适合选型决策和迭代验证 | +| 验证模型在公开基准上的基础能力 | 模型评测（基线评测） | 无需自备数据集，使用 C-Eval、MMLU、GSM8K 等标准数据集快速评估 | +| 选择最优模型或验证调优效果 | 模型评测（自定义评测） | 支持自定义数据集和评分维度，可对比不同模型的推理质量 | +| 需要格式校验、数值计算等确定性评分 | 两者均可 | 应用评测用 Code 评估器，模型评测用规则评估-字符串匹配/文本相似度 | +| 需要人工主观判断（创意写作、专业领域） | 两者均可 | 应用评测用标签人工标注，模型评测用人工评估-分类型 | +| 优化 RAG 流程（检索、重排、切片） | 应用评测 | 归因分析可定位到具体环节并提供调优建议 | +| 编程化、批量化的自动化评测 | 模型评测（参考 PAI Judge Model API） | 模型评测当前不提供公开 API，但可参考 PAI Judge Model API 实现编程化评测 | -- 智能体应用已发布上线，需要持续监控输出质量 -- 需要定位 RAG 链路中的具体瓶颈（检索、重排、切片、模型理解） -- 知识库更新或 Prompt 调整后需要回归验证 -- 多个应用版本之间需要横向对比，选出最优配置 -- 需要将人工标注经验固化为自动评估规则（通过评估器模板化） +## 数据量与成本建议 -### 优先选择模型评测的场景 - -- 项目初期的模型选型，需要在多个候选模型间对比基础能力 -- 模型微调（SFT）后需要验证调优效果是否达标 -- 使用公开基准（C-Eval、MMLU、GSM8K、BBH）快速了解模型通用能力 -- 需要用规则评估（ROUGE/BLEU）做确定性指标验证（如翻译、摘要场景） -- 关注模型推理能力本身，而非上层应用的端到端效果 - -### 组合使用建议 - -典型的开发流程中，两种评测可以分阶段配合使用：先通过**模型评测**完成基础模型选型和调优验证，确定最优模型后构建应用，再通过**应用评测**验证端到端效果并持续迭代优化。 - -## 成本优化对比 - -| 策略 | 应用评测 | 模型评测 | +| 维度 | 应用评测 | 模型评测 | |------|----------|----------| -| **减少推理费用** | 缩小评测集规模 | 使用推理结果集（复用已有推理输出） | -| **减少评分费用** | 使用 Code 评估器替代 LLM 评估器 | 使用规则评估或人工评估替代大模型评估 | -| **渐进式评测** | 先小规模自动评测，再针对 BadCase 人工复核 | 先 50-100 条验证，再扩大到 200-500 条正式评测 | +| 数据量建议 | 自动评测基于知识库生成，无明确条数限制；手动评测单文件不超过 20MB | 小规模验证 50-100 条，正式评测 200-500 条，全面评估 500 条以上 | +| 成本优化策略 | 组合 Code 评估器减少 LLM 调用；利用归因分析精准定位优化点 | 先小规模验证 → 保存推理结果集复用 → 确定性场景优先用规则评估 | +| 评分一致性注意 | 无特殊说明 | LLM 评分器存在位置偏差和自我偏好偏差，1-3% 分数差异属噪声，建议定期人工抽查校准 | -## 来源文档 +## 选型决策路径 -- [application evaluation](../guides/application-evaluation.md) (guides/application-evaluation.md) -- [model evaluation introduction](../guides/model-evaluation-introduction.md) (guides/model-evaluation-introduction.md) +1. **要评估的对象是应用还是模型？** 应用选应用评测，模型选模型评测。 +2. **是否有标准答案？** 有标准答案且格式固定优先规则评估（模型评测的字符串匹配 / 应用评测的 Code 评估器）；有标准答案但表述多样用文本相似度；无标准答案需语义理解用 LLM 评估器/大模型评估。 +3. **是否需要 RAG 归因分析？** 需要则选应用评测，其报告会定位 BadCase 到检索、重排、切片等具体环节。 +4. **是否需要横向对比？** 对比多个应用选应用评测（最多 8 个），对比多个模型选模型评测排行榜。 +5. **是否需要基线评测？** 需要公开基准数据集评估选模型评测的基线评测（仅北京地域）。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-vs.md new file mode 100644 index 00000000..0d3cedc6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/evaluation-vs.md @@ -0,0 +1,67 @@ +# 应用评测与模型评测对比 + +百炼平台提供两套独立的评测体系：**应用评测**针对智能体应用和工作流应用的端到端输出质量进行评估，**模型评测**针对底层大模型本身的推理能力进行评估。两者在评测对象、数据组织、评分机制和典型场景上有显著差异。本页帮助开发者根据实际需求选择合适的评测路径。 + +## 关键维度对比 + +| 维度 | 应用评测 | 模型评测 | +|------|----------|----------| +| 评测对象 | 已发布的智能体应用、工作流应用 | 文本生成类大模型（含已部署的调优模型） | +| 评测目标 | 应用端到端输出质量（含 RAG 检索、Prompt、知识库等环节） | 模型推理能力本身（问答质量、翻译、摘要等） | +| 评测模式 | 自动评测（LLM 生成评测集并打分）、手动评测（人工标注） | 自定义评测（自有数据集）、基线评测（公开标准数据集） | +| 评测集类型 | 旧版：对话分析(.xls/.xlsx)、知识问答(.jsonl)；新版：智能体、工作流、自定义 | 评测数据集（含 Prompt + Completion）或推理结果集（已含 Output） | +| 评测集来源 | 基于知识库自动生成、手动上传、从应用观测导入 | 数据管理模块上传、公开标准数据集（C-Eval、MMLU、GSM8K、BBH 等） | +| 评分方式 | LLM 评估器、Code 评估器、人工标注 | 大模型评估（数值型/分类型）、规则评估（文本相似度/字符串匹配）、人工评估 | +| 评分器配置 | 评估器（预置模板 / 自定义 LLM/Code / 基于历史任务创建），单任务最多 10 个 | 评测维度（五种类型，创建为模板可复用），维度类型创建后不可修改 | +| 参考答案要求 | 视评估器类型而定，LLM 评估器可不需参考答案 | 规则评估需参考答案，大模型评估和人工评估不需要 | +| 裁判模型 | 评测集生成和评估仅支持 qwen-max、qwen-plus | 推荐千问-Max，可配置评分器 Prompt | +| 标签体系 | 支持分类、布尔值、数字、文本四种标签类型，用于人工标注和数据筛选 | 支持 Pass/Fail 标签（分类型/人工评估） | +| 报告与归因 | 总正确率、BadCase 分析、RAG 归因分析、调优建议 | 综合得分、通过率、逐条评分明细、可选排行榜 | +| 基线评测 | 不适用 | 支持（C-Eval、MMLU、GSM8K、BBH 等，仅北京地域） | +| 多应用对比 | 支持最多 8 个应用横向评测 | 支持排行榜参与，多模型排名对比 | +| 计费方式 | LLM 评估器产生 [Token](../concepts/token.md) 费用，Code 评估器无额外费用 | 被评测模型推理费用 + 裁判模型评分费用；推理结果集可免推理费 | +| API/SDK | 控制台操作 | 控制台操作，无公开 API/SDK（可参考 PAI Judge Model API） | +| 地域限制 | 无特殊限制 | 基线评测仅北京地域可用 | + +## 评测流程对比 + +**应用评测**流程：创建评测任务 → 设置评测集 → 配置评测规则（评估器 + 标签）→ 执行评测 → 查看报告与归因分析。自动评测模式下，平台基于应用关联的知识库自动生成评测集，并由 LLM 完成打分；手动评测模式下，需人工下载模板填充数据并逐条标注。 + +**模型评测**流程：准备数据集 → 创建评测维度 → 创建评测任务（选模型 + 关联数据集和维度）→ 查看结果。自定义评测需开发者自行上传数据并配置评分规则；基线评测使用公开标准数据集，无需准备数据或配置维度，适合快速验证模型基础能力。 + +## 评分机制对比 + +应用评测的评估器体系更侧重于**应用层面的质量维度**，如回答相关性、格式规范性、幻觉检测等，并支持将人工标注经验固化为自动化 LLM 评估器。评估器分 LLM 和 Code 两类，建议组合 3-5 个从不同维度评估。 + +模型评测的评测维度体系更侧重于**模型推理能力的标准化评测**，提供五种明确的维度类型，且有清晰的选型决策路径：有标准答案且格式固定用字符串匹配；有标准答案但表述多样用文本相似度；无标准答案需语义理解用大模型评估；需主观判断用人工评估。 + +## 适用场景建议 + +| 场景 | 推荐评测方式 | 原因 | +|------|-------------|------| +| 验证智能体应用回答质量 | 应用评测（自动评测） | 可基于知识库自动生成评测集，含 RAG 归因分析定位检索/Prompt 问题 | +| 多版本智能体应用对比选型 | 应用评测（多应用横向评测） | 同一基准下对比最多 8 个应用，支持版本迭代验证 | +| 需要人工主观判断的评测 | 应用评测（手动评测 / 新版标签标注） | 支持自定义评测维度和标签体系，灵活适配领域专家判断 | +| 评估模型基础能力（MMLU/GSM8K 等） | 模型评测（基线评测） | 使用公开标准数据集，无需准备数据，快速获得模型能力基线 | +| 对比不同模型的问答/翻译/摘要能力 | 模型评测（自定义评测） | 支持规则评估和大模型评估，可绑定排行榜做多模型排名 | +| 有标准答案的确定性任务评测 | 模型评测（规则评估） | ROUGE/BLEU/Cosine 等算法直接计算，无裁判模型费用 | +| 无标准答案的语义质量评测 | 两者均可 | 应用评测用 LLM 评估器，模型评测用大模型评估维度 | +| 验证已部署调优模型效果 | 模型评测（自定义评测） | 已部署调优模型不额外计费，推理费用含在部署算力费用中 | + +## 成本优化建议 + +- **应用评测**：优先组合 Code 评估器（无额外费用）与少量 LLM 评估器，减少 [Token](../concepts/token.md) 消耗；利用应用观测数据导入评测集，避免重复生成。 +- **模型评测**：先用 50-100 条小规模验证，保存推理结果集复用以免去推理费用；有确定性标准的场景优先用规则评估（无裁判模型费用）；已部署调优模型评测不额外计费。 + +## 注意事项 + +- 应用评测存在新旧两套系统，新版在评测任务管理、评估器和标签体系上做了较大升级，手动评测属于旧版功能。 +- 模型评测当前仅支持文本生成类模型，基线评测仅北京地域可用，任务提交后不可更换目标模型。 +- 模型评测的 LLM 评分器存在位置偏差和自我偏好偏差，建议定期人工抽查校准；1-3% 的分数差异通常为评测噪声。 + +## 被对比主题页 + +- [application evaluation](../guides/application-evaluation.md) +- [model evaluation introduction](../guides/model-evaluation-introduction.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/fine-tuning-vs-compression-vs-deployment.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/fine-tuning-vs-compression-vs-deployment.md index 58583e15..a69f1adb 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/fine-tuning-vs-compression-vs-deployment.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/fine-tuning-vs-compression-vs-deployment.md @@ -1,68 +1,86 @@ -# 模型微调、压缩与部署对比 - -在百炼平台上，把一个模型从「原始能力」推向「专属生产服务」通常经过三个环节：**模型微调 → 模型压缩（可选）→ 模型部署**。三者构成一条完整的自定义模型生产链路，但目标、输入输出、计费方式和适用场景各不相同。本页横向对比这三个环节的关键差异，帮助开发者理清「先做什么、要不要做、怎么上线」的技术选型问题。 - -需要先明确三者的关系： - -- **模型微调**解决「模型能不能做这件事」——把领域知识、指令遵循、人类偏好或特定音色写入参数。 -- **模型压缩**解决「部署贵不贵」——把全精度微调模型量化为低精度版本，降低部署所需的 MU 规格与推理成本，是链路中的**可选**环节。 -- **模型部署**解决「怎么对外提供服务」——为预置模型或自定义模型分配资源专享的推理服务，满足高并发、低延迟需求。 - -> 三者均**仅在华北2（北京）地域可用**，且需使用该地域的 API Key；子账号（RAM 用户）需预先获得相应授权。 - -## 关键维度对比 - -| 维度 | 模型微调（Fine-tuning） | 模型压缩（量化） | 模型部署（Deployment） | -| --- | --- | --- | --- | -| 核心目标 | 定制模型能力（知识/指令/偏好/音色） | 降低部署规格与推理成本 | 提供资源专享的推理服务 | -| 链路位置 | 第一步（必选） | 中间步骤（可选） | 最后一步（上线必选） | -| 输入 | 训练/验证数据集（JSONL、ZIP、OSS 挂载） | 上游全精度微调模型 + 可选校准数据 | 预置模型或自定义（含压缩后）模型 | -| 输出 | 微调后模型（`finetuned_output`） | 低精度量化模型 | 专属推理服务（`deployed_model`） | -| 支持模型范围 | 千问文本/VL、万相图像/视频、CosyVoice 等多模态 | 仅平台微调产出的自定义模型（如 qwen3.5-flash） | 部分预置模型 + 所有调优后模型 | -| 主要方式 | CPT / SFT（全参、LoRA）/ DPO | 量化（不含剪枝、蒸馏） | PTU / 模型单元(MU) / 按 Token | -| API 端点 | `POST /api/v1/fine-tunes`（配合 `/files`） | 无公开 API，仅控制台创建压缩任务 | `POST/GET/DELETE /api/v1/deployments` | -| 控制台路径 | 模型调优页面 | 模型 → 模型训练 → 模型压缩 | 我的模型 / 部署页面 | -| 计费方式 | API 仅按 Token；训练单元须走控制台 | 压缩任务限时免费，成本体现在部署阶段 | PTU（按 TPM）/ MU（按时长×单元）/ 按 Token | -| 可逆性 | 可继续微调、可组合多阶段 | **不可逆**，不支持继续微调或二次压缩 | 可下线重建；计费方式创建后不可改 | -| 典型场景 | 效果不达标、需深度领域/风格定制 | 微调模型上线成本高、需降本 | 高并发/低延迟生产、专属推理服务 | - -## 各环节适用场景建议 - -### 模型微调：什么时候做 - -- 当 Prompt 工程、插件调用等手段**仍无法满足效果**时，才引入微调。 -- 文本生成推荐按 `CPT（可选）→ SFT → DPO（可选）` 递进组合：补领域知识用 CPT（千万级 Token 无标签文本），学会遵循指令用 SFT（1000+ 条 ChatML 问答对），对齐人类偏好用 DPO（100+ 组 chosen/rejected）。 -- 训练模式在模型支持全参时**优先选全参**（费用相同、效果更好）；数据集小或对时间/成本敏感则用 LoRA 高效训练。 -- 多模态定制（视觉理解、图像/视频、语音合成）走各自独立的超参与数据格式，其中 CosyVoice 当前**只能通过 API 发起**。 -- 入门建议用控制台零代码流程；批量/自动化建议走 API 四步流程（上传数据 → 创建任务 → 轮询状态 → 部署调用），注意 **API 创建的任务仅支持按 Token 计费**。 - -### 模型压缩：要不要做 - -- 仅当已有**平台微调产出的自定义模型**且**部署成本偏高**时才考虑，属于可选优化环节。 -- 收益示例：qwen3.5-flash 微调模型从 MU1*2（108 元/小时）压缩到 MU8*1（47 元/小时），成本节省约 56%。 -- 权衡精度与成本：量化模板中 MU 编号越大，部署规格越小、成本越低，但精度损失可能越大；用与推理场景语义相近的校准数据可提升量化精度。 -- **注意不可逆**：压缩后不能继续微调、不能二次压缩，调整需从上游全精度模型重新压缩。 -- 压缩任务当前**限时免费**，建议在免费期内对同一模型尝试多个量化模板，用业务测试集验证后再选最优方案上线。 - -### 模型部署：怎么上线 - -按流量特征选择互斥的计费方式（创建后不可更改，切换须先下线再重部署）： - -- **预置吞吐（PTU）**：预留资源保障 TPM，额度内不限速，TPS 通常提升 1.5～2.0 倍，支持长输入（部分模型达 200K）与前缀缓存折扣。适合流量可预估的高负载生产（智能客服、实时内容审核）。超额或超长输入自动转按量计费，业务不中断。 -- **模型单元（MU）**：按时长×单元数计费，资源独占、性能可自定义，支持 PD 分离降低首 Token 延迟。适合需要独占资源、性能可控的生产场景，也是压缩后模型的落地方式。 -- **按 Token 使用量**：不使用不计费，仅支持基础模型 SFT 高效训练后的自定义模型，主要用于**调优效果验证**；扩缩容需控制台人工审核。 - -LoRA 模型导入需满足约束：仅支持 LoRA（不支持全参微调）、rank 为 8/16/32/64、不得修改 vocab 与 chat_template、VL 模型须冻结 VIT。API 部署通过 `plan` 字段区分计费方式（`ptu` / `mu` / `lora`），流程为创建部署 → 轮询至 `RUNNING` → 调用推理 → 用完 DELETE 下线停止计费。 - -## 技术选型参考 - -1. **只想验证微调效果**：微调（SFT 高效训练）→ 直接用「按 Token」部署验证，成本最低、无需长期占用资源。 -2. **要正式上线且流量可预估**：微调 →（评估成本后可选压缩）→ PTU 部署，享受不限速吞吐与缓存折扣。 -3. **要独占资源、性能可控**：微调 → 压缩降本 → MU 部署，用量化模板在成本与精度间取平衡。 -4. **本地已训练 LoRA**：跳过平台微调，直接经「我的模型」导入（满足 rank 与配置约束）→ 部署。 -5. **成本敏感的高负载场景**：优先评估「压缩 + PTU/MU」组合，先在压缩免费期内多模板试验，用业务测试集选出精度/成本最优版本再上线。 - -总体决策顺序：先用微调确保能力达标，再判断是否需要压缩降本，最后按流量与性能诉求选择部署计费方式。 +# 模型微调、压缩与部署方案对比 + +在百炼平台的模型生产链路中，微调、压缩与部署是三个相互衔接的核心环节。微调负责让基础模型习得特定领域的知识或能力；压缩是可选的优化步骤，用于降低已微调模型的推理成本；部署则将最终模型暴露为可调用的推理服务。理解三者的定位与差异，有助于开发者在成本、性能和效果之间做出合理的技术选型。 + +## 核心维度对比 + +| 维度 | 模型微调（Fine-tuning） | 模型压缩（Compression） | 模型部署（Deployment） | +|------|------------------------|------------------------|----------------------| +| **主要目的** | 让模型学习领域知识、指令遵循或偏好对齐 | 降低已微调模型的部署规格与推理成本 | 将模型发布为独立推理服务，接受线上调用 | +| **在链路中的位置** | 起点：基础模型 → 自定义模型 | 中间（可选）：微调模型 → 压缩模型 | 终点：（压缩）模型 → 在线服务 | +| **是否必须** | 可选（Prompt 工程等无法满足时才用） | 可选（仅用于降成本） | 必须（用模型前必须部署） | +| **支持的模型类型** | 预置基础模型（文本/图像/视频/语音） | 仅百炼平台微调产出的自定义模型 | 预置模型 + 微调/压缩后的自定义模型 | +| **操作入口** | 控制台 或 API（`POST /api/v1/fine-tunes`） | 仅控制台（控制台 → 模型训练 → 模型压缩） | 控制台 或 API（`POST /api/v1/deployments`） | +| **计费方式** | 按训练 Token 消耗计费（API 方式）；控制台支持训练单元 | 压缩任务本身限时免费；部署后按压缩后的 MU 规格计费 | PTU（预置吞吐）/ 模型单元（按时长）/ 按 Token 用量 | +| **地域限制** | 仅华北2（北京） | 仅华北2（北京） | 仅华北2（北京）（API 部署） | +| **可逆性** | 训练完成后可继续微调或压缩 | 不可逆：压缩后不能继续微调或二次压缩 | 可下线后重新部署 | +| **耗时** | 较长（依数据集规模，从数小时到数天） | 中等（排队 + 量化计算） | 较快（分钟级变为 RUNNING） | +| **典型输入** | 训练数据集（JSONL / ZIP）+ 超参配置 | 微调模型 ID + 量化模板 + 可选校准数据 | 模型 ID + 计费方式 + 资源规格 | +| **典型输出** | 自定义模型（`finetuned_output`） | 低精度压缩模型（MU 规格降低） | 推理服务端点（`deployed_model` ID） | + +## 调优方式对比（微调内部） + +| 调优方式 | 代码 | 典型数据量 | 适用场景 | +|----------|------|-----------|---------| +| 继续预训练 | `cpt` | ≥ 1000 万 Token 无标签文本 | 补充垂直领域背景知识 | +| 监督微调（全参） | `sft` | ≥ 1000 条问答对 | 指令遵循、对话风格塑造 | +| 高效微调（LoRA） | `efficient_sft` | ≥ 1000 条问答对 | 数据集较小或快速验证 | +| 直接偏好优化 | `dpo_full` / `dpo_lora` | ≥ 100 组 chosen/rejected 对 | 对齐人类偏好、减少有害输出 | + +## 部署计费方式对比 + +| 计费方式 | 适用场景 | 性能可控性 | 备注 | +|----------|---------|-----------|------| +| 预置吞吐（PTU） | 高负载、流量稳定的生产环境 | 吞吐/并发由平台预置，超出可自动溢出 | 支持前缀缓存、长输入阶梯系数 | +| 模型单元（MU） | 大规模推理、需自定义延迟吞吐 | 完全自定义，资源独占 | 微调/压缩模型必选此方式才能独占资源 | +| 按 Token 用量 | 效果验证、低并发场景 | 不可调 | 仅支持部分高效微调（LoRA）模型 | + +## 压缩对部署成本的影响示例 + +| 模型 | 压缩前部署规格 | 压缩前成本 | 压缩后部署规格 | 压缩后成本 | 成本节省 | +|------|--------------|----------|--------------|----------|---------| +| qwen3.5-flash-2026-02-23 微调模型 | MU1×2 | ¥108/小时 | MU8×1 | ¥47/小时 | ≈56% | + +## 各方案适用场景建议 + +### 只需要部署（无微调需求） +直接选择部署预置模型。对于流量稳定、吞吐要求高的生产业务，优先选择 PTU 计费；需要完全自定义性能参数时选择模型单元；效果验证阶段选择按 Token 用量（最灵活，按需付费）。 + +### 需要微调后部署 +1. 评估是否真的需要微调（Prompt 工程 / Function Calling 能解决的问题不要微调）。 +2. 选择调优方式：数据量大、效果优先 → 全参 SFT；数据量小、快速迭代 → LoRA；需要对齐偏好 → SFT 后接 DPO。 +3. 微调完成后直接部署为模型单元服务，若对推理成本敏感则先做压缩再部署。 + +### 需要控制推理成本 +在微调完成后，利用免费期对同一模型尝试多个量化模板，分别部署后用业务测试集评估效果，选择成本与精度最优的方案。注意：压缩不可逆，一旦压缩无法继续微调，务必在压缩前保留全精度微调模型。 + +### 本地训练的 LoRA 模型上云 +通过 OSS 导入功能将本地 LoRA 权重导入百炼平台，再以"按 Token 用量"或"模型单元"方式部署。需满足 rank 限制（8/16/32/64）、不可修改词汇表等约束。 + +## 技术选型决策树 + +``` +业务需求 +├── 基础模型能力已满足需求？ +│ └── 是 → 直接部署预置模型 +│ ├── 流量稳定、高吞吐 → PTU +│ ├── 需自定义性能 → 模型单元 +│ └── 效果验证 → 按 Token 用量 +└── 否 → 需要微调 + ├── 选调优方式（CPT / SFT / DPO） + ├── 微调完成 → 推理成本是否敏感？ + │ ├── 是 → 压缩（量化）→ 部署（模型单元） + │ └── 否 → 直接部署（模型单元） + └── 本地 LoRA 模型 → OSS 导入 → 部署 +``` + +## 关键注意事项 + +- **地域统一**：微调、压缩、部署均仅支持华北2（北京），API Key 须属于该地域。 +- **子账号授权**：RAM 用户需提前授予模型调用、训练、部署相关权限。 +- **计费方式锁定**：部署后计费方式不可更改，切换须先下线再重新部署，下线后即停止计费。 +- **压缩不可逆**：压缩后的模型无法继续微调或二次压缩，操作前须确认全精度模型已备份。 +- **按量微调限制**：通过 API 创建的文本生成训练任务仅支持按 Token 计费，如需训练单元须在控制台操作。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-comparison.md new file mode 100644 index 00000000..6fbbc367 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-comparison.md @@ -0,0 +1,47 @@ +# 框架与工具包对比 + +百炼平台为开发者提供了两条主要的框架集成路径：一是通过官方适配的开源框架（LlamaIndex、Spring AI Alibaba）直接调用百炼云端能力，二是通过 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)将已有应用迁移至百炼并接入 LangChain 等主流框架。两者在定位、语言生态、功能范围和迁移成本上存在显著差异。本页面帮助开发者根据技术栈和业务需求选择合适的集成方案。 + +## 关键维度对比 + +| 维度 | LlamaIndex + Spring AI Alibaba（官方框架适配） | [OpenAI 兼容接口](../concepts/openai-compatible-interface.md) + LangChain（兼容迁移路线） | +| --- | --- | --- | +| 定位 | 深度集成百炼云端知识库、智能体与工作流 | 以 OpenAI 兼容协议接入百炼模型推理能力 | +| 支持语言 | Python（LlamaIndex）、Java（Spring AI Alibaba） | 多语言（Python/Node.js/Go 等任意支持 OpenAI SDK 的语言） | +| 核心能力 | 云端知识库构建、RAG 应用、智能体/工作流调用、知识库检索 | Chat Completions、Responses、Completions、Embedding、Vision、文件、Batch、Conversations | +| 知识库支持 | 原生支持云端知识库（智能切分 + 官方向量模型） | 通过 Embedding 接口 + 文件接口可自建知识库管线 | +| 自定义切分/嵌入 | LlamaIndex 云端方案不支持；需改用本地知识库方案 | 完全可控，可自定义切分策略与嵌入模型 | +| 模型范围 | LlamaIndex：qwen-max 等对话模型；Spring AI Alibaba：智能体/工作流应用 | Qwen 全系列（含 VL/Coder/Omni/Math）、DeepSeek、Kimi、GLM、MiniMax 等三方模型 | +| [流式输出](../concepts/streaming.md) | Spring AI Alibaba 支持流式（`Flux`，`text/event-stream`） | Chat Completions 支持 `stream=True`；Responses 支持流式 | +| 迁移成本 | 需学习百炼专用 SDK 与配置方式 | 已有 OpenAI 应用仅需替换 `api_key`、`base_url`、`model` 三项 | +| 鉴权方式 | [API Key](../concepts/api-key.md)（环境变量 `DASHSCOPE_API_KEY` 等） | [API Key](../concepts/api-key.md)（环境变量 `DASHSCOPE_API_KEY`） | +| 地域支持 | LlamaIndex 按百炼通用约定；Spring AI Alibaba 需配置[业务空间](../concepts/workspace.md) ID | 北京、新加坡、东京、法兰克福、弗吉尼亚等多地域，各地域 [API Key](../concepts/api-key.md) 不同 | +| 典型场景 | 企业级 RAG 应用、Java/Spring 生态集成百炼智能体 | OpenAI 应用迁移、多模型统一调用、代码补全、批量推理、视觉理解 | + +## 各方案适用场景建议 + +### LlamaIndex（Python） + +适合使用 Python 技术栈、希望快速搭建 RAG 应用的开发者。核心优势是将本地文件上传至百炼云端自动构建知识库，无需自行管理切分与向量模型。但云端方案不支持自定义切分和嵌入模型，对切分粒度有精细控制需求时应改用本地知识库方案。 + +### Spring AI Alibaba（Java） + +适合 Java/Spring Boot 生态的企业应用，需要直接调用百炼控制台中已创建的智能体应用或工作流应用。支持流式与非流式调用，可获取文档引用与思考过程元数据。也支持检索百炼知识库。前提是 JDK 17+ 与 Spring Boot 3.x，并需提前在控制台创建应用获取 App ID。 + +### [OpenAI 兼容接口](../concepts/openai-compatible-interface.md) + LangChain + +适合已有 OpenAI 应用希望低成本迁移到百炼的场景，或需要使用多语言 SDK 的项目。通过替换三项配置即可完成迁移，同时支持 LangChain/LangChain4j 等主流框架。该路线覆盖能力最广（对话、补全、嵌入、视觉、文件、批量），但不提供百炼云端知识库的托管能力，知识库需自行构建。 + +## 选型建议 + +- **已有 OpenAI 应用或使用 LangChain 生态**：优先选择 OpenAI 兼容接口路线，迁移成本最低，模型覆盖最广。 +- **Python 新项目、需要云端托管知识库**：选择 LlamaIndex，快速构建 RAG 应用，无需运维基础设施。 +- **Java/Spring 企业应用、需要调用百炼智能体或工作流**：选择 Spring AI Alibaba，与 Spring 生态无缝集成。 +- **需要自定义文档切分或嵌入模型**：OpenAI 兼容接口 + 自建知识库管线，或 LlamaIndex 本地知识库方案。 + +## 被对比主题页 + +- [frameworks](../api/frameworks.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-vs.md new file mode 100644 index 00000000..c8fa9876 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/frameworks-vs.md @@ -0,0 +1,46 @@ +# 框架与工具包对比 + +阿里云百炼提供两条不同的框架与工具包集成路径：一条是通过 **LlamaIndex / Spring AI Alibaba** 等原生框架深度集成百炼的云端知识库与智能体应用能力；另一条是通过 **OpenAI 兼容接口**体系，以最小改动迁移已有 OpenAI 应用或接入 LangChain 等主流框架。本文从集成方式、语言生态、核心能力、适用场景等维度对两条路径进行对比，帮助开发者根据自身技术栈和业务需求做出选型。 + +## 关键维度对比 + +| 维度 | [frameworks](../api/frameworks.md)（原生框架集成） | toolkits-and-[frameworks](../api/frameworks.md)（OpenAI 兼容接口） | +| --- | --- | --- | +| **集成方式** | 使用框架原生 SDK 深度对接百炼云端知识库、智能体应用、工作流 | 替换 `api_key`、`base_url`、`model` 三项即可迁移已有 OpenAI 应用 | +| **语言/生态** | Python（LlamaIndex）、Java（Spring AI Alibaba，JDK 17+） | 任意支持 OpenAI SDK 的语言；可直接接入 LangChain / LangChain4j | +| **核心能力** | 云端知识库构建、RAG 检索引擎、智能体应用调用（流式/非流式）、工作流应用调用 | Chat Completions、Responses、Completions、Embedding、文件上传、Batch 批量推理、Conversations 会话管理、Vision 视觉理解 | +| **知识库** | 支持将本地文件上传到百炼构建云端知识库，使用默认智能切分与官方向量模型；Spring AI Alibaba 可检索百炼知识库 | 不直接提供知识库构建能力，但可通过 Embedding 接口自行实现向量检索 | +| **文档切分/嵌入模型** | 云端方案不支持自定义切分与嵌入模型；需本地知识库方案方可灵活控制 | 可自由选择嵌入模型（text-embedding-v1~v4），v3/v4 支持自定义向量维度 | +| **智能体/工作流** | Spring AI Alibaba 直接调用百炼智能体应用与工作流应用，获取思考过程、文档引用等元数据 | Responses API 提供内置联网搜索、网页抓取、代码解释器等工具，通过 `previous_response_id` 自动管理多轮上下文 | +| **API 端点** | 通过框架 SDK 封装调用百炼原生接口 | 统一使用 `/compatible-mode/v1` 路径，HTTP 调用追加具体资源路径 | +| **鉴权** | API Key 配置到环境变量（`DASHSCOPE_API_KEY` 等） | API Key 配置到环境变量 `DASHSCOPE_API_KEY`；各地域 API Key 不同，切换地域需同步更换 | +| **多地域支持** | 主要面向百炼主站 | 支持华北2（北京）、新加坡、日本（东京）、德国（法兰克福）、美国（弗吉尼亚）等多地域，含[业务空间](../concepts/workspace.md)专属域名 | +| **迁移成本** | 需按框架文档搭建工程、配置依赖、编写集成代码 | 已有 OpenAI 应用通常零代码改动，仅改配置即可完成迁移 | +| **典型场景** | 从零构建 RAG 应用、集成百炼智能体/工作流到 Java/Python 工程 | 迁移已有 OpenAI 应用、多语言接入、使用 LangChain 生态、批量推理、代码补全 | + +## 适用场景建议 + +### 选择 [frameworks](../api/frameworks.md)（原生框架集成）的情况 + +- **需要使用百炼云端知识库**：希望将本地文档上传到百炼、由平台托管知识库并完成智能切分与向量索引，无需自建向量数据库。 +- **需要调用百炼智能体应用或工作流应用**：已在百炼控制台创建了智能体或工作流，希望在 Java 后端通过 Spring AI Alibaba 集成，获取[流式输出](../concepts/streaming.md)、思考过程等结构化结果。 +- **使用 Python 构建 RAG**：技术栈为 Python，希望用 LlamaIndex 快速搭建[检索增强生成](../concepts/rag.md)应用，复用百炼的向量模型与重排能力。 + +### 选择 toolkits-and-frameworks（OpenAI 兼容接口）的情况 + +- **已有 OpenAI 应用需要迁移**：应用已使用 OpenAI SDK，希望以最低成本切换到百炼通义千问等模型，不改动业务逻辑。 +- **多语言或 LangChain 生态**：使用的语言或框架不在原生框架覆盖范围内（如 Go、Node.js、LangChain/LangChain4j），通过 OpenAI 兼容接口可无缝接入。 +- **需要多地域部署**：业务需要在中国内地、新加坡、日本、德国、美国等多地域调用模型，通过切换 `base_url` 即可实现。 +- **需要批量推理或代码补全**：有大规模批量推理需求（Batch 接口）或代码补全场景（Completions 接口，支持 `qwen-coder-turbo`）。 +- **需要 Responses API 的高级能力**：希望使用内置联网搜索、网页抓取、代码解释器等工具，以及通过 `previous_response_id` 自动管理多轮上下文。 + +### 两者结合使用 + +在实际项目中，两条路径并非互斥。常见的组合方式是：使用 **toolkits-and-frameworks** 的 OpenAI 兼容接口完成模型调用（Chat Completions、Embedding 等），同时使用 **frameworks** 的 LlamaIndex 或 Spring AI Alibaba 对接百炼云端知识库与智能体应用，兼顾迁移便利性与平台原生能力。 + +## 被对比主题页 + +- [frameworks](../api/frameworks.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-comparison.md new file mode 100644 index 00000000..2c1106b3 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-comparison.md @@ -0,0 +1,73 @@ +# 生成类 API 对比 + +百炼平台提供了三大类生成式 AI API——图像生成、3D 资产生成和视频生成。它们在输入方式、输出产物、调用模式、支持模型和适用场景上各有差异。本页对三类 API 做横向对比，帮助开发者根据业务需求快速选型。 + +## 关键维度对比 + +| 维度 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词（[prompt](../guides/prompt.md)）；参考图 URL（图生图/编辑）；多图参考 | 文本 [prompt](../guides/prompt.md)（≤1024 字符）；单张图像 URL；多图（固定 4 张：前/左/后/右视角） | 文本 [prompt](../guides/prompt.md)；media 多模态数组（首帧/尾帧/参考图/视频/音频）；直接 URL 字段（旧版协议） | +| **输出格式** | 图像文件（PNG/JPG），像素范围 512×512 ~ 2048×2048，1~6 张 | GLB 格式 3D 模型（PBR 材质或无贴图基础模型）+ 预览渲染图 | 视频文件，分辨率 480P~4K，时长 5~8 秒（视模型而定） | +| **调用模式** | 混合：wan2.6/2.7、z-image、qwen-image 支持同步调用；长耗时任务走异步 | 仅异步（必须 `X-DashScope-Async: enable`） | 仅异步（必须 `X-DashScope-Async: enable`） | +| **API 端点** | 多个端点（按模型系列不同）；同步与异步并存 | `POST .../aigc/video-generation/3d-generation` + `GET .../tasks/{task_id}` | `POST .../aigc/video-generation/video-synthesis` + `GET .../tasks/{task_id}` | +| **支持模型数** | 最多（Qwen-Image、万相全系列、z-image、Kling、Vidu、创意工具等 20+ 模型） | 最少（Tripo-H3.1、Tripo-P1.0 两个模型） | 较多（万相 wan2.7/2.6/2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画系列等） | +| **地域限制** | 部分北京独占（创意工具、wanx-v1）；其余支持多地域 | 仅华北2（北京） | 北京、新加坡、美国（弗吉尼亚）、德国（法兰克福） | +| **task_id 有效期** | 视模型而定（异步任务一般为 24 小时） | 24 小时 | 24 小时 | +| **产物下载有效期** | 视模型而定 | 2 小时 | 视模型而定 | +| **轮询建议间隔** | 视模型而定 | 约 15 秒 | 视模型而定（查询 RPS 限制 20） | +| **计费方式** | 按张计费（如 wanx-v1 0.16 元/张）或按调用次数 | 按任务类型（text-to-3d / image-to-3d / multi-image-to-3d）计费 | 按任务类型与分辨率/时长计费 | +| **同步调用支持** | 是（wan2.6/2.7、z-image、qwen-image 系列新模型） | 否 | 否 | +| **任务状态枚举** | — | PENDING → RUNNING → SUCCEEDED / FAILED / CANCELED / UNKNOWN | PENDING → RUNNING → SUCCEEDED / FAILED / CANCELED / UNKNOWN | + +## 各方案适用场景建议 + +### 图像生成 + +- **适用场景**：营销素材批量生成、商品图编辑、内容配图、创意海报、虚拟试衣、图像翻译等。 +- **选型建议**： + - 需要复杂文本渲染与段落排版 → Qwen-Image 系列。 + - 追求高性价比、轻量快速 → z-image-turbo。 + - 需要多图参考、4K 高清输出 → 万相 wan2.7-image-pro。 + - 需要风格化、去水印、超分等专项编辑 → 万相通用图像编辑 `wanx2.1-imageedit`。 + - 第三方风格偏好 → Kling 或 Vidu 系列。 + +### 3D 生成 + +- **适用场景**：游戏资产生成、电商 3D 展示、建筑可视化、教育/文物数字化的快速 3D 建模。 +- **选型建议**： + - 需要高精度、高面数模型 → Tripo-H3.1（最高 200 万面，支持 `ultra` 几何精度）。 + - 追求生成速度、对面数要求不高 → Tripo-P1.0（最高 2 万面，速度更快）。 + - 需要带贴图的 PBR 材质模型 → `pbr` 设为 `true`（默认）。 + - 只需基础白模 → `texture` 和 `pbr` 同时设为 `false`。 + - 注意：仅限北京地域 API Key 调用，需提前在控制台开通 Tripo 服务。 + +### 视频生成 + +- **适用场景**：短视频内容创作、广告生成、视频编辑、数字人/口型替换、视频超清、动作模仿等。 +- **选型建议**： + - 需要最新协议、多能力集成 → 万相 wan2.7（文生/图生/参考/编辑，推荐）。 + - 需要首尾帧、多镜头分镜 → Kling kling-v3 系列。 + - 需要 4K 超清、对口型、动作模仿 → PixVerse 系列。 + - 数字人/人像动画 → animate-anyone、emo、liveportrait 等人像动画系列。 + - 注意：所有视频 API 均为异步调用，跨地域调用会失败，务必保证模型、域名、API Key 同地域。 + +## 技术选型参考 + +| 需求特征 | 推荐方案 | 理由 | +| --- | --- | --- | +| 低延迟、即时返回 | 图像生成（同步模型） | wan2.6/2.7、z-image 等支持 HTTP 同步调用，无需轮询 | +| 批量处理、可容忍异步 | 任意（图像异步 / 3D / 视频） | 异步模式支持任务队列，适合批量场景 | +| 多模态输入（图+文+音） | 视频生成 | media 数组支持首帧/尾帧/参考图/视频/音频等多模态组合 | +| 多视角输入 | 3D 生成 | 支持前/左/后/右四视角多图生 3D | +| 需要文本渲染能力 | 图像生成（Qwen-Image） | 擅长复杂文本渲染与多行段落排版 | +| 需要多地域部署 | 视频生成 | 支持北京/新加坡/美国/德国四地域 | +| 成本敏感 | 图像生成（z-image-turbo / wanx-v1） | 轻量模型或 V1 版价格更低 | +| 高保真输出 | 3D 生成（Tripo-H3.1 ultra）或图像生成（wan2.7-image-pro 4K） | 高精度模型支持超高分辨率/面数输出 | + +## 被对比主题页 + +- [image generation](../api/image-generation.md) +- [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-vs.md new file mode 100644 index 00000000..fbd132d2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/generation-api-vs.md @@ -0,0 +1,78 @@ +# 图像/3D/视频生成 API 对比 + +百炼平台提供三类[多模态](../concepts/multimodal.md)生成 API：图像生成、3D 资产生成和视频生成。它们共享 DashScope 网关和异步任务轮询的基础调用范式，但在输入模态、输出产物、模型矩阵、地域限制和计费粒度上存在显著差异。本页面向需要在这些生成能力之间做技术选型的开发者，从关键维度逐一对比，帮助快速判断哪种 API 最适合你的业务场景。 + +## 关键维度对比 + +| 维度 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词；参考图（图生图/编辑）；多图参考（部分模型） | 文本提示词；单张图像 URL；4 视角多图（前/左/后/右） | 文本提示词；首帧/尾帧图像；参考图；视频/音频输入（视模型而定） | +| **输出格式** | 图像（JPEG/PNG），1~6 张 | GLB 3D 模型（PBR 材质或无贴图基础模型）+ 预览渲染图 | 视频文件 | +| **支持模型** | Qwen-Image、万相 wan2.7/2.6/2.5/2.2/2.1/2.0、Z-Image、Kling、Vidu 等系列，另含图像翻译、涂鸦作画、虚拟模特等专项工具 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业快速） | 万相 wan2.7/2.6/2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画、数字人等 | +| **API 端点** | 各模型独立端点（见对应 API 参考） | `POST /api/v1/services/aigc/video-generation/3d-generation` | `POST /api/v1/services/aigc/video-generation/video-synthesis` | +| **调用模式** | 大多数异步（`X-DashScope-Async: enable`）；wan2.6/2.7、z-image、qwen-image 系列支持 HTTP 同步调用 | 仅异步（必须携带 `X-DashScope-Async: enable`） | 仅异步（必须携带 `X-DashScope-Async: enable`） | +| **结果轮询** | 异步任务通过 `GET /api/v1/tasks/{task_id}` 轮询 | 同左；建议轮询间隔约 15 秒，RPS 默认 20 | 同左；`task_id` 有效期 24 小时 | +| **地域要求** | 多地域可用（北京为主，部分模型仅限北京） | 仅华北2（北京） | 北京、新加坡、弗吉尼亚、法兰克福；PixVerse/Vidu/Kling/HappyHorse/人像动画仅限北京 | +| **计费方式** | 按张计费（如 wanx-v1 为 0.16 元/张）；部分专项工具提供免费体验 | 按任务类型计费（text-to-3d / image-to-3d / multi-image-to-3d） | 按任务计费（分辨率、时长影响费用） | +| **产物下载有效期** | 视模型而定 | 2 小时 | 视模型而定 | +| **典型场景** | 文生图、图像编辑、图像翻译、创意海报、虚拟模特、试衣、涂鸦作画、局部重绘 | 文生 3D、单图生 3D、多视角生 3D、PBR 材质模型生成 | 文生视频、图生视频、首尾帧视频、参考生视频、视频编辑、视频超分、对口型、动作模仿、数字人 | + +## 调用流程差异 + +三类 API 都遵循"创建任务 → 轮询获取结果"的异步范式，但图像生成有同步与异步两种模式可选，而 3D 和视频生成均只支持异步： + +- **图像生成**：较新的 wan2.6/wan2.7、z-image、qwen-image 系列支持 HTTP 同步调用，可直接在单次请求中获取生成结果；其余模型需走异步流程。如果对延迟敏感且使用的是支持同步的模型，优先选同步模式。 +- **3D 生成**：强制异步，创建任务时若不携带 `X-DashScope-Async: enable` 会直接报错。轮询间隔建议 15 秒，任务状态流转为 PENDING → RUNNING → SUCCEEDED/FAILED。 +- **视频生成**：同样强制异步。需注意部分万相模型（图生动作 `wan2.2-animate-move`、视频换人 `wan2.2-animate-mix`、数字人 `wan2.2-s2v`）使用 `image2video/video-synthesis` 路径而非 `video-generation/video-synthesis`，调用时需区分端点。 + +## 输入模态对比 + +| 输入类型 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| 纯文本提示词 | 支持（文生图） | 支持（文生 3D） | 支持（文生视频） | +| 单张参考图 | 支持（图生图/编辑） | 支持（单图生 3D） | 支持（图生视频/首帧） | +| 多张参考图 | 部分支持（Kling 多图、Vidu 最多 14 张） | 支持（固定 4 视角，前/左/后/右） | 支持（参考生视频、首尾帧） | +| 视频输入 | 不支持 | 不支持 | 支持（视频编辑、超分等） | +| 音频输入 | 不支持 | 不支持 | 支持（数字人、对口型等） | + +## 适用场景建议 + +### 图像生成 + +适合需要**静态视觉产物**的场景：营销素材生成、电商商品图编辑、图像翻译保留排版、创意海报、虚拟模特试衣、涂鸦转成品图等。如果你的需求是快速批量出图且对延迟敏感，优先选择支持同步调用的模型（z-image-turbo、qwen-image、wan2.7-image）。如果需要复杂文本渲染和多段排版，Qwen-Image 系列是首选。创意工具类（虚拟模特、鞋靴模特等）适合垂直行业需求，但注意部分仅在北京地域提供。 + +### 3D 生成 + +适合需要**3D 资产**的场景：游戏道具快速建模、电商商品 3D 展示、建筑/工业设计预览等。如果对模型精度要求高，选 Tripo-H3.1（最高 200 万面，可设 `geometry_quality: ultra`）；如果追求速度，选 Tripo-P1.0（最高 2 万面）。输入方式的选择：有精确设计稿选单图生 3D，有多角度照片选多图生 3D（前/左/后/右四视角），只有文字描述则用文生 3D。注意此 API 仅限北京地域。 + +### 视频生成 + +适合需要**动态视频产物**的场景：广告短视频、影视素材生成、数字人播报、视频编辑与风格迁移、视频超分等。模型选择策略： + +- 通用文生/图生视频：万相 wan2.7 新版协议为推荐方案，功能最全（图生视频含首帧/首尾帧/续写、参考生视频含多主体+音色）。 +- 第三方模型：Kling 擅长智能分镜和视频编辑；PixVerse 支持 4K 超分和动作模仿；Vidu 适合广告参考生视频。 +- 人像/数字人场景：人像动画系列（animate-anyone、emo、liveportrait）适合舞蹈/唱演/播报；万相 `wan2.2-s2v` 适合单图+音频生成说话视频。 +- 需要音频同步：选支持 `audio` 参数的模型或使用专门的对口型接口。 + +## 技术选型速查 + +| 你的需求 | 推荐 API | 推荐模型 | +| --- | --- | --- | +| 快速文生图（低延迟） | 图像生成 | z-image-turbo 或 qwen-image（同步调用） | +| 高质量文生图+文本渲染 | 图像生成 | Qwen-Image 系列 | +| 图像编辑/改字/增删物体 | 图像生成 | Qwen-Image-Edit 或 wan2.7-image | +| 电商虚拟模特/试衣 | 图像生成 | wanx-virtualmodel / shoemodel-v1 | +| 3D 模型生成（高精度） | 3D 生成 | Tripo/Tripo-H3.1（ultra 精度） | +| 3D 模型生成（快速） | 3D 生成 | Tripo/Tripo-P1.0 | +| 文生视频/图生视频 | 视频生成 | wan2.7 系列（新版协议） | +| 视频编辑/风格迁移 | 视频生成 | wan2.7-videoedit 或 Kling | +| 数字人/对口型 | 视频生成 | wan2.2-s2v 或 PixVerse lipsync | +| 4K 视频超分 | 视频生成 | pixverse-upscale | + +## 被对比主题页 + +- [image generation](../api/image-generation.md) +- [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/image-video-3d-generation-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/image-video-3d-generation-comparison.md index c57c9b93..98518dbd 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/image-video-3d-generation-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/image-video-3d-generation-comparison.md @@ -1,73 +1,79 @@ -# 图像生成 vs 视频生成 vs 3D生成 +# 图像、视频与 3D 生成能力对比 -百炼平台同时提供图像生成、视频生成和 3D 模型生成三大视觉内容创作能力。三者在输入输出格式、模型生态、调用方式、计费模式和适用场景上存在显著差异。本文从开发者技术选型角度，对三类能力进行系统对比，帮助开发者根据业务需求选择最合适的方案。 +百炼平台提供图像生成、视频生成和 3D 模型生成三大多媒体内容生成能力，底层模型各有侧重。本页对三种生成能力的核心维度进行横向对比，帮助开发者在实际项目中快速做出技术选型决策。 ## 关键维度对比 -| 维度 | 图像生成 | 视频生成 | 3D生成 | -|------|----------|----------|--------| -| **输入格式** | 文本([prompt](../guides/prompt.md))、参考图片、涂鸦草图 | 文本([prompt](../guides/prompt.md))、首帧图片、参考图/视频、音频 | 文本([prompt](../guides/prompt.md))、单图、多图(4视角) | -| **输出格式** | PNG 图片(512x512 至 4K) | MP4 视频(5-10秒，1280x720等) | GLB 模型(带PBR材质贴图或无贴图) | -| **核心模型** | 千问(Qwen-Image)、万相(Wan)、Z-Image、可灵(Kling) | 万相(Wan 2.7)、HappyHorse、Pixverse、Vidu、Kling | Tripo-H3.1、Tripo-P1.0 | -| **调用方式** | 同步/异步均支持 | [异步调用](../concepts/async-invocation.md)(创建任务+轮询获取) | [异步调用](../concepts/async-invocation.md)(创建任务+轮询获取) | -| **典型响应时间** | 秒级至十秒级 | 1-5 分钟 | 分钟级(需轮询，建议间隔15秒) | -| **API端点** | [DashScope SDK](../concepts/dashscope-sdk.md) / HTTP | `/api/v1/services/aigc/video-generation/video-synthesis` | `/api/v1/services/aigc/video-generation/3d-generation` | -| **支持地域** | 多地域(部分模型仅北京) | 多地域(北京、新加坡等) | 仅华北2(北京) | -| **SDK兼容性** | [DashScope SDK](../concepts/dashscope-sdk.md)、HTTP | OpenAI兼容SDK、[DashScope SDK](../concepts/dashscope-sdk.md)、HTTP | 仅HTTP | -| **产物有效期** | 即时返回，无时效限制 | task_id 24小时有效 | 下载链接2小时有效，task_id 24小时有效 | -| **模型数量** | 20+ 模型(含创意工具) | 10+ 模型系列 | 2 个模型 | -| **编辑能力** | 局部重绘、风格迁移、扩图、超分 | 视频重绘、风格转换、口型替换 | 无编辑能力 | - -## 输入输出能力详细对比 - -| 能力 | 图像生成 | 视频生成 | 3D生成 | -|------|----------|----------|--------| -| 文生内容 | 支持(文生图) | 支持(文生视频) | 支持(文生3D) | -| 图生内容 | 支持(图像编辑、参考生图) | 支持(图生视频、参考生视频) | 支持(单图/多图生3D) | -| 多模态输入 | 多图参考、涂鸦 | 关键帧序列、音频驱动 | 4视角多图(前左后右) | -| 批量生成 | 单次1-9张 | 单次1条视频 | 单次1个模型 | -| 最大输出分辨率 | 4K(wan2.7-image-pro) | 1920x1080 | 最高200万面(H3.1) | - -## 计费与商业化对比 - -| 维度 | 图像生成 | 视频生成 | 3D生成 | -|------|----------|----------|--------| -| 计费单位 | 按张计费 | 按任务/时长计费 | 按任务计费 | -| 免费体验 | 部分模型有免费额度 | 部分模型有免费额度 | 需开通Tripo服务 | -| 商业化程度 | 大部分已商业化 | 主力模型已商业化 | 已商业化 | +| 维度 | 图像生成 | 视频生成 | 3D 生成 | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词、参考图像（URL/Base64）、涂鸦图、分割掩码 | 文本提示词、首帧图像、首尾帧图像、参考图像/视频、音频 | 文本提示词、单张图像（JPEG/PNG）、多视角图像（4 张，前/左/后/右） | +| **输出格式** | PNG 图像，分辨率 512×512 ~ 4K，1-9 张 | MP4 视频，分辨率 720P ~ 4K，时长 3-10 秒（视模型而定） | GLB 三维模型（带/不带 PBR 贴图）+ 预览渲染图（PNG），有效期 2 小时 | +| **调用模式** | 同步（千问图像、万相 2.6+、Z-Image）或异步（可灵、Vidu、万相 2.5 及以下、创意工具类） | 全部异步（耗时 1~10 分钟） | 全部异步（必须携带 `X-DashScope-Async: enable`） | +| **主要模型** | 千问图像（Qwen-Image）、万相（Wan）图像系列、Z-Image、可灵图像、Vidu 图像 | 万相（Wan）视频系列、可灵（Kling）、Vidu、HappyHorse、爱诗（PixVerse）、人像动画系列 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业快速） | +| **API 端点（示例）** | `/api/v1/services/aigc/text2image/image-synthesis`（异步文生图）、`/api/v1/services/aigc/multimodal-generation/generation`（同步） | `/api/v1/services/aigc/video-generation/video-synthesis`（主流）、`/api/v1/services/aigc/image2video/video-synthesis`（旧版首尾帧） | `/api/v1/services/aigc/video-generation/3d-generation` | +| **地域支持** | 多地域（华北2北京为主，部分模型支持新加坡、弗吉尼亚、法兰克福） | 多地域（HappyHorse 覆盖最广：北京/新加坡/弗吉尼亚/法兰克福；可灵、Vidu、PixVerse 仅限北京） | 仅华北2（北京），API Key 也必须为北京地域 | +| **结果 URL 有效期** | 24 小时（异步任务的图像 URL） | 24 小时（task_id），视频文件 URL 视厂商而定 | task_id 有效期 24 小时；模型文件及渲染图 URL 仅 **2 小时**，需及时下载 | +| **轮询建议间隔** | 2~5 秒（图像生成通常较快） | 5~15 秒（视频生成耗时 1~10 分钟） | 15 秒（官方建议） | +| **典型生成时长** | 同步：秒级；异步：10~60 秒 | 1~5 分钟（普通视频）；5~10 分钟（视频编辑统一模型） | 数十秒到数分钟（取决于精度档位） | +| **最大精度/质量** | 4K 分辨率（可灵/Vidu 图像），PNG 无损 | 4K 分辨率（PixVerse 超清固定 4K） | 200 万面（Tripo-H3.1 ultra 模式） | +| **特色能力** | 图像翻译、虚拟模特、AI 试衣、创意海报、背景生成、画面扩展、擦除补全、人像分割、写真、创意文字等 20+ 细分功能 | 数字人（说话/唱歌）、视频口型替换、动作迁移、多镜头分镜、视频风格重绘、视频超清放大 | 多视角精准还原、PBR 材质、无贴图裸模式 | +| **计费方式** | 按模型分级：部分免费体验（额度有限），主力模型付费按量 | 按模型分级付费，无免费额度（需开通对应服务） | 按模型付费（需先在控制台开通 Tripo 服务） | + +## 调用流程对比 + +| 步骤 | 图像生成（同步） | 图像生成（异步） | 视频生成 | 3D 生成 | +| --- | --- | --- | --- | --- | +| 1 | POST 请求（无特殊 Header） | POST + `X-DashScope-Async: enable` | POST + `X-DashScope-Async: enable` | POST + `X-DashScope-Async: enable` | +| 2 | 直接返回图像 URL | 返回 `task_id` | 返回 `task_id` | 返回 `task_id` | +| 3 | — | GET 轮询 `/api/v1/tasks/{task_id}` | GET 轮询 `/api/v1/tasks/{task_id}` | GET 轮询 `/api/v1/tasks/{task_id}` | +| 4 | — | 状态 `SUCCEEDED` 后取图像 URL | 状态 `SUCCEEDED` 后取视频 URL | 状态 `SUCCEEDED` 后取 GLB URL（2 小时内下载） | ## 适用场景建议 -**选择图像生成的场景**： - -- 电商商品图、营销海报、社交媒体配图等静态视觉内容制作 -- 需要精确文字渲染(如广告文案嵌入图片) -- 图像局部编辑、风格转换、AI试衣等垂直场景 -- 对响应速度要求高(秒级出图) -- 需要批量生成多张候选图供筛选 - -**选择视频生成的场景**： - -- 短视频内容创作、广告视频制作 -- 数字人驱动(音频/文本驱动说话、唱歌) -- 服装展示、舞蹈动作等动态展示 -- 需要关键帧精确控制镜头运动 -- 已有视频的风格转换或口型替换 - -**选择3D生成的场景**： - -- 游戏资产、AR/VR场景中的3D物体快速原型 -- 电商3D商品展示(可旋转查看) -- 建筑/工业设计的概念验证模型 -- 需要标准PBR材质的可渲染模型 - -## 技术选型决策参考 - -1. **内容维度**：静态画面选图像生成；需要动态表现选视频生成；需要空间立体展示选3D生成。 -2. **时效要求**：图像生成响应最快(秒级)，适合实时交互；视频和3D均为分钟级异步任务，适合离线批处理。 -3. **生态成熟度**：图像生成模型最丰富、功能最全面；视频生成处于快速发展期，模型迭代频繁；3D生成目前模型较少，但输出质量已达可用水平。 -4. **地域限制**：3D生成仅限北京地域，部分图像创意工具同样限北京；视频生成地域覆盖较广。 -5. **集成复杂度**：图像生成支持同步调用，集成最简单；视频和3D需要实现异步轮询逻辑，建议封装任务状态管理层。 +### 选择图像生成 + +- 需要快速产出静态素材：商品图、海报、插画、概念图。 +- 有图像编辑诉求：局部重绘、扩图、去水印、风格迁移。 +- 电商场景：虚拟模特换装（`virtualmodel`）、AI 试衣（`aitryon`）、背景替换。 +- 需要图像内文字翻译且保持排版（`qwen-mt-image`）。 +- 需要同步低延迟接口（千问图像、万相 2.6+、Z-Image）。 + +### 选择视频生成 + +- 需要动态内容：产品展示视频、短片、宣传片。 +- 人像动画场景：数字人口播（`wan2.2-s2v`/EMO）、舞蹈驱动（AnimateAnyone）、表情包（Emoji）。 +- 已有静态图片，需赋予动态效果（图生视频）。 +- 视频内容再加工：口型替换（`videoretalk`/PixVerse lipsync）、风格重绘（`video-style-transform`）、视频超清（PixVerse upscale）。 +- 需要分镜叙事（可灵 `multi_shot`、万相2.7 多镜头、PixVerse c1 系列）。 + +### 选择 3D 生成 + +- 需要可直接用于游戏引擎、AR/VR、渲染管线的三维资产（GLB 格式）。 +- 从概念图或参考照片快速原型化 3D 模型。 +- 需要 PBR 材质的工业级资产（`Tripo-H3.1` ultra 模式，最高 200 万面）。 +- 对速度要求高于精度时选 `Tripo-P1.0`（速度更快，最高 2 万面）。 +- **注意**：项目必须能接受仅部署在北京地域这一硬性约束。 + +## 技术选型参考 + +| 需求特征 | 推荐方案 | 关键理由 | +| --- | --- | --- | +| 秒级出图、低延迟 | 图像生成（同步：千问图像 / 万相 2.6+ / Z-Image） | 同步接口，无需轮询 | +| 高质量静态素材批量生产 | 图像生成（可灵 / Vidu，异步 4K） | 支持 1-9 张批量，分辨率最高 4K | +| 动态内容、视频营销 | 视频生成（万相2.7 / 可灵 v3 / HappyHorse） | 内容丰富，支持多镜头分镜 | +| 跨地域部署 | 视频生成（HappyHorse，4 地域） | 覆盖北京/新加坡/弗吉尼亚/法兰克福 | +| 数字人 / 口播视频 | 视频生成（wan2.2-s2v / EMO / LivePortrait） | 专为人像动画设计，音频驱动 | +| 游戏/AR 三维资产 | 3D 生成（Tripo-H3.1） | 输出标准 GLB，支持 PBR，高达 200 万面 | +| 快速 3D 原型 | 3D 生成（Tripo-P1.0） | 速度优先，兼顾质量（2 万面上限） | +| 预算敏感、先验证可行性 | 图像生成（免费体验模型：virtualmodel / 海报 / 擦除等） | 部分功能有免费额度，适合 PoC | + +## 注意事项 + +1. **3D 生成地域唯一性**：3D 生成目前仅限华北2（北京），且 API Key 必须是北京地域的 Key，与多地域支持的图像/视频生成有本质区别，上线前务必确认部署地域。 +2. **3D 结果 URL 仅 2 小时有效**：3D 生成的模型文件和渲染图 URL 有效期极短（2 小时），需在业务层做及时下载和持久化存储，不能依赖 URL 直接分发。 +3. **视频生成全部异步**：视频生成没有同步接口，最短也需 1 分钟左右，不适合实时/低延迟场景。 +4. **图像生成的免费模型限额**：wanx-virtualmodel、image-erase-completion 等免费体验模型额度用完后不可调用且不支持付费续购，生产环境应优先使用付费的千问图像编辑或万相 2.1 图像编辑。 +5. **视频生成旧版协议不兼容**：万相 2.6 及以下版本使用旧版 API 协议，与 wan2.7 的新版协议不兼容，迁移时需修改请求结构，不能直接替换模型名称。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md index bfc49c97..0b162061 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/image-vs-video-vs-3d-generation.md @@ -1,47 +1,67 @@ # 图像、视频与 3D 生成对比 -阿里云百炼平台在 DashScope 网关上提供了图像、视频与 3D 三大类视觉内容生成能力。三者虽同属「生成式媒体」范畴、共用同一套鉴权与任务模型，但在输入输出格式、可用模型、调用协议、地域限制与产物形态上差异明显。本文面向开发者，横向梳理三类方案的关键维度，帮助在技术选型时快速判断该用哪一类 API。 +阿里云百炼平台在 AIGC 领域覆盖了**图像生成**、**视频生成**、**3D 资产生成**三大主流内容形态。三者共享 DashScope 网关的调用范式和 API Key 体系，但在输入输出、模型矩阵、调用模式、耗时、地域限制、计费方式与典型场景上差异显著。本页梳理三者的关键维度，帮助开发者在做技术选型时快速定位到合适的能力。 ## 关键维度对比 | 维度 | 图像生成 | 视频生成 | 3D 生成 | | --- | --- | --- | --- | -| 主要能力 | 文生图、图像编辑、图像翻译、垂直创意工具（虚拟模特、扩图、擦除补全、海报等） | 文生视频、图生视频（首帧/首尾帧）、参考生视频、视频编辑、数字人、人像驱动、超清、对口型 | 文生 3D、单图生 3D、多图生 3D | -| 典型输入 | `prompt` / `negative_prompt`；编辑类传 `image_url`/`images`/`mask_image_url`；新版用 `messages` 多模态结构 | 文生用 `prompt`；图生/参考/编辑用 `media` 数组或 `image_url`/`video_url`/`audio_url`/`first_frame`/`last_frame` 等 | `prompt`（≤1024 字符）/ `image`（单图）/ `images`（4 元数组：前左后右），三者互斥 | -| 输出格式 | 图像 URL（有效期 24 小时），分辨率随模型而异（如 512×512~2048×2048、1K/2K/4K） | 视频 URL，分辨率 480P/540P/720P/1080P、可设 `duration` | 带贴图 PBR 材质 GLB（`pbr_model_url`）或无贴图基础模型（`base_model_url`）+ 预览渲染图，下载链接**仅 2 小时** | -| 代表模型 | Qwen-Image、万相 Wan/WanX（t2i/imageedit）、Z-Image、可灵、Vidu 等 | 万相 Wan 2.1-2.7、PixVerse、Vidu、可灵 Kling、HappyHorse、EMO/LivePortrait 等 | `Tripo/Tripo-H3.1`（最高 200 万面）、`Tripo/Tripo-P1.0`（最高 2 万面，速度更快） | -| 调用协议 | 异步（主流）+ **HTTP 同步**（仅 wan2.6/2.7、z-image 等新版） | **全部异步**（创建任务 → 轮询），无同步 | **全部异步**（创建任务 → 轮询），无同步 | -| 典型端点 | `text2image/image-synthesis`、`image2image/image-synthesis`、`multimodal-generation/generation`、`virtualmodel/generation` 等多种 | `video-generation/video-synthesis`（主）、部分数字人用 `image2video/video-synthesis` | `video-generation/3d-generation`（单一端点） | -| 生成耗时 | 通常 1-2 分钟 | 通常 1-5 分钟（统一编辑约 5-10 分钟） | 较长，建议轮询间隔约 15 秒 | -| 地域可用性 | 华北2（北京）为主，部分模型也支持新加坡/美国；大量创意工具**仅北京** | 华北2（北京）为主，第三方模型多**仅北京**，万相等部分支持新加坡/美国/德国 | **仅华北2（北京）** | -| 计费方式 | 仅对成功输出图片计费，含免费额度（通常 500 张/90 天），主子账号共享 | 按成功任务计费，随模型与分辨率/时长而异 | 仅对成功结果计数，`usage` 记录任务类型/数量/质量 | -| 关键请求头 | `Authorization`、`Content-Type`；异步需 `X-DashScope-Async: enable` | 同左，异步必带 `X-DashScope-Async: enable` | 同左，异步必带 `X-DashScope-Async: enable` | -| 任务状态 | `PENDING`/`RUNNING`/`SUSPENDED`/`SUCCEEDED`/`FAILED` | 同类异步枚举，过期返回 `UNKNOWN` | `PENDING`/`RUNNING`/`SUCCEEDED`/`FAILED`/`CANCELED`/`UNKNOWN` | - -## 共性与差异要点 - -**共性**：三者都基于 DashScope 网关，共用 `Authorization: Bearer $DASHSCOPE_API_KEY` 鉴权、`model`/`input`/`parameters` 的请求体结构，异步模式均为「创建任务拿 `task_id` → 轮询查询」，且 `task_id` 有效期统一为 24 小时、创建异步任务必须携带 `X-DashScope-Async: enable`。地域隔离规则也一致：模型、Endpoint 与 API Key 必须同地域，跨地域会鉴权失败。 - -**核心差异**： - -- **协议丰富度**：只有图像生成的部分新版模型（wan2.6/2.7、z-image）支持一次请求返回结果的 HTTP 同步调用；视频与 3D **全部只能异步**。 -- **地域自由度**：图像与视频在北京之外还有一定跨地域支持，而 3D 生成**只有华北2（北京）**可用，选型时需特别注意。 -- **产物时效**：图像/视频 URL 有效期 24 小时，而 3D 模型下载链接**仅 2 小时**，需在生成后尽快下载并转存。 -- **输入约束**：3D 的 `prompt`/`image`/`images` 三者互斥，多图必须是固定 4 元数组（前左后右）；图像与视频则允许更灵活的多模态、多图输入组合。 - -## 适用场景建议 - -- **图像生成**：适合海报、电商主图、创意配图、虚拟模特试衣、图像翻译/编辑等静态视觉需求。追求低延迟、希望一次请求出结果时，优先选支持 HTTP 同步的新版模型（wan2.6/2.7、z-image-turbo）；需要精细编辑（改文字、局部重绘、扩图、去水印）则用千问/万相编辑系列。 -- **视频生成**：适合短视频、广告片、数字人播报、口播/对口型、人像驱动等动态内容。需明确任务类型（文生/图生/首尾帧/参考/编辑）选择对应模型，注意多镜头控制方式在不同模型间不一致（万相 2.7、PixVerse-c1 用自然语言 `prompt`，旧版万相 2.6 需显式 `shot_type: "multi"` + `prompt_extend: true`）。 -- **3D 生成**：适合游戏/电商/XR 场景的 3D 资产快速建模。需要高精度、高面数选 `Tripo/Tripo-H3.1`（可用 `geometry_quality: ultra` 达 200 万面）；追求速度、面数需求不高选 `Tripo/Tripo-P1.0`。务必在北京地域开通 Tripo 服务并及时下载 2 小时时效的产物。 - -## 技术选型参考 - -1. **先按产物形态定类别**：要静态图片 → 图像；要动态视频 → 视频；要可交互 3D 模型（GLB） → 3D。 -2. **再评估延迟要求**：对响应速度敏感的图像场景可用同步协议；视频与 3D 必须做好异步轮询与任务状态处理（含 `FAILED`/`UNKNOWN`）。 -3. **确认地域与开通**：3D 与多数第三方视频/图像创意模型只在北京可用，需保证模型、Endpoint、API Key 同地域，并提前在控制台开通授权（如 Tripo）。 -4. **规划产物存储**：所有产出均为限时 URL，建议生成后立即转存至 OSS，其中 3D 仅 2 小时窗口最需注意。 -5. **统一工程实现**：三类 API 共用鉴权、请求头与异步模型，可复用同一套任务提交/轮询/重试封装，仅按 `model` 与端点差异做分支。 +| **产物形态** | 静态图片（PNG/JPEG 等） | 视频文件（MP4，通常 1080P/720P/480P） | GLB 三维模型（含 PBR 材质或无贴图基础模型）+ 预览渲染图 | +| **典型输入** | 文本 [prompt](../guides/prompt.md)、参考图（单/多图）、mask、涂鸦、线稿、模特/服饰图 | 文本 [prompt](../guides/prompt.md)、首帧图、首尾帧图、参考图、参考视频、音频 | 文本 [prompt](../guides/prompt.md)、单张图或 4 视角图（前/左/后/右） | +| **模型矩阵广度** | 最广：Qwen-Image / 通义万相 Wan/WanX / Z-Image / Kling / Vidu / 专项创意工具（虚拟模特、鞋靴模特、涂鸦、局部重绘、图像翻译、创意海报等） | 广：万相 Wan 2.1~2.7、爱诗 PixVerse、Vidu、可灵 Kling、HappyHorse、人像驱动系列（AnimateAnyone/EMO/LivePortrait/Emoji/VideoRetalk） | 单一家族：Tripo（`Tripo/Tripo-H3.1` 高精度 200 万面、`Tripo/Tripo-P1.0` 专业快速 2 万面） | +| **调用模式** | 主流：异步「创建任务 → 轮询 task_id」；较新的 wan2.6/2.7、z-image、qwen-image 支持 HTTP **同步**调用 | 全部**异步**，必须携带 `X-DashScope-Async: enable` | 仅**异步**，必须携带 `X-DashScope-Async: enable` | +| **主要 API 端点** | `/api/v1/services/aigc/text2image/*`、`/multimodal-generation/*`（因模型而异） | `/api/v1/services/aigc/video-generation/video-synthesis`；部分数字人/图生动作走 `/api/v1/services/aigc/image2video/video-synthesis` | `/api/v1/services/aigc/video-generation/3d-generation` | +| **典型耗时** | 数秒~数十秒 | 1~5 分钟，统一编辑类可达 5~10 分钟 | 分钟级（建议 15 秒轮询一次） | +| **task_id 有效期** | 通常 24 小时（异步任务通用约定） | 24 小时，过期返回 `UNKNOWN` | 24 小时，过期返回 `UNKNOWN` | +| **输出下载链接有效期** | 视具体模型（通常 24 小时） | 视具体模型（通常 24 小时） | **仅 2 小时**，需及时下载 | +| **地域支持** | 大部分模型支持华北2（北京）；旗舰 Qwen-Image/Z-Image/wan2.6+ 支持多地域（新加坡/美国/德国）；专项创意工具、`wanx-v1` 多为北京独占 | 万相与 HappyHorse 部分能力支持多地域；PixVerse/Vidu/Kling/数字人系列**仅北京** | **仅华北2（北京）** | +| **分辨率/规格控制** | `size` / `n`（张数 1~6，Z-Image 固定 1）；总像素 512×512 ~ 2048×2048，可到 4K（wan2.7-image-pro） | `resolution`（480P/540P/720P/1080P）、`size`（如 `1280*720`）、`duration`（秒），PixVerse 视频超清固定 4K | `texture_quality`（standard/detailed）、`geometry_quality`（standard/ultra，仅 H3.1）、`pbr`、`texture` | +| **多镜头/连贯性** | 组图（wan2.7-image 文生组图、Kling 分镜组图） | 智能分镜/多镜头：万相 2.7 与 PixVerse-c1 用 `prompt` 自然语言；wan2.6 需 `shot_type: "multi"` + `prompt_extend: true` | 单一 3D 资产，无镜头/时序概念 | +| **前置准备** | 部分模型需要授权开通（如 Kling、Vidu 第三方模型） | 大量第三方模型需要在模型市场开通；数字人需要 `wan2.2-s2v-detect` 检测图片 | 需在**模型市场**搜索「Tripo」开通并完成授权 | +| **计费维度** | 按张数/像素/模型档位（旗舰、Plus、Turbo/Lite 分层，`wanx-v1` 约 0.16 元/张） | 按秒/分辨率/模型档位（`wan-std`/`wan-pro` 等） | 按任务次数计费，`usage` 记录 `text-to-3d`/`image-to-3d`/`multi-image-to-3d` | +| **响应产物字段** | `output.results[].url` / `output.images` | `output.video_url` | `pbr_model_url`（默认）/ `base_model_url`（关闭贴图时）/ `rendered_image_url` | +| **多模态输入丰富度** | 中等（文本 + 参考图 + mask） | **最丰富**（文本 + 图 + 音频 + 视频，wan2.7-i2v 支持全模态输入） | 较低（互斥的 `prompt` / `image` / `images` 三选一） | + +## 各方案适用场景建议 + +### 图像生成：适合"高并发、多样式、快出图"的可视化需求 + +- **通用文生图 / 排版渲染**：Qwen-Image 系列（复杂文本渲染、段落级排版最强），或万相 wan2.7-image-pro（4K 输出、组图）。 +- **轻量高性价比**：`z-image-turbo`（固定 1 张，中英文渲染均衡）。 +- **图像编辑与二次创作**：Qwen-Image-Edit（改字、增删物体、动作/风格迁移），wanx2.1-imageedit（去水印、扩图、超分、上色、线稿生图）。 +- **电商/营销专项工具**：虚拟模特、鞋靴模特、创意海报、人像风格重绘（多为北京地域独占，部分免费体验）。 +- **多图参考构图**：Kling omni（分镜组图）、Vidu 参考图生图（最多 14 张参考）。 + +### 视频生成：适合"故事讲述、动态展示、数字人交互" + +- **文/图/参考生视频**：万相 wan2.7 全系列（协议最新、多模态最全）；PixVerse、Vidu、Kling 提供风格化补充。 +- **首尾帧过渡与短片剪辑**：wan2.7-i2v-*、pixverse-*、viduq3-* 均支持首尾帧生视频。 +- **数字人/口播/直播分身**：`wan2.2-s2v`（图片+音频驱动，需先跑 `wan2.2-s2v-detect`）。 +- **人像驱动（舞蹈/唱演/播报）**：AnimateAnyone、EMO、LivePortrait；预设表情包用 Emoji（`driven_id`）。 +- **后期能力**：pixverse-upscale（视频超清 4K）、pixverse-lipsync（对口型）、video-style-transform（8 种风格重绘）。 +- **视频编辑与多主体保持一致**：wan2.7-videoedit、`wanx2.1-vace-plus`（统一编辑模型，支持多图参考、视频重绘）。 + +### 3D 生成：适合"游戏资产、AR/VR、工业展示、电商 3D 展品" + +- **文生 3D**：品牌形象、概念资产快速原型（1024 字符 prompt 上限）。 +- **单图生 3D**：从设计稿、扫描图直接重建带贴图 GLB（图像 20~6000 像素、≤ 20MB、JPEG/PNG、公网 URL）。 +- **多图生 3D**：4 视角（前/左/后/右）输入，实际有效图 2~4 张；可捕捉更精准的几何。 +- **高精度需求**：`Tripo/Tripo-H3.1` + `geometry_quality: ultra`（最高 200 万面），配合 `texture_quality: detailed`。 +- **速度优先**：`Tripo/Tripo-P1.0`（专业级速度更快，最高 2 万面）。 +- **无贴图/后期自贴图**：`pbr: false` 且 `texture: false`，返回 `base_model_url`。 + +## 面向开发者的技术选型参考 + +1. **先明确产物类型再选子系统**：需要动态时序（视频）或空间几何（3D）优先，静态视觉需求走图像。 +2. **地域与 API Key 一致性最容易踩坑**：3D 生成与大量视频/图像专项工具**仅限北京**；调用前先确认模型、Endpoint、API Key 三者地域一致，否则会鉴权失败。 +3. **调用模式判断**：能同步就同步（延迟低、集成简单），旗舰 Qwen-Image / wan2.6+ 支持同步；视频与 3D **只能异步**，请务必内建轮询与超时（24 小时 task_id 上限）。 +4. **及时下载 3D 产物**：3D 的 `pbr_model_url` / `base_model_url` **仅 2 小时**有效期，务必配合对象存储进行落盘（图像/视频链接过期时间通常宽松许多）。 +5. **多镜头协议不统一**：视频领域万相 2.7 / PixVerse-c1 用自然语言 prompt，旧版万相 2.6 需显式 `shot_type` + `prompt_extend`；接入前务必查阅所选模型的 API 参考。 +6. **并发与限流**：3D 查询接口默认 RPS 20，建议使用异步回调；视频轮询也应搭配指数退避。 +7. **计费分层策略**：图像用 Turbo/Lite/Plus 分层，视频用 `wan-std`/`wan-pro` 或独立档位，3D 按任务类型 + 精度组合；批量生成时优先做小样本 A/B 再放量。 +8. **模型开通前置**：所有第三方模型（Kling、Vidu、PixVerse、HappyHorse、Tripo）都需**先在模型市场开通并授权**，CI 环境的 API Key 也要经过同样的授权。 +9. **多模态复杂输入选视频**：需要"图像 + 音频 + 视频"多模态融合，`wan2.7-i2v-*` 是首选；单纯参考图生图走图像子系统即可。 +10. **端到端流水线组合**：常见组合是"图像生成 → 图生视频 → 3D 重建"，可以复用同一 API Key 与工作流，将 DashScope 网关作为统一入口。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/knowledge-base-vs-memory.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/knowledge-base-vs-memory.md new file mode 100644 index 00000000..9de9c216 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/knowledge-base-vs-memory.md @@ -0,0 +1,101 @@ +# 知识库与长期记忆方案对比 + +在构建 AI 应用时，开发者经常需要为大模型补充"外部信息"。百炼平台提供了两类截然不同的外部信息方案：**知识库**（Knowledge Base）和**长期记忆**（Long-term Memory / Memory Library）。两者虽都能扩充模型可访问的信息范围，但设计目标、数据来源、检索机制与适用场景差异显著。本文从技术选型角度系统梳理两者的区别，帮助开发者快速做出决策。 + +--- + +## 核心定位 + +- **知识库**：基于 RAG（检索增强生成）技术，将企业私有文档、图片、音视频等静态语料库索引化，供模型在回答时实时召回。强调**文档级**、**结构化**知识管理，面向所有用户提供统一的"企业大脑"。 +- **长期记忆**：以**用户为粒度**，从对话中自动提取关键信息（记忆片段 + 用户画像），持久化存储并在后续对话中语义召回，解决大模型跨会话上下文丢失的问题。面向单一用户构建"个人记忆空间"。 + +--- + +## 关键维度对比 + +| 维度 | 知识库（Knowledge Base） | 长期记忆 / 记忆库（Long-term Memory） | +|------|--------------------------|---------------------------------------| +| **核心目标** | 企业私有文档的 RAG 检索增强 | 跨会话用户记忆的持久化与个性化召回 | +| **数据来源** | 开发者主动上传（文档/图片/音视频/Excel） | 对话自动提取（或 `custom_content` 直写） | +| **数据粒度** | 文档切片（最大 6000 Token/片） | 记忆片段（事件摘要）+ 结构化用户画像 | +| **用户隔离** | 无原生用户维度，整个知识库共享 | 以 `user_id` 严格隔离，不同用户完全独立 | +| **检索方式** | 向量检索 + 关键词检索 + Rerank 排序 | 语义相似度检索，可选 Rerank / Query 改写 | +| **写入方式** | 手动上传文件 → 解析 → 切片 → 建索引 | 调用 `AddMemory` API，系统自动提炼存储 | +| **更新机制** | 重新上传或编辑切片；索引需重建 | 写入时自动去重、合并或覆盖旧记忆 | +| **有效期** | 知识库存续期间长期有效 | 可配置 7/30/180 天或永不过期（默认规则 180 天） | +| **API 端点** | `bailian.cn-beijing.aliyuncs.com` | `dashscope.aliyuncs.com/api/v2/apps/memory/` | +| **计费方式** | 标准版 0.03 元/小时；旗舰版 0.2 元/RCU/小时 + Rerank Token 费用 | 目前按调用量计费（QPM 限额：总计 3000 QPM） | +| **地域限制** | 仅支持中国站华北 2（北京） | 通过 DashScope 网关，不限地域 | +| **管理入口** | 百炼控制台知识库模块 + API | 百炼控制台记忆库模块 + HTTP API + OpenClaw 插件 | +| **[多模态](../concepts/multimodal.md)支持** | 支持图片问答、音视频搜索（专用向量模型） | 仅支持文本记忆片段 | +| **零侵入接入** | 不支持，需主动调用检索 API 或绑定应用 | 支持（OpenClaw 插件 `before_agent_start` / `agent_end` 钩子） | +| **典型规模** | 单库最大 9999 GB（旗舰版），支持 15 库联检 | 按用户数据量弹性扩展，单账号 3000 QPM | + +--- + +## 各方案适用场景 + +### 知识库适用场景 + +- **企业内部问答**：员工手册、操作规程、合规文档的自然语言检索，内容由管理员统一维护。 +- **产品支持 / 客服机器人**：将产品文档、FAQ 建库，对所有用户提供一致的权威回答。 +- **富文本理解**：需要解析 PDF 图表、发票、合同等带版面信息的文档（视觉理解场景）。 +- **结构化数据查询**：Excel/CSV 数值型数据的自然语言查询（数据查询类知识库）。 +- **多媒体内容搜索**：音视频文件的语音转写 + 剧情检索（音视频搜索类知识库）。 +- **对知识质量要求高**：内容由人工审核把关，需精确引用来源，不接受"幻觉"。 + +### 长期记忆适用场景 + +- **个性化智能助手**：记住用户的偏好、习惯、历史决策，跨会话保持连贯上下文（"你之前说过喜欢简洁风格"）。 +- **健康/情感陪伴类应用**：持续追踪用户的身体状况记录、情绪日志、目标进展。 +- **多轮任务跟进**：用户分多次完成的长期任务（如学习计划、项目进度），每次对话自动接续上下文。 +- **用户画像沉淀**：通过 `profile_schema` 从对话中结构化提取年龄、职业、偏好等属性，用于个性化推荐。 +- **OpenClaw Agent 零侵入记忆**：已有 OpenClaw Agent 且不想改动代码的场景，通过插件自动捕获/召回。 + +--- + +## 技术选型建议 + +### 选择知识库，如果你需要： + +1. **共享语料库**：一份知识面向多用户，内容由团队或系统管理员维护。 +2. **文档精确引用**：回答需附带"来源文件 + 页码"，要求可溯源。 +3. **大规模静态知识**：文档体量大（GB 级），内容相对稳定，更新频率低。 +4. **[多模态](../concepts/multimodal.md)文档**：PDF、图片、音视频等格式的内容检索。 + +### 选择长期记忆，如果你需要： + +1. **用户级个性化**：每个用户有自己独立的记忆空间，互不干扰。 +2. **对话驱动的知识积累**：无需手动维护，系统从每次对话自动提炼并更新记忆。 +3. **跨会话连续性**：用户今天说的事，下次对话时 Agent 仍然"记得"。 +4. **轻量快速接入**：无需建索引，直接调用 REST API 即可集成，或通过 OpenClaw 插件零侵入启用。 + +### 两者结合使用 + +知识库与长期记忆并不互斥，结合使用可实现更完整的 AI 应用： + +- **知识库负责"公共知识"**：产品文档、规程、FAQ — 对所有用户一致。 +- **长期记忆负责"用户上下文"**：该用户的历史偏好、个性化配置、历史对话摘要。 +- 在生成时同时注入两类信息，实现"公共知识 + 个人记忆"的双轨增强。 + +--- + +## 小结 + +| 选型问题 | 推荐方案 | +|----------|----------| +| 我的知识是企业共享的静态文档吗？ | 知识库 | +| 我需要按用户隔离、记住每个人的偏好吗？ | 长期记忆 | +| 知识由用户对话自动生成而非手动上传吗？ | 长期记忆 | +| 需要处理 PDF / 图片 / 音视频等[多模态](../concepts/multimodal.md)内容吗？ | 知识库 | +| 我的 Agent 需要跨会话保持连续性吗？ | 长期记忆 | +| 需要精确引用来源文件和段落吗？ | 知识库 | +| 想要最低侵入地为 OpenClaw Agent 加记忆？ | 长期记忆（OpenClaw 插件） | + +## 被对比主题页 + +- [knowledge base](../guides/knowledge-base.md) +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-api-vs-guide.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-api-vs-guide.md new file mode 100644 index 00000000..8f405aee --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-api-vs-guide.md @@ -0,0 +1,40 @@ +# 托管智能体 API 与指南对比 + +百炼平台的 Managed Agents（托管智能体）同时提供了面向开发者的 REST API 文档和面向使用者的操作指南。两者覆盖同一套运行时，但视角与粒度不同：API 文档聚焦资源模型、端点签名与字段级约定，适合集成开发；指南聚焦概念理解、控制台操作与最佳实践，适合上手与配置。本文从多个维度对比两者，帮助开发者根据需要选择参考来源。 + +## 关键维度对比 + +| 维度 | API 文档（managed-agents-api） | 操作指南（managed-agents） | +| --- | --- | --- | +| 目标读者 | 后端开发者、SDK 使用者 | 产品经理、应用配置者、初次使用者 | +| 内容核心 | 资源模型、REST 端点、请求/响应字段、版本管理 | 概念解释、控制台向导、工具能力、上下文挂载 | +| 资源覆盖 | Agent、Environment、Session、Event、Skill、File 六类 | Agent、Environment、Session、Event 四类核心，附带工具与 Skill 说明 | +| 端点列举 | 每类资源均给出完整端点表（含创建/获取/列出/更新/归档/删除等） | 仅在流程中点到关键端点（`POST /agents`、`POST /environments`、`POST /sessions`、事件相关端点） | +| 认证方式 | 明确给出基地址拼接规则、API Key 鉴权头、`x-request-id` 追踪 | 未单独说明，依赖 API 文档 | +| 地域支持 | 标注当前仅 `cn-beijing` | 未提及 | +| 工具说明 | 通过 Skill 资源间接涉及 | 直接列出 7 个内置工具（bash、read、write、edit、glob、grep、download_file）及 MCP 服务接入 | +| 文件处理 | 独立 File 资源，含上传/查询/删除端点与配额（20 MB / 100 GB / 30 天） | 提及文件挂载与 `/mnt/session/uploads` 路径约定，限制标注为 10 MB | +| 版本管理 | 强调 Agent 版本递增、会话锁定版本、Skill 挂载需指定版本号 | 未展开版本机制 | +| 状态机 | 会话状态 `idle → running → idle/terminated` | 提及中断续接与工具审批，指向会话状态机文档 | +| 快速开始 | 五步流程：创建 Agent → Environment → Session → 发送 Event → 接收 SSE | 四步流程：配置智能体 → 配置环境 → 发起会话 → 发送事件并接收响应 | +| 典型场景 | 端到端 API 集成、自动化编排、SDK 封装 | 控制台配置、预览调试、理解概念与能力边界 | +| 模型示例 | 未给具体模型名 | 控制台向导示例 `qwen3.7-plus`，API 示例 `qwen3-max`，提示以控制台下拉为准 | + +## 适用场景建议 + +- **正在做 API 集成或 SDK 开发**：以 API 文档为主。它提供完整的端点列表、字段定义、版本与配额约定，是编码实现的唯一权威来源。 +- **首次接触 Managed Agents 或使用控制台配置**：以指南为主。它用通俗语言解释智能体、运行环境、会话、事件四要素，并给出控制台操作路径与工具能力概览。 +- **需要理解工具能力与沙箱行为**：优先看指南。它明确列出内置工具、MCP 服务接入方式与文件路径约定；API 文档只在 Skill/File 资源层面间接涉及。 +- **需要确认认证、地域、版本管理等运维细节**：优先看 API 文档。鉴权头、基地址、地域限制、版本递增与锁定规则均在此处。 +- **排查字段不一致或端点差异**：API 文档已标注总览页与详情页之间的方法名差异（如 Agent 更新端点 `PATCH` vs `POST`），开发时应以各资源详情页为准；指南中模型名称不一致同样提示以控制台实际可选为准。 + +## 技术选型参考 + +两者并非替代关系，而是互补。推荐的使用方式是：用指南建立整体认知与控制台操作能力，用 API 文典驱动代码实现与字段级约定。在自动化编排、多会话管理、Skill 版本控制等深度场景下，API 文档不可或缺；在团队协作、原型验证、工具选型等场景下，指南更高效。 + +## 被对比主题页 + +- [managed agents api](../api/managed-agents-api.md) +- [managed agents](../guides/managed-agents.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-comparison.md new file mode 100644 index 00000000..e5038dbf --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-comparison.md @@ -0,0 +1,43 @@ +# 托管智能体指南与 API 对比 + +本页对比百炼 Managed Agents 的两份核心文档：面向控制台使用者的「托管智能体指南」与面向开发者的「Managed Agents API」。两者描述的是同一套托管运行时，但视角、详略与关注点差异显著。开发者做技术选型时应先明确自身入口（控制台可视化操作 vs API/SDK 编程调用），再据此选择文档作为主参考。 + +## 关键维度对比 + +| 维度 | 托管智能体指南 | Managed Agents API | +| --- | --- | --- | +| 文档定位 | 概念讲解 + 控制台操作向导 | REST/SDK 接口参考 + 端到端调用流程 | +| 目标读者 | 平台使用者、低代码/半托管场景开发者 | 需编程集成的后端/应用开发者 | +| 核心资源对象 | 4 类：Agent、Environment、Session、Event | 6 类：Agent、Environment、Session、Event、Skill、File | +| 使用入口 | 控制台向导 + 预览调试标签页 | REST API + SDK，按地域拼装 endpoint | +| 认证方式 | 未展开，依赖控制台登录态 | `Authorization: Bearer `，单 Key 访问工作空间全部资源 | +| 地域支持 | 未显式说明 | 当前仅 `cn-beijing` | +| 默认工具集 | 7 个内置工具（bash/read/write/edit/glob/grep/download_file）全选，可取消 | 通过 Environment 配置沙箱类型与预装依赖，工具粒度未在 API 文档单独枚举 | +| 上下文/文件挂载 | 强调 `/mnt/session/uploads` 路径约定、会话隔离、运行时追加 | 抽象为 File 资源，经安全审核（checking → available/rejected/type_rejected）后挂载 | +| 单文件上传上限 | 10 MB | 20 MB | +| 工作空间配额 | 未提及 | 总容量 100 GB，保留期 30 天 | +| 版本管理 | 未展开 | Agent 每次更新自动递增 version，会话创建时锁定版本；Skill 挂载须指定具体版本号 | +| 状态机描述 | 提及 idle/中断/续接/工具审批，指向会话文档详述 | 明确 idle → running → idle/terminated，含归档与硬删除语义 | +| 安全扫描 | 未提及 Skill/File 审核流程 | Skill：checking → active/rejected；File：checking → available/rejected/type_rejected | +| 事件流 | 会话级 SSE，按事件类型筛选（User/Agent/Tool/Tool_output/Error/Model/System） | `GET /sessions/{id}/events/stream` 长连接 SSE，含分页列出历史 | +| 典型流程步数 | 4 步（配置智能体 → 配置环境 → 发起会话 → 发送事件接收响应） | 5 步（创建 Agent → 配置 Environment → 创建 Session → 发送 Event → 订阅 SSE） | +| API 端点示例 | 仅给出创建类端点（agents/environments/sessions） | 完整 CRUD + 版本/归档/下载端点表格，覆盖全部资源 | +| 已知不一致 | 控制台示例模型名 `qwen3.7-plus` 与 API 示例 `qwen3-max` 不一致 | Agent/Environment/Session 更新端点在总览页标 `PATCH`、详情页标 `POST` | + +## 适用场景建议 + +- **选「托管智能体指南」**：需要快速理解 Managed Agents 是什么、与无状态智能体应用的区别、以及如何用控制台向导跑通最小流程；适合概念入门、POC 验证、非编程使用者。 +- **选「Managed Agents API」**：需要把托管智能体嵌入自有产品、做编程化编排与运维；需要精确的端点、字段、版本与状态机语义；适合生产集成、自动化流水线、SDK 封装层开发。 + +## 技术选型参考 + +1. 若团队无后端开发资源、仅做内部工具或演示，优先走控制台向导，以指南为主参考。 +2. 若需要多智能体复用、版本快照、Skill 市场化分发、文件安全审核等企业级能力，必须基于 API 文档设计资源治理与生命周期策略。 +3. 两份文档在模型名、HTTP method 上存在不一致，落地时以控制台模型下拉列表与各资源详情页为准，必要时提工单附 `x-request-id` 确认。 + +## 被对比主题页 + +- [managed agents](../guides/managed-agents.md) +- [managed agents api](../api/managed-agents-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-vs-api.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-vs-api.md new file mode 100644 index 00000000..ca1c6ebd --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-agents-vs-api.md @@ -0,0 +1,74 @@ +# 托管 Agent 使用方式对比：控制台 vs API + +百炼平台的 Managed Agents 支持两种使用方式：通过**控制台（可视化向导）**完成配置与调试，或通过 **REST API / SDK** 以编程方式全流程编排。两种方式底层共用同一套资源模型（Agent、Environment、Session、Event），但在操作入口、适用场景和集成深度上存在显著差异。本页帮助开发者根据团队技术栈和业务需求做出选型。 + +## 关键维度对比 + +| 维度 | 控制台 | API / SDK | +|------|--------|-----------| +| **操作入口** | 百炼控制台 Web UI，向导式交互 | REST API + 官方 SDK（Python/Node.js 等） | +| **认证方式** | 登录阿里云账号，控制台会话鉴权 | HTTP Header `Authorization: Bearer ` | +| **API Endpoint** | 不涉及（内部调用） | `https://{workspace_id}.{region}.maas.aliyuncs.com/api/v1/agentstudio` | +| **支持地域** | 控制台页面同步 | 当前仅支持 `cn-beijing` | +| **Agent 配置** | 填写表单：名称、模型、系统提示词、工具勾选 | `POST /agents`，JSON body 定义全部字段 | +| **Environment 配置** | 向导默认云端托管沙箱，可选预装依赖 | `POST /environments`，支持 `config.packages` 预装 apt/pip | +| **Session 创建** | 向导自动绑定 Agent ID + Environment ID | `POST /sessions`，手动指定 `agent_id` 与 `environment_id` | +| **事件交互** | 预览调试标签页直接对话，支持按事件类型筛选 | `POST /sessions/{id}/events` 发送消息；`GET /sessions/{id}/events/stream` SSE 订阅 | +| **版本管理** | 每次保存自动递增版本，UI 可查版本历史 | `GET /agents/{agent_id}/versions` 分页查询；更新时需携带 `version` 作乐观锁 | +| **文件挂载** | 直接上传本地文件到沙箱（≤10 MB/文件） | 先 `POST /files` 上传审核，审核通过后挂载到会话（≤20 MB/文件，工作空间总量 ≤100 GB） | +| **Skill 管理** | 控制台页面上传 zip 包、查看审核状态 | `POST /skills` 创建；`POST /skills/{id}/versions` 上传新版本；挂载时必须指定 `version` | +| **调试能力** | 内置预览调试标签页，事件流可视化过滤（User/Agent/Tool/Tool_output/Error/Model/System） | 需自行解析 SSE 事件流，适合集成到自动化测试或监控系统 | +| **自动化/CI 集成** | 不适合（手动操作为主） | 原生支持，可嵌入 CI/CD 流水线 | +| **资源软归档** | 控制台提供归档操作 | `POST /agents/{id}/archive`、`POST /sessions/{id}/archive` 等 | +| **错误追踪** | 控制台展示错误事件 | 每次响应携带 `x-request-id`，提工单时附上可加速定位 | + +## 四步典型流程对比 + +两种方式的核心流程完全对应，区别仅在操作载体： + +| 步骤 | 控制台 | API | +|------|--------|-----| +| 1. 配置智能体 | 填写名称、选择模型（如 `qwen3-max`）、输入系统提示词、勾选工具 | `POST /agents`，指定 `model`、`system_prompt`、`tools` | +| 2. 配置运行环境 | 向导选择默认沙箱，可选预装依赖 | `POST /environments`，`config.packages` 声明 apt/pip 依赖和网络策略 | +| 3. 发起会话 | 向导自动绑定，点击"开始"即创建 Session | `POST /sessions`，绑定 `agent_id` + `environment_id` | +| 4. 交互与接收响应 | 预览调试标签页直接输入消息，实时查看工具执行过程 | `POST /sessions/{id}/events` 发送消息；`GET /sessions/{id}/events/stream` 接收 SSE 事件 | + +## 文件配额差异 + +| 限制项 | 控制台上传 | API 上传 | +|--------|-----------|---------| +| 单文件大小 | ≤ 10 MB | ≤ 20 MB | +| 工作空间总容量 | 文档未单独说明 | ≤ 100 GB | +| 文件保留期 | 文档未单独说明 | 30 天 | +| 审核流程 | 自动（上传后即挂载） | 异步审核（`checking` → `available` / `rejected` / `type_rejected`），仅 `available` 可挂载 | + +## 适用场景建议 + +### 推荐使用控制台的场景 + +- **快速原型验证**：首次体验 Managed Agents，5 分钟内跑通端到端流程，无需写代码。 +- **提示词调优**：通过预览调试标签页反复迭代系统提示词，实时观察工具执行轨迹。 +- **非技术成员协作**：产品经理、运营人员需要配置或查看 Agent 行为，无需了解 API 细节。 +- **故障排查**：按事件类型（Tool_output、Error 等）筛选，快速定位执行异常。 + +### 推荐使用 API / SDK 的场景 + +- **生产环境集成**：将 Agent 调用嵌入业务系统（后端服务、数据处理流水线、自动化脚本）。 +- **CI/CD 自动化**：通过 API 创建/归档 Agent、批量跑测试用例、断言 SSE 事件流输出。 +- **动态资源挂载**：在会话运行中通过 `POST /sessions/{id}/resources` 实时追加文件，无需重启。 +- **版本管理与灰度**：精确控制 Agent `version`、Skill `version`，实现灰度发布与回滚。 +- **大规模并发**：程序化创建多个 Session 并行执行，控制台不支持批量操作。 + +## 技术选型建议 + +1. **探索期**：先用控制台完成 Agent 配置和调试，确认提示词和工具组合有效后，再通过 API 固化到代码。 +2. **生产期**：API 方式为首选；控制台保留用于监控和应急调试。 +3. **混用模式**：在控制台创建并调试 Agent（获得 `agent_id`），在代码中直接引用该 ID 创建 Session——控制台和 API 操作的是同一套资源，可自由混用。 +4. **注意模型名称一致性**：控制台向导示例中出现 `qwen3.7-plus`，而 API 代码示例使用 `qwen3-max`，请以控制台模型下拉列表中实际可选的模型 ID 为准。 + +## 被对比主题页 + +- [managed agents](../guides/managed-agents.md) +- [managed agents api](../api/managed-agents-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-vs-custom-agents.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-vs-custom-agents.md new file mode 100644 index 00000000..37e0ced6 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/managed-vs-custom-agents.md @@ -0,0 +1,73 @@ +# 托管 Agent 与自建应用调用对比 + +阿里云百炼平台针对不同复杂度的智能体场景提供了两条主要落地路径：一是由平台托管运行时的 **Managed Agents**，二是通过 **DashScope / Responses API 调用**已在控制台配置好的**智能体应用**或**工作流应用**。二者定位不同、编排位置不同、状态管理方式不同，直接决定了适用场景与工程成本。本文横向对比二者的关键维度，帮助开发者在技术选型时做出判断。 + +## 背景与定位 + +- **Managed Agents（托管智能体）**：面向多步工具调用、代码执行、文件处理等长时任务，平台在服务端托管**会话状态**、**独立沙箱**与**工具执行器**。智能体在云端容器中自主运行 shell、读写文件、安装依赖，事件历史持久化，支持中断与续接。 +- **自建应用调用（智能体应用 / 工作流应用）**：开发者在控制台编排应用（模型、提示词、知识库、插件、工作流节点等），再通过 API 从业务系统调用。运行时**无状态**，上下文由调用方或平台的 `session_id` 维护，适合问答、对话及可编排的工作流任务。 +- **调用协议**：自建应用可选 **DashScope API**（`Application.call` / `POST /apps/{APP_ID}/completion`）或 **OpenAI 兼容的 Responses API**（`POST /api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses`）。Managed Agents 走独立的 AgentStudio API（`/api/v1/agentstudio/*`）。 + +## 关键维度对比 + +| 维度 | Managed Agents（托管） | 智能体/工作流应用（DashScope API） | 智能体应用（Responses API，OpenAI 兼容） | +| --- | --- | --- | --- | +| 运行模式 | 服务端托管会话，长时任务，支持中断/续接 | 单次同步或流式调用，无状态 | 单次同步 / 流式 / 异步（`background=true`） | +| 状态管理 | 会话（Session）在服务端持久化，事件历史可回溯 | `session_id` 云端保存 1 小时、最多 50 轮；或客户端自维护 `messages` | 客户端在 `input` 数组中传完整消息历史 | +| 执行环境 | 独立云端沙箱容器，可预装 apt/pip 依赖、可配网络策略 | 平台共享运行时 | 平台共享运行时 | +| 输入格式 | 通过 `POST /sessions/{id}/events` 发送用户消息、工具结果、系统事件 | `{"input":{"prompt":"..."}, "parameters":{}, "biz_params":{...}}` | `input`：字符串或消息数组，支持 `input_image` / `input_file` [多模态](../concepts/multimodal.md) 类型 | +| 输出格式 | 会话级 SSE 事件流（User / Agent / Tool / Tool_output / Error / Model / System） | `{"output":{"text","finish_reason","session_id"}, "usage":{...}, "request_id":"..."}` | OpenAI Responses 标准结构（`response.output` 数组） | +| API 端点 | `/api/v1/agentstudio/agents`、`/environments`、`/sessions`、`/sessions/{id}/events`、`/sessions/{id}/events/stream` | `POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion` | `POST https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses` | +| SDK 支持 | AgentStudio HTTP API（可搭配任意 HTTP 客户端） | [DashScope SDK](../concepts/dashscope-sdk.md)（Python / Java），或 HTTP（Node.js / curl 等） | OpenAI 官方 SDK（Python / Java 等） | +| 内置工具 | `bash`、`read`、`write`、`edit`、`glob`、`grep`、`download_file`，可挂载 MCP 服务与 Skill | 由应用编排决定（知识库检索、插件、工作流节点等） | 同 DashScope 侧，取决于应用配置 | +| [多模态](../concepts/multimodal.md) | 通过文件挂载到 `/mnt/session/uploads` 参与工具处理 | 依赖应用内模型能力 | 原生支持 `input_image`（VL 模型 + 自定义处理）与 `input_file`（全文引用 / 切片检索） | +| 多轮对话 | 天然多轮：会话即上下文，事件历史持久化 | `session_id`（1 小时、≤ 50 轮）或自维护 `messages` | `input` 数组显式携带完整对话历史 | +| [流式输出](../concepts/streaming.md) | 默认 SSE 事件流 | 支持流式（工作流需在结束/输出节点开启开关） | `stream=true`；异步任务暂不支持流式 | +| 异步执行 | 天然长时任务，会话可中断/续接 | 暂不支持（需自行轮询业务状态） | `background=true` 提交任务，通过 `responses.retrieve(task_id)` 轮询 | +| 自定义参数透传 | 通过 Agent/Environment/Session 配置及事件负载 | `biz_params.user_defined_params` 面向自定义插件 / 工作流插件节点 | 同 DashScope 应用侧的插件透传 | +| 支持模型 | 由 Agent 配置选择（示例：`qwen3-max`；以控制台可选模型为准） | 由应用编排决定 | 由智能体应用编排决定，[多模态](../concepts/multimodal.md) 场景需选通义千问 VL 系列 | +| 资源挂载 | `resources` 字段或运行时 `POST /sessions/{id}/resources` 挂载，路径统一在 `/mnt/session/uploads`，单文件 ≤ 10 MB，会话隔离 | 通过知识库 / 附件 / 插件参数传递 | 通过 `input_file` URL 或应用知识库 | +| 计费与配额 | 计费与沙箱运行时、模型调用相关；单文件 ≤ 10 MB | 按模型调用量计费；`session_id` 缓存 1 小时 | 按模型调用量计费；异步/流式受限见文档 | +| 可用地域 | 见 AgentStudio 文档 | 仅华北 2（北京） | 仅华北 2（北京） | +| 典型场景 | 代码执行、批量文件处理、多步工具编排、长时任务 | 客服问答、RAG 检索、工作流驱动的业务自动化 | 需要 OpenAI 生态兼容、多模态输入或异步长任务的交互 | + +## 各方案的适用场景建议 + +### 优先选 Managed Agents + +- 任务需要**执行 shell 命令**、**读写文件**、**运行/调试代码**、**安装依赖**等真实计算操作。 +- 单轮响应无法覆盖，需要**长时运行**、**中断续接**或**人工审批**工具调用。 +- 需要**独立沙箱**（例如运行不受信代码、隔离网络策略、需要预装的运行环境）。 +- 事件级可观测性要求高，需按 User / Agent / Tool / Model / Error 等类型审计执行过程。 +- 会话内文件产物需被隔离拷贝管理，避免污染原始资源。 + +### 优先选 DashScope 应用调用 + +- 已经在控制台完成**智能体应用**或**工作流**编排，业务系统只需一次调用即可拿到结果。 +- 需要使用**自定义插件**并通过 `biz_params.user_defined_params` 透传业务参数（如用户级鉴权、上下文字段）。 +- 多轮对话强度中等，愿意使用平台 `session_id` 或客户端自维护 `messages`。 +- 语言栈以 Python / Java 为主，倾向使用 [DashScope SDK](../concepts/dashscope-sdk.md) 的成熟示例。 + +### 优先选 Responses API（OpenAI 兼容） + +- 现有代码或团队约定使用 **OpenAI SDK/生态**，希望以最小改动接入百炼。 +- 需要**多模态输入**（`input_image` / `input_file`）或严格 OpenAI 输出结构。 +- 需要**异步长任务**（`background=true`）并轮询结果，避免请求超时。 +- 需要显式控制**完整对话历史**（在 `input` 中传消息数组）而不依赖 `session_id`。 + +## 技术选型参考 + +- **要不要托管运行时？** 若任务本质是"让 Agent 在容器里自己干活"，选 Managed Agents；若任务本质是"调一次已配置好的应用拿结果"，选自建应用调用。 +- **要不要 OpenAI 兼容？** 是则 Responses API；否，且要用工作流/自定义插件，则 DashScope API；两者都不满足（需沙箱/工具执行）则 Managed Agents。 +- **多轮对话怎么管？** 短会话选 `session_id`；需要精细控制或跨端同步选自维护 `messages` / Responses `input` 数组；长时有状态任务选 Managed Agents 会话。 +- **要不要异步？** 长时任务但希望"提交-轮询"模式选 Responses API `background=true`；真正需要 Agent 自主推进的长任务选 Managed Agents（会话持久化 + 中断续接）。 +- **模型与地域约束**：自建应用调用（两套 API）当前均限华北 2（北京）；模型 ID 需以控制台下拉列表为准，注意文档中 `qwen3-max` 与 `qwen3.7-plus` 等示例不一致的情况。 +- **迁移路径**：可以先用自建应用调用跑通业务闭环，当出现需要"沙箱执行 + 长时状态"的诉求时再迁移到 Managed Agents；两者可在同一账号 / [业务空间](../concepts/workspace.md) 内共存，通过应用 ID / Agent ID 区分。 + +## 被对比主题页 + +- [managed agents](../guides/managed-agents.md) +- [bailian application calling](../guides/bailian-application-calling.md) +- [application call](../api/application-call.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-comparison.md new file mode 100644 index 00000000..d5bc91c5 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-comparison.md @@ -0,0 +1,110 @@ +# 记忆能力对比：记忆库与长期记忆 + +百炼平台为解决大模型跨会话上下文丢失问题提供了完整的记忆能力体系。本文对比「记忆库概览」（guides/memory-library-overview）与「长期记忆（新）API」（api/long-term-memory-new）两个文档，帮助开发者理解两者在定位、覆盖范围和使用方式上的差异，以便在技术选型时快速定位所需信息。 + +## 对比维度 + +| 维度 | 记忆库概览（memory-library-overview） | 长期记忆（新）API（long-term-memory-new） | +| --- | --- | --- | +| 文档定位 | 概念指南，介绍记忆库整体架构、核心能力与接入方式 | API 参考手册，详细列出全部 RESTful 接口的端点、参数与返回值 | +| 目标读者 | 做技术选型、架构设计的开发者与产品经理 | 直接调用 API 进行集成的后端开发者 | +| 覆盖范围 | 涵盖 API 直连、OpenClaw 插件、控制台管理、记忆规则配置 | 聚焦于 HTTP API 层面，不涉及 OpenClaw 插件与控制台操作 | +| Base URL | `https://dashscope.aliyuncs.com/api/v2/apps/memory/*`（提及） | `https://dashscope.aliyuncs.com/api/v2/apps/memory/`（完整说明） | +| 认证方式 | `Authorization: Bearer $DASHSCOPE_API_KEY` | `Authorization: Bearer $DASHSCOPE_API_KEY`，并指引 [API Key](../concepts/api-key.md) 获取链接 | +| 核心能力 | 记忆片段 + 用户画像，含自动去重、动态更新 | 记忆片段 + 用户画像，含完整 CRUD 接口 | +| 接入方式 | API 直连 + OpenClaw 记忆插件（零侵入） | 仅 API 直连 | +| 接口列表 | 仅列举 AddMemory、SearchMemory 的关键参数 | 完整列出 11 个接口（增删改查记忆片段 + 画像模板全生命周期） | +| 使用限制 | 未提及 QPM 限制 | 明确标注：总 3000 QPM、add 120 QPM、search 300 QPM | +| 记忆有效期 | 说明差异：API 文档称暂无失效日期，控制台默认 180 天 | 明确标注：生成的记忆片段与用户画像暂无失效日期 | +| 检索高级参数 | 提及 top_k、memory_library_id | 详列 top_k、min_score、enable_rerank、enable_judge、enable_rewrite、project_ids 等 | +| OpenClaw 插件 | 完整覆盖：安装、配置项、生命周期钩子说明 | 不涉及 | +| 控制台管理 | 涉及记忆库与记忆规则管理说明 | 不涉及 | +| 示例代码 | cURL + Python（agentscope-runtime） | cURL 为主，含请求/返回体完整字段说明 | + +## 详细差异分析 + +### 文档定位与覆盖范围 + +**记忆库概览**是从产品视角出发的入门指南，回答"记忆库是什么、能做什么、怎么接入"的问题。它同时覆盖了三种接入路径——API 直连、OpenClaw 插件、控制台可视化管理——让读者快速建立整体认知。 + +**长期记忆（新）API**则是从工程视角出发的接口参考，回答"具体调哪个端点、传什么参数、返回什么结构"的问题。它将全部 11 个接口以表格形式列出，并逐一给出 HTTP 方法、路径与说明，适合直接查阅。 + +### 接口完整度 + +| 接口能力 | 记忆库概览 | 长期记忆（新）API | +| --- | --- | --- | +| AddMemory（添加记忆） | 有参数说明 | 有完整请求体/返回体说明 | +| SearchMemory（搜索记忆） | 有参数说明 | 有完整请求体/返回体说明 + 高级检索参数 | +| ListMemory（列出记忆） | 提及封装类 | 有独立接口条目 | +| DeleteMemory（删除记忆） | 未涉及 | 有独立接口条目 | +| UpdateMemory（更新记忆） | 未涉及 | 有独立接口条目 | +| CreateProfileSchema（创建画像模板） | 提及封装类 | 有独立接口条目 | +| ListProfileSchemas | 未涉及 | 有独立接口条目 | +| DeleteProfileSchema | 未涉及 | 有独立接口条目 | +| UpdateProfileSchema | 未涉及 | 有独立接口条目 | +| GetProfileSchema | 未涉及 | 有独立接口条目 | +| GetUserProfile | 提及封装类 | 有独立接口条目 | + +### 接入方式差异 + +记忆库概览介绍了两种接入方式： + +1. **API 直连**：通过 HTTPS 调用 `memory/*` 系列接口，适合需要灵活控制写入与检索流程的应用。 +2. **OpenClaw 记忆插件**：通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子实现零侵入接入，适合已使用 OpenClaw Agent 框架的场景。所有读写均由百炼服务端完成提炼、向量化和语义检索。 + +长期记忆（新）API 文档仅覆盖 API 直连方式，不涉及插件接入，但提供了更完整的接口集（包括记忆片段和画像模板的增删改查全生命周期）。 + +### 检索能力 + +在 SearchMemory 接口上，长期记忆（新）API 文档提供了更丰富的高级检索参数： + +| 高级参数 | 记忆库概览 | 长期记忆（新）API | +| --- | --- | --- | +| `top_k` | 有（建议 3–10） | 有（取值 1~100，默认 10） | +| `min_score` | 无 | 有（值域 [0,1]，默认 0.3） | +| `enable_rerank` | 无 | 有（搜索结果重排序） | +| `enable_judge` | 无 | 有（意图判别回调） | +| `enable_rewrite` | 无 | 有（query 重写） | +| `project_ids` | 无 | 有（多规则混合检索） | + +### 使用限制 + +长期记忆（新）API 文档明确给出了 QPM 限制： + +| 限制项 | 值 | +| --- | --- | +| 全部接口总计 | 3000 QPM | +| 记忆片段 add 接口 | 120 QPM | +| 记忆片段 search 接口 | 300 QPM | + +记忆库概览文档未提及这些限制，开发者需参考 API 参考文档了解限流策略。 + +## 适用场景建议 + +### 推荐阅读「记忆库概览」的场景 + +- **技术选型阶段**：需要了解百炼记忆能力整体架构，评估是否满足业务需求 +- **选择接入方式**：需要对比 API 直连与 OpenClaw 插件两种方案的优劣 +- **配置 OpenClaw 插件**：需要安装、配置记忆插件的详细步骤 +- **理解记忆有效期**：需要了解控制台记忆规则与 API 行为的差异 +- **控制台管理记忆库**：需要通过可视化界面管理记忆库和规则 + +### 推荐阅读「长期记忆（新）API」的场景 + +- **API 集成开发**：需要查阅具体接口的请求体、返回体字段定义 +- **实现记忆 CRUD**：需要调用 List/Delete/Update 等概览文档未覆盖的接口 +- **画像模板管理**：需要创建、更新、删除画像模板 +- **高级检索调优**：需要使用 rerank、judge、rewrite 等高级检索参数 +- **容量与限流评估**：需要了解 QPM 限制以做容量规划 +- **精确参数查阅**：需要确认 `top_k` 取值范围、`min_score` 默认值等细节 + +## 总结 + +两个文档并非竞争关系，而是互补关系。记忆库概览是**入门与选型的起点**，长期记忆（新）API 是**开发与集成的落点**。建议开发者先阅读记忆库概览建立整体认知、选定接入方式，再查阅长期记忆（新）API 获取具体接口实现细节。两者配合使用可以完成从技术评估到工程落地的完整闭环。 + +## 被对比主题页 + +- [memory library overview](../guides/memory-library-overview.md) +- [long term memory new](../api/long-term-memory-new.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions-vs.md new file mode 100644 index 00000000..b99f81b2 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions-vs.md @@ -0,0 +1,56 @@ +# 长期记忆与记忆库对比 + +百炼平台提供两套紧密关联但定位不同的记忆能力：「长期记忆（新）API」和「记忆库（Memory Library）」。前者是一组 RESTful 接口，聚焦于记忆片段与用户画像的增删改查；后者是更高层的产品概念，涵盖记忆库管理、记忆规则配置以及多种接入方式（API 直连、OpenClaw 插件、控制台可视化管理）。本文从开发者技术选型角度对两者进行对比，帮助你快速判断应使用哪一套能力。 + +## 关键维度对比 + +| 维度 | 长期记忆（新）API | 记忆库（Memory Library） | +| --- | --- | --- | +| 定位 | 底层 RESTful API 集合，提供记忆片段与用户画像的 CRUD 操作 | 产品级概念，包含记忆库、记忆规则、接入方式与控制台管理的完整体系 | +| 文档归属 | API 参考（application-api-reference） | 用户指南（application-user-guide） | +| Base URL | `https://dashscope.aliyuncs.com/api/v2/apps/memory/` | 同上（API 直连时使用相同端点） | +| 认证方式 | Header `Authorization: Bearer $DASHSCOPE_API_KEY` | 同左（API 直连）；OpenClaw 插件在配置中填 `apiKey` | +| 接入方式 | 仅 HTTP API 直连 | API 直连 + OpenClaw 记忆插件（零侵入）+ 控制台可视化管理 | +| 记忆类型 | 记忆片段（自动提取）+ 用户画像（profile schema） | 记忆片段 + 用户画像（同左，但额外支持记忆规则配置） | +| 记忆有效期 | 生成的记忆片段与用户画像暂无失效日期 | 控制台默认规则预置 180 天有效期，可配置 7/30/180 天或永不过期；API 直写且不指定 `project_id` 时使用默认规则 | +| 核心接口 | AddMemory、SearchMemory、ListMemory、DeleteMemory、UpdateMemory、CreateProfileSchema、ListProfileSchemas、GetUserProfile 等 | 复用长期记忆 API 全部接口，并叠加记忆库 / 记忆规则管理能力 | +| 限流 | 全部接口合计 3000 QPM；AddMemory 120 QPM；SearchMemory 300 QPM | 同左（底层共用同一 API 网关） | +| 编程语言支持 | cURL / 任意 HTTP 客户端 | cURL + Python `agentscope-runtime` 封装类 + OpenClaw 插件 | +| OpenClaw 集成 | 不直接提供 | 提供 `@modelstudio/modelstudio-memory-for-openclaw` 插件，通过 `before_agent_start` / `agent_end` 钩子实现自动捕获与召回 | +| 控制台管理 | 不涉及 | 支持在百炼控制台可视化管理记忆库、记忆规则与记忆内容 | +| 记忆库隔离 | 通过 `memory_library_id` 参数区分，不传则使用默认记忆库 | 每个账号自带一个不可删除的默认记忆库，可创建多个自定义记忆库 | +| 记忆规则 | 通过 `project_id` 指定规则，不传使用默认 | 支持自定义记忆片段规则（有效期、提取策略等），预置默认项目规则 | + +## 适用场景建议 + +### 选择长期记忆（新）API 的场景 + +- **已有自有 Agent 框架**，只需调用 HTTP 接口完成记忆存取，不需要控制台可视化管理。 +- **需要对记忆片段做精细 CRUD**，例如单独 Update、Delete 某条记忆，或管理画像模板的完整生命周期。 +- **需要自定义记忆有效期**为永不过期，且通过 API 直写而不依赖控制台规则配置。 +- **对限流有明确预期**，需要按 120/300 QPM 的接口级限流做容量规划。 + +### 选择记忆库（Memory Library）的场景 + +- **希望零侵入接入**，使用 OpenClaw Agent 且不愿手动编排记忆读写逻辑——安装插件后自动完成捕获与召回。 +- **需要在控制台可视化管理**记忆库与记忆规则，包括调整有效期（7/30/180 天或永不过期）、查看记忆内容、配置提取策略。 +- **使用 Python 开发**，希望用 `agentscope-runtime` 封装类简化调用，而非手写 HTTP 请求。 +- **需要多记忆库隔离**，希望按业务线或场景创建不同记忆库并分别配置规则。 +- **团队协作场景**，需要非开发人员通过控制台查看和管理记忆数据。 + +## 技术选型建议 + +两套能力并非互斥，而是分层关系：记忆库是产品层概念，长期记忆 API 是其底层接口层。实际开发中常见的做法是： + +1. **快速验证阶段**：先用 API 直连方式（即长期记忆 API）跑通 AddMemory → SearchMemory 的核心链路，验证记忆提取与召回效果。 +2. **生产化阶段**：在控制台创建专属记忆库并配置记忆规则（有效期、提取策略），通过 `memory_library_id` 和 `project_id` 参数将 API 调用绑定到对应规则。 +3. **OpenClaw 场景**：如果 Agent 基于 OpenClaw 构建，直接安装记忆插件即可获得完整的自动捕获/召回能力，无需手动编排 API 调用时序。 + +无论选择哪种路径，底层的记忆存储、语义检索和画像提取引擎是同一套，差异仅在接入方式和管理粒度上。根据团队技术栈和运维需求选择即可。 + +## 被对比主题页 + +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions.md new file mode 100644 index 00000000..3eb08704 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-solutions.md @@ -0,0 +1,61 @@ +# 长期记忆与记忆库对比 + +百炼平台为解决大模型跨会话上下文丢失的问题，提供了长期记忆能力。该能力以"长期记忆（新）API"和"记忆库"两种形态对外服务：前者是一组 RESTful 接口，开发者可自行编排写入与检索流程；后者在 API 之外还提供控制台可视化管理与 OpenClaw 插件零侵入接入。本文从输入格式、接入方式、API 端点、[计费](../concepts/billing.md)、典型场景等维度进行对比，帮助开发者在技术选型时做出合适选择。 + +## 关键维度对比 + +| 维度 | 长期记忆（新）API | 记忆库（Memory Library） | +| --- | --- | --- | +| 定位 | 纯接口层，提供记忆片段与用户画像的 CRUD | 能力集合 + 管理入口，包含 API、控制台、OpenClaw 插件三种接入 | +| 接入方式 | HTTPS 直调 `https://dashscope.aliyuncs.com/api/v2/apps/memory/*` | API 直连（同左）、控制台可视化管理、OpenClaw 插件零侵入 | +| 认证方式 | `Authorization: Bearer $DASHSCOPE_API_KEY` | 同 API；OpenClaw 插件在 `openclaw.json` 配置 `apiKey` | +| 输入格式 | `messages`（对话数组，最多 50 条）或 `custom_content`（自定义文本，最大 512 字符），二者互斥 | 同 API；OpenClaw 插件通过生命周期钩子自动捕获，无需手动传参 | +| 输出格式 | 返回 `memory_nodes`（含 `memory_node_id` / `content` / `event` / `old_content`）与 `request_id` | API 返回同左；控制台提供可视化列表；插件自动注入 Prompt | +| 核心接口 | AddMemory、SearchMemory、ListMemory、DeleteMemory、UpdateMemory、CreateProfileSchema、ListProfileSchemas、DeleteProfileSchema、UpdateProfileSchema、GetProfileSchema、GetUserProfile | 包含上述全部接口；额外提供控制台记忆规则管理与插件配置 | +| 记忆片段有效期 | 暂无失效日期 | 控制台默认规则预置 180 天有效期，支持按规则配置 7/30/180 天或永不过期；API 直写不指定 `project_id` 时使用默认规则 | +| 用户画像 | 通过 `profile_schema` 传入画像模板 ID，API 自动提取结构化属性 | 同 API；控制台可可视化管理画像模板 | +| 检索能力 | 语义相似度搜索，支持 `top_k`、`min_score`、`enable_rerank`、`enable_judge`、`enable_rewrite`、`project_ids` 混合检索 | API 检索同左；OpenClaw 插件通过 `topK`、`minScore`、`autoRecall` 配置自动召回 | +| 限流 | 全部接口合计 3000 QPM；AddMemory 120 QPM；SearchMemory 300 QPM | 同 API 限流规则 | +| [计费](../concepts/billing.md)方式 | 按 API 调用计量 | 同 API；OpenClaw 插件底层仍调用同一组接口 | +| 管理界面 | 无，纯接口 | 控制台记忆库详情页，可管理记忆片段规则、画像模板、查看记忆内容 | +| OpenClaw 支持 | 需自行对接 | 原生支持 `@modelstudio/modelstudio-memory-for-openclaw` 插件，`before_agent_start` 自动召回、`agent_end` 自动捕获 | +| 多 Agent 隔离 | 通过 `user_id` 隔离不同用户记忆空间 | OpenClaw 插件为统一配置，所有 Agent 共享同一记忆，暂不支持按 Agent 独立配置 | +| 语言 SDK | 原生 HTTP；Python 可用 `agentscope-runtime` 封装类 | 同 API；OpenClaw 提供独立插件 CLI | + +## 适用场景建议 + +### 选择长期记忆（新）API 的场景 + +- **需要精细控制写入与检索流程**：开发者希望在对话结束后自行决定何时调用 `AddMemory`、何时调用 `SearchMemory`，并将召回结果以自定义方式注入 Prompt。 +- **已有自研 Agent 框架**：不依赖 OpenClaw 生态，希望以纯 HTTP 方式集成到现有 Python / Java / Go 服务中。 +- **需要混合检索与高级参数**：如开启重排序（`enable_rerank`）、意图判别（`enable_judge`）、query 重写（`enable_rewrite`）、多规则检索（`project_ids`）等。 +- **需要自定义 `custom_content` 直写**：跳过对话提炼，直接写入指定文本。 + +### 选择记忆库（Memory Library）的场景 + +- **需要控制台可视化管理**：希望在百炼控制台直接查看、管理记忆片段规则、画像模板和已存储的记忆内容，而不仅通过 API。 +- **使用 OpenClaw Agent 并希望零侵入接入**：通过插件实现自动捕获 / 自动召回，无需在业务代码中手动调用记忆接口。 +- **需要灵活配置记忆有效期**：控制台规则支持 7/30/180 天或永不过期，适合对记忆保留周期有明确要求的业务。 +- **快速原型验证**：控制台 + 插件组合可最快跑通"写入 → 检索 → 注入"闭环，降低初期集成成本。 + +### 二者组合使用 + +记忆库的 API 直连方式与长期记忆（新）API 面向同一组后端接口，二者并非互斥。常见组合是：生产环境用长期记忆（新）API 做精细控制，同时用控制台做运营管理与规则调优；若部分 Agent 基于 OpenClaw 构建，则这些 Agent 走插件通道，其余自研服务走 API。 + +## 技术选型参考 + +| 选型要点 | 推荐 | +| --- | --- | +| 自研框架、需要全链路控制 | 长期记忆（新）API | +| 基于 OpenClaw 的 Agent、希望最少代码改动 | 记忆库 + OpenClaw 插件 | +| 需要可视化管理记忆规则与内容 | 记忆库（控制台） | +| 对记忆有效期有差异化要求 | 记忆库（控制台规则配置） | +| 需要重排序、意图判别、query 重写等高级检索 | 长期记忆（新）API | +| 多用户、需要 `user_id` 隔离 | 两者均支持，按接入方式选择 | + +## 被对比主题页 + +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-vs-knowledge-base.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-vs-knowledge-base.md new file mode 100644 index 00000000..f714f293 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/memory-vs-knowledge-base.md @@ -0,0 +1,78 @@ +# 长期记忆与知识库对比 + +百炼平台同时提供**长期记忆（Memory Library）** 与**知识库（Knowledge Base，RAG）** 两类"给大模型补充上下文"的能力。二者常被同时提起，但设计目标、数据形态、检索链路和计费模型均不同：长期记忆解决的是**跨会话保留用户级信息**的问题（谁、偏好什么、说过什么），知识库解决的是**为模型注入企业私域文档与最新信息**的问题（产品手册、FAQ、图文表格）。本文从技术选型视角对两者做系统对比，帮助开发者按场景挑选合适的方案，也可以在同一 Agent 中组合使用。 + +## 一句话定位 + +- **长期记忆**：面向**用户对话历史**的自动提炼与语义召回，输出"用户画像 + 记忆片段"，用于跨会话个性化。 +- **知识库**：面向**企业私有文档 / 结构化数据 / 音视频**的解析、切片、向量化与检索，用于让模型引用可信来源作答（RAG）。 + +## 关键维度对比 + +| 维度 | 长期记忆（Memory Library） | 知识库（Knowledge Base / RAG） | +| --- | --- | --- | +| 主要用途 | 跨会话保留用户偏好、历史事件、画像属性 | 为大模型补充私域文档、最新信息、结构化数据 | +| 数据来源 | 对话消息 `messages`，或自定义写入 `custom_content` | PDF/DOCX/PPT/TXT/MD/HTML、图片、音视频、表格、RDS 数据源等 | +| 数据形态 | 自然语言短片段（记忆片段） + 结构化画像（profile schema） | 解析后的文档切片（Text/图片/表格），支持 Meta 属性 | +| 提取方式 | 服务端从对话自动提取关键信息、自动去重与更新 | 用户上传原文件，服务端按选定 parser 解析 + 切片 | +| 隔离粒度 | 按 `user_id` 天然隔离，同 user_id 共享命名空间 | 按知识库 ID 隔离，可打 tag / 归入类目实现分组过滤 | +| 检索方式 | 语义检索（向量），可选 rerank / query 重写 / 意图判别 | 向量 + 关键词双路召回 → Rerank 重排 → 相似度阈值过滤 → TopK | +| 关键调参 | `top_k`（1–100，默认 10）、`min_score`（默认 0.3）、`enable_rerank/judge/rewrite` | 初步向量/关键词 TopK（1–100，默认 50）、相似度阈值（0.01–1.0）、TopK ≤ 20、Rerank 权重 | +| 输入接口 | `AddMemory` / `SearchMemory` / `ListMemory` / `UpdateMemory` / `DeleteMemory` + Profile Schema CRUD | `ApplyFileUploadLease` → `AddFile` → `CreateIndex` → `SubmitIndexJob`；检索用知识检索 / 知识问答服务 | +| Base URL / 端点 | `https://dashscope.aliyuncs.com/api/v2/apps/memory/*` | `bailian.cn-beijing.aliyuncs.com`（阿里云百炼 SDK） | +| 认证方式 | DashScope `Authorization: Bearer $DASHSCOPE_API_KEY` | 阿里云 AK/SK（`ALIBABA_CLOUD_ACCESS_KEY_ID/SECRET`） + `WORKSPACE_ID` | +| 地域限制 | 全网可用（DashScope 网关） | 仅中国站**华北 2（北京）** | +| 零侵入接入 | OpenClaw 记忆插件（`before_agent_start` 自动召回、`agent_end` 自动捕获） | 挂载给百炼智能体 / 工作流应用，作为上下文源 | +| SDK 支持 | Python `agentscope-runtime`（`AddMemory`、`SearchMemory` 等封装类） | 阿里云百炼 SDK（Java/Python），控制台可视化建库 | +| 支持模型 | 与调用侧模型无关（服务端自带提取/向量化模型） | 覆盖主流预置模型（QwQ/Max/Plus/Turbo/Coder 等）、VL 模型、DeepSeek/Llama3/Yi、Qwen3/2.5/2 及其自定义微调模型 | +| 生命周期 | API 直写"暂无失效日期"；控制台记忆规则可配 7/30/180 天或永不过期 | 与知识库存活期一致，可按文件删除 / 更新切片 | +| 更新语义 | 自动去重 + 事件流（`ADD`/`UPDATE`/`DELETE`） | 增量上传新文件、重新切片；单切片可编辑（10–6,000 字符） | +| 主要限流 / 配额 | 总计 3000 QPM；`add` 120 QPM；`search` 300 QPM | 标准版 1 QPS 固定；旗舰版 50–10,000 QPS（1–200 RCU） | +| 存储 / 数量限制 | 单条 `messages` ≤ 50；`custom_content` ≤ 512 字符；`user_id` ≤ 64 字符 | 平台存储：标准版 ≤ 100 GB / 旗舰版 ≤ 9,999 GB；类目 500、文件 100,000、数据表 1,000；单切片 ≤ 6,000 Token | +| 计费方式 | 按 API 调用计费（DashScope 记忆 API 费用） | 规格费 + 模型调用费；标准版 0.03 元/知识库/小时，旗舰版 0.2 元/RCU/小时；向量化 / Rerank 按 Token 计费；2026-01-04 起正式计费 | +| 免费额度 | — | 一次性 720 小时，仅抵扣标准版（老用户至 2026-02-03，新用户开通 30 天内） | +| 典型输出 | 记忆片段列表（`memory_node_id`、`content`、`event`） + 用户画像 JSON | 命中切片列表 + 来源文件；知识问答服务可直接返回带引用的自然语言答案 | + +## 典型场景对比 + +| 场景 | 推荐方案 | 说明 | +| --- | --- | --- | +| "记住用户偏好、日程、习惯，下次自然唤起" | 长期记忆 | 自动从对话提取事件，`user_id` 天然多租户 | +| 结构化用户画像（年龄、职业、地区、行业偏好） | 长期记忆 + Profile Schema | 用画像模板固化属性字段 | +| 让智能体回答"我们公司产品手册第 3 章说什么" | 知识库 | 挂载 PDF/DOCX，走 RAG 检索链路 | +| 图文并茂的技术白皮书、含公式/图表 PDF | 知识库（视觉理解类型 + 大模型文档解析） | 强制切换 `qwen3-vl-embedding`，可命中图片切片 | +| FAQ / 参数表极低延时问答 | 知识库（极速问答类型） | 后端针对低延时优化，不支持图片 | +| 音视频课程 / 会议纪要检索 | 知识库（音视频类型） | 语音识别 + 视频帧 + 剧情解析 | +| 表格 / RDS 数据问答 | 知识库（数据查询类型） | 使用专用向量模型 | +| Agent 需要同时"记住用户"和"引用私域文档" | 长期记忆 + 知识库 组合 | 前者提供个性化上下文，后者提供事实依据 | +| 需要多知识库并行召回 + 路由 | 知识检索服务（最多 15 个知识库） | 配置混排模型 / 混排模式 | +| 需要直接生成带引用、可拒答的答复 | 知识问答服务 | 支持极速模式与多轮智能（Agentic）模式 | +| 快速把 OpenClaw Agent 接入长期记忆 | OpenClaw 记忆插件 | 零侵入，通过生命周期钩子自动捕获 / 召回 | + +## 技术选型建议 + +1. **看数据主体**：如果要注入的是"用户历史 / 偏好"，选长期记忆；如果要注入的是"文档 / 数据 / 音视频"，选知识库。 +2. **看隔离维度**：长期记忆按 `user_id` 隔离，天然适合 To C 场景；知识库按空间 / 类目 / tag 隔离，天然适合 To B / 企业内部知识。 +3. **看运维成本**：长期记忆无需上传文件、无需建索引，"调用即用"；知识库需要选择解析器 / 切片策略 / Meta 抽取，且 **Meta 抽取和多轮改写只能在创建时开启，不可事后追加**。 +4. **看时延与并发**：知识库标准版固定 1 QPS，高并发必须上旗舰版并购买 RCU；长期记忆按 QPM 计流，`add` 120 QPM、`search` 300 QPM，超限需分片写入或降频。 +5. **看成本结构**：长期记忆是纯 API 调用费；知识库额外有"规格费（按小时）+ 模型调用费（向量化 + Rerank，按 Token）"，**多知识库下模型调用量按知识库数倍增**，精度要求不高可关闭 Rerank 降本。 +6. **看模型覆盖**：知识库需要挂载给具体大模型，选型时确认使用的是预置文本 / 视觉 / DeepSeek / Qwen 系列并与知识库类型匹配；长期记忆与调用侧模型解耦，仅通过 DashScope API 使用。 +7. **看地域**：知识库当前只在**华北 2（北京）**开放，跨地域业务需评估网络与合规；长期记忆全网可用。 +8. **组合使用**：推荐架构是"用户请求 → 从长期记忆召回画像 + 相关记忆片段 → 从知识库召回文档切片 → 合并入 Prompt → 模型生成 → 会话结束后写回长期记忆"。OpenClaw 用户可通过记忆插件把长期记忆写入 / 召回做成零侵入，把知识库挂载在智能体侧做上下文源。 + +## 常见误区 + +- **不要用知识库来存"用户偏好"**：会导致跨用户污染，且切片粒度不适配短句事件。 +- **不要用长期记忆来存"产品文档"**：`custom_content` 上限 512 字符，无法承载长文本、图片和表格。 +- **知识库创建后**不能补配 Meta 抽取和多轮改写，评估阶段务必先开好。 +- **长期记忆有效期在 API 与控制台不一致**：API 文档写"暂无失效日期"，控制台默认记忆规则预置 180 天。以控制台规则为准，或显式指定 `project_id`。 +- **DashScope API Key ≠ 阿里云 AK/SK**：长期记忆用前者，知识库 API 用后者，切勿混用。 +- **OpenClaw 记忆插件不支持 Coding Plan 的 API Key**，且所有 Agent 共享同一记忆空间，不支持按 Agent 隔离。 + +## 被对比主题页 + +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) +- [knowledge base](../guides/knowledge-base.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-deployment-inference.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-deployment-inference.md new file mode 100644 index 00000000..cb5400aa --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-deployment-inference.md @@ -0,0 +1,61 @@ +# 模型部署与推理对比 + +本文对比百炼平台的两个核心推理能力方向：**模型部署**（将预置或调优后的模型部署为专属推理服务）与**高速推理**（通过 TPM 预留和快速模式提升吞吐量与输出速度）。两者在定位上有重叠（都涉及专属容量与预付费），但解决的问题和适用场景不同。本文帮助开发者根据业务需求做出技术选型。 + +## 关键维度对比 + +| 维度 | 模型部署 | 高速推理 | +| --- | --- | --- | +| 核心目标 | 将模型部署为资源专享的推理服务，支持调优后模型上线 | 提升推理吞吐量（TPM 预留）和输出速度（快速模式） | +| 主要能力 | 预置吞吐（PTU）、模型单元（MU）、按 [Token](../concepts/token.md) 计费、模型导入（LoRA）、API 部署 | TPM 预留（容量保障）、快速模式 Fast mode（速度提升） | +| 计费方式 | 三种：PTU（按天预付费）、模型单元（预付费）、按 [Token](../concepts/token.md) 用量（后付费） | TPM 预留（按 kTPM 预付费）；快速模式（按 token 计费，与标准 API 一致） | +| 资源独占性 | PTU 和模型单元均为专属资源，不与他人共享 | TPM 预留为专属容量；快速模式使用共享资源 | +| 支持模型 | 部分预置模型 + 所有 LoRA 调优后模型 | TPM 预留覆盖千问3.7-Max/Plus、千问3.6-Flash、GLM-5.2/5.1、DeepSeek-v4 等；快速模式支持 glm-5.2-fast-preview 等 | +| 模型导入 | 支持 LoRA 模型从 OSS 导入（千问3/2.5 系列、VL 系列） | 不涉及模型导入，仅使用平台预置模型 | +| 部署方式 | 控制台 + API（`POST /api/v1/deployments`），API 方式仅华北2 | TPM 预留：控制台创建；快速模式：指定 model ID 即可 | +| 接入方式 | `model` 参数设为 `deployed_model`（专属服务 ID） | TPM 预留：`model` 替换为专属 model code；快速模式：`model` 指定为 fast 模型 ID | +| API 端点 | DashScope 标准 endpoint（`dashscope.aliyuncs.com`） | 快速模式需用专属域名：`{workspace_id}.cn-beijing.maas.aliyuncs.com` | +| 扩缩容 | PTU 自助增减吞吐量；模型单元自助增减副本；按 [Token](../concepts/token.md) 需控制台申请 | TPM 预留支持调整输入/输出 TPM（可归 0 保留 code）；快速模式无扩缩容概念 | +| 超额处理 | PTU：自动溢出按量或返回 429；输入超上限自动转按量计费 | TPM 预留：自动溢出按量或返回 429；快速模式：超出 TPM 进入排队队列，不立即限流 | +| 退费规则 | PTU 预付费按天计费，无法提前退费；模型单元首月内退订日单价 1.2 倍 | TPM 预留缩容/退订按 1.5 倍系数结算 | +| 地域支持 | 控制台全地域；API 部署仅华北2（北京） | TPM 预留支持华北2（北京）和新加坡；快速模式华北2（北京） | +| 成熟度 | 正式可用 | TPM 预留正式可用；快速模式处于 preview 阶段 | +| 长输入/缓存 | PTU 部分模型支持长输入（最高 256K）和前缀缓存折扣 | TPM 预留部分模型支持长输入阶梯系数和缓存折扣 | + +## 能力关系说明 + +模型部署和高速推理并非完全互斥，而是从不同角度解决推理性能问题： + +- **PTU（模型部署）与 TPM 预留（高速推理）** 在"专属容量保障"这一诉求上高度相似，均通过预付费锁定专属吞吐量、支持自动溢出策略。区别在于 PTU 是模型部署体系下的计费方式之一，与模型单元、按 Token 计费并列；TPM 预留则是独立的高速推理加速能力，侧重于对已有预置模型的吞吐量锁定。 +- **模型单元** 是模型部署独有的能力，支持自定义性能指标、PD 分离模式，且是部署 LoRA 调优后模型的唯一途径。 +- **快速模式** 是高速推理独有的能力，无需预付费、无需部署，仅通过指定 fast 模型 ID 即可获得 1.5~2 倍的输出 TPS，适合对速度敏感但不需要专属资源的场景。 + +## 适用场景建议 + +| 场景特征 | 推荐方案 | 理由 | +| --- | --- | --- | +| 需要部署 LoRA 调优后的专属模型 | 模型部署（模型单元或按 Token 计费） | 仅模型部署支持模型导入和调优后模型上线 | +| 高负载生产环境，需稳定吞吐保障 | 模型部署（PTU）或高速推理（TPM 预留） | 两者均提供专属容量保障，PTU 偏向完整部署体系，TPM 预留更轻量 | +| 对输出速度敏感（AI 编程、Agent 多步推理） | 高速推理（快速模式） | 1.5~2 倍 TPS 提升，按 token 计费无需预付，接入零改动 | +| 需要自定义性能指标、PD 分离部署 | 模型部署（模型单元） | 模型单元支持部署规格、副本数、推理模式等细粒度配置 | +| 效果验证阶段，不使用不计费 | 模型部署（按 Token 计费） | 按量计费，一个月不使用自动释放 | +| 短期高峰需锁定容量，到期可释放 | 高速推理（TPM 预留） | 按天预付费，支持 1~30 天短周期，到期自动续费可选 | +| 自动化集成部署（CI/CD） | 模型部署（API 方式） | 提供完整的部署/查询/删除 API，适合自动化编排 | + +## 选型决策流程 + +1. **是否需要部署调优后的模型？** 是 → 选择模型部署（模型单元）。 +2. **是否对输出速度（TPS）有明确要求？** 是且无需专属资源 → 选择快速模式。 +3. **是否需要专属容量保障？** 是 → 在 PTU（模型部署）和 TPM 预留（高速推理）间选择： + - 需要完整部署体系（API 管理、模型单元配置、PD 分离）→ PTU + - 仅需锁定预置模型的吞吐量，轻量接入 → TPM 预留 +4. **是否仅用于效果验证？** 是 → 模型部署（按 Token 计费）。 + +> 注意：计费方式在服务创建后无法更改，切换需先下线已部署的模型。快速模式处于 preview 阶段，规格可能随版本调整，生产环境使用前请确认最新状态。 + +## 被对比主题页 + +- [model deployment 1](../guides/model-deployment-1.md) +- [model high speed inference](../guides/model-high-speed-inference.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-approaches.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-approaches.md new file mode 100644 index 00000000..ce1c8d0b --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-approaches.md @@ -0,0 +1,119 @@ +# 模型微调、压缩与高速推理对比 + +在百炼平台的模型生产链路中，模型微调（Fine-tuning）、模型压缩（量化）与高速推理（TPM 预留 / 快速模式）分别面向"效果定制"、"部署降本"与"吞吐/延迟优化"三个正交问题。三者不冲突，可按 `微调 → 压缩（可选）→ 部署 → 高速推理接入` 的顺序组合使用。本文汇总它们的能力边界、计费方式、接入方式与典型场景，便于开发者在做技术选型时对号入座。 + +## 定位速览 + +- **模型微调**：改变模型**参数本身**，用来把领域知识、指令遵循、人类偏好或音色/风格写进模型，解决"模型不会做"、"做得不好"、"不符合偏好"等**效果问题**。 +- **模型压缩**：把已经微调好的**全精度模型**量化为**低精度模型**，在效果基本可控的前提下**降低部署 MU 规格**，解决"部署太贵"的**成本问题**。 +- **高速推理**：不改动模型本身，通过 **TPM 预留**锁定专属吞吐容量、或使用 **快速模式**（`-fast-preview` 系列）加速单请求 TPS，解决"被限流"、"输出太慢"的**推理性能问题**。 + +## 关键维度对比 + +| 维度 | 模型微调（Fine-tuning） | 模型压缩（量化） | 高速推理 · TPM 预留 | 高速推理 · 快速模式（Fast mode） | +| --- | --- | --- | --- | --- | +| 解决的问题 | 效果定制：知识注入、指令遵循、偏好对齐、音色/风格 | 部署降本：降低 MU 规格 | 容量保障：锁定专属吞吐，避免公共池限流 | 输出加速：提升单请求 TPS | +| 是否修改模型参数 | 是（写入领域知识/偏好） | 是（降低参数精度，不可逆） | 否 | 否 | +| 支持模型范围 | 千问 3.x/2.5 文本、Qwen-VL、万相图像/视频、CosyVoice 等，各模型支持 CPT/SFT/DPO 的组合不同 | 仅百炼平台微调产出的自定义模型（如 qwen3.5-flash-2026-02-23）；不支持基础模型/第三方模型 | 千问 3.6/3.7、GLM-5.1/5.2、DeepSeek-v4-Pro/Flash、Kimi-K2.6 等，以控制台开放范围为准 | 已上线 `glm-5.2-fast-preview` 等 `-fast-preview` 系列，preview 阶段动态调整 | +| 输入形态 | 训练数据集：SFT 用 ChatML、DPO 追加 chosen/rejected、CPT 用纯文本、VL 打包 ZIP、CosyVoice 用 `train/*.wav` + text | 全精度微调模型 + 可选校准数据集（≤5 个，语义贴近推理场景） | 预付费订单参数（输入 kTPM、输出 kTPM、时长、溢出策略） | 与标准 API 相同的 `messages` 请求体 | +| 输出形态 | 新的微调模型（`finetuned_output`），可部署后调用 | 低精度量化模型（新的模型 ID，带自定义后缀） | 一个**专属 model code**，作为 `model` 参数使用 | 直接返回 `chat/completions` 响应 | +| 主要接入点 / API 端点 | `POST /api/v1/files`（上传数据）→ `POST /api/v1/fine-tunes`（创建任务）→ 轮询 → `POST /api/v1/deployments` 部署 | 控制台：模型 → 模型训练 → 模型压缩 → 创建压缩任务（暂以控制台为主） | 控制台创建 TPM 预留，业务侧沿用 `dashscope.aliyuncs.com/compatible-mode/v1`，仅替换 `model` 为专属 code | 使用业务空间专属域名 `https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` + `-fast-preview` 系列 model ID | +| 训练/构建成本 | 高：数据准备、训练耗时、Token/训练单元计费 | 压缩任务本身**限时免费**（截止时间以控制台公告为准） | 无训练成本，仅预付吞吐容量费 | 无训练成本 | +| 运行/调用计费 | 部署后按 MU 规格或按 Token 计费 | 部署阶段按压缩后**更小的 MU 规格**计费（示例：MU1\*2 → MU8\*1，节省约 56%） | 预付费按 **kTPM/天**，输入/输出分别计价；支持长输入阶梯系数与缓存折扣；超额可自动溢出到按 Token 付费或 429 | 与标准 API 一致的**按 Token 计费**，输入/输出/缓存命中分别计价 | +| 地域可用性 | 仅华北2（北京） | 仅华北2（北京） | 华北2 与新加坡各有独立价目 | 华北2、新加坡分别定价 | +| 生效方式 | 训练完成 → 部署 → 用 `deployed_model` 调用 | 压缩完成 → 用压缩后模型 ID 部署调用 | 创建成功即生成专属 model code；短时冲高需预热 | 更换 `model` + 域名即刻生效 | +| 可逆性 / 组合性 | 支持多轮训练与迭代；推荐 `CPT → SFT → DPO` 递进 | **不可逆**：压缩模型不支持继续微调或二次压缩，须回到全精度重压 | 支持扩缩容（含归 0 保留 code）、续费、退订；退订后 code 立即失效 | preview 阶段能力可能调整；与 TPM 预留可叠加使用 | +| 典型场景 | 深度定制：安全合规对齐、专业领域问答、专属音色/画风 | 已微调模型上线阶段进一步压缩部署成本 | 流量可预估、对限流零容忍的生产接口 | AI 编程助手、Agent 多步推理、实时对话等对 TPS 敏感的场景 | + +## 各方案适用场景建议 + +### 模型微调 + +优先选择微调的场景： + +- Prompt 工程 + 插件调用 + RAG 已尝试但效果仍不达标。 +- 需要注入**大量领域知识**或专属**知识体系**（CPT，1000 万+ Token）。 +- 需要模型稳定遵循**特定输出格式或流程**（SFT，1000+ ChatML 样本）。 +- 需要对齐特定**用户偏好或安全策略**（DPO，100+ chosen/rejected 对）。 +- 视觉理解、图像/视频生成、语音合成场景的**风格/音色定制**。 + +不建议微调的场景： + +- 数据量极小（<1000 条 SFT 样本，且无法扩充）——先做 Prompt 工程或少样本示例。 +- 只是想让模型"更快"或"更便宜"——那是压缩或高速推理要解决的问题。 +- 需求变化极快、每周都要迭代业务规则——微调迭代成本高，优先在 Prompt/知识库层解决。 + +### 模型压缩 + +优先选择压缩的场景： + +- 已有微调模型将进入**规模化生产部署**，MU 成本压力大。 +- 业务对**推理精度**的容忍度较高，可以用业务测试集验证不同量化模板的实际效果。 +- 处于免费期，希望在同一微调模型上并行尝试多个量化模板挑最优。 + +不建议压缩的场景： + +- 使用**基础模型或第三方模型**——不在支持范围。 +- 精度极度敏感、SLA 要求严格（对齐质量、事实性极高要求）——量化不可逆，风险较大。 +- 模型仍在快速迭代微调阶段——先稳定微调模型，再进入压缩环节。 + +### 高速推理 · TPM 预留 + +优先选择 TPM 预留的场景： + +- 已有稳定的日/周流量画像，可估算 RPM 与输入/输出平均长度。 +- 面向 **C 端高峰、金融交易、客服 SLA** 等对公共池限流零容忍的场景。 +- 需要固定预算 / 财务上更希望**预付费**而非按量波动。 +- 命中大量**缓存**的场景：不同模型的缓存折扣（8%~25%）可显著放大等效容量。 + +配合 `自动溢出至按 token 付费` 使用可获得容量保底 + 弹性溢出的组合；对成本严格封顶的场景则选择 `仅使用预留容量` + HTTP 429。 + +### 高速推理 · 快速模式 + +优先选择快速模式的场景： + +- **AI 编程助手 / IDE 补全**：需要 80~100 TPS 的[流式输出](../concepts/streaming.md)。 +- **Agent 多步推理**：单轮延迟直接影响整条 chain 的响应时间。 +- **实时对话 / 语音助手**：用户对首 token 与后续 token 速度都敏感。 +- 需要**按量计费**弹性，接受 preview 阶段可能的能力调整。 + +注意事项： + +- 需要使用业务空间维度的**专属域名**，且模型 ID 必须为 `-fast-preview` 系列。 +- 超出 TPM 会**排队**而非立即拒绝——业务侧仍要做超时与重试策略。 +- `glm-5.2-fast-preview` 默认返回 `reasoning_content` 思考字段，前端展示逻辑需相应适配。 + +## 组合与技术选型参考 + +从产品生命周期角度，三条能力线通常按下面的方式协同： + +1. **能力打磨阶段**：先用 Prompt 工程 + 知识库；确认能力缺口后走 **模型微调**（`CPT?→SFT→DPO?`），产出自定义模型。 +2. **降本阶段**：微调模型进入准生产后，若 MU 成本吃紧，评估 **模型压缩**——先在免费期用不同量化模板做业务集回归，再挑选精度损失可接受、MU 规格最小的模板部署。 +3. **性能扩展阶段**：稳定上线后，根据流量特征选择高速推理方案—— + - 流量可预估、对限流零容忍 → **TPM 预留**。 + - 关注单请求 TPS、面向 IDE/Agent/实时对话 → **快速模式**。 + - 两者不冲突：若目标模型同时开放 TPM 预留与 fast 域名（以控制台开放范围为准），可先购买 TPM 预留、再走 fast 域名调用。 + +一图表述的决策路径： + +- 想让模型"**做得对 / 做得像**"？→ 模型微调。 +- 微调已经完成，想"**部署更便宜**"？→ 模型压缩（不可逆，需回归精度）。 +- 想"**不被限流**、有容量兜底"？→ TPM 预留。 +- 想"**输出更快**"？→ 快速模式（`-fast-preview` + 专属域名）。 +- 想"**又不被限流、又输出更快**"？→ 在支持的模型上叠加使用 TPM 预留 + 快速模式。 + +## 常见误区 + +- **把压缩当作微调的替代**：压缩改的是精度不是能力，能力缺口只能通过微调补齐。 +- **把高速推理当作降本手段**：TPM 预留是预付费容量，快速模式按 Token 计费与标准 API 一致，两者都不会直接降低单位 Token 单价，真正降本要靠模型压缩换 MU 规格或缓存折扣。 +- **忽略地域约束**：微调与压缩**仅华北2（北京）可用**且必须使用该地域 API Key；高速推理华北2 与新加坡分别定价与开放。 +- **忽略压缩的不可逆性**：压缩后模型不能继续微调或二次压缩；如需迭代必须从上游全精度微调模型重跑。 +- **忽略快速模式的域名切换**：Fast mode 必须使用业务空间专属域名 `{workspace_id}.cn-beijing.maas.aliyuncs.com`，直接沿用 `dashscope.aliyuncs.com` 不会生效。 + +## 被对比主题页 + +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) +- [model high speed inference](../guides/model-high-speed-inference.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md index 47044f8e..c2fb9779 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-comparison.md @@ -1,85 +1,63 @@ -# 模型微调、压缩与部署对比 +# 模型优化方式对比 -在百炼平台上，将一个基础模型转化为可在生产环境中使用的定制化推理服务，通常涉及三个阶段：**模型微调（Fine-tuning）**、**模型压缩（Quantization）** 和 **模型部署（Deployment）**。三者在模型生产链路中依次衔接（调优 → 压缩（可选）→ 部署），各自解决不同层面的问题。本文从功能定位、适用范围、操作方式和成本等维度进行系统对比，帮助开发者在技术选型时做出合理决策。 - -## 功能定位与链路关系 - -模型微调、压缩与部署构成一条完整的模型生产流水线： - -- **模型微调**处于链路上游，目标是基于自有数据定制模型能力，使模型在特定领域或任务上表现更优。 -- **模型压缩**处于链路中间，是可选环节，通过量化技术降低模型参数精度，从而减小部署所需的算力规格和推理成本。 -- **模型部署**处于链路下游，将训练好（或压缩后）的模型发布为在线推理服务，供应用调用。 - -三者缺一不可地覆盖了"训练 → 优化 → 上线"的完整生命周期，但各自的输入输出、关注点和约束条件差异显著。 +百炼平台提供三种模型优化方式：**微调**（Fine-Tuning）、**模型压缩**（Model Compression）和**模型高速推理**（High-Speed Inference）。三者在模型生产链路中处于不同环节、解决不同问题：微调改变模型参数以注入领域知识或对齐指令；压缩在不改参数的前提下降低精度以减少部署成本；高速推理则从部署层面提升吞吐量或输出速度。本文从核心目标、技术原理、适用模型、接入方式、计费模式等维度进行对比，帮助开发者根据实际诉求做出技术选型。 ## 关键维度对比 -| 维度 | 模型微调（Fine-tuning） | 模型压缩（Quantization） | 模型部署（Deployment） | -|------|------------------------|------------------------|----------------------| -| **核心目标** | 基于自有数据定制模型能力，提升特定场景表现 | 降低模型参数精度，减小部署规格与推理成本 | 将模型发布为在线推理服务，供应用调用 | -| **在链路中的位置** | 上游（第一步） | 中间（可选） | 下游（最后一步） | -| **输入** | 基础模型 + 训练数据集（JSONL / ZIP 等） | 微调产出的自定义模型 | 预置模型 / 微调模型 / 压缩后模型 | -| **输出** | 微调后的自定义模型 | 低精度量化模型 | 可调用的在线推理服务（API 端点） | -| **支持的模型范围** | 广泛：Qwen3.6/3.5/3/2.5 系列文本模型、Qwen-VL 视觉模型、Wan 图像/视频模型、CosyVoice 语音模型 | 较窄：仅支持百炼平台微调产出的特定自定义模型（如 qwen3.5-flash） | 最广泛：预置模型（Qwen、DeepSeek、GLM 等）+ 微调模型 + 压缩模型 + OSS 导入的 LoRA 模型 | -| **支持的模态** | 文本生成、视觉理解、图像生成、视频生成、语音合成 | 仅文本生成 | 文本生成、[多模态](../concepts/multimodal.md)、语音合成等 | -| **操作方式** | 控制台 + API | 仅控制台 | 控制台 + API | -| **是否可逆** | 可重复训练和迭代 | 不可逆：压缩后不支持继续微调或二次压缩 | 可随时上线/下线，支持重新部署 | -| **典型耗时** | 数小时至数天（取决于数据量和训练轮次） | 平台自动完成，排队后运行 | 分钟级（状态变为"运行中"即可调用） | -| **计费方式** | 按 Token 用量计费：训练数据 Token 数 x 训练轮次 x 训练单价 | 压缩任务本身限时免费 | 三种模式：预置吞吐（PTU）、模型单元（MU，按时长）、Token 用量（按调用量） | -| **地域限制** | 无特殊限制 | 仅华北2（北京） | 无特殊限制 | - -## 训练方法与压缩模板选择 - -### 微调方法 - -百炼平台提供三种递进式微调方法，推荐按 CPT → SFT → DPO 的顺序使用： - -| 方法 | 目标 | 数据要求 | 典型场景 | -|------|------|----------|----------| -| CPT（继续预训练） | 注入领域知识 | 1000万+ Token 无标签文本 | 金融/医疗/法律等垂直领域适配 | -| SFT（监督微调） | 学会遵循指令 | 1000+ 条高质量问答对 | 客服、代码助手、Agent 工具调用 | -| DPO（直接偏好优化） | 对齐人类偏好 | 100+ 组正负样本对 | 安全合规强化、降低幻觉 | - -每种方法支持全参训练和高效训练（LoRA）两种模式。全参训练效果更好但耗时更长、成本更高；LoRA 训练收敛快、成本低，适合快速验证。 - -### 压缩量化模板 +| 维度 | 微调（Fine-Tuning） | 模型压缩（Model Compression） | 模型高速推理（High-Speed Inference） | +| --- | --- | --- | --- | +| **核心目标** | 定制化训练，注入领域知识、遵循指令、对齐偏好 | 量化降精度，降低部署 MU 规格，节省推理成本 | 提升推理吞吐量或输出 TPS | +| **技术原理** | CPT / SFT / DPO，全参训练或 LoRA 高效训练 | 量化（Quantization），不支持结构剪枝或知识蒸馏 | TPM 预留（专属容量）或快速模式（Fast mode） | +| **链路位置** | 模型生产链路的起点 | 微调之后、部署之前的可选环节 | 部署 / 调用阶段 | +| **是否改变模型参数** | 是（更新全部或低秩参数） | 否（仅降低参数精度，不可逆） | 否（部署配置层面的优化） | +| **支持模型类型** | 文本生成、视觉理解、图像生成、视频生成、语音合成 | 仅百炼平台微调产出的自定义模型 | 千问、GLM、DeepSeek、Kimi 等主流模型 | +| **训练模式 / 机制** | 全参训练（Full-Tuning）/ 高效训练（LoRA） | 量化模板（MU 编号越大规格越小成本越低） | TPM 预留（预付费锁容量）/ 快速模式（指定 fast 模型 ID） | +| **数据要求** | CPT 需 1000 万+ Token；SFT 需 1000+ 条；DPO 需 100+ 组 | 校准数据（可选，最多 5 个数据集） | 无训练数据需求；TPM 预留可配合容量计算器估算 | +| **接入方式** | 控制台或 API（上传数据集 → 创建任务 → 部署模型 → 调用） | 控制台创建压缩任务（选源模型 → 选量化模板 → 校准数据） | TPM 预留：替换 model 为专属 code；快速模式：指定 fast 模型 ID | +| **API 端点** | `dashscope.aliyuncs.com/api/v1/fine-tunes`、`/deployments` | 控制台操作为主 | TPM：`dashscope.aliyuncs.com`；快速模式：`{workspace_id}.cn-beijing.maas.aliyuncs.com` | +| **计费方式** | 按 Token 计费（API）或训练单元（控制台） | 压缩任务限时免费；部署按 MU 规格计费 | TPM 预留：按 kTPM 预付费；快速模式：按 Token 计费（与标准 API 一致） | +| **可用地域** | 仅华北2（北京） | 仅华北2（北京） | TPM：华北2（北京）+ 新加坡；快速模式：华北2（北京） | +| **可逆性** | 可多次微调、组合 CPT→SFT→DPO | 不可逆，压缩后不可继续微调或二次压缩 | 可调整容量（TPM）或切换模型（快速模式） | +| **成熟度** | 正式可用 | 正式可用（压缩任务限时免费） | TPM 预留正式可用；快速模式为 preview 阶段 | -量化模板决定压缩后的部署规格，MU 编号越大表示部署规格越小、成本越低，但精度损失可能越大。可选配校准数据以提升量化精度，建议选择与推理场景语义相近的数据集。 +## 各方案适用场景建议 -## 部署计费方式对比 +### 微调（Fine-Tuning） -| 计费方式 | 计费公式 | 适用场景 | 特点 | -|---------|---------|---------|------| -| 预置吞吐（PTU） | 使用时长 x (输入 TPM 单价 x 输入 TPM + 输出 TPM 单价 x 输出 TPM) | 流量稳定的高负载生产环境 | 保障吞吐额度内不限速，超额自动切换按量计费；TPS 约为按量的 1.5~2.0 倍 | -| 模型单元（MU） | 使用时长（小时）x 模型单元数量 x 模型单元单价 | 需要资源独占和自定义性能指标 | 支持 PD 分离计算模式，可降低首 Token 延迟 | -| Token 用量 | 输入 Token 数 x 输入单价 + 输出 Token 数 x 输出单价 | 调用量不稳定、用量较少的场景 | 仅支持部分 LoRA 调优模型，不使用不计费 | +- **适用场景**：需要注入大量领域知识（CPT）、让模型学会遵循特定指令格式（SFT）、或对齐业务偏好（DPO）。 +- **典型用例**：医疗/法律问答系统、企业内部知识助手、特定风格的内容生成、客服对话优化。 +- **选型建议**：数据量充足（1000+ 条以上）且对模型行为有明确定制需求时首选。推荐流程 `CPT（可选）→ SFT → DPO（可选）`。文本生成模型推荐全参训练（费用与 LoRA 相同），图像/视频/语音模型仅支持高效训练。 -## 适用场景建议 +### 模型压缩（Model Compression） -**场景一：快速验证模型定制效果** -推荐路径：SFT 高效训练（LoRA）→ 直接部署（Token 用量计费）。跳过压缩环节，以最低成本快速上线验证。 +- **适用场景**：微调后的模型部署成本偏高，需要在保持推理能力的前提下降低 MU 规格。 +- **典型用例**：微调模型上线后发现推理费用过高，通过量化将部署成本降低 50% 以上。 +- **选型建议**：仅适用于百炼平台微调产出的自定义模型。建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证效果，选择最优方案。注意压缩不可逆，压缩后无法继续微调。 -**场景二：生产环境成本敏感** -推荐路径：SFT 全参训练 → 模型压缩 → 部署（MU 计费）。通过压缩降低部署规格（如从 MU1x2 降至 MU8x1，成本节省约 56%），适合长期运行的在线服务。 +### 模型高速推理（High-Speed Inference） -**场景三：高并发低延迟的核心业务** -推荐路径：微调（按需）→ 部署（PTU 计费）。PTU 模式提供预留吞吐保障，TPS 提升约 1.5~2.0 倍，适合流量稳定且对延迟敏感的场景。 +- **适用场景**：对推理吞吐量或输出速度有较高要求，但不需要改变模型能力本身。 +- **TPM 预留典型用例**：大促/高峰期需要稳定 QPS 保障的线上服务，不希望受公共限流影响。 +- **快速模式典型用例**：AI 编程助手、Agent 多步推理、实时对话等对延迟敏感的场景，需 80~100 TPS 高速输出。 +- **选型建议**：若首要诉求是"高峰期不被限流"，选 TPM 预留；若首要诉求是"输出更快"，选快速模式。两者可单独使用，也可与微调/压缩后的自定义模型配合使用。快速模式目前为 preview 阶段，生产环境建议先验证稳定性。 -**场景四：[多模态](../concepts/multimodal.md)模型定制** -推荐路径：视觉/图像/视频/语音 SFT → 直接部署（MU 计费）。当前压缩功能仅支持文本模型，[多模态](../concepts/multimodal.md)微调模型需直接部署。 +## 技术选型决策参考 -## 技术选型要点 +| 诉求 | 推荐方案 | +| --- | --- | +| 需要让模型学会新知识或遵循特定指令 | 微调（SFT / CPT / DPO） | +| 微调模型部署成本过高，想降低推理费用 | 模型压缩（量化） | +| 高峰期需要稳定的推理吞吐量保障 | TPM 预留 | +| 需要更快的输出速度（高 TPS） | 快速模式（Fast mode） | +| 既想定制模型又想降低部署成本 | 微调 → 模型压缩（串行使用） | +| 定制模型 + 高速输出 | 微调 → 部署 → 快速模式调用 | -1. **是否需要微调**：如果预置模型已满足需求，可直接部署，无需微调。当模型在特定领域表现不佳、需要定制输出格式或降低幻觉时，再考虑微调。 -2. **是否需要压缩**：压缩可显著降低部署成本，但会带来一定精度损失且不可逆。建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证推理效果，选择最优方案。 -3. **如何选择部署计费方式**：流量稳定选 PTU，需要资源独占和灵活配置选 MU，用量少且不稳定选 Token 用量。注意 Token 用量模式仅支持部分 LoRA 模型。 -4. **地域约束**：模型压缩当前仅在华北2（北京）地域可用，规划链路时需考虑地域一致性。 -5. **不可逆操作提醒**：压缩后的模型不支持继续微调或二次压缩，务必保留上游全精度微调模型以备后续迭代。 +> **注意**：微调与压缩属于模型生产环节（改变或优化模型本身），高速推理属于部署调用环节（优化服务性能），三者不互斥，可组合使用。典型完整链路为：微调（可选）→ 模型压缩（可选）→ 部署 → 高速推理调用。 ## 被对比主题页 - [fine tuning](../guides/fine-tuning.md) - [model compression](../guides/model-compression.md) -- [model deployment 1](../guides/model-deployment-1.md) +- [model high speed inference](../guides/model-high-speed-inference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-methods.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-methods.md new file mode 100644 index 00000000..238bdb8d --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-methods.md @@ -0,0 +1,62 @@ +# 模型优化方式对比 + +百炼平台为开发者提供了多种模型优化手段，分别从不同维度提升模型在业务场景中的表现。本文对比三种主要的模型优化方式——**模型调优（Fine-Tuning）**、**模型压缩**和**高速推理（TPM 预留 / 快速模式）**——帮助开发者根据自身需求做出技术选型。 + +三者定位不同：模型调优关注"让模型更适合你的数据"，模型压缩关注"让模型部署更便宜"，高速推理关注"让模型跑得更快、更稳"。 + +## 关键维度对比 + +| 维度 | 模型调优（Fine-Tuning） | 模型压缩 | 高速推理 | +| --- | --- | --- | --- | +| **核心目标** | 通过 CPT / SFT / DPO 让模型学习领域知识、遵循指令、对齐偏好 | 将全精度微调模型量化为低精度版本，降低部署规格和成本 | TPM 预留锁定专属吞吐容量；快速模式提升单请求输出速度 | +| **适用阶段** | 模型生产链路起点（调优） | 模型调优之后、部署之前（可选） | 模型部署后的推理调用阶段 | +| **输入（对象）** | 基础模型 + 训练数据集 | 百炼微调产出的全精度自定义模型 | 已部署的模型 + API 调用 | +| **输出（产物）** | 自定义微调模型 | 量化后的低精度模型 | 专属模型 code（TPM）或 fast 模型 ID | +| **支持模型** | 文本生成、视觉理解、图像生成、视频生成、语音合成 | 百炼微调产出的自定义模型（如 qwen3.5-flash-2026-02-23） | 千问、GLM、DeepSeek、Kimi 等系列（TPM 预留）；glm-5.2-fast-preview（快速模式） | +| **操作入口** | 控制台「模型调优」或 HTTP API | 控制台「模型压缩」 | 控制台「TPM 预留」或替换 API 的 `model` 参数 | +| **数据要求** | CPT 需 1000 万+ Token；SFT 需 1000+ 条；DPO 需 100+ 组 | 校准数据集（条件选填，最多 5 个） | 无需训练数据，仅需配置容量参数 | +| **[计费](../concepts/billing.md)方式** | 按 Token [计费](../concepts/billing.md)（API）或训练单元（控制台） | 压缩任务限时免费；部署按 MU 规格[计费](../concepts/billing.md) | TPM 预留按 kTPM 预付费（输入/输出分别计价）；快速模式按 Token 计费 | +| **地域限制** | 仅华北2（北京） | 仅华北2（北京） | TPM 预留：华北2（北京）+ 新加坡；快速模式：华北2（北京）+ 新加坡 | +| **可逆性** | 可多次调优、组合 CPT→SFT→DPO | 不可逆，压缩后不可继续微调或二次压缩 | 可扩缩容、续费、退订 | +| **成熟度** | 正式商用 | 正式商用 | TPM 预留正式商用；快速模式为 preview 阶段 | + +## 三者关系 + +模型调优、模型压缩和高速推理不是互斥的，而是可串联的模型生产链路： + +``` +基础模型 → [模型调优 CPT/SFT/DPO] → 微调模型 → [模型压缩（可选）] → 量化模型 → 部署 → [高速推理 TPM 预留 / 快速模式] → 线上调用 +``` + +- 先调优获得定制化模型 +- 再通过压缩降低部署成本 +- 最后通过高速推理保障线上性能 + +## 适用场景建议 + +| 场景特征 | 推荐方式 | 说明 | +| --- | --- | --- | +| 模型在领域知识、指令遵循或偏好对齐上不满足要求 | **模型调优** | 用业务数据定制模型行为，解决"效果不够好"的问题 | +| 微调模型部署成本过高（MU 规格 / 每小时费用） | **模型压缩** | 量化后部署规格显著降低，如 qwen3.5-flash 压缩后成本节省约 56% | +| 业务有明确峰值流量，不能接受公共资源限流（429） | **TPM 预留** | 锁定专属吞吐容量，刚性兑付 | +| 对单请求输出延迟敏感（AI 编程助手、Agent 多步推理、实时对话） | **快速模式** | 输出 TPS 提升至标准 API 的 1.5~2 倍 | +| 既要专属容量又要更快输出 | **TPM 预留 + 快速模式** | 但需确认支持模型重叠情况，快速模式目前仅支持 glm-5.2-fast-preview | +| 成本敏感、数据量较小、快速验证 | **调优选 LoRA 高效训练** | 文本生成模型全参与高效训练费用相同，百炼推荐优先全参训练 | +| 追求全局效果最优、对成本不敏感 | **调优选全参训练** | 更新全部参数，效果更优 | +| 已有微调模型，想在免费期内测试多种部署规格 | **模型压缩** | 建议在免费期对同一微调模型尝试多个量化模板，部署后用业务测试集验证 | + +## 选型决策参考 + +1. **先确定优化方向**：是模型能力不足（调优）、部署太贵（压缩）还是推理不够快/稳（高速推理）？三者解决的是不同阶段的问题。 +2. **评估数据储备**：调优需要大量高质量训练数据（CPT 尤其需千万级 Token），数据不足时优先考虑压缩或高速推理。 +3. **成本视角**：调优按 Token / 训练单元计费；压缩任务本身限时免费，收益体现在后续部署成本下降；TPM 预留为预付费模式，适合流量可预估的业务。 +4. **地域约束**：调优和压缩仅华北2（北京）可用；高速推理在北京和新加坡均开放。若业务部署在非北京地域，需优先考虑高速推理方案。 +5. **可逆性**：压缩不可逆，操作前务必确认上游微调模型可用；调优和高速推理均支持灵活调整。 + +## 被对比主题页 + +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) +- [model high speed inference](../guides/model-high-speed-inference.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-vs.md new file mode 100644 index 00000000..5bc9c587 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization-vs.md @@ -0,0 +1,59 @@ +# 微调与模型压缩对比 + +## 背景与目的 + +微调（Fine-tuning）与模型压缩（Model Compression）是百炼平台模型生产链路中两个不同阶段的可选能力。微调位于链路前段，通过训练将领域知识、任务能力或人类偏好写入模型参数，解决"效果不够"的问题；模型压缩位于链路后段，通过量化将全精度模型转为低精度版本，解决"部署太贵"的问题。两者并非互斥替代，而是先后关系：先微调得到自定义模型，再按需压缩以降低推理成本。本文从多个维度对比两者的技术特征、适用场景与限制，帮助开发者在技术选型时做出合理判断。 + +## 关键维度对比 + +| 维度 | 微调（Fine-tuning） | 模型压缩（Model Compression） | +| --- | --- | --- | +| **链路位置** | 模型调优阶段（链路前段） | 模型压缩阶段（链路后段，位于微调与部署之间） | +| **核心目标** | 把领域知识、任务能力、人类偏好或特定音色/风格写入模型参数 | 将全精度模型量化为低精度版本，降低部署 MU 规格与推理成本 | +| **技术手段** | CPT（持续预训练）、SFT（监督微调）、DPO（直接偏好优化）；全参训练或 LoRA 高效训练 | 量化（特指低比特量化，不涉及结构剪枝或知识蒸馏） | +| **输入要求** | 训练数据集（ChatML 问答对、偏好对、纯文本等），支持文件上传或 OSS 挂载 | 已微调完成的自定义模型作为源模型；部分量化模板需校准数据集（最多 5 个） | +| **支持模型范围** | 广泛：千问文本系列、Qwen-VL 视觉系列、万相图像/视频、CosyVoice 语音合成 | 有限：仅支持百炼平台微调产出的自定义模型，不支持基础模型或第三方模型 | +| **训练方式差异** | 不同模型支持的方式不同（CPT/SFT/DPO，全参/LoRA），需按模型查表 | 无训练方式概念，仅选择量化模板；MU 编号越大规格越小、成本越低、但精度损失可能越大 | +| **操作入口** | 控制台"模型调优"页面，或 API/命令行（`POST /api/v1/fine-tunes` 等四步流程） | 控制台"模型训练 → 模型压缩 → 创建压缩任务" | +| **计费方式** | 按 [Token](../concepts/token.md) 计费（API 创建的任务）或使用模型训练单元预付费/后付费（仅控制台创建） | 压缩任务本身限时免费（截止时间以控制台公告为准）；压缩后模型在部署阶段按 MU 规格计费 | +| **地域限制** | 仅华北2（北京）地域可用，需使用该地域的 API Key | 仅华北2（北京）地域可用 | +| **可逆性** | 可对同一模型多次微调（如 CPT → SFT → DPO 递进组合） | 不可逆：压缩后模型不支持继续微调，也不支持二次压缩；如需调整须从上游全精度模型重新压缩 | +| **产出物** | 全精度自定义微调模型，可继续微调或压缩 | 低精度量化模型，直接用于部署 | +| **成本示例** | 取决于数据量、训练方式、epoch 等参数，成本较高 | 示例：qwen3.5-flash-2026-02-23 压缩前 MU1*2（108 元/小时）→ 压缩后 MU8*1（47 元/小时），节省约 56% | +| **任务状态** | API 轮询 `status`：从创建到 `SUCCEEDED` | 7 种状态：PENDING → QUEUING → RUNNING → SUCCEEDED/FAILED/CANCELING/CANCELED | +| **关键超参数** | `learning_rate`、`n_epochs`、`batch_size`、`max_length`、`lora_rank` 等 | 任务名称、量化产出模型名后缀、量化模板、校准数据 | +| **数据格式** | SFT 用 ChatML JSONL；DPO 追加 chosen/rejected；CPT 用纯文本；视觉需打包 ZIP | 校准数据为已有数据集（无需特殊格式化），仅当模板含校准输入参数时需提供 | + +## 适用场景建议 + +### 优先选择微调的场景 + +- **Prompt 工程已到瓶颈**：已有 [prompt](../guides/prompt.md) 优化、插件调用等手段无法达到效果，需要将领域知识或任务能力深度写入模型参数。 +- **需要[多模态](../concepts/multimodal.md)定制**：视觉理解（Qwen-VL）、图像/视频生成（万相）、语音合成（CosyVoice）等模态需要特定风格或音色。 +- **需要对齐人类偏好**：通过 DPO 让模型回答更符合业务安全和质量要求（如安全合规对齐）。 +- **需要递进式优化**：可按 CPT（补知识）→ SFT（学指令）→ DPO（对齐偏好）逐步组合使用。 +- **需要灵活迭代**：微调后仍可继续微调或压缩，保留后续优化空间。 + +### 优先选择模型压缩的场景 + +- **微调模型已满足效果但部署成本偏高**：模型能力达标，推理费用过高成为瓶颈。 +- **对推理延迟或吞吐有更高要求**：低精度模型在同等硬件下推理更快、并发更高。 +- **已确定不再需要继续微调**：模型效果已经稳定，压缩的不可逆性不构成障碍。 +- **希望在免费期内多方案验证**：压缩任务限时免费，可对同一微调模型尝试多个量化模板，分别部署后用业务测试集选最优方案。 + +### 典型组合流程 + +两者最常见的组合是**串联使用**： + +1. 在控制台或通过 API 完成微调训练（如 SFT 或 CPT → SFT → DPO），得到全精度自定义模型。 +2. 在模型压缩页面选择该微调模型作为源模型，选取合适的量化模板（权衡成本与精度损失），按需配置校准数据。 +3. 压缩成功后部署量化模型，按 MU 规格计费。 + +> **注意**：压缩是不可逆操作。建议在压缩前确认微调模型效果已达预期，或在免费期内对多个量化模板做 A/B 验证后再正式上线。 + +## 被对比主题页 + +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization.md new file mode 100644 index 00000000..091b6469 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/model-optimization.md @@ -0,0 +1,57 @@ +# 模型微调与压缩对比 + +本页对比百炼平台的**模型微调（Fine-Tuning）**与**模型压缩（Compression/量化）**两项能力。二者同属模型生产链路，但定位不同：微调用于在基础模型上注入领域知识、对齐指令或偏好，产出全精度定制模型；压缩则在微调之后将模型量化为低精度版本，以更低的 MU 规格部署、降低推理成本。完整的模型生产链路为：模型调优 → 模型压缩（可选）→ 模型部署。理解二者差异，有助于在不同阶段做出正确的技术选型。 + +## 关键维度对比 + +| 维度 | 模型微调（Fine-Tuning） | 模型压缩（Compression） | +| --- | --- | --- | +| **核心目标** | 注入领域知识、学会遵循指令、对齐人类偏好 | 将全精度微调模型量化为低精度版本，降低部署规格与推理成本 | +| **在链路中的位置** | 模型生产链路的上游环节 | 模型调优与模型部署之间的可选环节 | +| **技术手段** | CPT（持续预训练）、SFT（监督微调）、DPO（直接偏好优化）；训练模式分全参训练与高效训练（LoRA） | 量化（Quantization），不涉及结构剪枝或知识蒸馏 | +| **输入数据** | 需要训练数据集（纯文本/ChatML/ChatML + chosen-rejected），通过文件上传或 OSS 挂载加载 | 输入是已完成的全精度微调模型；部分量化模板需要校准数据集（最多 5 个） | +| **产物** | 全精度自定义模型（`finetuned_output`） | 低精度量化模型（独立部署模型名） | +| **支持的模型范围** | 文本生成（Qwen3.x/Qwen2.5 等）、视觉理解（千问 VL）、图像生成（万相）、视频生成（万相）、语音合成（CosyVoice） | 仅支持百炼平台微调产出的自定义模型，不支持基础模型或第三方模型；具体可压缩模型以控制台展示为准 | +| **训练方式/模式限制** | 文本生成支持全参训练与高效训练（推荐全参）；图像生成、视频生成、语音合成仅支持高效训练（`efficient_sft`） | 不涉及训练方式选择；通过选择量化模板决定部署规格，MU 编号越大规格越小、成本越低、精度损失可能越大 | +| **操作入口** | 控制台（模型调优页面）或 HTTP API（上传数据集 → 创建任务 → 查询状态 → 部署 → 调用） | 仅控制台（模型 → 模型训练 → 模型压缩 → 创建压缩任务），无独立 API | +| **计费方式** | API 创建的任务仅按 [Token](../concepts/token.md) 计费，不支持训练单元；控制台创建可使用预付费/后付费训练单元 | 压缩任务本身限时免费（截止时间以控制台公告为准）；压缩后模型按 MU 规格计费 | +| **成本示例** | 视训练方式与数据量而定 | 如 qwen3.5-flash-2026-02-23 微调模型，压缩前 MU1*2（108 元/小时），压缩后 MU8*1（47 元/小时），节省约 56% | +| **可逆性** | 微调模型可继续微调或作为压缩源模型 | 不可逆：压缩后模型不支持继续微调或二次压缩，需从上游全精度微调模型重新压缩 | +| **地域限制** | 仅华北2（北京）可用 | 仅华北2（北京）可用 | +| **任务配置可修改性** | 训练任务创建后超参数等配置不可改 | 压缩任务创建后不可修改配置 | +| **任务状态** | 创建后轮询 `status` 至 `SUCCEEDED`，再部署 | 7 种状态：PENDING → QUEUING → RUNNING → SUCCEEDED/FAILED/CANCELING → CANCELED | + +## 适用场景建议 + +### 选择模型微调的场景 + +- **需要注入领域知识**：拥有大量领域语料（1000 万+ [Token](../concepts/token.md)），希望通过 CPT 让模型掌握行业背景。 +- **需要定制指令遵循行为**：有标注好的指令-回答对（1000+ 条），通过 SFT 让模型按特定格式或风格响应。 +- **需要对齐人类偏好**：拥有 chosen/rejected 对（100+ 组），通过 DPO 降低不良输出、提升回答质量。 +- **[多模态](../concepts/multimodal.md)定制**：需要对视觉理解、图像生成、视频生成或语音合成模型进行定制化训练。 +- **快速验证想法**：数据量较小、成本敏感时，可先用高效训练（LoRA）快速迭代，再视需要升级全参训练。 + +### 选择模型压缩的场景 + +- **降低推理成本**：微调模型部署规格偏高，希望在保持能力的前提下降低 MU 规格，如将 MU1*2 降至 MU8*1。 +- **上线前做成本与精度的权衡**：微调已完成，建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证，选最优方案再正式上线。 +- **生产环境对成本敏感**：推理量大、部署时间长，量化带来的小时费率下降能产生可观的总成本节省。 + +### 组合使用 + +二者并非互斥，而是链路上的先后关系。典型路径为：先用微调得到满足效果的全精度定制模型，再视成本需求对该微调模型执行压缩，最终部署量化版本。需要注意压缩不可逆，压缩后的模型不能再微调，因此应在微调效果稳定后再进入压缩环节。 + +## 技术选型参考 + +- **是否需要新知识/新行为**：是 → 微调（CPT/SFT/DPO）；否，只需降本 → 压缩。 +- **是否已有满意的微调模型**：是 → 可考虑压缩进一步降本；否 → 先做微调。 +- **是否需要继续迭代模型**：是 → 暂不压缩（压缩后不可再微调）；否，且追求低成本部署 → 压缩。 +- **是否需要 API 发起**：微调支持 HTTP API 全流程；压缩仅支持控制台操作。 +- **是否使用训练单元**：如需预付费/后付费训练单元，微调必须通过控制台创建；API 创建的微调任务仅按 [Token](../concepts/token.md) 计费。 + +## 被对比主题页 + +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md index 3e3d1202..3ffde1f0 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-comparison.md @@ -1,53 +1,47 @@ # 应用监控与模型监控对比 -百炼平台提供两套互补的监控体系：**应用观测**和**模型监控**。应用观测侧重于端到端追踪应用内部的调用链路与节点级性能，帮助开发者定位应用层面的延时与逻辑问题；模型监控则聚焦于模型维度的调用性能、Token 消耗、费用趋势与告警，帮助开发者管控模型使用成本与稳定性。理解两者的定位差异，有助于开发者建立完整的可观测性方案。 - -## 核心维度对比 - -| 维度 | 应用观测 | 模型监控 | -|------|----------|----------| -| **监控对象** | 应用（智能体应用、工作流应用、高代码应用） | 模型（含自定义模型和调优模型） | -| **观测粒度** | 节点级（CHAIN、LLM、RETRIEVER、TOOL 等多种节点类型） | 模型级（按模型名称、API-KEY、推理类型筛选） | -| **核心指标** | 调用延时、Token 用量（输入/输出）、首 Token 耗时、调用次数与失败率 | 调用时长、首 Token 延时、RPM、TPM、Token 消耗、失败率、限流错误、内容安全错误 | -| **数据更新频率** | 分钟级 | 普通监控为小时级；高级监控为分钟级 | -| **数据保留时长** | 最长 30 天 | 用量统计不支持查看 30 天以前的数据 | -| **告警能力** | 无 | 支持告警规则配置，通知方式含短信、邮件、电话、钉钉机器人、企业微信机器人、Webhook | -| **用量统计** | 无独立用量统计，通过监控统计图表查看 Token 总量 | 按[业务空间](../concepts/workspace.md)维度统计，支持免费额度管理与用完即停 | -| **数据导出** | 支持导出为 JSONL 或 EXCEL | 高级监控数据可通过 Prometheus HTTP API 接入 Grafana 等外部系统 | -| **数据标注** | 支持对 Span 添加标签（布尔值/分类/数字/文本），可关联评测集 | 不支持 | -| **日志查看** | 通过 Trace 详情查看 Prompt 输入输出与原始数据 | 开通推理日志后可查看每次调用的输入、输出及 Token 消耗（仅华北2北京地域部分模型） | -| **地域限制** | 无特殊地域限制 | 高级监控仅支持北京、新加坡、弗吉尼亚；告警仅支持北京、新加坡 | -| **计费** | 功能免费，观测数据存储由 OpenTelemetry 服务收费 | 功能免费，高级监控数据存储在私有 Prometheus 实例中 | -| **操作方式** | 仅控制台操作，无 API | 控制台操作 + Prometheus API 接入 | - -## 开通与前置条件对比 - -| 维度 | 应用观测 | 模型监控 | -|------|----------|----------| -| **开通步骤** | 授权 OpenTelemetry 服务角色权限 → 开通 OpenTelemetry 服务 → 初始化 LogStore | 普通监控默认可用；高级监控需在模型监控配置中手动开启 | -| **子账号权限** | 需要 AliyunBailianFullAccess + 应用观测页面权限 + ram:CreateServiceLinkedRole 策略 | 标准百炼控制台权限即可 | -| **推荐操作账号** | 主账号 | 无特殊要求 | +百炼平台提供两种层次的监控能力：**应用监控**（应用观测）关注[业务空间](../concepts/workspace.md)内智能体应用、工作流应用、高代码应用的端到端调用链路与运行指标；**模型监控**关注底层模型的用量统计、运行性能、推理日志与告警。两者观测对象不同但互补——应用监控自上而下追踪应用内部各节点的调用链，模型监控自下而上汇总所有[业务空间](../concepts/workspace.md)的模型调用量与性能。本文从观测对象、数据维度、延迟粒度、告警能力、接入方式、[计费](../concepts/billing.md)等关键维度做对比，帮助开发者根据需求选择合适的监控手段，或组合使用以构建全链路可观测体系。 + +## 关键维度对比 + +| 维度 | 应用监控（应用观测） | 模型监控 | +| --- | --- | --- | +| **观测对象** | 智能体应用、工作流应用、高代码应用的完整调用链路 | 主账号下所有[业务空间](../concepts/workspace.md)的模型调用（按"模型 + 业务空间"维度） | +| **监控粒度** | Span/节点级（CHAIN、AGENT、RETRIEVER、LLM、TOOL 等），支持嵌套展开 | 模型级（按模型 Code 列表），详情页分安全、成本、性能、错误四类指标 | +| **数据延迟** | 分钟级 | 用量统计约 1 小时；普通监控小时级；高级监控（Prometheus）分钟级 | +| **关键指标** | 调用次数（含失败）、Token 总量（输入/输出）、平均单次 Token、平均首 Token 耗时、平均调用时长 | 调用次数/失败率、Token 消耗、调用时长、首 Token 延时、RPM/TPM、限流(429)、内容安全拦截等 | +| **调用链追踪** | 支持，CHAIN 节点表示一次完整应用调用，可展开查看各子节点详情 | 不追踪应用内部链路，仅记录单次模型调用的请求/响应（推理日志） | +| **数据筛选** | 按 Span 模式（Root/All/Model Span）、状态、Span Name、延时、Token、标签等多字段组合 | 按 API-KEY、推理类型（实时/批量）、模型名称、时间范围与精度筛选 | +| **推理日志** | 可查看最长 30 天调用记录（Prompt、输出、延时、Token），支持按 Request ID/Trace ID/Span ID 检索 | 需开通推理日志后记录输入/输出/耗时，非所有模型支持请求响应内容记录 | +| **告警能力** | 无主动告警功能 | 支持告警规则，通知方式含短信、邮件、电话、钉钉/企业微信机器人、Webhook；告警等级分紧急/错误/警告/普通 | +| **数据导出** | 支持 JSONL、EXCEL 格式导出 | 支持接入 Grafana 或自建应用（Prometheus HTTP API） | +| **外部接入** | 无 API，仅控制台操作 | 支持 Prometheus HTTP API 接入 Grafana，提供 model_call_count、model_call_duration 等标准指标 | +| **[计费](../concepts/billing.md)方式** | 功能本身免费，数据存储在 OpenTelemetry 服务，存储费用由该服务收取 | 用量统计与普通监控免费；高级监控（Prometheus）与推理日志可能产生额外费用 | +| **适用地域** | 随应用所在业务空间 | 高级监控与告警限北京、上海、新加坡、弗吉尼亚等部分地域 | +| **数据标注与评测** | 支持对 Span 添加标签（布尔/分类/数字/文本），可将 Span 直接加入评测集 | 不支持数据标注，但 Token 消耗数据可作为成本评测的参考 | ## 适用场景建议 -### 应用观测适合以下场景 +### 选用应用监控的场景 -- **调用链路排查**：应用响应慢或出错时，需要逐节点定位瓶颈，例如区分是检索环节还是模型推理环节导致延时过高。 -- **Prompt 调试**：查看每次调用的完整输入输出，对比不同 Prompt 的效果。 -- **数据质量管理**：通过 Span 筛选与标注功能，对线上真实调用数据进行质量打分，并将优质样本导入评测集。 -- **工作流应用调试**：工作流包含多种节点类型（意图分类、脚本转换、条件判断等），需要观察每个节点的执行情况。 +- 需要追踪智能体应用或工作流应用内部各节点（检索、重写、[向量化](../concepts/embedding.md)、大模型推理、插件调用等）的调用链路和耗时分布 +- 需要查看应用级 Prompt 内容、输出结果、Token 消耗明细，排查单次调用问题 +- 需要将真实线上调用数据加入评测集，对应用做端到端质量评测 +- 需要对调用数据做标签标注，用于分类筛选或后续分析 +- 排查应用级错误（如某个节点超时、检索未命中、插件调用失败） -### 模型监控适合以下场景 +### 选用模型监控的场景 -- **成本管控**：按[业务空间](../concepts/workspace.md)统计模型用量与费用，配合免费额度管理控制预算。 -- **稳定性保障**：配置告警规则，在失败率上升或限流异常时及时收到通知。 -- **性能基线建立**：通过 RPM、TPM、首 Token 延时等指标建立性能基线，持续跟踪模型表现。 -- **多模型对比**：对比不同模型在相同业务场景下的调用时长、Token 消耗等指标，辅助模型选型。 -- **外部可视化集成**：将监控数据接入 Grafana 等系统，构建统一的运维大盘。 +- 需要掌握全账号或各业务空间的模型 Token 消耗总量与趋势，做成本管控 +- 需要监控模型性能（调用时长、首 Token 延时、RPM/TPM）与失败率，保障模型服务稳定性 +- 需要设置阈值告警，在 Token 突增、超时、失败率上升时及时收到通知 +- 需要查看推理日志做内容审计或故障排查（请求/响应原文） +- 需要将监控数据接入 Grafana 或自建运维大盘，做自定义可视化与告警编排 +- 管理免费额度，设置"免费额度用完即停"控制成本 -### 建议组合使用 +### 组合使用 -在生产环境中，推荐同时启用两套监控：用模型监控建立全局的成本与稳定性视图并配置告警，用应用观测在出现异常时深入排查具体调用链路。两者从不同维度覆盖可观测性需求，互为补充而非替代。 +当应用出现性能或成本问题时，推荐先用应用监控定位到具体异常节点（如 LLM 节点延时过高、检索节点返回过多切片），再通过模型监控查看对应模型的性能指标与失败率，交叉分析应用级调用链与模型级指标，实现全链路可观测。 ## 被对比主题页 diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-vs.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-vs.md new file mode 100644 index 00000000..81850c01 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/monitoring-vs.md @@ -0,0 +1,52 @@ +# 应用监控与模型监控对比 + +百炼平台提供了两种不同层次的监控能力：**应用监控**（应用观测）关注应用层端到端调用链路，**模型监控**关注模型层用量与运行指标。两者面向不同的观测粒度，开发者在排障、成本优化和性能调优时需要选择合适的监控视角。本页对比两者的关键维度，帮助开发者做技术选型。 + +## 关键维度对比 + +| 维度 | 应用监控（应用观测） | 模型监控 | +| --- | --- | --- | +| 监控对象 | 应用级（智能体应用、工作流应用、高代码应用） | 模型级（按模型 + [业务空间](../concepts/workspace.md)维度） | +| 观测粒度 | 端到端调用链路（CHAIN → AGENT/RETRIEVER/LLM/TOOL 等嵌套节点） | 模型调用记录（调用量、[Token](../concepts/token.md)、延时、失败率等指标） | +| 数据来源 | 可观测链路 OpenTelemetry 服务 | 平台自动采集 + Prometheus（高级监控） | +| 数据延迟 | 分钟级 | 用量统计约 1 小时；普通监控小时级；高级监控/推理日志分钟级 | +| 接入方式 | 仅控制台操作，无 API | 控制台 + 标准 Prometheus HTTP API（可接 Grafana / 自建应用） | +| 支持范围 | 智能体应用、工作流应用、高代码应用（不支持 Assistant API 创建的智能体应用；高代码应用仅入口 CHAIN 节点） | 主账号下所有[业务空间](../concepts/workspace.md)的模型调用，新模型首次同步后自动加入 | +| 关键指标 | 延时（调用时长）、[Token](../concepts/token.md) 量（输入+输出）、调用次数、失败率、平均首 [Token](../concepts/token.md) 耗时 | 调用次数、Token 用量、调用时长、首 Token 延时、RPM/TPM、失败次数/失败率、限流错误次数（429） | +| 调用链路追踪 | 支持，可展开 CHAIN 内部嵌套节点查看 Prompt、输出、延时等 | 不追踪应用内部链路，仅记录模型调用级别的请求/响应 | +| 数据导出 | 支持 JSONL / EXCEL 格式导出 Trace 数据 | 推理日志页签查看请求/响应；Prometheus HTTP API 拉取指标 | +| 筛选维度 | 状态、Span Name、输入/输出、延时、Token、标签；支持 Root/All/Model Span 模式 | API-KEY、推理类型、时间范围及精度；告警历史按规则/等级/状态筛选 | +| 告警能力 | 无主动告警 | 支持短信、邮件、电话、钉钉/企业微信机器人、Webhook；四级告警等级（紧急/错误/警告/普通） | +| 历史数据保留 | 最长 30 天调用记录 | 用量统计不支持查看 30 天以前数据；推理日志仅记录开通后的调用 | +| 数据标注 | 支持（布尔值/分类/数字/文本四种标签类型），与评测集共享标签管理 | 不支持数据标注 | +| 评测联动 | 支持将 Span 数据直接加入评测集 | 不支持评测联动 | +| 计费 | 功能本身不收费，数据存储费用由 OpenTelemetry 服务收取 | 功能本身不收费；Prometheus 实例存储费用由云监控收取 | +| 地域限制 | 无特殊地域限制 | 高级监控/告警/推理日志仅部分地域支持（北京、上海、新加坡、弗吉尼亚等） | + +## 适用场景建议 + +### 选择应用监控的场景 + +- **应用排障**：需要追踪智能体应用或工作流应用内部完整调用链路（检索 → 重写 → 向量化 → 重排 → LLM → 插件），定位具体节点的问题。 +- **性能优化**：需要查看每个节点的延时与 Token 消耗，分析瓶颈在检索、Embedding 还是 LLM 推理。 +- **评测样本采集**：需要将线上真实调用直接作为评测集样本，利用数据标注功能标记异常案例。 +- **Prompt 调试**：需要查看具体 Prompt 内容、模型输出和思考过程，按 Request ID / Trace ID / Span ID 精确检索。 + +### 选择模型监控的场景 + +- **成本管理**：需要按[业务空间](../concepts/workspace.md)维度汇总 Token 消耗，设置 Token 消耗阈值告警，掌握免费额度使用情况。 +- **模型选型**：需要对比不同模型的调用量、失败率、平均调用时长、首 Token 延时等指标，辅助选择最优模型。 +- **故障检测**：需要主动告警发现静默失败（超时、Token 突增、限流等），支持多渠道通知。 +- **Grafana 集成**：需要将监控数据接入 Grafana 看板或自建运维系统，通过 Prometheus HTTP API 灵活查询自定义指标。 +- **推理日志审计**：需要记录每次调用的输入/输出及耗时，用于内容审计与事后排查。 + +### 两者结合使用 + +大多数生产环境建议两者结合：模型监控提供宏观的用量趋势、成本统计和主动告警；应用监控提供微观的调用链路分析和节点级排障能力。当模型监控发现异常（如某模型失败率突增）时，可切换到应用观测深入追踪具体应用链路，定位根因节点。 + +## 被对比主题页 + +- [application monitoring](../guides/application-monitoring.md) +- [model monitoring](../guides/model-monitoring.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md index a7e7444d..c8642870 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api-comparison.md @@ -1,76 +1,88 @@ -# [多模态](../concepts/multimodal.md)生成 API 对比（图像/视频/3D） +# [多模态](../concepts/multimodal.md)生成 API 对比 -百炼平台提供图像、视频、3D 三类[多模态](../concepts/multimodal.md)生成 API，分别面向不同的内容产出形态。三者都通过 DashScope HTTP 接口调用，统一使用 API Key 鉴权，并遵循"创建任务 → 轮询结果"的异步任务模式（部分图像模型支持同步调用）。本页从输入格式、输出格式、支持模型、API 端点、调用模式、[计费](../concepts/billing.md)与典型场景等维度做横向对比，帮助开发者根据产出目标与技术约束做选型。 +百炼平台提供三大类[多模态](../concepts/multimodal.md)生成能力：图像生成、3D 资产生成和视频生成。三者均通过 DashScope 网关以 REST / SDK 方式调用，且由于生成耗时较长，大多采用 `X-DashScope-Async: enable` 异步"创建任务 → 轮询 task_id"的两步流程。本文从输入格式、输出格式、支持模型、API 端点、调用模式、计费与典型场景等维度对三者进行对比，帮助开发者根据业务需求做技术选型。 ## 关键维度对比 -| 维度 | 图像生成 | 视频生成 | 3D 生成 | +| 维度 | 图像生成 | 3D 生成 | 视频生成 | | --- | --- | --- | --- | -| 产出形态 | 静态图片（PNG） | 视频文件 | GLB 模型 + 预览渲染图 | -| 输入格式 | 文本、图像（图生图/编辑）、参考图 | 文本、图像（首帧/首尾帧）、参考图、视频、音频 | 文本、单图、多图（前/左/后/右 4 视角，固定数组长度 4） | -| 输出格式 | PNG，1–6 张或多图组图 | 视频 URL | PBR 材质 GLB（`pbr_model_url`）或无贴图基础模型（`base_model_url`），含 1 张预览渲染图 | -| 调用模式 | 同步（千问/万相2.6+/Z-Image 等新版）或异步（V1 及部分编辑/创意类） | 仅异步 | 仅异步 | -| API 端点 | 同步：`POST /api/v1/services/aigc/multimodal-generation/generation`；异步轮询：`GET /api/v1/tasks/{task_id}` | `POST /api/v1/services/aigc/video-generation/video-synthesis`（部分走 `image2video/video-synthesis`）；轮询：`GET /api/v1/tasks/{task_id}` | `POST /api/v1/services/aigc/video-generation/3d-generation`；轮询：`GET /api/v1/tasks/{task_id}` | -| 必需请求头 | `Authorization`；异步需 `X-DashScope-Async: enable` | `Content-Type`、`Authorization`、`X-DashScope-Async: enable` | `X-DashScope-Async: enable`（缺少报 `current user api does not support synchronous calls`） | -| 典型耗时 | 同步秒级返回；异步 1–2 分钟 | 1–5 分钟，万相2.1 视频编辑 5–10 分钟 | 较长，轮询建议间隔约 15 秒 | -| task_id 有效期 | 24 小时 | 24 小时 | 24 小时，超时返回 `UNKNOWN` | -| 产物下载链接有效期 | 随接口返回 | 随接口返回 | 2 小时，需及时下载 | -| 支持模型系列 | 千问图像、万相（Wan/wanx）、Z-Image、可灵 | 万相（HappyHorse/Wan/wanx）、爱诗 PixVerse、Vidu、可灵 | Tripo（`Tripo/Tripo-H3.1` 高精度、`Tripo/Tripo-P1.0` 专业快速） | -| 地域可用性 | 北京/新加坡/弗吉尼亚等多地域，地域独立鉴权不可混用；千问-图像翻译仅北京 | 同地域约束，模型/Endpoint/API Key 必须同地域；PixVerse、Vidu 仅北京 | 仅华北2（北京） | -| 业务空间专属域名 | 支持（`{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` 等） | 支持（北京 `{WorkspaceId}.cn-beijing.maas.aliyuncs.com` 等） | 走默认 dashscope 域名 | -| SDK 支持 | 部分模型支持 DashScope SDK（Python/Java） | HTTP 为主 | HTTP | -| [计费](../concepts/billing.md)方式 | 按张数/模型[计费](../concepts/billing.md) | 按任务/时长计费 | 按任务计费（`usage` 记录任务类型与生成数量） | -| 典型场景 | 文生图、图生图、图像编辑、虚拟模特、试衣、海报、背景生成、擦除补全、画面扩展、人物写真 | 文生视频、图生视频、参考生视频、视频编辑、视频换人、数字人、肖像动态视频 | 文生 3D、单图生 3D、多图生 3D，游戏/电商/工业设计资产 | - -## 调用模式差异 - -三类 API 在调用流程上高度一致，均采用"创建任务 → 轮询查询"模式，但图像 API 额外提供**同步调用**能力： - -- **图像生成**：千问图像系列（qwen-image-2.0-pro/max/plus）、万相 2.6/2.7 文生图与编辑、Z-Image 等新版模型支持一次请求即返回结果的同步调用，走 `multimodal-generation/generation` 端点；V1 版及部分编辑/创意类模型仍需异步。同步模式流程更简单，适合交互式场景。 -- **视频生成 / 3D 生成**：因耗时较长（视频 1–10 分钟，3D 资产更久），统一仅支持异步。请求必须携带 `X-DashScope-Async: enable`，缺少该头会报错 `current user api does not support synchronous calls`。 - -三者都强调"请勿重复创建任务"，`task_id` 有效期 24 小时，直接轮询即可。 - -## 输入能力对比 - -| 输入方式 | 图像 | 视频 | 3D | +| **输入格式** | 文本 [prompt](../guides/prompt.md)（文生图）；参考图 URL + [prompt](../guides/prompt.md)（图生图 / 图像编辑）；多图参考（部分模型支持） | 三选一：文本 [prompt](../guides/prompt.md)（文生 3D）；单图 URL（单图生 3D）；4 视角图片数组（多图生 3D） | 文本 prompt（文生视频）；首帧/首尾帧图像 URL（图生视频）；参考图 + prompt（参考生视频）；视频 URL（视频编辑/超分等） | +| **输出格式** | 静态图像（JPEG/PNG），支持 1~6 张 | GLB 格式 3D 模型（带 PBR 材质或无贴图）+ 预览渲染图 | 视频文件（MP4 等），含分辨率、时长、可选音频 | +| **支持模型** | Qwen-Image / Qwen-Image-Edit、万相 wan2.7/2.6/2.5/2.2/v1、Z-Image、Kling、Vidu、创意工具系列 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业快速） | 万相 wan2.7/2.6/2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画系列 | +| **API 端点** | 文生图/编辑：`/api/v1/services/aigc/text2image/image-synthesis`（异步）或 HTTP 同步（wan2.7/2.6/z-image/qwen-image）；查询：`/api/v1/tasks/{task_id}` | 创建：`/api/v1/services/aigc/video-generation/3d-generation`；查询：`/api/v1/tasks/{task_id}` | 创建：`/api/v1/services/aigc/video-generation/video-synthesis`；查询：`/api/v1/tasks/{task_id}` | +| **调用模式** | 异步为主（`X-DashScope-Async: enable`）；wan2.7/2.6/z-image/qwen-image 支持同步 | 仅异步（`X-DashScope-Async: enable` 必选） | 仅异步（`X-DashScope-Async: enable` 必选） | +| **地域限制** | 部分模型仅北京地域（wanx-v1、创意工具系列） | 仅华北2（北京） | 需模型、Endpoint、[API Key](../concepts/api-key.md) 同一地域（北京/新加坡/美国/德国） | +| **输出分辨率** | 512×512 ~ 2048×2048（部分 4K） | 面数最高 200 万（H3.1）/2 万（P1.0） | 480P ~ 1080P，部分支持 4K | +| **产物有效期** | — | GLB 下载链接 2 小时 | task_id 有效期 24 小时 | +| **task_id 有效期** | 24 小时 | 24 小时 | 24 小时 | +| **典型计费** | 按张计费（如 wanx-v1 0.16 元/张）；部分创意工具免费体验 | 按任务类型计费 | 按视频时长/分辨率计费 | +| **典型耗时** | 秒级（同步）至数十秒（异步） | 分钟级 | 分钟级 | + +## 调用流程对比 + +三者均遵循异步两步流程，但端点路径和请求头要求有所不同： + +| 步骤 | 图像生成 | 3D 生成 | 视频生成 | | --- | --- | --- | --- | -| 纯文本 | 支持，复杂文字渲染能力强（千问系列） | 支持（文生视频） | 支持，中英文等多语言，最大 1024 字符 | -| 单图输入 | 支持（图生图、图像编辑） | 支持（首帧生视频） | 支持，JPEG/PNG，宽高 [20,6000]，≤20MB | -| 多图输入 | 部分编辑模型支持多图输入/输出 | 支持（参考生、首尾帧） | 支持，固定 4 视角（前/左/后/右），有效 2–4 张 | -| 视频输入 | 不适用 | 支持（视频编辑、参考生视频） | 不适用 | -| 音频输入 | 不适用 | 万相2.7 支持[多模态](../concepts/multimodal.md)输入含音频 | 不适用 | +| 创建任务 | POST 图像合成端点 | POST `/api/v1/services/aigc/video-generation/3d-generation` | POST `/api/v1/services/aigc/video-generation/video-synthesis` | +| 异步头 | 大多数需要 `X-DashScope-Async: enable` | **必选** | **必选** | +| 轮询查询 | GET `/api/v1/tasks/{task_id}` | GET `/api/v1/tasks/{task_id}` | GET `/api/v1/tasks/{task_id}` | +| 轮询建议 | — | 约 15 秒间隔 | — | +| 查询 RPS | — | 默认 20 | — | +| 状态枚举 | PENDING/RUNNING/SUCCEEDED/FAILED | PENDING/RUNNING/SUCCEEDED/FAILED/CANCELED/UNKNOWN | PENDING/RUNNING/SUCCEEDED/FAILED/UNKNOWN | -3D 生成的多图输入有严格的视角顺序约束（前/左/后/右），不需要的视角传空对象 `{}`，这与图像/视频的"多图作为参考"语义不同。 +## 输入参数对比 -## 产物与质量参数 - -| 项 | 图像 | 视频 | 3D | +| 参数类型 | 图像生成 | 3D 生成 | 视频生成 | | --- | --- | --- | --- | -| 输出规格 | 总像素 512×512~2048×2048，宽高比 1:4~4:1，1–6 张；万相2.7 支持 4K | 视频文件 URL | 面数：H3.1 最高 200 万面，P1.0 最高 2 万面 | -| 质量参数 | 分辨率、张数、宽高比 | 分辨率、时长、镜头叙事（`shot_type: multi`） | `texture_quality`（标清/高清）、`geometry_quality`（standard/ultra）、`pbr`、`texture` | -| 一致性能力 | 千问编辑支持角色一致性 | 万相2.7 参考生支持角色形象与音色一致性 | 多图视角约束保证几何一致性 | -| 预览能力 | 直接返回图片 | 直接返回视频 | 额外返回 `rendered_image_url` 预览渲染图 | +| **prompt** | 支持，中英文文本 | 支持，最大 1024 字符 | 支持，中英文 | +| **图像输入** | 参考图 URL（图生图/编辑） | 单图 URL 或 4 视角图片数组 | 首帧/尾帧 URL（图生视频）；参考图（参考生视频） | +| **[多模态](../concepts/multimodal.md)数组** | 部分模型支持多图参考 | images 数组（固定 4 元素，视角顺序前/左/后/右） | media 数组（first_frame/last_frame/image_url/video/audio_url/reference_image） | +| **分辨率参数** | 宽高自由设置 | texture_quality / geometry_quality | resolution / size（480P~4K） | +| **数量参数** | 1~6 张 | count 固定 1 | duration（秒）、seed、watermark 等 | ## 适用场景建议 -- **选图像生成 API**：需要静态视觉产出，强调文字渲染、风格化、精确编辑（增删移动物体、改动作）、虚拟模特/试衣/海报等电商与营销场景。优先用同步调用模型（千问图像、万相2.6+/2.7、Z-Image）以简化流程；批量或创意类任务再用异步。 -- **选视频生成 API**：需要动态叙事、数字人、肖像动态视频、视频编辑/换人。文生视频、图生视频（首帧/首尾帧）、参考生视频均可，万相2.7 是推荐的新版协议，支持多模态输入与角色/音色一致性。注意 PixVerse、Vidu 仅北京地域可用且需单独开通。 -- **选 3D 生成 API**：需要可直接导入引擎/3D 软件的 GLB 资产，适用于游戏、电商商品 3D 展示、工业设计。仅北京地域可用，需开通 Tripo。高精度选 `Tripo/Tripo-H3.1`（最高 200 万面），追求速度选 `Tripo/Tripo-P1.0`。 +### 图像生成 + +- **需要高文本渲染质量**（海报、配图含文字排版）→ 优先选择 Qwen-Image 系列。 +- **追求高性价比的通用文生图** → Z-Image-Turbo 或万相 wan2.6 系列。 +- **图像编辑需求**（改字、增删物体、风格迁移）→ Qwen-Image-Edit 或万相 wan2.7-image 编辑能力。 +- **创意工具场景**（虚拟模特、涂鸦作画、创意海报）→ 对应专项工具模型，但注意部分仅北京地域或免费体验。 +- **需要 HTTP 同步调用简化集成** → 选择 wan2.7 / wan2.6 / z-image / qwen-image 等支持同步的模型。 + +### 3D 生成 + +- **游戏/影视高精度 3D 资产** → Tripo/Tripo-H3.1，最高 200 万面，支持 PBR 材质。 +- **快速原型/预览** → Tripo/Tripo-P1.0，面数较低但速度更快。 +- **无贴图基础模型需求** → 同时将 `texture` 和 `pbr` 设为 `false`，获取 `base_model_url`。 +- **注意**：仅限北京地域 [API Key](../concepts/api-key.md)，开通前需在控制台模型市场搜索 Tripo 并完成授权。 -## 技术选型参考 +### 视频生成 -1. **产出形态决定大类**：图片→图像 API；视频→视频 API；3D 模型→3D API。三者端点不同，不可混用。 -2. **延迟敏感优先同步**：仅图像 API 提供同步调用，适合交互式产品；视频与 3D 必须异步，需在业务侧实现轮询或配置异步任务回调（3D 查询接口默认 RPS 20）。 -3. **地域与鉴权**：三类均要求模型、Endpoint、API Key 同地域。3D 仅北京可用；千问-图像翻译、PixVerse、Vidu 也仅北京。建议迁移到业务空间专属域名以获得更好性能与稳定性。 -4. **任务复用**：`task_id` 24 小时有效，三类都要求轮询而非重复创建任务；3D 产物下载链接仅 2 小时，需及时落盘。 -5. **输入约束**：3D 多图必须按前/左/后/右 4 视角顺序；图像图文混排需开启 `enable_interleave=true` 并配合 SSE 流式；视频首尾帧、参考生有专属模型变体。 -6. **模型开通**：可灵、PixVerse、Vidu、Tripo 均需先在控制台搜索并开通授权，再调用 API。 +- **最新推荐体验** → 万相 wan2.7（新版协议），支持图生视频首帧/首尾帧/续写、文生视频、参考生视频及视频编辑。 +- **旧版项目兼容** → wan2.6 及早期模型走旧版协议（图生视频仅首帧）。 +- **需要 4K 超清或对口型/动作模仿** → PixVerse 系列（pixverse-c1/v6/upscale/lipsync/motioncontrol）。 +- **智能分镜、多主体参考** → 可灵 Kling（kling-v3 / kling-v3-omni）。 +- **人像动画/数字人** → animate-anyone / emo / liveportrait / wan2.2-s2v 等系列。 +- **注意路径差异**：万相图生动作（wan2.2-animate-move）、视频换人（wan2.2-animate-mix）、数字人（wan2.2-s2v）使用 `image2video/video-synthesis` 路径，而非 `video-generation/video-synthesis`。 + +## 技术选型总结 + +| 选型场景 | 推荐方案 | 关键考量 | +| --- | --- | --- | +| 静态营销素材 / 产品配图 | 图像生成（Qwen-Image / Z-Image） | 文本渲染质量、输出张数、同步调用可用性 | +| 电商虚拟模特 / 创意海报 | 图像生成创意工具（wanx-virtualmodel / wanx-poster） | 地域限制、部分免费体验 | +| 游戏/影视 3D 资产 | 3D 生成（Tripo-H3.1） | 面数精度、PBR 材质、仅北京地域 | +| 快速 3D 原型验证 | 3D 生成（Tripo-P1.0） | 速度优先、面数较低 | +| 短视频/广告素材 | 视频生成（wan2.7 / Kling） | 分辨率、时长、多镜头分镜 | +| 人像动画 / 数字人 | 视频生成（animate-anyone / wan2.2-s2v） | 口型同步、动作模仿、路径差异 | +| 超清/对口型视频 | 视频生成（PixVerse upscale / lipsync） | 4K 超分、对口型能力 | ## 被对比主题页 - [image generation](../api/image-generation.md) -- [video generation api](../api/video-generation-api.md) - [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api.md new file mode 100644 index 00000000..38716f9f --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-api.md @@ -0,0 +1,65 @@ +# [多模态](../concepts/multimodal.md)生成 API 对比 + +百炼平台提供图像、3D 和视频三类[多模态](../concepts/multimodal.md)生成能力，均通过 DashScope 网关以 REST / SDK 方式调用。三者共享「异步创建任务 → 轮询 task_id」的基础调用模式，但在输入模态、输出产物、支持模型矩阵、地域限制和计费粒度上存在显著差异。本页旨在帮助开发者快速理解三者的技术边界，为方案选型提供参考。 + +## 关键维度对比 + +| 对比维度 | 图像生成（Image Generation） | 3D 生成（3D Generation） | 视频生成（Video Generation） | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词；参考图（图生图 / 图像编辑）；多图参考（部分模型支持最多 14 张） | `prompt`（文生 3D，≤1024 字符）；`image`（单图生 3D）；`images`（多图生 3D，固定 4 视角：前/左/后/右） | `prompt` 文本；`media` [多模态](../concepts/multimodal.md)数组（首帧/尾帧/参考图/视频/音频）；旧版协议直接 URL 字段 | +| **输出格式** | 单张或多张图像（1~6 张），JPEG/PNG 格式 | PBR 材质 GLB 模型或无贴图基础 GLB 模型 + 预览渲染图 | 视频文件，支持 480P~4K 分辨率，时长常见 5/8 秒，部分模型可生成音频 | +| **支持模型** | Qwen-Image / Qwen-Image-Edit、万相 wan2.7/wan2.6/wan2.5/wanx-v1、Z-Image、Kling、Vidu 等多家系列 + 多项创意工具 | Tripo-H3.1（高精度，最高 200 万面）、Tripo-P1.0（专业，速度更快，最高 2 万面） | 万相 wan2.7/wan2.6/早期版本、HappyHorse、PixVerse、Vidu、Kling、人像动画系列、万相动作/换人/数字人 | +| **API 端点** | 各模型独立端点，多数为异步 `X-DashScope-Async: enable`；wan2.6/2.7/z-image/qwen-image 部分支持 HTTP 同步调用 | `POST /api/v1/services/aigc/video-generation/3d-generation`（创建）+ `GET /api/v1/tasks/{task_id}`（轮询），**仅异步** | `POST /api/v1/services/aigc/video-generation/video-synthesis`（创建）+ `GET /api/v1/tasks/{task_id}`（轮询），**仅异步**；部分模型用 `image2video/video-synthesis` 路径 | +| **地域限制** | 多数模型多地可用；部分创意工具（图像翻译、涂鸦作画、虚拟模特等）为北京地域独占 | **仅限华北2（北京）**，必须使用北京地域 [API Key](../concepts/api-key.md) | 需模型/Endpoint URL/[API Key](../concepts/api-key.md) 同一地域；北京/新加坡/美国/德国多地域支持，跨地域调用失败 | +| **调用模式** | 异步为主，部分支持同步 | 纯异步（`X-DashScope-Async: enable` 必选） | 纯异步（`X-DashScope-Async: enable` 必选） | +| **轮询间隔建议** | 取决于具体模型，多数秒级完成 | 约 15 秒，查询接口默认 RPS 20 | 取决于模型和时长，任务有效期 24 小时 | +| **产物有效期** | 视具体接口而定 | 下载链接有效期 **2 小时** | 下载链接有效期视具体接口而定 | +| **典型场景** | 营销素材、创意海报、虚拟模特、图像编辑、翻译、局部重绘 | 游戏资产、电商 3D 展示、工业设计原型 | 短视频创作、广告视频、数字人播报、视频编辑、对口型/动作模仿 | + +## 调用模式对比 + +| 特性 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| 同步调用 | 部分支持（wan2.6/2.7、z-image、qwen-image 等） | 不支持 | 不支持 | +| 异步创建 + 轮询 | 大多数模型 | 唯一方式 | 唯一方式 | +| `X-DashScope-Async` 必选 | 仅异步模型 | 必选 | 必选 | +| task_id 有效期 | 视接口而定 | 24 小时 | 24 小时 | + +## 输入灵活性对比 + +| 能力 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| 纯文本输入 | 支持 | 支持（≤1024 字符） | 支持 | +| 单图输入 | 支持（图生图 / 图像编辑） | 支持（单图生 3D，JPEG/PNG，≤20MB） | 支持（首帧 / 尾帧） | +| 多图输入 | 支持（最多 14 张参考图，Vidu 等） | 支持（固定 4 视角：前/左/后/右） | 支持（多参考图、首尾帧组合） | +| 视频输入 | 不支持 | 不支持 | 支持（部分模型接收视频 URL 作为输入） | +| 音频输入 | 不支持 | 不支持 | 支持（数字人、对口型等模型） | +| 多输出 | 支持（1~6 张） | 支持（PBR 模型 + 渲染图） | 单个视频文件 | + +## 适用场景建议 + +- **图像生成**：适合需要快速产出高质量静态视觉内容的场景，如电商商品图、营销海报、虚拟模特展示、图像编辑与翻译。当需要文本渲染能力强（Qwen-Image）、高性价比批量出图（Z-Image Turbo）、或多图参考融合（Kling / Vidu）时优先选用。部分创意工具（涂鸦作画、局部重绘、人像风格重绘）适合特定创意需求。 +- **3D 生成**：适合需要将文本或少量参考图转化为可直接使用的 3D 模型资产的场景，如游戏道具、电商 3D 展示、工业设计快速原型。**仅限北京地域**，需提前开通 Tripo 服务。追求精度选 Tripo-H3.1（可设 `ultra` 几何精度，最高 200 万面），追求速度选 Tripo-P1.0。 +- **视频生成**：适合需要动态视觉内容的场景，如短视频创作、广告视频、数字人播报与口型同步。万相 wan2.7 为新版协议首选（支持多主体参考生视频 + 音色），需要 4K 超清或动作模仿选 PixVerse，需要智能分镜或首尾帧控制选 Kling。人像动画系列（animate-anyone / emo / liveportrait）适合舞蹈、唱演、播报等人物驱动场景。 + +## 选型决策流程 + +1. **确定输出模态**：静态图像 → 图像生成；3D 模型 → 3D 生成；动态视频 → 视频生成。 +2. **确认地域**：3D 生成仅限北京；视频生成需确保模型/Endpoint/[API Key](../concepts/api-key.md) 同地域；图像生成多数多地可用但部分创意工具限北京。 +3. **评估输入素材**：是否有参考图、多视角图、首尾帧或音视频素材，据此筛选支持的模型。 +4. **权衡同步/异步**：如需快速同步响应，图像生成中的 wan2.6/2.7、z-image、qwen-image 系列支持 HTTP 同步；3D 和视频生成均为异步，需规划轮询或回调机制。 +5. **关注产物有效期**：3D 生成下载链接仅 2 小时有效，视频和图像产物有效期视接口而定，均需及时下载。 + +## 来源文档 + +- [image generation](../api/image-generation.md)（api/image-generation.md） +- [3d generation](../api/3d-generation.md)（api/3d-generation.md） +- [video generation api](../api/video-generation-api.md)（api/video-generation-api.md） + +## 被对比主题页 + +- [image generation](../api/image-generation.md) +- [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md index 9ac91dd6..de769113 100644 --- a/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/multimodal-generation-comparison.md @@ -1,71 +1,72 @@ -# 图像生成、视频生成与3D生成对比 +# [多模态](../concepts/multimodal.md)生成对比：图像、3D 与视频 -百炼平台提供图像生成、视频生成和3D生成三大[多模态](../concepts/multimodal.md)内容创作能力。三者在输入输出格式、模型生态、调用方式和适用场景上各有侧重。本文从开发者技术选型角度，对这三类生成能力进行系统对比，帮助快速定位最适合业务需求的方案。 +百炼平台提供三类[多模态](../concepts/multimodal.md)生成能力——**图像生成**、**3D 生成**和**视频生成**。它们在输入形式、输出产物、调用模式、模型生态、地域限制等方面各有差异。本页面向开发者做技术选型参考，帮助快速判断哪个子系统最适合你的业务场景。 ## 关键维度对比 -| 维度 | 图像生成 | 视频生成 | 3D生成 | -|------|---------|---------|--------| -| **输入格式** | 文本提示词、参考图像（单张/多张）、涂鸦草图 | 文本提示词、首帧/首尾帧图像、参考图像/视频/音频 | 文本提示词、单张图像、多图（4视角：前/左/后/右） | -| **输出格式** | PNG 图像（512x512 至 4K） | MP4 视频 | GLB 模型（PBR 材质或无贴图基础模型）+ 预览渲染图 | -| **调用方式** | 同步调用为主，部分模型支持异步 | 全部异步（创建任务 → 轮询结果） | 全部异步（创建任务 → 轮询结果） | -| **主要模型系列** | 千问-图像、万相(Wan/Wanx)、Z-Image、可灵(Kling) | 万相(Wan)、HappyHorse、爱诗(PixVerse)、Vidu、可灵(Kling) | Tripo（H3.1 / P1.0） | -| **模型数量** | 20+ 款模型覆盖各类场景 | 6 大模型家族，任务类型丰富 | 2 款模型（高精度 / 专业快速） | -| **可用地域** | 部分全地域，部分仅华北2（北京） | 多数仅华北2（北京），HappyHorse 支持海外地域 | 仅华北2（北京） | -| **批量输出** | 单次可生成 1-9 张图像 | 单次生成 1 条视频 | 单次生成 1 个3D模型 | -| **产物有效期** | 即时返回，URL 有时效 | task_id 有效期 24 小时 | task_id 有效期 24 小时，下载链接有效期 2 小时 | -| **典型生成耗时** | 秒级至十秒级 | 分钟级 | 分钟级（耗时较长） | - -## 能力覆盖对比 - -| 能力 | 图像生成 | 视频生成 | 3D生成 | -|------|:-------:|:-------:|:-----:| -| 文本生成 | 支持 | 支持 | 支持 | -| 图像/图片参考生成 | 支持 | 支持（首帧/首尾帧） | 支持（单图/多图） | -| 内容编辑 | 支持（局部重绘、风格迁移、扩图等） | 支持（指令编辑、视频迁移） | 不支持 | -| [多模态](../concepts/multimodal.md)混合输入 | 支持（文+图） | 支持（文+图+视频+音频） | 不支持 | -| 中文文字渲染 | 支持（千问、Z-Image 等） | 不适用 | 不适用 | -| 人像/人物专项 | 支持（人像风格重绘、AI试衣） | 支持（数字人、舞动人像、悦动人像等） | 不适用 | -| PBR 材质输出 | 不适用 | 不适用 | 支持 | - -## 计费方式差异 - -- **图像生成**：按张计费，不同模型单价不同（如扩图 0.18 元/张）。部分创意工具仅提供免费体验额度，用完不可付费续用。 -- **视频生成**：按任务计费，费用与视频时长、分辨率、模型版本相关。 -- **3D生成**：按任务计费，费用与贴图质量（standard/detailed）和几何精度（standard/ultra）相关。 +| 维度 | 图像生成 | 3D 生成 | 视频生成 | +| --- | --- | --- | --- | +| **输入格式** | 文本提示词（文生图）；参考图 URL（图生图/编辑）；多图参考 | 文本提示词（文生 3D）；单张图像 URL（单图生 3D）；4 张多视角图 URL（多图生 3D，前/左/后/右） | 文本提示词（文生视频）；首帧/首尾帧图像 URL（图生视频）；参考图 URL（参考生视频）；音频 URL（数字人/对口型） | +| **输出格式** | 静态图片（PNG/JPG），1~6 张 | PBR 材质 GLB 模型（含贴图）或无贴图基础模型（GLB）；附 1 张预览渲染图 | 视频文件（MP4 等），含或不含音频 | +| **支持模型** | Qwen-Image 系列、万相 wan2.7/wan2.6/wan2.5/wan2.2/wan2.1/wan2.0、Z-Image-Turbo、wanx-v1、Kling-V3、Vidu、qwen-mt-image 等专项工具 | Tripo/Tripo-H3.1（高精度）、Tripo/Tripo-P1.0（专业快速） | 万相 wan2.7/wan2.6/wan2.2、HappyHorse、PixVerse、Vidu、Kling、人像动画系列、万相动作/换人/数字人 | +| **API 端点** | 多端点，按模型族分流；如 `text-generation/generation`（同步）、异步任务创建端点 | `POST /api/v1/services/aigc/video-generation/3d-generation`（创建）→ `GET /api/v1/tasks/{task_id}`（轮询） | `POST /api/v1/services/aigc/video-generation/video-synthesis`（创建）→ `GET /api/v1/tasks/{task_id}`（轮询）；部分模型走 `image2video/video-synthesis` 路径 | +| **调用模式** | **混合**：wan2.6/wan2.7/z-image/qwen-image 支持同步；大多数长耗时任务走异步（`X-DashScope-Async: enable`） | **仅异步**：必须携带 `X-DashScope-Async: enable`，不支持同步 | **仅异步**：必须携带 `X-DashScope-Async: enable`，不支持同步 | +| **地域限制** | 大部分模型多地域可用；部分专项工具（图像翻译、创意工具等）仅限北京地域 | 仅限华北2（北京），需使用北京地域 [API Key](../concepts/api-key.md) | 北京、新加坡、美国（弗吉尼亚）、德国（法兰克福）；模型、Endpoint、[API Key](../concepts/api-key.md) 必须同一地域 | +| **产物有效期** | 异步任务产物通常较长（按各模型文档） | 下载链接有效期 **2 小时** | 下载链接有效期较短（按各模型文档，通常数小时） | +| **轮询间隔建议** | 异步任务约 10~15 秒 | 约 15 秒；查询接口默认 RPS 为 20 | 视任务耗时，task_id 有效期 24 小时 | +| **典型耗时** | 秒级到数十秒（同步通常 2~10 秒，异步按模型不同） | 较长，分钟级 | 分钟级到十分钟级 | +| **[计费](../concepts/billing.md)方式** | 按张[计费](../concepts/billing.md)（如 wanx-v1 0.16 元/张）；各模型独立定价 | 按任务类型[计费](../concepts/billing.md)（text-to-3d / image-to-3d / multi-image-to-3d） | 按任务计费，分辨率与时长影响价格；部分模型分 std/pro 模式 | +| **典型场景** | 营销素材生成、电商商品图、虚拟模特、海报、图像编辑与翻译、AI 试衣 | 游戏/AR/VR 资产制作、3D 打印、数字藏品、产品 3D 展示 | 短视频营销、影视片段生成、数字人播报、视频编辑、视频超清、对口型与动作模仿 | ## 适用场景建议 -**选择图像生成的场景：** -- 电商商品图、营销海报、社交媒体配图等静态视觉内容 -- 需要精细文字渲染或图文混排的场景（如带中文的宣传图） -- 图像编辑与风格迁移（如局部重绘、背景替换、AI试衣） -- 对生成速度要求高、需要批量出图的场景 +### 图像生成 -**选择视频生成的场景：** -- 短视频创作、广告片制作、动态内容营销 -- 人像动画（数字人播报、舞蹈视频、唱演视频） -- 需要多镜头叙事或多角色互动的复杂视频 -- 视频风格转换和口型替换等后期编辑 +适合需要**快速产出静态视觉素材**的场景。如果你的业务是电商商品图、营销海报、图像编辑（增删物体、风格迁移）、图像翻译、虚拟模特或 AI 试衣，图像生成是首选。 -**选择3D生成的场景：** -- 游戏资产、AR/VR 场景中的3D模型快速原型 -- 电商3D商品展示 -- 需要 PBR 材质的高精度3D资产生产（最高 200 万面） -- 从多视角图片重建3D物体 +- 追求**文本渲染质量**和多行排版 → 选 Qwen-Image 系列。 +- 需要**高性价比轻量文生图** → 选 Z-Image-Turbo 或 wanx-v1（注意后者仅北京地域且官方推荐迁移 V2）。 +- 需要**4K 高清输出** → 选万相 wan2.7-image-pro。 +- 需要**多图参考或组图** → 选万相 wan2.7 或 Kling-V3 omni。 +- 需要**同步调用**降低集成复杂度 → 优先 wan2.6+、z-image、qwen-image 等支持同步的模型。 -## 技术选型要点 +### 3D 生成 -1. **生成速度**：图像生成最快（秒级），视频和3D生成均需分钟级等待，且必须使用[异步调用](../concepts/async-invocation.md)模式。 -2. **模型生态丰富度**：图像生成和视频生成均拥有多个模型家族可选，3D生成目前仅有 Tripo 系列。 -3. **地域限制**：3D生成仅限北京地域；视频和图像生成的部分模型也有地域限制，选型前需确认目标地域的模型可用性。 -4. **输出后处理**：视频和3D的产物下载链接有时效限制（3D仅 2 小时），需在业务流程中及时下载存储。 -5. **开通流程**：3D生成和部分视频/图像模型需在百炼控制台额外搜索并开通服务，不是默认可用。 +适合需要**立体可交互 3D 资产**的场景。如果你的业务是游戏开发、AR/VR 内容、3D 打印、数字藏品或产品 3D 展示，3D 生成能从文本或图像直接产出带 PBR 材质的 GLB 模型。 + +- 追求**高精度高面数**（最高 200 万面）→ 选 Tripo/Tripo-H3.1，可设 `geometry_quality: ultra`。 +- 追求**更快生成速度**（最高 2 万面）→ 选 Tripo/Tripo-P1.0。 +- 需要多角度参考 → 使用多图生 3D（4 张前/左/后/右视角）。 +- 只需基础模型无需贴图 → 同时将 `texture` 和 `pbr` 设为 `false`，获取 `base_model_url`。 + +> **注意**：3D 生成仅限北京地域，产物下载链接有效期仅 2 小时，需及时拉取。 + +### 视频生成 + +适合需要**动态视频内容**的场景。如果你的业务是短视频营销、影视片段、数字人播报、视频编辑、超分、对口型或动作模仿，视频生成提供最丰富的模型生态。 + +- 追求**新版协议与多能力**（图生视频首帧/首尾帧/续写、参考生视频含音色、视频编辑）→ 选万相 wan2.7 系列。 +- 需要**4K 超清**或**对口型/动作模仿** → 选 PixVerse 系列。 +- 需要**智能分镜与多镜头** → 选 Kling-V3。 +- 需要**数字人**（单图+音频生成说话/唱歌视频）→ 选万相 wan2.2-s2v 或人像动画系列。 +- 跨地域部署 → 注意模型/Endpoint/[API Key](../concepts/api-key.md) 必须同一地域，官方建议北京/新加坡迁移至[业务空间](../concepts/workspace.md)专属域名。 + +## 选型速查 + +| 你的需求 | 推荐子系统 | 推荐模型 | +| --- | --- | --- | +| 生成静态商品图/海报 | 图像生成 | Qwen-Image、万相 wan2.7-image | +| 编辑已有图片（去水印/扩图/风格化） | 图像生成 | wanx2.1-imageedit、Qwen-Image-Edit | +| 生成 4K 高清图 | 图像生成 | 万相 wan2.7-image-pro、Kling-V3 | +| 从文本/图片生成 3D 模型 | 3D 生成 | Tripo-H3.1（高精度）、Tripo-P1.0（快速） | +| 生成短视频/影视片段 | 视频生成 | 万相 wan2.7、Kling-V3 | +| 数字人播报/口型同步 | 视频生成 | wan2.2-s2v、PixVerse-lipsync | +| 视频超分到 4K | 视频生成 | PixVerse-upscale | ## 被对比主题页 - [image generation](../api/image-generation.md) -- [video generation api](../api/video-generation-api.md) - [3d generation](../api/3d-generation.md) +- [video generation api](../api/video-generation-api.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/comparisons/platform-extension.md b/skills/bailian-docs-llm-wiki/wiki/comparisons/platform-extension.md new file mode 100644 index 00000000..28c62b6e --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/comparisons/platform-extension.md @@ -0,0 +1,52 @@ +# 插件与 MCP 对比 + +在百炼平台上，**插件（Plug-in）** 与 **MCP（Model Context Protocol）** 都是为大模型扩展外部工具能力的主要手段，但两者在技术协议、服务来源、部署方式和集成模式上有显著差异。插件是百炼平台原生的工具集成机制，适合快速接入官方/三方 API；MCP 则是基于 Anthropic 开源标准协议的统一信息通道，适合需要跨平台互通、自定义部署复杂工具链的场景。本页帮助开发者根据业务需求做出技术选型。 + +## 关键维度对比 + +| 对比维度 | 插件（Plug-in） | MCP（Model Context Protocol） | +| --- | --- | --- | +| **技术协议** | 百炼平台自有接口规范，工具以 RESTful API（GET/POST）形式定义 | 基于 Anthropic 提出的 MCP 开源标准协议，支持 SSE 与 Streamable HTTP 两种传输方式 | +| **服务来源** | 官方插件、三方插件（云市场）、自定义插件 | 官方 MCP 服务、自定义 MCP 服务（脚本部署/从 AI 网关导入/从阿里云 OpenAPI 导入） | +| **工具定义方式** | 在插件下配置 API 路径、请求参数、返回数据，工具路径指向插件 URL 的相对路径 | 遵循 MCP 协议的代码包，托管到函数计算 FC；或通过 AI 网关/OpenAPI 升级为 MCP 服务 | +| **支持模型** | 通义千问-Turbo/Plus/Max、通义千问VL-Max/Plus 等（兼容性以控制台执行结果为准） | 须集成在智能体或[工作流](../concepts/workflow.md)应用中使用，不限制具体模型；无法在直连千问 API 时接入 | +| **集成方式** | [智能体应用](../concepts/agent-application.md)、[工作流](../concepts/workflow.md)应用、Assistant API | [智能体应用](../concepts/agent-application.md)、[工作流](../concepts/workflow.md)应用、外部调用（第三方应用 + 个人项目 SDK） | +| **数量限制** | 每个[智能体应用](../concepts/agent-application.md)最多添加 10 个工具 | 单个智能体最多同时添加 5 个 MCP 服务 | +| **调用机制** | 智能体/Assistant API 由模型自动判断调用；工作流中插件作为节点按编排执行 | 智能体由模型自动判断调用；工作流中每个 MCP 节点只能使用一个工具，需手动指定输入并传递输出 | +| **鉴权方式** | 支持服务级和用户级鉴权；鉴权类型含 basic、bearer、appcode；信息可放 Header 或 Query | 敏感信息使用 KMS 凭据加密管理；外部调用鉴权使用 `Authorization: Bearer ` | +| **部署与运行** | 自定义插件通过百炼平台在线配置 API；三方插件经云市场开通后直接使用 | 自定义 MCP 服务托管在函数计算 FC，分基础模式（按调用时长计费，有冷启动）和极速模式（部署费 + 调用费，常驻在线） | +| **计费方式** | 官方插件多为免费或限时免费（需申请开通） | 云部署限时免部署费，部分服务按第三方费率收取（如联网搜索 2000 次免费，之后 29 元/千次）；自定义部署按调用时长/部署时长计费 | +| **本地/远程资源** | 无特殊限制（取决于 API 本身） | FC 无固定出口公网 IP，访问远程资源需配置 IP 白名单或 VPC 网络；不支持访问本地资源（本地资源建议本地部署） | +| **跨平台互通** | 仅限百炼平台内部使用 | 支持 Cherry Studio、Cursor 等第三方客户端一键配置，也可通过 SDK 集成到个人项目 | +| **首次访问授权** | 需授权服务关联角色 `AliyunServiceRoleForSFMAccessCloudAPI`（主账号直接授权，RAM 子账号需创建权限策略） | 需在 MCP 广场开通或部署服务；已开通用户需从旧版 SSE 升级到 Streamable HTTP 协议 | +| **[Token](../concepts/token.md) 消耗** | 工具返回结果作为上下文传入模型 | MCP 返回内容同样作为上下文传入模型，间接增加输入/输出 [Token](../concepts/token.md) | +| **版本更新** | 平台管理更新 | npx/uvx 部署的服务在源版本更新后不自动更新，需手动重新部署；私有 npm 仓库暂不支持 | + +## 各方案适用场景建议 + +### 选择插件（Plug-in）当： + +- **快速接入现成 API**：官方插件（如代码解释器、计算器、图片生成、夸克搜索等）开通即用，无需编写代码或部署基础设施。 +- **简单 RESTful API 工具化**：已有 HTTP 接口，只需配置路径、参数、返回格式即可让模型调用，适合快速验证 MVP。 +- **仅百炼内部使用**：工具只需在智能体应用或工作流应用中使用，不涉及跨平台或外部集成。 +- **对成本敏感且调用量不大**：大量官方插件免费或限时免费，适合预算有限的场景。 +- **工作流编排中的确定性节点**：需要按固定逻辑链路执行工具调用（非模型自主决策），插件节点方式更直观。 + +### 选择 MCP 当： + +- **需要跨平台工具复用**：同一套工具需同时服务于百炼智能体、Cherry Studio、Cursor 等不同客户端，MCP 协议提供统一接口。 +- **工具链复杂、需自定义部署**：有现成的 MCP 协议代码包（Node.js/Python），或需把已有 RESTful API 通过 AI 网关升级为 MCP 服务。 +- **操作阿里云资源**：需通过 OpenAPI 操作 OSS、ECS 等阿里云产品，从 OpenAPI 开发者门户直接发布为 MCP 服务最为便捷。 +- **长时间在线、调用频繁**：极速模式下服务常驻运行，无冷启动延迟，适合生产环境高频调用。 +- **外部应用集成**：需要把百炼的 MCP 服务集成到第三方应用或个人项目，通过 SDK 灵活编码调用。 + +### 混合使用 + +两者并非互斥。实际项目中常见做法是：用 MCP 接入跨平台复用的核心工具链，同时用官方插件补充搜索、图片生成等百炼原生能力，在智能体应用中统一编排。选型时优先考虑工具的来源生态、部署复杂度、跨平台需求和长期维护成本。 + +## 被对比主题页 + +- [plug in](../guides/plug-in.md) +- [model context protocol](../guides/model-context-protocol.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md b/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md index 5b2f9be9..cfa9354f 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/agent-application.md @@ -1,45 +1,51 @@ # 智能体应用 -智能体应用（Agent）是阿里云百炼平台的核心应用构建模式之一，通过自然语言零代码配置，让大模型基于角色设定自主决策、动态规划并调用知识库、MCP、Skill 等工具来完成任务。相较于流程固定的工作流应用，智能体强调 AI 的自主性，适合意图开放、需要动态编排的对话与轻量任务场景。 +智能体应用（Agent Application）是百炼平台的核心应用形态之一，通过自然语言配置（零代码）构建，由大模型根据系统提示词自主规划工具调用顺序，实现知识问答、任务处理等场景。开发者无需编写编排逻辑，只需定义角色、挂载工具与知识库，模型即可基于 ReAct 循环完成多步推理与执行。 -## 版本演进：Agent 1.0 与 Agent 2.0 +## 两代架构 -百炼提供两代技术架构不同的智能体，**不支持直接升级或版本切换**，迁移需重新创建： +百炼提供两代智能体应用，**推荐优先使用 Agent 2.0**： -- **新版智能体（Agent 2.0）**：2025 年 12 月 26 日上线。将知识库、MCP 等能力统一抽象为「工具」，由智能体自主规划调用时机与顺序，并完整展示「规划-执行-反思」链路。无旧版依赖时推荐使用。**仅支持 API 调用，不支持任何分享渠道**（魔笔/UI、钉钉、微信、组件、音视频互动）。 -- **旧版智能体（Agent 1.0）**：通过知识库（RAG）+ 插件扩展能力，先检索知识再决策是否调用工具，适合意图单一、流程固定的简单任务。自定义插件有 **5 秒超时限制**。分享渠道均为 1.0 功能。 +- **Agent 2.0**：将知识库、MCP 等统一为工具，由模型基于 ReAct 循环自主规划调用时机与顺序，完整暴露"思考-执行-反思"链路。2025 年 12 月 26 日上线。 +- **Agent 1.0**：先命中知识库再决策是否调用其他工具，仅展示最终结果。 -## 核心能力配置（Agent 2.0） +> 两代基于不同技术架构，**不支持直接升级或迁移**，切换需重新创建应用。 -- **模型选择**：推荐具备强工具调用能力的模型（如千问-Max 系列）；可配置最长回复长度、`temperature`、`enable_thinking`（思考模式）等参数。 -- **提示词（System Prompt）**：定义角色、行为指令与能力边界，支持自定义变量嵌入。 -- **内置工具**：沙箱环境下的 `bash`、`write`、`read`、`edit`、`glob`、`grep`、`download_file`，默认关闭需按需开启。 -- **知识库**：作为工具由智能体自主调用，支持标签过滤限定查询范围。 -- **MCP**：外部工具以 MCP 协议接入，支持动态非固定顺序调用。 -- **Skill**：可扩展能力包，智能体在对话中自动识别匹配任务并调用，无需额外编码。 -- **记忆**：短期记忆支持 0-30 轮上下文；长期记忆暂未支持。 -- **ReAct 最大轮次**：取值 1-50，限制单次会话内工具调用最大次数。 +## 关键配置 -## 文件问答 +| 配置项 | 说明 | +| --- | --- | +| 模型 | 推荐 `千问-Max` 系列以保障多步工具调用效果；支持 `enable_thinking`（仅思考模型可配）、`temperature`、最长回复长度 | +| 系统提示词 | 定义角色、输出格式、约束和工具使用指引；支持自定义变量（通过 `/` 引用） | +| 知识库（RAG） | 作为工具由 Agent 2.0 自主调用；支持按标签过滤检索范围；可开启"展示回答来源"以角标形式返回 | +| MCP 与插件 | Agent 2.0 全部外部工具统一走 MCP 协议；插件可一键转换为 MCP | +| 内置工具 | `bash` / `write` / `read` / `edit` / `glob` / `grep` / `download_file`，沙箱内运行，默认关闭 | +| 预解析文件 | 控制上传文件是否由平台预置解析器提取文本；关闭时文件 URL 作为上下文透传 | +| ReAct 最大轮次 | 1–50，超限后强制生成最终回复 | +| 短期记忆 | 0–30 轮上下文 | -智能体应用支持上传文件进行问答，提供三种处理模式： +## 文件问答 -| 模式 | 适用场景 | 特点 | -|------|---------|------| -| 全文引用 | 文档总结、全文翻译 | 简单直接，受上下文长度限制 | -| 切片检索（RAG） | 长文档问答、知识库检索 | 能处理超长文件，效果依赖检索策略 | -| 自定义处理 | 图片转换、视频分析等 | 功能灵活，依赖配置的工具 | +智能体支持三种文件处理模式： -限制：单会话最多 10 个文件，单文件不超过 10 MB（超出需用文件上传 API）。支持文档、图片、视频、音频等格式。 +| 模式 | 机制 | 适用场景 | +| --- | --- | --- | +| 全文引用 | 平台解析后将文件整体注入 Prompt（受上下文长度限制） | 全文总结、翻译、润色 | +| 切片检索（RAG） | 平台解析并切片，按相关性召回若干片段 | 长文档问答、来源定位 | +| 自定义处理 | 只把文件 URL 或原始内容交给模型，由模型调用工具处理 | 图像风格转换、视频分析 | -## 发布与调用 +- 单会话上传上限 **10 个文件**，单文件 **≤ 10 MB**。 +- 页面上传的文件仅当前会话有效；生产场景推荐通过文件上传 API 换取 `session_file_id`（有效期约 24 小时）。 +- API 调用时**无法**动态切换处理模式，取决于应用发布时的配置。 +- 文件问答共享所属智能体应用的限流：**默认 100 次/分钟**。 -所有应用类型均需先发布才能通过 API 集成，核心步骤：在应用配置页点击「发布」→ 在「发布渠道」查看调用方式。RAM 账号发布前需拥有 `ram:CreateServiceLinkedRole` 权限。 +## 调用方式 -API 调用与工作流应用完全一致，通过 `Application.call` / `POST /apps/{app_id}/completion` 触发： +通过 DashScope SDK 或 HTTP API 调用，接口为 `POST /apps/{APP_ID}/completion`： ```python import os +from http import HTTPStatus from dashscope import Application response = Application.call( @@ -47,35 +53,46 @@ response = Application.call( app_id='YOUR_APP_ID', prompt='你是谁？' ) -print(response.output.text) +if response.status_code == HTTPStatus.OK: + print(response.output.text) ``` -响应结构为 `{"output": {"finish_reason", "session_id", "text"}, "usage": {...}, "request_id": "..."}`，业务侧主要消费 `output.text`。 +响应结构为 `{"output": {"finish_reason", "session_id", "text"}, "usage": {...}, "request_id": "..."}`，业务侧主要消费 `output.text`。2025 年 11 月起还支持通过 Responses API 调用，提供同步与异步两种模式。 + +## 发布与分享 -## 分享与组件化（仅 Agent 1.0） +- **Agent 1.0** 支持多种分享渠道：UI 应用/魔笔、钉钉、微信公众号、组件化发布、音视频实时互动。临时体验二维码与 UI 体验链接有效期均为 24 小时。 +- **Agent 2.0** 仅支持通过 API 调用，不支持上述分享渠道。 -- **分享渠道**：UI 应用/魔笔、钉钉、微信公众号、音视频实时互动。UI 体验链接与音视频临时二维码有效期均为 **24 小时**。分享产生的费用由应用创建者 UID 账号承担。 -- **组件化**：智能体或工作流可发布为模块化组件供其他应用复用。接入智能体时组件作为工具，大模型据「组件描述」自动判断调用；预设系统参数 `query`、`imageList` 无法删除。注意避免嵌套调用（A↔B）和多级调用（A→B→C 易超时）。 +智能体或[工作流](workflow.md)应用可发布为模块化组件供其他应用复用，组件预设系统参数 `query` 和 `imageList`（不可删除，可隐藏）。接入方支持智能体应用（作为工具，模型自动调用）和[工作流](workflow.md)应用（作为组件节点，手动传参）。 -## 与 Managed Agents 的区别 +## 评测与监控 -Managed Agents 是服务端托管运行时，与无状态的智能体应用不同：它在独立云端沙箱容器中维护会话状态，支持中断与续接、事件历史持久化，面向多步工具调用、代码执行、文件处理等长时运行任务。 +- **评测**：支持自动评测（基于知识库自动生成评测集并评分）和手动评测（人工标注）。单应用评测深度评估表现，多应用横向评测最多对比 8 个应用。新版评测系统通过评估器（LLM / Code）和标签管理构建多维评测闭环。 +- **监控**：应用观测功能可端到端追踪调用链路，提供延时、[Token](token.md) 量等分钟级指标。支持 Root Span / All Span / Model Span 筛选模式，可将 Span 数据直接加入评测集。观测覆盖智能体应用、[工作流](workflow.md)应用和高代码应用。 -## 计费说明 +## 与其他形态的对比 -- **模型调用**：按模型类型和 Token 用量计费。 -- **知识库**：按量付费，召回的文本切片会增加输入 Token；自 2026 年 1 月 4 日起正式计费。 -- **MCP/插件**：部分官方 MCP 按调用计费，第三方 MCP 由第三方收取。 +| 维度 | 智能体应用 | 工作流应用 | 高代码应用 | +| --- | --- | --- | --- | +| 开发方式 | 自然语言配置（零代码） | 可视化节点编排（低代码） | Python 项目（专业代码） | +| 控制方式 | 模型自主规划 | 预定义节点顺序 | 代码完全控制 | +| 适合人群 | 业务/产品/运营 | 业务分析师/IT 实施 | AI 工程师 | +| 典型场景 | 客服、知识问答、任务助理 | 报告生成、审批流、数据标注 | 私有算法、复杂系统集成 | -百炼提供限时免费额度，可在模型广场查看。 +与 Managed Agents 的区别：智能体应用为无状态调用（应用侧维护上下文），Managed Agents 由服务端托管会话状态、沙箱环境与工具执行，支持中断与续接，适合长时运行的多步工具调用任务。 ## 关联主题页 +- [start using](../guides/start-using.md) - [llm application](../guides/llm-application.md) -- [bailian application calling](../guides/bailian-application-calling.md) -- [managed agents](../guides/managed-agents.md) - [application publishing and sharing](../guides/application-publishing-and-sharing.md) -- [start using](../guides/start-using.md) +- [bailian application calling](../guides/bailian-application-calling.md) +- [application evaluation](../guides/application-evaluation.md) +- [application monitoring](../guides/application-monitoring.md) +- [application permission management](../guides/application-permission-management.md) +- [application use cases](../guides/application-use-cases.md) - [skill](../guides/skill.md) +- [managed agents](../guides/managed-agents.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md b/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md index a6884fa8..8db586cc 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/api-key.md @@ -1,80 +1,151 @@ # API Key 鉴权 -API Key 是调用阿里云百炼平台模型与应用的核心鉴权凭证，以 `Authorization: Bearer ` 的形式随请求携带，用于标识调用者身份并界定其可访问的模型、应用与业务空间范围。 +API Key 是调用阿里云百炼模型与应用服务的鉴权凭证，以 Bearer Token 形式附加在 HTTP 请求头（`Authorization: Bearer `）中，用于标识调用方身份并控制访问权限。 -## 在百炼平台的使用场景 +## 创建与管理 -API Key 贯穿百炼的各类调用入口，不同场景下的获取与使用方式略有差异： +登录[阿里云百炼控制台](https://bailian.console.aliyun.com)，在右上角选择目标地域，进入 **API Key** 页面点击**创建 API Key**。需使用主账号，或具备管理员/API-Key 页面权限的子账号。 -- **模型 API 直连**：调用文本、图像、视频、语音、向量等模型前，先在控制台对应地域的 **API Key** 页面创建 Key，配合服务端点 `base_url` 发起请求。 -- **应用与知识库调用**：智能体应用、工作流应用、知识检索/问答接口（DashScope 应用网关）均通过 API Key Bearer 鉴权，Base URL 常需拼接业务空间 ID，如 `https://{workspaceId}.cn-beijing.maas.aliyuncs.com`。 -- **框架集成**：LlamaIndex（RAG）、Spring AI Alibaba（智能体/工作流/知识库检索）均以 API Key 鉴权复用百炼能力，通常通过环境变量注入。 -- **百炼 CLI（`bl`）**：支持控制台登录、`--api-key`、环境变量、配置文件、临时传入等多种认证方式，可组合使用。 -- **不可信环境（浏览器/移动端）**：应由后端生成临时 API Key，避免永久 Key 泄露。 -- **子业务空间**：需使用该空间自身的 API Key，并预先为其授予相应模型的调用权限。 +- 升级后新建的 Key 以 `sk-ws` 开头，**创建后仅展示一次明文**，关闭弹窗后无法再次查看，丢失须重置或重建。 +- 旧版 `sk-` 开头的 Key 可继续使用，建议逐步迁移到新版以获得更完善的安全保障。 +- 每个 API Key 只能归属一个地域、一个业务空间和一个用户，**不能跨地域或跨空间使用**。 -## Key 的类型与前缀 +### 权限配置 -百炼的 API Key 因计费方式不同而彼此隔离，前缀是重要区分标识： +| 类型 | 说明 | +|------|------| +| 全部 | 授予调用所有模型与应用的权限 | +| 自定义 | 配置 IP 白名单（最多 20 个 IPv4/IPv6 地址或网段）和可访问模型范围 | -| 类型 | 前缀 | 说明 | -| --- | --- | --- | -| 按量付费（安全升级后） | `sk-ws` | 仅创建时展示一次明文，关闭弹窗后无法再查看，务必立即保存 | -| 按量付费（升级前旧 Key） | `sk-` | 仍可正常使用 | -| Token Plan / Coding Plan 专属 | `sk-sp-` | 套餐专属，与通用 Key 不可混用 | -| 临时 API Key | `st-` | 由后端接口生成、限时有效 | +自 2026 年 3 月 25 日起，华北 2（北京）地域所有新创建的 API Key 均归属主账号，并支持设置 IP 访问白名单。 -> API Key 与其配套的 Base URL 必须成对使用。按量付费、Token Plan、Coding Plan 三者的 Key 与 Base URL 混用会导致意外扣费或返回 401/403 鉴权失败。 +### 编程方式管理（OpenAPI） -## 创建时的关键选项 +需使用阿里云账号 AccessKey 签名，支持以下接口： -- **归属业务空间**：决定 Key 的调用权限。默认空间的 Key 可调用所有标准模型及默认空间应用；子空间的 Key 仅能调用已授权模型及本空间应用。同一空间内的 Key 权限相同，无需按模态分别创建。 -- **权限**：可选「全部」或「自定义」。自定义可配置 IP 白名单（最多 20 个 IPv4/IPv6 地址或网段）及可访问的模型/应用范围。 -- **创建主体**：需主账号，或具备「管理员」/「API-Key」页面权限的子账号。RAM 子账号在订阅套餐前需主账号授予 `AliyunBailianFullAccess` 等权限。 +| 接口 | 说明 | +|------|------| +| `CreateApiKey` | 创建 | +| `GetApiKey` / `ListApiKeys` | 查询 | +| `UpdateApiKey` | 编辑描述与权限 | +| `DeleteApiKey` | 删除（不可恢复） | +| `EnableApiKey` / `DisableApiKey` | 启用/禁用（弗吉尼亚地域除外） | +| `ResetApiKey` | 重置（旧 Key 立即失效，弗吉尼亚地域除外） | -## 配置与使用 +## 配置到环境变量 -推荐将 API Key 写入环境变量，避免硬编码泄漏： +**强烈建议**将 API Key 配置为环境变量 `DASHSCOPE_API_KEY`，避免硬编码在代码中，也不要以任何方式公开。 -- 通用约定使用 `DASHSCOPE_API_KEY`。 -- Spring AI Alibaba 应用集成用 `DASHSCOPE_API_KEY`，知识库检索用 `AI_DASHSCOPE_API_KEY`（约定不一致，关键是 `application.yml` 中占位符与实际变量名匹配）。 +```bash +# Linux / macOS（永久生效） +export DASHSCOPE_API_KEY="YOUR_DASHSCOPE_API_KEY" +source ~/.bashrc # 或 source ~/.zshrc +``` + +```powershell +# Windows PowerShell（永久） +[Environment]::SetEnvironmentVariable("DASHSCOPE_API_KEY", "YOUR_DASHSCOPE_API_KEY", [EnvironmentVariableTarget]::User) +``` + +在代码中读取： + +```python +import os +api_key = os.getenv("DASHSCOPE_API_KEY") +``` + +## 业务空间与权限隔离 -调用时除 API Key 外，还需指定与地域、协议匹配的 `base_url`（OpenAI 兼容协议与 Anthropic 兼容协议不同）。 +API Key 的可调用功能和模型限流与**归属业务空间**的权限保持一致： + +- **默认业务空间**的 Key 可调用所有标准模型及默认空间内的应用； +- **子业务空间**的 Key 仅可调用该空间已授权的模型； +- 在百炼上调优并部署的模型，仅能用其所在业务空间的 Key 调用； +- 同一业务空间内，无需为不同模型类型（文生文、文生图、语音等）分别创建 Key。 + +> **注意**：将 RAM 账号移出业务空间会使其 API Key 失效（重新加入后恢复）；在 RAM 控制台删除账号/角色会使 API Key **永久失效、不可恢复**。 ## 临时 API Key -面向浏览器、移动端等不可信环境，通过后端接口用永久 Key 换取限时凭证： +在浏览器、移动 App 等不可信环境中，不应直接使用永久 API Key，需由后端服务生成临时凭证： ``` -curl -X POST "https://dashscope.aliyuncs.com/api/v1/tokens?expire_in_seconds=1800" \ - -H "Authorization: Bearer $DASHSCOPE_API_KEY" +POST https://dashscope.aliyuncs.com/api/v1/tokens?expire_in_seconds= +Authorization: Bearer <永久 API Key> ``` -关键参数与特性： +| 参数 | 说明 | +|------|------| +| `expire_in_seconds` | 有效期（秒），范围 `[1, 1800]`，默认 60 秒 | -- `expire_in_seconds`：有效期（TTL），单位秒，范围 `[1, 1800]`，默认 60 秒。 -- 返回体中 `token`（`st-` 前缀）为临时 Key，`expires_at` 为过期 UNIX 时间戳。 -- 临时 Key 继承永久 Key 的全部权限（含模型/知识库访问限制），到期自动失效，无法提前删除。 -- 各地域（北京 / 新加坡 / 弗吉尼亚）的 Key 与 Endpoint 不互通，需配套使用。 +响应示例： + +```json +{ + "token": "st-****", + "expires_at": 1744080369 +} +``` -## 编程化管理 +- 临时 Key 继承生成它的永久 Key 的**全部权限**； +- 到期后自动失效，**无法提前删除**； +- 各地域的 API Key 不互通，请使用对应地域的 Endpoint 与永久 Key。 -除控制台外，百炼提供 OpenAPI（`CreateApiKey` / `GetApiKey` / `ListApiKeys` / `UpdateApiKey` / `DeleteApiKey` / `EnableApiKey` / `DisableApiKey` / `ResetApiKey`）以编程方式管理 Key。这些接口使用阿里云账号 AccessKey 签名认证，并需具备相应 RAM 权限，与业务调用所用的 API Key Bearer 鉴权不同。 +## 在各接入场景中使用 -## 开发者要点 +### OpenAI 兼容 SDK + +```python +from openai import OpenAI +import os + +client = OpenAI( + api_key=os.getenv("DASHSCOPE_API_KEY"), + base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", +) +``` -- 优先用环境变量注入，切勿硬编码或提交到代码仓库。 -- 升级后的 `sk-ws` Key 只显示一次，创建后立即保存。 -- 明确当前场景使用的是按量付费、Token Plan、Coding Plan 中的哪种 Key，并搭配对应 Base URL。 -- 不可信环境一律走临时 API Key，生产环境的文件存储不要依赖临时 URL。 +### [DashScope SDK](dashscope-sdk.md) + +```python +import dashscope +import os + +dashscope.api_key = os.getenv("DASHSCOPE_API_KEY") +``` + +### 第三方工具接入（Claude Code / Hermes / Cursor 等） + +通过配置文件或环境变量将 API Key 注入，具体字段名因工具而异（如 `ANTHROPIC_AUTH_TOKEN`、`api_key`），Base URL 需与 API Key 所属的计费方案和地域匹配。**不同计费方案（按量计费、Token Plan、Coding Plan）的 API Key 互不通用。** + +### 应用组件 API（ROA 签名） + +调用百炼知识库、Prompt 模板、长期记忆等应用 OpenAPI（`bailian/2023-12-29`）时，使用阿里云 AccessKey 而非 API Key 进行 ROA 签名鉴权，并需为 RAM 子账号授予 `AliyunBailianDataFullAccess` 或 `AliyunBailianDataReadOnlyAccess` 策略。 + +## 地域差异 + +| 地域 | 特殊说明 | +|------|----------| +| 华北 2（北京）、新加坡、日本（东京）、德国（法兰克福） | 支持自定义 IP 白名单和可访问模型范围；Key 以 `sk-ws` 开头 | +| 美国（弗吉尼亚） | 不支持禁用、重置、IP 白名单等操作 | +| 新加坡 | 生成临时 Key 时需将 Endpoint 中的 WorkspaceId 替换为实际值 | + +## 安全最佳实践 + +1. 使用环境变量存储 API Key，禁止硬编码或提交到代码仓库； +2. 生产环境启用 IP 白名单，限制调用来源； +3. 前端/移动端场景使用临时 API Key，有效期不超过 1800 秒； +4. 按环境（dev/test/prod）或业务线划分业务空间，使用各空间独立的 API Key，便于权限隔离与成本分账； +5. 定期轮换永久 API Key，旧 Key 重置后立即失效。 ## 关联主题页 - [preparations](../api/preparations.md) -- [more](../api/more.md) -- [frameworks](../api/frameworks.md) - [more about models](../api/more-about-models.md) -- [token plan guide](../guides/token-plan-guide.md) -- [knowledge](../api/knowledge.md) +- [security and compliance](../guides/security-and-compliance.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) +- [more](../api/more.md) +- [application component api reference](../api/application-component-api-reference.md) +- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md b/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md index 8e78a250..dff27846 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/async-invocation.md @@ -1,53 +1,90 @@ -# 异步调用与任务轮询 +# 异步调用 -异步调用是百炼平台为耗时较长的模型任务（图像生成、视频生成、3D 生成等）设计的调用模式：客户端先提交任务拿到 `task_id`，再通过轮询或事件通知获取最终结果，从而避免长连接等待与请求超时。 +异步调用是一种先提交任务、再轮询或接收通知获取结果的 API 调用模式，适用于图像生成、视频生成、3D 生成等耗时较长的场景，可避免同步请求因超时而失败。 -## 核心流程：创建任务 → 轮询获取 +## 核心流程 -异步调用统一分为两步： +异步调用分为两个阶段： -1. **创建任务**：向对应能力的生成端点发起 `POST` 请求，请求头必须携带 `X-DashScope-Async: enable`，否则会报错 `current user api does not support synchronous calls`。请求成功后返回一个 `task_id`。 -2. **轮询查询结果**：用该 `task_id` 发起 `GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}`，读取 `output.task_status` 直到任务进入终态（`SUCCEEDED` / `FAILED`），再从结果中取回产物 URL。 +1. **创建任务**：发起请求后，服务立即返回 `task_id`，任务在后台异步执行。 +2. **获取结果**：通过 `task_id` 轮询任务状态，或配置 EventBridge 接收完成通知。 -任务状态的典型流转为：`PENDING`（排队中）→ `RUNNING`（处理中）→ `SUCCEEDED`（成功）/ `FAILED`（失败）。不同能力还可能出现 `SUSPENDED`（挂起）、`CANCELED`（已取消）、`UNKNOWN`（任务不存在或已过期）等状态。 +任务状态流转： -## 在不同场景中的使用 +``` +PENDING → RUNNING → SUCCEEDED / FAILED +``` -- **3D 生成（Tripo）**：仅支持异步，端点为 `.../aigc/video-generation/3d-generation`，轮询建议间隔约 15 秒，生成耗时较长，产物下载链接有效期仅 2 小时。 -- **视频生成**：所有厂商模型（万相、PixVerse、Vidu、可灵等）统一走异步，端点通常为 `.../aigc/video-generation/video-synthesis`（部分数字人/换人类模型使用 `.../aigc/image2video/video-synthesis`）。单次任务通常耗时 1-5 分钟，个别统一编辑模型约 5-10 分钟。 -- **图像生成**：多数传统模型仅支持异步（`text2image` / `image2image` 等端点），生成通常需 1-2 分钟；而新版模型（wan2.6 / wan2.7、z-image-turbo 等）走 `multimodal-generation/generation` 端点，支持 HTTP 同步一次拿结果。请勿把同步协议用在旧模型上。 -- **应用调用（智能体/工作流）**：Responses API（OpenAI 兼容）通过设置 `background=true` 开启异步，创建任务后返回任务 ID 再轮询；DashScope 应用调用接口目前暂不支持异步。 +## 各场景中的使用方式 -## 关键参数与配置 +### 应用调用（Responses API） -- **请求头**：创建任务必须带 `X-DashScope-Async: enable`；同时需 `Authorization: Bearer $DASHSCOPE_API_KEY`、`Content-Type: application/json`。 -- **`task_id` 有效期**：一般为 **24 小时**，过期查询返回 `UNKNOWN`。请勿重复创建任务，轮询即可。 -- **`background`（应用 Responses API）**：布尔值，默认 `false`，设为 `true` 开启异步执行。 -- **查询限流**：任务查询接口默认约 20 QPS / RPS（主账号维度）。 +在 OpenAI 兼容的 Responses API 中，通过 `background=true` 参数开启异步模式，适用于多步骤工具调用、长报告生成等场景。DashScope API 暂不支持此参数。 -## 异步任务管理与完成通知 +```python +response = client.responses.create( + input="生成一份市场分析报告", + background=True # 开启异步 +) +task_id = response.id # 保存用于后续查询 +``` -百炼提供三个通用的异步任务管理接口： +### 图像生成 -- **查询单个任务**：`GET .../api/v1/tasks/{task_id}`。 -- **批量查询**：`GET .../api/v1/tasks/?start_time=xxx&end_time=xxx&status=xxx`，单次时间跨度不超过 24 小时。 -- **取消任务**：`POST .../api/v1/tasks/{task_id}/cancel`，仅能取消 `PENDING` 状态的任务。 +部分模型强制采用异步模式，部分支持同步/异步选择： -为避免频繁轮询浪费资源并触发限流，百炼已接入阿里云事件总线 EventBridge，支持任务完成后主动推送通知（HTTP 回调 URL 或 RocketMQ 两种方案）。事件源为 `acs.dashscope`，事件类型为 `dashscope:System:AsyncTaskFinish`，收到通知后只需调用一次查询接口即可获取结果。 +- **同步**（推荐）：千问图像、万相2.6+、Z-Image — 一次请求即可返回结果。 +- **异步**：可灵（Kling）、Vidu、万相2.5及以下 — 必须采用"创建任务 → 轮询"流程。 -## 开发者建议 +### 视频生成 -- 妥善保存 `task_id`，切勿因未及时轮询到结果而重复创建任务。 -- 轮询间隔不宜过密（如约 15 秒），高频或生产场景优先使用异步完成通知。 -- 及时下载产物：图像/视频 URL 有效期通常为 24 小时，3D 模型下载链接有效期仅 2 小时。 -- 处理失败时读取响应中的 `code` 与 `message`，对照百炼错误码文档排查。 +所有视频生成模型均采用异步调用，无例外。请求时需在 Header 中加入 `X-DashScope-Async: enable`（部分接口自动要求）： + +```bash +POST /api/v1/services/aigc/video-generation/video-synthesis +X-DashScope-Async: enable +``` + +### 3D 生成 + +Tripo 系列模型仅支持异步调用，请求中必须设置 `X-DashScope-Async: enable`，否则返回报错 `"current user api does not support synchronous calls"`。任务 `task_id` 有效期 **24 小时**，输出文件 URL 有效期仅 **2 小时**，请及时下载。 + +## 通用任务管理 API + +百炼提供三个通用接口管理所有异步任务（限流均为 20 QPS）： + +| 操作 | 接口 | +|------|------| +| 查询单个任务 | `GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}` | +| 批量查询（按时间/状态过滤） | `GET https://dashscope.aliyuncs.com/api/v1/tasks/?start_time=...&status=...` | +| 取消任务 | `POST https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}/cancel` | + +> 取消仅对 `PENDING` 状态有效，已开始处理的任务无法取消。批量查询时单次时间跨度不超过 24 小时。 + +## 异步任务完成通知 + +频繁轮询会消耗资源并可能触发限流。推荐通过阿里云 EventBridge 接收主动推送： + +| 方案 | 适用场景 | +|------|----------| +| HTTP 回调 URL | 通用场景，需公网/VPC 可达的接口 | +| RocketMQ | 高可靠性场景，支持失败重试 | + +事件类型为 `dashscope:System:AsyncTaskFinish`，收到通知后调用一次查询接口即可获取完整结果，无需持续轮询。 + +## 轮询建议 + +- 建议间隔：**15 秒**轮询一次（视任务类型调整）。 +- 已完成任务通常保留 **24 小时**后自动清理。 +- 避免短间隔高频轮询，查询接口默认 RPS 限制为 20。 ## 关联主题页 -- [3d generation](../api/3d-generation.md) -- [video generation api](../api/video-generation-api.md) +- [application call](../api/application-call.md) - [image generation](../api/image-generation.md) +- [video generation api](../api/video-generation-api.md) +- [3d generation](../api/3d-generation.md) +- [model production](../api/model-production.md) - [more about models](../api/more-about-models.md) -- [application call](../api/application-call.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md b/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md index 6b73c92e..2ba2cea8 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/billing.md @@ -1,85 +1,88 @@ # 计费 -计费是百炼平台围绕模型推理、模型训练、模型部署及增值服务所建立的费用体系，涵盖按量付费、订阅制（[Token](token.md) Plan / Coding Plan）、预留容量（TPM 预留 / PTU）等多种方式，开发者可根据用量规模和业务场景灵活组合，实现成本最优。 +计费是阿里云百炼平台对模型调用、训练、部署及附加功能进行费用计量与结算的机制，默认采用按量后付费（分钟级出账、按月结算），同时提供预付费的节省计划、资源包和订阅套餐等多种优惠方案。 -## 计费场景与方式 +## 费用构成 -百炼平台的计费覆盖以下主要场景： +百炼的模型相关费用分为以下几类： -| 场景 | 计费方式 | 说明 | -|------|---------|------| -| 模型推理调用 | 按量付费（[Token](token.md) 计价） | 按输入/输出 [Token](token.md) 分别计价，部分模型支持阶梯计费 | -| 模型训练 | 按训练 Token 计费 | （训练数据 Token + 混合训练数据 Token）× 循环次数 × 单价 | -| 模型部署 | PTU / 模型单元 / Token 用量 | 三种方式创建后不可更改，需下线重建才能切换 | -| 知识库 | 按规格计费 | 标准版 0.03 元/小时，旗舰版 0.2 元/RCU/小时 | -| TPM 预留 | 按 kTPM 预付费 | 按天计费，输入/输出分别定价 | -| Token Plan 团队版 | 坐席订阅制 | 按 Credits 抵扣，198 元/坐席/月起 | -| Coding Plan | 月度订阅制 | 按模型调用次数限额，200 元/月 | +| 费用类型 | 计费方式 | 说明 | +| --- | --- | --- | +| 模型调用（实时推理） | 按输入/输出 Token 计费 | 默认按量付费，部分模型支持阶梯计价、上下文缓存折扣、Batch 半价 | +| 模型训练 | 按训练 Token 计费 | 千问文本、万相图像/视频等均有独立单价 | +| 模型部署 | 按使用时长计费 | 预置吞吐（TPM）或模型单元两种模式，支持后付费与预付费 | +| 知识库规格 | 按运行时长计费 | 标准版 0.03 元/知识库/小时，旗舰版 0.2 元/RCU/小时 | +| 附加功能 | 按次计费 | 联网搜索、MCP 广场等独立计费，不在节省计划抵扣范围 | -## 费用抵扣顺序 +抵扣优先级为：**免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费**。 -多种付费方式并存时，系统按以下优先级自动抵扣： +## 不同场景下的计费 -**免费额度 → 资源包 → 其他模型节省计划 → AI 通用型节省计划 → 按量付费** +### 模型调用 -Token Plan 和 Coding Plan 的套餐额度独立于按量计费体系，不参与上述抵扣链路。 +模型调用默认按量计费，按输入 Token 和输出 Token 分别计价，单价为每百万 Token 的人民币金额。部分模型实行阶梯计费：单次请求的输入 Token 总量决定所属阶梯，该请求所有 Token 均按对应阶梯单价结算。 -## 免费额度 +折扣机制： -首次开通百炼时自动发放新人免费额度，有效期 30~90 天。关键限制： +- **Batch 调用**：支持 Batch 的模型，输入和输出 Token 单价均按实时推理价格的 50% 计费。 +- **上下文缓存**：命中缓存的输入 Token 享有折扣（如显式缓存命中按标准输入的 10%），显式缓存创建可能按 125% 计费。Batch 半价与缓存折扣不能同时生效。 +- **限时活动**：部分模型有限时折扣。 -- 仅适用于华北2（北京）地域、中国内地服务部署范围的实时推理 -- 不支持抵扣 Batch 调用、模型调优、模型部署、自定义模型 -- 主账号与 RAM 子账号共享 -- 建议开启"免费额度用完即停"功能，防止额度耗尽后自动扣费 +跨地域价格差异较大，例如 qwen3-max 在新加坡的输入单价远高于中国内地。 -## 成本优化方案 +### 模型训练 -### AI 通用型节省计划 +按训练 Token 计费，公式因模型类型而异： -承诺每月消费金额获取阶梯折扣，最高可享 5.3 折。覆盖阿里直供全部模型，承诺金额 1,000 元起，支持 3/6/12/24 个月周期。当月未用完的额度自动清零，不可累积。 +- **千问文本模型**：费用 =（训练数据 Token 总数 + 混合训练数据 Token 总数）× 循环次数 × 训练单价 +- **万相图像生成**：费用 = 训练 Token 总量 × 训练单价 +- **万相视频生成**：费用 = 训练 Token 总量 × 训练单价（Token 总量与视频计费时长、像素、轮次相关） -### 资源包 +### 模型部署 -预先购买具体 Token 数量，用于抵扣特定模型的实时推理用量。适合用量明确且集中在单一模型的场景。 +部署提供三种计费方式： -### Batch 调用优惠 +| 计费方式 | 适用场景 | 特点 | +| --- | --- | --- | +| 预置吞吐（PTU） | 高负载生产环境，流量稳定可预估 | 按使用时长 × TPM 单价计费，保障额度内不限速 | +| 模型单元 | 大规模推理业务，需自定义性能 | 按使用时长 × 模型单元数量 × 单价计费，资源独占 | +| 按 Token 用量 | 效果验证，对并发和延迟要求不高 | 按输入/输出 Token 计费，不使用不计费 | -支持 Batch 调用的模型，输入和输出 Token 单价均按实时推理价格的 50% 计费。 +部署计费的关键规则： -### 上下文缓存折扣 +- 计费方式在服务创建后无法更改，切换需先下线再重新部署。 +- 部署成功后即开始计费，即使未发起任何调用。 +- PTU 部署支持长输入阶梯系数和前缀缓存折扣；超出购买 TPM 时按溢出策略处理（自动溢出转按量付费，或仅使用 PTU 容量返回 429）。 +- 后付费部署在账户欠费后仍保留资源并计费 24 小时，超 24 小时停止计费但底层资源将被删除。 -部分模型支持上下文缓存，命中缓存的输入 Token 按折扣系数消耗额度（例如 deepseek-v4-pro 为 0.08，即按 8% 折算）。Batch 调用与上下文缓存不能同时生效。 +### TPM 预留 -## 多地域定价差异 +TPM 预留为指定模型锁定专属推理吞吐量，按输入 TPM 和输出 TPM 分别计价，单位为「每 10,000 TPM 的日预付费」。预留容量内的调用不受公共资源限流影响，部分模型支持长输入阶梯系数和缓存折扣。溢出策略可选自动溢出按量或仅预留容量返回 429。 -同一模型在不同地域的价格可能不同。华北2（北京）使用人民币定价，新加坡等国际地域按国际价格结算，通常高于国内价格。[API Key](api-key.md) 必须与 Base URL 同一地域，否则会报 `401` 错误。 +### 订阅套餐 -## 账单查询 +Token Plan 是以 Credits 统一计量的订阅服务，分为个人版和团队版： -- **费用概览**：控制台"用量 & 费用 > 费用概览"查看当月总消费，支持按模型或 [API Key](api-key.md) 筛选 -- **模型用量**：按[业务空间](workspace.md)维度统计，数据延迟约 1 小时，不支持查看 30 天以前的数据 -- **出账时间**：大模型推理分钟级出账（2~10 分钟），批量推理和训练小时级出账 -- **分账管理**：通过[业务空间](workspace.md)标签按部门或项目归集费用，T+1 天生效 +- **个人版**：三个档位（Lite/Standard/Pro），采用 5 小时和 7 天两层滑动窗口限额，额度用完后调用被阻断，不会转为按量计费。 +- **团队版**：按月度总额度制，无滑动窗口限额，另可购买共享用量包作为跨坐席弹性补充。 +- **Coding Plan**：独立的订阅产品，按模型调用次数计费（非 Credits），与 Token Plan 之间无法迁移或升级。 -## 欠费与停止计费 +Token Plan 使用以 `sk-sp-` 开头的专属 API Key，与百炼通用 API Key（`sk-` 开头）格式不同，两者的 API Key 和 Base URL 完全隔离，必须配套使用，不可混用。 -账户可用额度小于 0 时视为欠费。Token Plan 和 Coding Plan 的套餐额度独立于账户余额，欠费期间可继续使用。停止计费的方式： +## 关键参数与配置 -- **模型推理**：停止 API 调用，删除不再使用的 [API Key](api-key.md) -- **模型部署**：在控制台下线已部署模型；包月预付费需额外退订实例 -- **模型训练**：无进行中的训练任务即不产生费用 -- **订阅制**：关闭自动续费，到期自动停止 +- **开通条件**：阿里云账户余额不小于 0 元；服务需分地域开通，开通后暂不支持关闭。 +- **免费额度**：首次开通百炼时自动发放（通常 100 万 Token），有效期 90 天，仅抵扣实时推理费用。仅华北2（北京）地域且服务部署范围为中国内地的模型享有免费额度。免费额度用完即停，可在控制台逐模型开启。 +- **节省计划**：AI 通用型节省计划承诺在 3/6/12/24 个月内每月消费一定金额（1000 元起），享受阶梯式折扣，最高 5.3 折，覆盖模型调用、上下文缓存、批量推理等，但不抵扣模型调优、模型部署、联网搜索等。 +- **账单查询**：费用明细与发票申请通过阿里云费用与成本控制台操作。 +- **万相会员**与百炼 API 计费体系相互独立，会员权益不适用于 API 调用。 ## 关联主题页 - [test 1](../guides/test-1.md) - [token plan guide](../guides/token-plan-guide.md) -- [model deployment 1](../guides/model-deployment-1.md) -- [model monitoring](../guides/model-monitoring.md) - [support](../guides/support.md) -- [knowledge base](../guides/knowledge-base.md) -- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) +- [model deployment 1](../guides/model-deployment-1.md) - [model high speed inference](../guides/model-high-speed-inference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md b/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md index de46d3bd..2fe0216c 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/dashscope-sdk.md @@ -1,99 +1,102 @@ # DashScope SDK -DashScope SDK 是阿里云百炼平台官方提供的软件开发工具包，封装了模型与应用调用的原生（DashScope）接口，让开发者用少量代码即可接入通义千问、万相、Qwen-MT、Qwen-OCR 等模型能力以及智能体/工作流应用。相比 HTTP 直连和 [OpenAI 兼容接口](openai-compatible-interface.md)，DashScope 原生接口暴露的参数最完整、功能集最丰富。 +DashScope SDK 是阿里云百炼平台提供的官方客户端库，封装了对百炼原生 DashScope 协议的调用，支持 Python 和 Java 两种语言，是访问平台全量功能与参数的首选方式。 -## 适用语言与安装 +## 定位与适用场景 -DashScope SDK 主要提供 Python 与 Java 两种官方实现，部分场景也可用 HTTP（如 Node.js 借助 `axios`）替代： +百炼平台提供两类 SDK：DashScope SDK（官方原生）和 OpenAI 兼容 SDK。当需要使用百炼特有功能——如思考模式参数、DashScope 协议专属字段、应用调用（`Application.call`）、或仅 DashScope 支持的模型（如 `qwen-deep-research`）——时，应选择 DashScope SDK；对于只需与 OpenAI 生态互通的场景，可使用 OpenAI 兼容 SDK。 -- **Python**：`python3 -m pip install -U dashscope` -- **Java**：通过 Maven / Gradle 引入 `com.alibaba:dashscope-sdk-java`，建议版本 `>= 2.12.0` -- **Node.js / 其他语言**：目前无官方 SDK，直接走 HTTP API（发起 POST 请求） +## 安装 -> 注意：不同能力对 SDK 语言与地域的支持存在差异。例如 `qwen-deep-research` **仅支持 Python DashScope SDK，且仅限华北2（北京）地域**，暂不支持 Java SDK 与 [OpenAI 兼容接口](openai-compatible-interface.md)。 +**Python**（需 Python ≥ 3.8）： -## 在不同场景中的使用 +```bash +pip install -U dashscope +``` -### 1. 调用文本生成模型（Qwen 系列） +**Java（Maven）**： -Qwen 系列可通过 OpenAI 兼容、Anthropic 兼容或 DashScope 原生三类接口调用。其中 DashScope 是百炼原生接口，**功能集最完整、参数支持最丰富**；当需要使用最全的采样参数、插件或业务字段而兼容接口未暴露时，应改用 DashScope 原生接口。 +```xml + + com.alibaba + dashscope-sdk-java + the-latest-version + +``` -### 2. 调用专用模型（[more](../api/more.md) models） +Java 通过 Gradle 添加 `com.alibaba:dashscope-sdk-java` 依赖，建议版本 ≥ 2.12.0。 -法律、意图理解、翻译、OCR 等专用模型大多支持 OpenAI 兼容或 DashScope 两种方式调用： +## 鉴权配置 -- `farui-plus`（法律大模型）：通过 DashScope SDK（Python / Java）调用 -- `tongyi-intent-detect-v3` / `qwen-mt-plus` / `qwen3.5-ocr`：OpenAI 兼容或 DashScope 均可 -- `qwen-deep-research`（深度研究）：仅 Python DashScope SDK +DashScope SDK 默认从环境变量 `DASHSCOPE_API_KEY` 读取 API Key，无需在代码中硬编码： -### 3. 调用图像生成与编辑模型 +```bash +export DASHSCOPE_API_KEY="YOUR_DASHSCOPE_API_KEY" +``` -千问-图像（Qwen-Image）、万相（Wan/Wanx）、Z-Image 等图像模型均可通过 HTTP 或 DashScope SDK 调用，覆盖文生图、图像编辑、图像翻译、风格迁移等能力。 +也可在调用时通过 `api_key` 参数显式传入。 -### 4. 调用智能体应用与工作流应用 +## 主要使用场景 -已创建并发布的智能体应用、工作流应用可通过 DashScope SDK 集成到业务系统，二者调用方式一致： +### 调用应用（智能体 / 工作流） -- Python：`from dashscope import Application`，调用 `Application.call(...)` -- Java：构造 `ApplicationParam` 后调用 `application.call(param)` -- HTTP 等价接口：`POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion` +通过 `Application.call` 触发已创建的智能体应用或工作流应用： -响应统一为 `{"output": {...}, "usage": {...}, "request_id": "..."}` 结构，业务侧主要消费 `output.text`。 +```python +from dashscope import Application +import os -## 关键参数与配置 +response = Application.call( + api_key=os.getenv("DASHSCOPE_API_KEY"), + app_id='YOUR_APP_ID', + prompt='你是谁？' +) +print(response.output.text) +``` -### 鉴权（API Key） +Java 对应使用 `ApplicationParam.builder()` 构建参数，再通过 `Application.call(param)` 发起调用。 -- SDK 通过 [API Key 鉴权](api-key.md)，**推荐将密钥写入环境变量 `DASHSCOPE_API_KEY`**，SDK 会自动读取，避免在代码中硬编码。 -- 调用特定地域（如华北2/北京）或子业务空间下的模型/应用时，需使用对应地域的 API Key，并按需提供 Workspace ID。 +### 调用专用模型 -### 通用请求参数 +部分模型仅支持 DashScope SDK，不支持 [OpenAI 兼容接口](openai-compatible-interface.md)。典型示例： -- `model`（string，必选）：目标模型名称。 -- `messages`（array）：对话消息列表，按顺序排列，需由调用方维护上下文。 -- `app_id`（应用调用）：目标应用 ID，从控制台应用卡片复制。 -- `prompt` / `input`：用户输入内容。 -- `stream`（bool，可选）：是否[流式输出](streaming.md)；如 `qwen-deep-research` 的反问阶段需设为 `true`。 -- `session_id`（应用多轮对话）：由云端维护上下文，免去手动拼接历史。 +- **`farui-plus`**（法律大模型）：仅支持 Python/Java DashScope SDK。 +- **`qwen-deep-research`**（深度研究）：仅支持 Python DashScope SDK，且仅限华北2（北京）地域。 -### 模型专属参数示例 +调用时需使用对应地域的 API Key，并在创建客户端时指定地域端点（如有）。 -- **Qwen-MT（翻译）**：通过 `translation_options`（OpenAI SDK 中放入 `extra_body`）控制 `source_lang`、`target_lang`、`terms`（术语干预）、`tm_list`（翻译记忆）、`domain_prompt`（领域提示）。 -- **Qwen-OCR**：`messages.content` 为[多模态](multimodal.md)数组，可设 `min_pixels` / `max_pixels` 控制图像像素阈值。 +### 微调与模型生产 -## Python 快速示例（应用调用） +微调流程通过 HTTP API（`https://dashscope.aliyuncs.com/api/v1/fine-tunes`）发起，DashScope SDK 封装了文件上传、任务创建、状态查询和部署等操作，覆盖从训练数据上传到模型上线的完整流程。 -```python -import os -from http import HTTPStatus -from dashscope import Application +### 向量化与排序 -response = Application.call( - api_key=os.getenv("DASHSCOPE_API_KEY"), - app_id='YOUR_APP_ID', - prompt='你是谁？' -) +Embedding 和 Rerank 接口同时支持 [OpenAI 兼容接口](openai-compatible-interface.md)和 DashScope 原生接口。DashScope SDK 提供对批处理异步接口的完整支持（需在请求头中附加 `X-DashScope-Async: enable`）。 -if response.status_code != HTTPStatus.OK: - print(f'code={response.status_code}, message={response.message}') -else: - print(response.output.text) -``` +## 与 OpenAI 兼容 SDK 的关键差异 -## 使用建议 +| 维度 | DashScope SDK | OpenAI 兼容 SDK | +|------|--------------|----------------| +| 语言支持 | Python、Java | Python、Node.js、Java、Go | +| 功能覆盖 | 全量（平台所有能力） | 与 OpenAI 生态对齐的子集 | +| 临时 URL 传文件 | 支持 | 不支持 | +| 应用调用（`Application.call`） | 支持 | 不支持 | +| 专属模型（如 `qwen-deep-research`） | 支持 | 不支持 | -- 优先使用环境变量管理 API Key，区分不同地域的密钥。 -- 需要最完整功能与参数时选 DashScope 原生接口；追求生态兼容、迁移成本最低时可选 [OpenAI 兼容接口](openai-compatible-interface.md)。 -- 接入前先对照具体模型的 API 参考，确认其支持的 SDK 语言、协议与地域。 +## 注意事项 + +- DashScope SDK 参数集最完整，但与 OpenAI/Anthropic 兼容接口存在字段差异，跨接口迁移时需核对参数映射。 +- 所有微调功能目前仅在**华北2（北京）**地域可用，须使用该地域的 API Key。 +- 调用 `qwen-deep-research` 时，第一步反问阶段需将 `stream` 设为 `true`。 ## 关联主题页 -- [image generation](../api/image-generation.md) -- [more models](../api/more-models.md) -- [bailian application calling](../guides/bailian-application-calling.md) - [qwen api reference](../api/qwen-api-reference.md) -- [application call](../api/application-call.md) - - +- [bailian application calling](../guides/bailian-application-calling.md) +- [more models](../api/more-models.md) +- [vector and sort](../api/vector-and-sort.md) +- [preparations](../api/preparations.md) +- [fine tuning](../guides/fine-tuning.md) +- [model production](../api/model-production.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md b/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md index 1334d698..98b985aa 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/embedding.md @@ -1,54 +1,72 @@ -# 向量嵌入 +# 向量化 -向量嵌入（Embedding）是将文本、图像、视频等非结构化数据转换为固定维度的数值向量，使语义相近的内容在向量空间中距离也相近。百炼平台提供多类嵌入模型，支撑语义检索、RAG 召回、跨模态搜索、聚类推荐等下游任务。 +向量化（Embedding）是将文本、图片、视频等非结构化数据通过模型映射为高维数值向量的过程。在百炼平台中，向量化是语义检索、推荐、聚类、分类与 RAG 检索的核心基础——向量模型将不同模态的数据编码到同一语义空间，使机器能够基于向量距离衡量语义相似度。 -## 在百炼平台的使用场景 +## 在百炼平台中的使用场景 -- **RAG 知识库召回**：知识库创建时选择向量模型，对导入文档切片做嵌入入库；查询时对 Query 做同款嵌入，再与切片向量做相似度匹配，作为 RAG 流程的第一段召回。文档搜索、数据查询、音视频搜索类知识库支持 `text-embedding-v4` 或 `text-embedding-v3`（均为 512 维，维度不可更改）；图片问答类固定使用 `multimodal-embedding-v1`（1024 维）；视觉理解场景自动切换为 `qwen3-vl-embedding`。 -- **本地 RAG 应用**：本地知识库方案默认调用百炼 embedding API 生成向量，也可替换为本地部署的 GTE 文本向量模型（如 `iic/nlp_gte_sentence-embedding_chinese-large`）。受 embedding API 限流影响，单文件不建议超过 100 MB。 -- **跨模态检索**：多模态向量模型（如 `qwen3-vl-embedding`、`multimodal-embedding-v1`）将文本、图像、视频映射到同一语义空间，支持以文搜图、以图搜视频等。支持「独立向量」（逐项生成）与「融合向量」（多输入合并为 1 个向量）两种模式。 -- **框架集成**：LlamaIndex 路线将知识库部署在百炼云端，使用官方向量模型与智能切分，不支持自定义嵌入模型；如需灵活选择嵌入模型，应改用本地知识库方案。 +### 向量与排序 API -## 模型与关键参数 +百炼提供通用文本向量和[多模态](multimodal.md)向量两类接口，用于将原始数据转为向量： -通用文本向量模型当前推荐 `text-embedding-v4`（Qwen3-Embedding 系列，支持 100+ 语种）。 +- **通用文本向量（同步）**：支持 `qwen3.7-text-embedding`、`text-embedding-v4/v3/v2/v1`，将字符串或文件实时转为向量。提供 [OpenAI 兼容接口](openai-compatible-interface.md)，可用 OpenAI SDK 直连。 +- **通用文本向量（批处理）**：面向大规模离线场景，仅支持异步模式，通过文件 URL 输入，支持 `text-embedding-async-v2/v1`。单文件最多 100,000 行、200MB。 +- **[多模态](multimodal.md)向量**：将文本、图片、视频编码到同一语义空间，支持跨模态检索。模型包括 `qwen3-vl-embedding`、`qwen2.5-vl-embedding`、`multimodal-embedding-v1` 等。 -| 模型 | 向量维度 | 最大行数 | 单行最大 Token | 语种 | -|------|---------|---------|---------------|------| -| text-embedding-v4 | 2048/1536/1024(默认)/768/512/256/128/64 | 10 | 8,192 | 100+ 语种 | -| text-embedding-v3 | 1024(默认)/768/512/256/128/64 | 10 | 8,192 | 50+ 语种 | -| text-embedding-v2 | 1,536 | 25 | 2,048 | 10 语种 | -| text-embedding-v1 | 1,536 | 25 | 2,048 | 6 语种 | +### 知识库索引与检索 -请求参数： +知识库在导入文档时自动调用向量模型对文本切片进行向量化，构建语义索引。检索阶段，用户查询同样经过向量化后与索引向量做相似度匹配，完成语义召回。 -- `model`（必选）：模型名称。 -- `input`（必选）：字符串、字符串列表或文件。 -- `dimensions`（可选）：指定向量维度，仅 v3/v4 支持。 -- `encoding_format`（可选）：当前仅支持 `float`。 +- **文档搜索**：支持 `text-embedding-v4` 和 `text-embedding-v3`（512 维）。 +- **视觉理解（富文本文档）**：自动切换为 `qwen3-vl-embedding`，对 PDF、图片等进行视觉级理解和索引，保留版面信息。 +- **图片问答**：使用 `multimodal-embedding-v1`（1024 维）。 -调用方式支持 OpenAI 兼容接口（base_url：`https://dashscope.aliyuncs.com/compatible-mode/v1`）和 DashScope SDK。 +### 知识检索与问答 API -## 批处理接口 +知识检索接口（`POST /api/v1/indices/knowledge/search`）跨多个知识库执行联合语义检索，底层依赖向量化的索引与查询。知识问答接口则在此基础上自动完成规划、检索、生成全流程。 -大规模文本向量化可使用异步批处理接口（`text-embedding-async-v1/v2`），单次最多 10 万行文本。需在 HTTP 请求头加 `X-DashScope-Async: enable` 启用异步模式，提交后通过 `task_id` 轮询结果。同时处理中任务不超过 50 个，并发运行上限 3 个，超出部分排队等待。 +## 关键参数与配置 -## 与 Rerank 的关系 +### 维度（dimensions） -向量嵌入负责「召回」，Rerank 模型负责「精排」。在知识库检索流程中，先由向量 + 关键词混合检索召回 TopK 切片，再由 `qwen3-rerank`、`qwen3-vl-rerank` 等排序模型对候选切片二次排序，最终按相似度阈值与最大召回数量返回。两者配合提升 RAG 命中准确率。 +仅部分模型支持自定义输出维度： -## 注意事项 +| 模型 | 支持维度 | 默认 | +| --- | --- | --- | +| `qwen3.7-text-embedding` | 2560/2048/1536/1024/768/512/256/128/64 | — | +| `text-embedding-v4` | 2048/1536/1024/768/512/256/128/64 | 1024 | +| `text-embedding-v3` | 1024/768/512/256/128/64 | 1024 | +| `text-embedding-v1/v2` | 固定 1536（不可调） | 1536 | -- 知识库向量模型与维度在创建时选定，**维度不可更改**；Meta 抽取、多轮对话改写等索引配置在创建后也无法追加，需重建知识库。 -- 嵌入与 Rerank 是两类不同模型，不要混用接口：qwen3-rerank 走 `/compatible-api/v1/reranks`，qwen3-vl-rerank / gte-rerank-v2 走 `/api/v1/services/rerank/text-rerank/text-rerank`。 -- `gte-rerank` 系列将于 2026 年 5 月 30 日下线，建议迁移到 `qwen3-rerank`。 +> 知识库场景下 `text-embedding-v3/v4` 统一使用 512 维。 + +### 输入上限 + +| 模型 | 单条最大 Token | 列表/文件最大条数 | +| --- | --- | --- | +| `qwen3.7-text-embedding` | 128,000 | 20 | +| `text-embedding-v3/v4` | 8,192 | 10 | +| `text-embedding-v1/v2` | 2,048 | 25 | + +### text_type（批处理） + +批处理接口的 `parameters.text_type` 可选 `document`（默认）或 `query`。检索类非对称任务建议区分 query 与 document，以提升检索效果。 + +### encoding_format + +同步接口可选 `encoding_format`，当前仅支持 `float`。 + +## 使用建议 + +- **检索场景**优先选 `text-embedding-v4` 或 `qwen3.7-text-embedding`，维度更高、效果更好。 +- **跨模态场景**（图文检索）使用 `qwen3-vl-embedding` 或 `multimodal-embedding-v1`。 +- **大规模离线**用批处理接口，注意请求头须带 `X-DashScope-Async: enable`，否则会报错。 +- **知识库**中向量模型由知识库类型决定，创建时选定后不可更改，务必提前规划。 +- 向量检索召回后通常配合 rerank 模型（如 `qwen3-rerank`）做二次精排，进一步提升相关性。 ## 关联主题页 - [vector and sort](../api/vector-and-sort.md) - [knowledge base](../guides/knowledge-base.md) - [knowledge](../api/knowledge.md) -- [frameworks](../api/frameworks.md) -- [application use cases](../guides/application-use-cases.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/event-stream.md b/skills/bailian-docs-llm-wiki/wiki/concepts/event-stream.md new file mode 100644 index 00000000..deac152c --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/event-stream.md @@ -0,0 +1,85 @@ +# 事件流 + +事件流（Event Stream）是百炼平台中智能体与客户端之间传递原子消息的机制，涵盖会话状态变更、用户输入、工具调用回执、模型增量输出等。在 Managed Agents API 中通过 SSE（Server-Sent Events）单向推送，在 Realtime API 中通过 WebSocket 双向收发，两者共享"事件即会话内最小消息单元"的语义。 + +## 在百炼平台中的使用场景 + +### Managed Agents API 的 SSE 事件流 + +Managed Agents 会话（Session）内所有交互以 Event 记录存储。开发者通过 REST API 注入事件，并通过 SSE 长连接实时接收平台产生的事件： + +- **发送事件**：`POST /sessions/{session_id}/events` — 注入用户消息、工具审批结果、[函数调用](function-calling.md)返回值等。 +- **订阅事件流**：`GET /sessions/{session_id}/events/stream` — 建立 SSE 长连接，流式接收实时事件推送，包括状态机流转（`idle` → `running` → `idle` / `terminated`）、工具调用回执等。 +- **查询历史**：`GET /sessions/{session_id}/events` — 分页列出会话的事件历史。 + +Event 类型包括用户消息、工具调用回执、状态变更等，是会话生命周期内不可变的消息记录。 + +### Realtime API 的双向事件流 + +Realtime API 基于 WebSocket（以及 WebRTC、AOQ 协议），通过客户端事件与服务端事件的双向交互实现低延迟实时对话： + +**客户端事件**（Client → Server）： + +| 事件 | 用途 | +| --- | --- | +| `session.update` | 更新会话配置（模态、音色、VAD、工具等） | +| `input_audio_buffer.append` | 追加音频数据（Base64 编码） | +| `input_audio_buffer.commit` | 提交音频缓冲区（Manual 模式必需） | +| `input_audio_buffer.clear` | 清空音频缓冲区 | +| `input_image_buffer.append` | 追加图像数据 | +| `response.create` | 触发模型生成响应 | +| `response.cancel` | 取消正在进行的响应 | +| `conversation.item.create` | 回传工具调用结果 | + +**服务端事件**（Server → Client）： + +| 事件 | 含义 | +| --- | --- | +| `session.created` | 连接建立，返回默认配置 | +| `session.updated` | 会话配置更新成功 | +| `error` | 错误信息 | +| `input_audio_buffer.speech_started` | VAD 检测到语音开始 | +| `input_audio_buffer.speech_stopped` | VAD 检测到语音结束 | +| `input_audio_buffer.committed` | 音频缓冲区已提交 | +| `response.audio.delta` | 增量音频输出 | +| `response.audio_transcript.delta` | 增量文本转录 | +| `response.done` | 响应完成 | +| `response.function_call_arguments.done` | 工具调用参数完成 | +| `conversation.item.input_audio_transcription.delta` | 实时语音识别中间结果 | + +## 关键参数与配置 + +### Managed Agents API + +事件交互无额外配置，事件结构由发送时的 payload 决定。Session 状态机（`idle` → `running` → `idle` / `terminated`）驱动事件流转，归档后 Session 进入 `terminated` 终态不再产生新事件。删除 Session 会硬删除全部事件历史。 + +### Realtime API + +会话参数通过 `session.update` 客户端事件配置： + +| 参数 | 说明 | 默认值 | +| --- | --- | --- | +| `modalities` | 输出模态：`["text"]` 或 `["text","audio"]` | `["text","audio"]` | +| `turn_detection.type` | VAD 类型：`server_vad` / `semantic_vad` | `server_vad` | +| `turn_detection.threshold` | VAD 灵敏度，范围 [-1.0, 1.0] | 0.5 | +| `turn_detection.silence_duration_ms` | 静音触发时间（ms），范围 [200, 6000] | 800 | + +交互模式分两种：VAD 模式下服务端自动检测语音起止并触发响应，支持语音打断；Manual 模式下由客户端通过 `input_audio_buffer.commit` + `response.create` 手动控制对话节奏。 + +## 协议与鉴权 + +事件流依赖底层传输协议的建连鉴权： + +- **Managed Agents API**：REST 请求通过 `Authorization: Bearer ` 鉴权，SSE 流复用同一会话的鉴权上下文。 +- **Realtime API WebSocket**：握手时携带 API Key，建连成功后无需重复鉴权。 +- **Realtime API AOQ**：采用服务端代理鉴权，API Key 仅保留在 AppServer 侧，客户端使用网关返回的临时 Token 建连。 + +三种 Realtime 传输协议（WebSocket、WebRTC、AOQ）在弱网表现和端侧支持上差异显著：WebSocket 接入门槛最低适合服务端集成；WebRTC 浏览器原生支持内置回声消除；AOQ 基于 QUIC 抗弱网能力最强，提供移动端原生 SDK。 + +## 关联主题页 + +- [managed agents api](../api/managed-agents-api.md) +- [omni realtime api](../api/omni-realtime-api.md) +- [realtime api user guide](../guides/realtime-api-user-guide.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md b/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md index 93ca5304..19fc208e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/function-calling.md @@ -1,41 +1,57 @@ # 函数调用（Function Calling） -函数调用（Function Calling）是让大模型在推理过程中根据用户输入，自主判断并"调用"外部工具（自定义函数、内置能力或插件）以获取实时信息、执行精确计算或操作外部系统的能力。它是弥补大模型原生局限、构建 Agent 与复杂应用的核心机制。 +函数调用（Function Calling）是大模型在生成响应时，识别用户意图并主动调用预先定义的外部工具或 API 的能力。模型不直接执行函数，而是输出结构化的调用参数，由应用侧执行后将结果回传给模型，最终由模型生成综合了工具结果的最终回答。 ## 在百炼平台的使用场景 -百炼在多个层面暴露了 Function Calling 能力： +### Chat Completions / DashScope 接口 -- **文本 / 视觉生成模型**：所有 Qwen3 及以上通用文本与视觉理解模型均支持自定义工具调用。以 `qwen3.7-plus` 为代表的旗舰模型工具调用完整、上下文长（1M），适合 AI 编程与 Agent 开发；效果确认后可切到 `qwen3.6-flash` 降本，功能与上下文保持一致。 -- **实时多模态（Omni-Realtime API）**：基于 WebSocket 的实时音视频对话同样支持工具调用。客户端通过 `session.update` 事件在会话中声明工具，模型触发调用后由 `response.function_call_arguments.done` 服务端事件返回调用参数，客户端执行后再用 `conversation.item.create` 事件回传工具结果。 -- **应用构建（智能体 / 工作流）**：新版智能体（Agent 2.0）将知识库、MCP、插件等能力统一抽象为"工具"，由智能体自主规划调用顺序，形成"规划-执行-反思"链路。工作流应用则把工具作为固定节点按编排顺序执行，不由模型主动规划。 -- **插件（Plug-in）与 Assistant API**：插件是工具集合，本质也是工具调用。智能体应用 / Assistant API 中，模型依据工具名称与描述判断是否调用；无需调用时直接生成结果。 +在标准的文本生成调用中，可在请求体的 `tools` 字段声明可用函数（名称、描述、参数 JSON Schema）。模型判断需要调用工具时，会在响应中输出 `tool_calls` 字段，包含函数名和序列化参数；应用侧执行函数后，将结果以 `tool` 角色的消息追加到对话历史，再次调用模型获取最终答案。百炼 OpenAI 兼容 Chat Completions 接口与 DashScope 原生接口均支持此流程。 -## 内置工具与自定义工具 +### Anthropic 兼容 Messages 接口 -- **自定义工具（Function Calling）**：开发者自行定义工具名称、描述与参数结构，模型据此决定何时调用、如何填参，应用侧执行后将结果回填模型生成最终回复。 -- **内置工具**：联网搜索、代码解释器、网页抓取等由平台预置，无需复杂配置即可开启，是 Function Calling 的开箱即用形态。 +百炼的 Anthropic 兼容接口以 `tool_use` 的形式支持工具调用，字段命名遵循 Anthropic 约定（`input` 而非 `arguments`，`tool_result` 而非 `tool` 角色）。适合已基于 Anthropic 生态构建的应用直接接入。 + +### Qwen-Omni-Realtime 实时[多模态](multimodal.md)接口 + +实时对话场景下，工具通过 `session.update` 事件的 `tools` 字段注册，随会话配置下发。工具调用流程由服务端事件驱动： + +1. 服务端在响应完成时发送 `response.function_call_arguments.done`，包含 `call_id` 和完整参数。 +2. 客户端执行工具后，通过 `conversation.item.create`（`type: function_call_output`）回传结果，并附上对应的 `call_id`。 +3. VAD 模式下服务端自动生成最终响应；Manual 模式下需客户端再发一次 `response.create` 触发模型继续生成。 + +### 插件（Plug-in）与智能体应用 + +百炼控制台的插件体系是函数调用的高层封装。平台将官方插件（代码解释器、计算器、夸克搜索等）和自定义插件的工具描述自动注入到智能体应用或 Assistant API 中。模型根据用户输入和工具描述决定是否调用，平台内部完成执行后将结果合并回模型上下文，开发者无需手动管理调用循环。每个智能体应用最多可绑定 10 个工具。 + +### Managed Agents + +Managed Agents 将函数调用与服务端托管的沙箱环境结合，支持 `bash`、`read`、`write`、`glob`、`grep`、`download_file` 等内置工具以及 MCP 外部服务。工具调用过程以事件流（SSE）的形式持久化，支持多步骤长时任务的中断与续接，并可在控制台按事件类型（Tool / Tool_output）筛选查看执行历史。 ## 关键参数与配置 -- **模型选型**：推荐具备强工具调用能力的模型（如千问-Max / `qwen3.7-plus` 系列）。 -- **思考模式**：可通过 `enable_thinking` 开启（Responses API 用 `reasoning.effort` 控制），配合工具调用提升规划质量。 -- **ReAct 最大轮次**：智能体中取值 1-50，限制单次会话内工具调用的最大次数，防止无限循环。 -- **实时 API 工具配置**：通过 `session.update` 的 `tools` 字段声明可用工具；工具调用结果需经 `conversation.item.create` 回传。 -- **插件调用**：通过 Assistant API 调用时需正确传递工具 ID（如 `calculator`、`code_interpreter`），且每个智能体应用最多添加 10 个工具。 +| 参数 / 字段 | 适用接口 | 说明 | +|---|---|---| +| `tools` | Chat Completions / DashScope / Realtime | 声明可用函数列表，每项包含 `name`、`description` 和 `parameters`（JSON Schema） | +| `tool_choice` | Chat Completions / DashScope | 控制模型是否强制调用工具：`auto`（默认，模型自行决定）、`none`（禁止调用）、`required`（强制调用）、或指定具体函数名 | +| `tool_calls` | Chat Completions 响应 | 模型输出的调用指令，包含 `id`、`function.name`、`function.arguments`（JSON 字符串） | +| `call_id` | Realtime `response.function_call_arguments.done` | 用于将工具执行结果与调用请求对应，回传时必须携带 | +| `session.update.tools` | Realtime | 实时会话中动态注册或更新工具列表 | -## 开发建议 +## 注意事项 -- 优先用内置工具满足通用需求（搜索、计算、代码执行），减少自定义成本。 -- 自定义工具时，工具名称与描述要清晰准确，直接影响模型是否正确触发调用。 -- 需要精确、可控流程时用工作流把工具固化为节点；需要动态规划时用智能体让模型自主调用。 -- 旧版智能体的自定义插件有 5 秒超时限制，设计工具时注意执行时长。 +- 函数参数由模型以 JSON 字符串形式输出，应用侧在执行前应做参数校验，防止非法输入。 +- 模型不保证每次都调用工具，即使声明了 `tools`，若模型判断无需调用，则直接返回文本答案。 +- 在 Realtime 接口的 Manual 模式下，工具执行结果回传后必须主动发送 `response.create` 才能触发模型继续生成，VAD 模式则由服务端自动触发。 +- 通过插件或 Managed Agents 使用工具时，平台负责调用循环的管理，开发者只需关注工具的输入输出定义。 ## 关联主题页 - [omni realtime api](../api/omni-realtime-api.md) -- [model experience](../guides/model-experience.md) -- [llm application](../guides/llm-application.md) +- [qwen api reference](../api/qwen-api-reference.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) +- [more about models](../api/more-about-models.md) - [plug in](../guides/plug-in.md) +- [managed agents](../guides/managed-agents.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/long-term-memory.md b/skills/bailian-docs-llm-wiki/wiki/concepts/long-term-memory.md new file mode 100644 index 00000000..fe1989a3 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/long-term-memory.md @@ -0,0 +1,112 @@ +# 长期记忆 + +长期记忆是百炼平台提供的跨会话上下文持久化能力。它自动从对话中提取关键信息并存储，在后续对话中通过语义检索召回相关记忆并注入 Prompt，使智能体能够持续理解用户偏好与历史信息，解决大模型上下文窗口有限、对话结束后信息丢失的问题。 + +## 核心能力 + +长期记忆持久化两类内容，二者可独立或组合使用： + +- **记忆片段**：从对话中自动提取的关键事件和信息（如"用户每天上午9点需要喝水提醒"），适用于大多数长期记忆场景。支持自动去重、动态更新，也可通过 `custom_content` 直接写入指定内容。 +- **用户画像**：基于自定义画像模板从对话中提取的结构化属性（如年龄、职业、偏好等），适用于需要固定属性持久化存储的场景。属性字段应清晰具体，避免"姓名/名称/名字"等同义字段并存，且不应期望一次对话就提取全部信息。 + +## 接入方式 + +### API 直连 + +通过 HTTPS 调用 `https://dashscope.aliyuncs.com/api/v2/apps/memory/*` 系列接口。需在请求 Header 中添加 `Authorization: Bearer $DASHSCOPE_API_KEY`，`Content-Type` 设为 `application/json`。典型流程为：对话结束调用 `AddMemory` 写入记忆 → 调用 `SearchMemory` 语义检索 → 将结果注入 Prompt。 + +### OpenClaw 记忆插件 + +OpenClaw Agent 可通过插件实现零侵入的跨会话记忆。插件在 Gateway 内通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子与长期记忆 API 交互，所有读写均由百炼服务端完成提炼、[向量化](embedding.md)和语义检索。 + +```bash +# 安装 +openclaw plugins install @modelstudio/modelstudio-memory-for-openclaw + +# 验证 +openclaw plugins info modelstudio-memory-for-openclaw +openclaw modelstudio-memory stats +openclaw gateway restart +``` + +> **注意**：OpenClaw 记忆插件为统一配置，所有 Agent 共享同一记忆，暂不支持按 Agent 独立配置；不支持阿里云百炼 Coding Plan 的 API Key。 + +## 关键接口 + +| 接口名称 | HTTP 方法 | 路径 | 说明 | +| --- | --- | --- | --- | +| AddMemory | POST | `/add` | 添加记忆片段 | +| SearchMemory | POST | `/memory_nodes/search` | 语义搜索记忆片段 | +| ListMemory | GET | `/memory_nodes` | 列出记忆片段 | +| DeleteMemory | DELETE | `/memory_nodes/{memory_node_id}` | 删除记忆片段 | +| UpdateMemory | PATCH | `/memory_nodes/{memory_node_id}` | 更新记忆片段 | +| CreateProfileSchema | POST | `/profile_schemas` | 创建画像模板 | +| ListProfileSchemas | GET | `/profile_schemas` | 获取画像模板列表 | +| GetProfileSchema | GET | `/profile_schemas/{profile_schema_id}` | 获取画像模板详情 | +| UpdateProfileSchema | PATCH | `/profile_schemas/{profile_schema_id}` | 更新画像模板 | +| DeleteProfileSchema | DELETE | `/profile_schemas/{profile_schema_id}` | 删除画像模板 | +| GetUserProfile | GET | `/profile_schemas/{profile_schema_id}/user_profile` | 获取用户画像 | + +## AddMemory 请求参数 + +| 参数 | 类型 | 必填 | 说明 | +| --- | --- | --- | --- | +| `user_id` | string | 是 | 记忆实体 ID，用于标识归属对象，最大 64 个字符 | +| `messages` | array | 与 `custom_content` 二选一 | 对话消息列表，每个消息含 `role`（user/assistant）和 `content`，最多 50 条 | +| `custom_content` | string | 与 `messages` 二选一 | 自定义内容，最大 512 个字符，传入后忽略 `messages` | +| `profile_schema` | string | 否 | 画像模板 ID | +| `memory_library_id` | string | 否 | 记忆库 ID，最大 32 个字符，不传则使用默认记忆库 | +| `project_id` | string | 否 | 记忆片段规则 ID，不传则使用指定记忆库的默认规则 | +| `meta_data` | object | 否 | 用户自定义信息 | + +返回结果中 `memory_nodes` 数组包含每项的 `memory_node_id`、`content`、`event`（`ADD`/`UPDATE`/`DELETE`）及 `old_content`（仅 `UPDATE` 时有效）。 + +## 使用示例 + +```bash +# 写入记忆（从对话自动提取） +curl -X POST https://dashscope.aliyuncs.com/api/v2/apps/memory/add \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --data '{ + "messages": [ + {"role": "user", "content": "每天上午9点提醒我喝水"}, + {"role": "assistant", "content": "好的，已记录"} + ], + "user_id": "user_001" + }' + +# 语义检索记忆 +curl -X POST https://dashscope.aliyuncs.com/api/v2/apps/memory/memory_nodes/search \ + --header "Authorization: Bearer $DASHSCOPE_API_KEY" \ + --header "Content-Type: application/json" \ + --data '{ + "user_id": "user_001", + "messages": [{"role": "user", "content": "我需要做什么？"}], + "top_k": 5 + }' +``` + +## 使用限制 + +| 接口 | 限流（阿里云账号级别） | +| --- | --- | +| 全部接口 | 总计不超过 3000 QPM | +| 记忆片段 add 接口 | 120 QPM | +| 记忆片段 search 接口 | 300 QPM | + +## 记忆有效期 + +记忆有效期在不同入口存在差异：通过 API 直写且不指定 `project_id` 时使用默认规则，API 文档指出"生成的记忆片段与用户画像暂无失效日期"；而控制台记忆库的默认规则预置了"默认有效期 180 天"，并支持按规则配置 7/30/180 天或永不过期。以控制台记忆规则配置为准。 + +## 与应用调用的关系 + +长期记忆通常与应用调用配合使用。在通过 Responses API 或 DashScope API 调用智能体应用时，可在对话前通过 `SearchMemory` 检索相关记忆注入 Prompt，在对话后通过 `AddMemory` 将新信息写入记忆库，从而实现多轮对话间的上下文连续性。使用 OpenClaw 插件时，这一过程在 Gateway 内自动完成，无需在应用代码中显式调用记忆 API。 + +## 关联主题页 + +- [long term memory new](../api/long-term-memory-new.md) +- [memory library overview](../guides/memory-library-overview.md) +- [application call](../api/application-call.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/migration.md b/skills/bailian-docs-llm-wiki/wiki/concepts/migration.md new file mode 100644 index 00000000..31c46434 --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/migration.md @@ -0,0 +1,93 @@ +# 迁移指南 + +迁移指南是将已有应用（主要基于 OpenAI 或 Anthropic 生态构建）迁移到阿里云百炼平台模型服务的操作总览。核心目标是尽可能复用现有代码与客户端库，仅替换凭证、服务地址和模型名称即可完成接入。 + +## 迁移三要素 + +无论使用哪种兼容协议，迁移的关键是配置以下三项： + +- **API Key**：替换为百炼 API Key。各地域的 API Key 不同，切换地域时需同步更换。建议通过环境变量（如 `DASHSCOPE_API_KEY`）注入，避免硬编码。 +- **Base URL**：根据所选兼容协议和地域，替换为百炼对应的服务地址。 +- **Model**：替换为百炼支持的模型名称（如 `qwen-plus`、`qwen3-max` 等）。 + +对于已有 OpenAI 应用的最简迁移路径，通常只需替换这三项即可，无需改动业务逻辑。 + +## 接口选择 + +百炼提供四类文本生成接口，迁移时应根据现有技术栈和功能需求选择： + +| 现有技术栈 | 推荐接口 | 迁移成本 | +| --- | --- | --- | +| OpenAI SDK（Chat Completions） | OpenAI 兼容 Chat Completions | 最低，直接复用客户端库 | +| OpenAI SDK（需要内置工具/自动上下文） | OpenAI 兼容 Responses | 中，需适配新接口字段 | +| Anthropic SDK | Anthropic 兼容 Messages | 最低，直接复用客户端库 | +| 无特定生态绑定，需最全功能 | DashScope 原生接口 | 较高，需学习原生 SDK | + +迁移时需注意：不同接口的参数集合和功能覆盖存在差异。DashScope 参数最全，OpenAI/Anthropic 兼容接口以对应生态的字段约定为准。跨接口迁移时需核对参数映射，确认目标接口是否支持原有功能（如流式输出、function call、多模态等）。 + +## Base URL 配置 + +### OpenAI 兼容协议 + +| 地域 | Base URL | +| --- | --- | +| 华北2（北京） | `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| 新加坡 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 日本（东京） | `https://{WorkspaceId}.ap-northeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` | +| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | + +其中 `{WorkspaceId}` 为业务空间 ID，可在百炼控制台的业务空间详情页查看。 + +### Anthropic 兼容协议 + +Anthropic 兼容协议的 Base URL 在上述地址基础上将 `/compatible-mode/v1` 替换为 `/apps/anthropic`。 + +## 计费方案匹配 + +百炼提供四种计费方案：Token Plan 个人版、Token Plan 团队版、Coding Plan、按量计费。迁移时需特别注意： + +- 四种方案的 API Key 互不通用，Base URL 也各不相同。 +- 配置时必须确保 API Key、Base URL 和计费方案三者匹配，否则会返回 401 认证错误。 +- 例如 Token Plan 个人版 OpenAI 兼容地址为 `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`，与按量计费地址不同。 + +## 域名与路径迁移 + +### 旧域名迁移 + +百炼为北京、新加坡地域推出了业务空间专属域名，性能与稳定性更佳，建议从旧域名迁移： + +- 北京：`https://dashscope.aliyuncs.com` → `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com` +- 新加坡：`https://dashscope-intl.aliyuncs.com` → `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com` + +现有旧域名仍可正常使用，但建议尽快迁移。 + +### 旧版路径迁移 + +Responses 与 Conversations 接口的旧版路径 `/api/v2/apps/protocols/compatible-mode/v1/...` 即将停止维护，请迁移至新版 `/compatible-mode/v1/...` 路径。 + +## 客户端工具迁移 + +百炼支持通过多种聊天客户端和开发工具接入模型服务（如 Claude Code、Codex、Cursor、Cline、Cherry Studio 等）。这类工具的迁移步骤通常为： + +1. 选择计费方案并获取对应 API Key。 +2. 根据工具支持的协议（OpenAI 兼容或 Anthropic 兼容）选择 Base URL。 +3. 在工具的配置文件或设置界面中填入 API Key、Base URL 和模型名称。 + +各工具的具体配置文件路径和字段不同，需参照对应文档。 + +## 注意事项 + +- **地域限制**：部分模型仅支持特定地域（如 `qwen-deep-research` 仅支持华北2-北京），迁移前需确认目标模型的地域可用性。 +- **协议差异**：Qwen-Audio 不支持 OpenAI 兼容协议，仅支持 DashScope 协议；`qwen-deep-research` 仅支持 Python DashScope SDK，暂不支持 OpenAI 兼容接口。 +- **三方模型**：三方直供模型（如 DeepSeek、Kimi、GLM 等）仅在中国站的中国内地地域可用，调用前需在控制台开通对应服务。 +- **功能差异**：若原应用依赖联网搜索、代码解释器等内置工具，需使用 Responses 接口而非普通的 Chat Completions。 + +## 关联主题页 + +- [qwen api reference](../api/qwen-api-reference.md) +- [toolkits and frameworks](../api/toolkits-and-frameworks.md) +- [more models](../api/more-models.md) +- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/model-lifecycle.md b/skills/bailian-docs-llm-wiki/wiki/concepts/model-lifecycle.md new file mode 100644 index 00000000..0fee1b1b --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/model-lifecycle.md @@ -0,0 +1,93 @@ +# 模型生命周期 + +模型生命周期指一个大模型在百炼平台中从数据准备、调优训练、压缩、部署上线到运行监控的完整链路。开发者可以通过控制台或 API 完成全流程操作，并可根据监控反馈持续迭代优化。 + +## 生命周期阶段 + +百炼平台的模型生产链路包含以下阶段，部分阶段可选： + +``` +数据准备 → 模型调优 → 模型压缩（可选）→ 模型部署 → 模型监控 → 迭代优化 +``` + +### 1. 数据准备 + +在调优前创建训练集和评测集，并可通过数据清洗与增强提升数据质量。训练集用于模型调优，评测集用于评估模型泛化能力。 + +- 训练集格式：SFT 用 ChatML 格式 `{"messages":[...]}`；CPT 用纯文本 `{"text":"..."}`；DPO 用 ChatML + `chosen`/`rejected` 字段。 +- 最低数据量要求：CPT 需 1000 万 Token，SFT 需上千条，DPO 需上百组。 +- 评测集为 Excel 格式，每行包含 Prompt 和 Completion。 + +### 2. 模型调优 + +通过 CPT、SFT、DPO 三种递进式方法定制模型，推荐顺序为 `CPT（可选）→ SFT → DPO（可选）`。训练模式分为全参训练和高效训练（LoRA）。 + +| 方法 | 目标 | 数据量要求 | +| --- | --- | --- | +| CPT（持续预训练） | 注入领域知识 | 1000 万+ Token | +| SFT（监督微调） | 学会遵循指令 | 1000+ 条 | +| DPO（直接偏好优化） | 对齐人类偏好 | 100+ 组 | + +文本生成模型中全参训练与高效训练费用相同，推荐优先选择全参训练。图像生成、视频生成和语音合成模型目前仅支持高效训练。 + +### 3. 模型压缩（可选） + +将全精度微调模型量化为低精度版本，降低部署规格和推理成本。压缩位于调优与部署之间，操作不可逆——压缩后的模型不支持继续微调或二次压缩。 + +- 量化模板中 MU 编号越大，部署规格越小、成本越低，但精度损失可能越大。 +- 建议在免费期内对同一微调模型尝试多个量化模板，分别部署后验证效果再正式上线。 + +### 4. 模型部署 + +将预置模型或调优后的模型部署为资源专享的推理服务。部署计费方式在服务创建后无法更改，切换需先下线已有部署。 + +| 计费方式 | 适用场景 | +| --- | --- | +| 预置吞吐（PTU） | 高负载生产环境，需稳定吞吐保障 | +| 模型单元 | 自定义性能指标，资源独占，支持 PD 分离 | +| 按 Token 用量 | 调优后模型效果验证，不使用不计费 | + +PTU 支持长输入（最高 256K token）和前缀缓存，通过阶梯容量系数和缓存折扣管理额度消耗。外部 LoRA 模型可从 OSS 导入后部署。 + +### 5. 模型监控 + +部署后通过用量统计和运行监控掌握模型运行状态，并设置告警发现静默失败。 + +- 用量统计：按业务空间维度统计 Token 消耗，延迟约 1 小时。 +- 运行监控：普通监控为小时级，高级监控（Prometheus）为分钟级。 +- 推理日志：记录每次调用的输入、输出及耗时，用于故障排查与内容审计。 +- 告警：支持 Token 消耗阈值告警，通知方式包括短信、邮件、电话、钉钉群机器人等。 + +### 6. 迭代优化 + +根据监控指标（如失败率、调用时长、Token 消耗）和评测结果，决定是否回到数据准备阶段收集更多数据进行重新调优。如果调优后评测结果不佳，最简单的改进方法是收集更多训练数据。 + +## API 全流程 + +通过 HTTP API 可完成模型生产全流程自动化： + +1. 上传数据集（`POST /api/v1/files`） +2. 创建调优任务（`POST /api/v1/fine-tunes`） +3. 查询任务状态（`GET /api/v1/fine-tunes/{id}`） +4. 部署模型（`POST /api/v1/deployments`） +5. 调用部署后的模型端点进行推理 + +API 部署支持三种 `plan` 参数：`ptu`（预置吞吐）、`mu`（模型单元）、`lora`（按 Token 计费）。 + +## 使用限制 + +- 模型调优、压缩、部署功能仅在华北2（北京）地域可用。 +- 模型压缩仅支持百炼平台微调产出的自定义模型，不支持基础模型或第三方模型。 +- OSS 导入仅支持 LoRA 模型，不支持全参微调模型。 +- 按 Token 计费的模型一个月内不使用将自动释放。 + +## 关联主题页 + +- [model data overview](../guides/model-data-overview.md) +- [fine tuning](../guides/fine-tuning.md) +- [model compression](../guides/model-compression.md) +- [model deployment 1](../guides/model-deployment-1.md) +- [model monitoring](../guides/model-monitoring.md) +- [model production](../api/model-production.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md b/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md index d238b34c..2537fbc3 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/multimodal.md @@ -1,45 +1,74 @@ -# 多模态能力 +# 多模态 -多模态能力指模型同时理解或生成文本、图像、音频、视频、3D 等多种模态内容的能力。在百炼平台上，它既体现为「输入多模态」（如图文混合输入、音视频实时对话），也体现为「输出多模态」（如文生图、文生视频、语音合成、3D 资产生成）。 +多模态（Multimodal）指模型能够同时理解和处理多种类型的输入（如文本、图像、视频、音频）并产生相应输出的能力。在百炼平台上，多模态覆盖从静态图像理解、图像生成与编辑，到视频生成、实时音视频对话、3D 模型生成等多个维度。 -## 在百炼平台的主要场景 +## 在百炼平台的使用场景 -百炼按模态与任务把能力拆分到多个方向，开发者可按需组合： +### 视觉理解（图像 + 视频输入） -- **实时音视频对话**：Qwen-Omni-Realtime 系列通过 WebSocket 提供低延迟的语音输入/输出、图像输入、语音活动检测（VAD）、工具调用与联网搜索，适用于智能客服、语音助手等实时交互场景。 -- **图像生成与编辑**：覆盖文生图、图生图、局部重绘、扩图、背景生成、虚拟模特、AI 试衣、创意海报等，涉及千问 Qwen-Image、万相 Wan/Wanx、Z-Image、可灵 Kling、Vidu 等模型家族。 -- **视频生成与编辑**：聚合万相 Wan、HappyHorse、PixVerse、Vidu、可灵 Kling 及人像驱动模型，支持文生视频、图生视频（首帧/首尾帧/续写）、参考生视频、视频编辑与数字人。 -- **3D 资产生成**：基于 Tripo 模型支持文生 3D、单图生 3D、多图生 3D，产出带 PBR 材质或无贴图的 GLB 模型。 -- **视觉理解与 OCR**：以 Qwen 旗舰多模态模型理解图像与长视频（最长约 2 小时），并提供专优的 OCR/文档提取能力。 -- **语音合成 / 识别 / 语音转语音**：TTS、ASR、声音复刻/设计、S2S 实时对话与同传翻译，以及音乐生成。 +Qwen 视觉系列模型（`qwen3.7-plus`、`qwen3.6-flash`、`qwen3.5-ocr` 等）接受图片和视频作为输入，可完成图像分析、OCR 文档提取、视频内容理解等任务。调用接口与文本对话相同（`/multimodal-generation/generation`），通过 `input.messages` 中的内容块（`text` / `image`）组合传入多模态内容。 -## 输入与协议 +图片 Token 数量按分辨率计算：`h × w / (32 × 32) + 2`，高分辨率图片会消耗更多 Token，需注意上下文限制。 -- **实时流式（WebSocket）**：延迟最低，适合实时交互。Omni-Realtime 通过 `input_audio_buffer.append`（PCM 音频，Base64）、`input_image_buffer.append`（JPG/JPEG，Base64）等事件送入多模态素材，`session.update` 的 `modalities` 控制输出模态（`["text"]` 或 `["text","audio"]`）。 -- **HTTP 同步**：新一代图像模型（如 `wan2.6-image`、`wan2.7-image`、`z-image-turbo`）支持一次请求返回结果，路径为 `.../aigc/multimodal-generation/generation`，请求体用 `messages` 结构，`content` 内混排 `text` 与 `image`。 -- **HTTP 异步**：图像、视频、3D 生成等耗时任务（约 1-5 分钟）统一采用「创建任务拿 `task_id` → 轮询查询」两步流程，创建时必须携带请求头 `X-DashScope-Async: enable`，否则报错 `current user api does not support synchronous calls`。`task_id` 有效期 24 小时，切勿重复创建，轮询即可。 +### 图像生成与编辑 -## 关键参数与配置 +平台提供文生图（Text-to-Image）和图像编辑两类能力，底层模型包括千问图像（Qwen-Image）、万相（Wan）、Z-Image、可灵（Kling）、Vidu 等系列。 -不同模态的请求体大多由 `model`、`input`、`parameters` 三部分组成： +- **同步调用**（千问图像、万相2.6+、Z-Image）：单次请求直接返回结果。 +- **[异步调用](async-invocation.md)**（可灵、Vidu、万相旧版等）：先提交任务获取 `task_id`，再轮询查询结果。 -- **实时对话**（`session.update`）：`modalities`、`voice`（音色，因模型而异）、`input_audio_format` / `output_audio_format`（仅 `pcm`，输入 16kHz、输出 24kHz）、`turn_detection.type`（`server_vad` / `semantic_vad`）及 `threshold`、`silence_duration_ms` 等。 -- **图像生成**：`input.prompt` / `negative_prompt`（或新协议 `messages`），图像编辑用 `images` / `image_url` / `mask_image_url`；`parameters` 含 `size`（如 `1024*1024`、`1K`/`2K`/`4K`）、`n`、`aspect_ratio`、`watermark`、`prompt_extend` 等。 -- **视频生成**：`input.prompt` 描述画面镜头，`input.media` 承载 `first_frame` / `last_frame` / `reference_image` / `video` 等素材；`parameters` 含 `resolution`（`480P`/`720P`/`1080P`）、`duration`、`ratio` 等。 -- **3D 生成**：`prompt`、`image`、`images` 三者互斥；`parameters` 含 `texture_quality`、`geometry_quality`、`pbr`、`texture`。 +请求体采用 `model` + `input.messages`（含 `text`/`image` 内容块）+ `parameters` 结构。 + +### 视频生成 + +所有视频生成接口均为**[异步调用](async-invocation.md)**，支持文生视频、图生视频（首帧/首尾帧/参考图）、视频编辑、人像动画等多种任务。主要模型系列： + +- **万相（Wan）**：`wan2.7-t2v`、`wan2.7-i2v`、`wan2.7-r2v` 等，支持最高 1080P / 15 秒。 +- **HappyHorse**：覆盖北京、新加坡、弗吉尼亚、法兰克福四个地域。 +- **爱诗（PixVerse）**、**Vidu**、**可灵（Kling）**：仅华北2（北京）地域。 + +### 实时多模态对话（Realtime） + +Qwen-Omni-Realtime 系列（`qwen3.5-omni-plus-realtime` 等）通过 WebSocket / WebRTC / AOQ（AI over QUIC）协议实现低延迟实时多模态交互，支持同时接收语音和图像输入。 + +- **WebSocket**：适合服务端集成和快速原型。 +- **WebRTC / AOQ**：内置回声消除和降噪，适合移动端和浏览器端，AOQ 还提供极致弱网对抗。 + +实时会话通过 `session.update` 事件配置多模态参数（`modalities`、`voice`、VAD 类型等）。 + +### 3D 模型生成 + +Tripo 系列模型支持文生3D、单图生3D、多图生3D，输出 GLB 格式带贴图三维模型。采用异步任务模式：提交请求获取 `task_id`，每隔约 15 秒轮询状态，任务有效期 24 小时。**仅限华北2（北京）地域**。 + +## 文件上传与多模态输入 + +对于需要文件输入的多模态场景（文档解析、图像理解、批量任务等），需先通过文件管理 API 将文件上传至平台，获取文件标识后在模型调用中引用。典型流程：**上传 → 获取文件标识 → 调用模型 → 清理文件**。 + +## 关键参数 + +| 参数 / 字段 | 说明 | 适用场景 | +| --- | --- | --- | +| `input.messages[].content` | 内容块数组，每项含 `type`（`text`/`image`/`video`）及对应数据 | 视觉理解、图像生成 | +| `modalities` | `["text"]` 或 `["text","audio"]`，控制输出模态 | Realtime API | +| `session.turn_detection.type` | `server_vad`（自动检测语音）或 `null`（手动提交） | Realtime API | +| `X-DashScope-Async: enable` | [异步调用](async-invocation.md)必须携带的请求头 | 视频生成、3D 生成 | +| `task_id` | 异步任务标识，有效期 24 小时，需妥善保存 | 视频生成、3D 生成 | +| `texture_quality` | `standard`（默认）/ `detailed`（高清贴图），控制 3D 贴图质量 | 3D 生成 | ## 注意事项 -- **地域隔离**：模型、Endpoint URL 与 API Key 必须属于同一地域，华北2（北京）、新加坡、美国（弗吉尼亚）等地域各自独立、不可混用；部分能力（如 Tripo 3D、Fun-Music）仅在特定地域可用。推荐迁移到业务空间专属域名（如 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com`）以获得更好性能与稳定性。 -- **产物有效期**：图像结果 URL 有效期 24 小时，3D 模型下载链接仅 2 小时，务必及时下载。 -- **计费**：图像等仅对成功生成的输出计费，输入与失败任务不计费；具体计费、上下文窗口等实时参数以模型广场为准。 +- 图像和视频的分辨率、时长、数量上限因模型而异，调用前需确认目标模型的规格限制。 +- 视频生成、3D 生成等异步接口的结果 URL 有效期通常较短（如 2 小时），需及时下载。 +- 部分模型（可灵、Vidu、PixVerse、Tripo 3D）仅支持华北2（北京）地域，需使用对应地域的 API Key。 ## 关联主题页 -- [omni realtime api](../api/omni-realtime-api.md) +- [file management api](../api/file-management-api.md) +- [model experience](../guides/model-experience.md) - [image generation](../api/image-generation.md) - [video generation api](../api/video-generation-api.md) +- [omni realtime api](../api/omni-realtime-api.md) +- [realtime api user guide](../guides/realtime-api-user-guide.md) - [3d generation](../api/3d-generation.md) -- [model experience](../guides/model-experience.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md b/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md index a4fbcd2b..fdb1d4a6 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/openai-compatible-interface.md @@ -1,44 +1,37 @@ # OpenAI 兼容接口 -OpenAI 兼容接口是百炼平台提供的一套遵循 OpenAI API 规范的服务入口，让已有 OpenAI 应用只需替换 `api_key`、`base_url` 和 `model` 三项即可迁移到百炼，无需改动业务逻辑，是接入成本最低的调用方式。 +OpenAI 兼容接口是阿里云百炼平台提供的一套与 OpenAI API 规范兼容的接入方式，开发者只需替换 `api_key`、`base_url` 和模型名称，即可将已有的 OpenAI 应用迁移至百炼平台，或将百炼模型接入任何支持 OpenAI 协议的第三方工具和框架。 -## 在百炼平台的使用场景 +## 接口类型 -OpenAI 兼容接口贯穿百炼的多类使用场景： +百炼提供两种主要的 OpenAI 兼容接口： -- **文本生成模型调用**：作为四类接口（OpenAI 兼容 Chat Completions、OpenAI 兼容 Responses、Anthropic 兼容 Messages、DashScope 原生）中迁移成本最低的一类，适合已基于 OpenAI SDK 构建的应用平滑迁移。其中 Chat Completions 为最常用入口，支持非流式、流式与工具调用（function call）；Responses 为其演进版本，内置联网搜索、代码解释器、网页抓取等工具，并通过 `previous_response_id` 自动管理多轮上下文。 -- **接入第三方客户端与开发工具**：Cherry Studio、Chatbox、Cursor、Cline、Dify 等聊天客户端和编程工具，统一通过「Base URL + API Key + 模型 ID」以 OpenAI 兼容协议接入百炼网关。 -- **专用模型调用**：`tongyi-intent-detect-v3`（意图理解）、`qwen-mt-plus`（翻译）、`qwen3.5-ocr`（OCR）、`gui-plus`（界面交互）等专用模型多数支持 OpenAI 兼容接口调用（注意 `qwen-deep-research` 仅支持 Python DashScope SDK，Qwen-Audio 仅支持 DashScope 协议）。 -- **智能体与工作流应用调用**：应用可通过 OpenAI 兼容的 Responses API 调用，支持同步/异步、多轮对话与[流式输出](streaming-output.md)。 +- **Chat Completions**：兼容 OpenAI `/chat/completions` 端点，是迁移现有 OpenAI 应用的最低成本方式，支持非流式、流式（`stream=True`）及 Function Call 调用。 +- **Responses**：Chat Completions 的演进版本，内置联网搜索、网页抓取、代码解释器等工具，通过 `previous_response_id` 自动管理对话历史，无需手动维护消息列表。端点为 `POST {base_url}/responses`。 -## 关键参数与配置 +## Base URL 配置 -迁移与调用的核心是配置以下三要素： +所有兼容接口路径统一为 `/compatible-mode/v1`，按地域和计费方案区分域名： -- **`api_key`**：使用百炼 API Key。各地域、各计费方案的 API Key **相互独立、不能混用**，建议配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄露。若 Base URL 与 API Key 不配套会返回 401。 -- **`base_url`**：OpenAI SDK 调用统一以 `/compatible-mode/v1`（部分方案为 `/v1`）结尾；HTTP 调用需在其后追加具体资源路径（如 `/chat/completions`、`/responses`、`/embeddings`、`/files`）。各地域 SDK Base URL 示例： - - 华北2（北京）：`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` - - 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` - - 日本（东京）：`https://{WorkspaceId}.ap-northeast-1.maas.aliyuncs.com/compatible-mode/v1` - - 德国（法兰克福）：`https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` - - 美国（弗吉尼亚）：`https://dashscope-us.aliyuncs.com/compatible-mode/v1` +| 场景 | Base URL | +|------|----------| +| 华北2（北京）按量计费（业务空间专属） | `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| 新加坡 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | +| 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` | +| Token Plan 个人版/团队版 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| Coding Plan | `https://coding.dashscope.aliyuncs.com/v1` | +| 华北2（北京）旧版 DashScope 域名 | `https://dashscope.aliyuncs.com/compatible-mode/v1` | - 其中 `{WorkspaceId}` 为业务空间 ID，可在控制台业务空间详情页查看。北京、新加坡地域推荐使用业务空间专属域名以获得更好的性能与稳定性。 -- **`model`**：替换为百炼支持的模型名称（如 `qwen-plus`、`qwen3-max` 等）。 +`{WorkspaceId}` 为业务空间 ID，可在百炼控制台的**业务空间详情**页面查看。建议生产环境优先使用业务空间专属域名（支持 3600s 超时、99.9% SLA）。 -常用请求参数： +## 快速接入示例 -- `messages`（array，必选）：对话消息列表，每条含 `role`（system/user/assistant）与 `content`。 -- `stream`（bool，可选）：是否[流式输出](streaming-output.md)；流式统计 Token 需配合 `stream_options={"include_usage": True}`。 -- 部分专用模型的特有参数（如 Qwen-MT 的 `translation_options`、Qwen-OCR 的 `min_pixels`/`max_pixels`）在 OpenAI SDK 中通过 `extra_body` 传入。 - -## 调用示例 - -以北京地域业务空间专属域名为例（Python）： +### Python（Chat Completions） ```python -import os from openai import OpenAI +import os client = OpenAI( api_key=os.getenv("DASHSCOPE_API_KEY"), @@ -46,30 +39,82 @@ client = OpenAI( ) completion = client.chat.completions.create( model="qwen-plus", - messages=[ - {"role": "system", "content": "You are a helpful assistant."}, - {"role": "user", "content": "你是谁？"}, - ], + messages=[{"role": "user", "content": "你好"}] ) print(completion.choices[0].message.content) ``` -OpenAI Python SDK 要求 Python ≥ 3.8。 +安装 SDK：`pip install -U openai`（Python 3.8+）；Node.js：`npm install --save openai`；Go：`go get 'github.com/openai/openai-go/v3'`。 + +### Embedding（向量化） + +```python +resp = client.embeddings.create( + model="text-embedding-v4", + input="示例文本", + dimensions=1024, + encoding_format="float" +) +``` + +端点：`POST {base_url}/embeddings`，支持 `text-embedding-v4`、`text-embedding-v3` 等模型。 + +## 各场景使用说明 + +### 文本生成 + +Chat Completions 接口支持 Qwen 系列、DeepSeek、Kimi、GLM、MiniMax 等主流模型。三方直供模型仅在中国内地地域可用；Qwen-Audio 不支持 OpenAI 兼容协议，只能通过 DashScope 协议调用。 + +### 代码补全（FIM） + +使用 Completions 接口（`POST {base_url}/completions`），当前仅支持 `qwen-coder-turbo` 模型，且仅限华北2（北京）地域。提示词需使用 FIM 格式： + +``` +<|fim_prefix|>{前缀代码}<|fim_suffix|>{后缀代码}<|fim_middle|> +``` + +### 应用调用（Responses API） + +调用百炼智能体/工作流应用时，Responses API 端点格式为： + +``` +POST https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses +``` + +请求时通过 `input` 字段传递消息（字符串或消息数组），设置 `background=true` 可开启[异步调用](async-invocation.md)模式。 + +### 专用模型 + +- **翻译（qwen-mt-plus）**：通过 OpenAI 兼容接口调用，在 `extra_body` 中传入 `translation_options`（包含 `source_lang`、`target_lang`、`terms`、`tm_list`、`domain_prompt` 等字段）。 +- **OCR（qwen3.5-ocr）**：通过 OpenAI 兼容接口调用，`messages.content` 为[多模态](multimodal.md)数组，可传入图像 URL 和自定义提示词。 +- **GUI 交互（gui-plus）**：通过 OpenAI 兼容接口调用，在 `extra_body` 中传入 `vl_high_resolution_images`，并在 system [prompt](../guides/prompt.md) 中定义 `computer_use` 工具。 +- **深度研究（qwen-deep-research）**：**不支持** OpenAI 兼容接口，仅支持 Python [DashScope SDK](dashscope-sdk.md)。 + +## 与 DashScope 接口的选择 + +| 需求 | 推荐接口 | +|------|---------| +| 从 OpenAI 迁移或接入第三方工具 | OpenAI 兼容 Chat Completions | +| 需要内置工具或自动对话历史管理 | OpenAI 兼容 Responses | +| 需要平台全部功能和参数 | DashScope 原生接口 | +| 需要使用临时 URL 传入文件 | 仅 [DashScope SDK](dashscope-sdk.md) 支持，不可用 OpenAI SDK | ## 注意事项 -- **协议路径区分**：OpenAI 协议 Base URL 以 `/compatible-mode/v1`（或 `/v1`）结尾，Anthropic 协议以 `/apps/anthropic` 结尾；部分工具还要求在 Anthropic 端点后追加 `/v1`，以各工具原文为准。 -- **接口能力差异**：DashScope 原生接口参数最全；若依赖联网搜索、代码解释器等内置工具，需使用 Responses 而非普通 Chat Completions。跨接口迁移时需核对参数映射。 -- **旧路径迁移**：Responses、Conversations 接口的旧版路径 `/api/v2/apps/protocols/compatible-mode/v1/...` 即将停止维护，请迁移至新版 `/compatible-mode/v1/...`。 -- **地域约束**：Base URL、API Key 和模型列表均不能跨地域混用；限流按主账号维度合并计算。 +- API Key 需与 Base URL 来自同一计费方案和地域，不可混用。 +- Token Plan / Coding Plan 方案**仅限** AI 编程工具使用，不支持工作流平台（如 n8n、Coze）或自定义应用后端代码。 +- Responses API 旧版路径（`/api/v2/apps/protocols/compatible-mode/v1/responses`）即将停止维护，请迁移至 `/compatible-mode/v1/responses`。 +- 不同接口的参数集合存在差异，从 DashScope 迁移至 OpenAI 兼容接口时需核对参数映射关系。 ## 关联主题页 - [qwen api reference](../api/qwen-api-reference.md) - [toolkits and frameworks](../api/toolkits-and-frameworks.md) -- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) +- [preparations](../api/preparations.md) - [get started with models](../guides/get-started-with-models.md) +- [use chat client or development tool](../guides/use-chat-client-or-development-tool.md) - [more models](../api/more-models.md) - [application call](../api/application-call.md) +- [vector and sort](../api/vector-and-sort.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md b/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md index 6241b301..13bea8d8 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/prompt-engineering.md @@ -1,74 +1,77 @@ -# 提示词工程 +# Prompt工程 -提示词工程（Prompt Engineering）是通过设计、组织与优化 Prompt 来引导大模型生成符合预期结果的方法论。在百炼平台中，它贯穿智能体配置、[工作流](workflow.md)节点、模型直调与多模态生成等几乎所有 LLM 场景，并提供模板化管理、自动优化、样例库与反馈优化等成熟能力。 +Prompt工程是指在百炼平台中通过结构化、模板化、自动优化等手段系统性地设计和改进提示词（Prompt），以提升大模型输出的准确性、稳定性和可控性。百炼围绕 Prompt 的全生命周期提供了一整套工具链，涵盖模板管理、自动优化、反馈迭代、样例注入以及多模态结构化指南。 -## 在百炼中的使用方式 +## 在百炼平台中的使用场景 -### 1. 直接编写 System Prompt +### Prompt 模板管理 -最基础的形态是在智能体应用的「系统提示词」中定义角色、行为指令与能力边界，支持通过 `/` 引用自定义变量。[工作流](workflow.md)应用的大模型节点同样通过「提示词 + 用户提示词」驱动推理。Prompt 越清晰、具体、无歧义，模型表现越稳定。 +Prompt 模板将提示词的固定结构与动态变量分离，实现可复用的统一管理。模板分为**预置模板**和**自定义模板**两类： -### 2. Prompt 模板（结构与变量分离） +- **预置模板**：由平台提供，涵盖营销文案、摘要抽取、文案润色、商品评论等通用场景，已优化且效果稳定，不支持直接修改，但可复制后编辑。 +- **自定义模板**：支持控制台创建（"自定义创建"或"基于 Prompt 工程创建"）和 API 创建（`CreatePromptTemplate` 接口）。自定义模板支持文本生成和图片生成两种类型。 -将固定结构与动态变量分离，统一管理、复用，是团队协作与版本一致性保障的推荐做法。入口位于控制台「应用开发 > 组件管理 > 提示词」。 +模板使用方式包括：控制台中点击"创建应用"将模板内容自动填充到智能体应用的提示词编辑框；或通过 `GetPromptTemplate` 接口拉取模板内容，将业务数据填入变量后生成最终 Prompt 发送给目标模型。提示词最大支持 6144 个字符。 -- **预置模板**：平台提供，覆盖创意文案、办公助理等通用场景，效果稳定、不可修改。 -- **自定义模板**：用户自行设计，支持「自定义创建」（直接粘贴现成 Prompt，可选「优化 Prompt」润色）和「基于 Prompt 工程创建」（选择 ICIO / CRISPE / RASCEF 框架，按字段结构化填写）两种模式。 +> Prompt 模板功能目前仅适用于华北2（北京）地域。 -框架选型建议： +### Prompt 自动优化 -| 框架 | 适用场景 | -| --- | --- | -| ICIO | 简单、明确的任务执行，如数据分析、内容生成、文本摘要 | -| CRISPE | 需要 AI 扮演特定角色的交互，如智能客服、创意写作 | -| RASCEF | 涉及多步骤的复杂业务流程，如项目规划、战略分析 | +当手动编写高质量 Prompt 成本较高时，可使用自动优化功能。该功能利用大模型对原始 Prompt 进行分析和重写，优化策略包括结构重组、角色扮演引导、指令增强、安全与边界注入。操作路径为"应用开发 > 组件管理 > 提示词 > 自动优化"。该功能不额外计费，且提交的数据不会被存储或用于模型训练。 -> 注意：Prompt 模板相关功能仅适用于华北2（北京）地域，使用前请确认业务空间所在地域。 +### Prompt 反馈优化 -### 3. Prompt 自动优化 +反馈优化基于用户提供的输入输出样例进行多轮自动化评估和迭代，生成更贴合实际业务场景的 Prompt。流程为：选择推理模型（推荐千问-max）→ 输入初始 Prompt → 上传样例数据（建议 5-10 条）→ 上传评测数据（建议至少 20 条）→ 系统自动多轮评测与优化。优化后的 Prompt 包含原始 Prompt、few-shot 样例和自动生成的内容提示三部分。 -当缺乏经验或手动编写耗时，可在「提示词 > 自动优化」页面输入原始 Prompt，由大模型进行结构重组、角色扮演引导、指令增强、安全与边界注入等重写，生成结构更优的新版本。该功能不计费，提交数据不会被存储或用于训练。优化失败常见原因：输入超长超出 Token 限制、触发内容审核、网络或服务临时不可用。 +### Prompt 样例库 -### 4. Prompt 样例库（Few-shot 检索） +采用少样本学习（Few-shot learning）思路，从预定义的高质量问答对中检索相关样例注入模型上下文，引导模型生成更准确、风格更一致的回复。适用于智能客服、特定领域知识问答、格式化内容生成等场景。该功能已不再维护，推荐将数据迁移到 RAG 表格库。 -针对特定领域专业任务，从预定义的高质量问答对中检索相关样例注入上下文，引导模型生成更准确、风格更一致的回复。适用于智能客服、特定领域问答、格式化内容生成。注意该功能已不再维护，官方推荐迁移到 RAG 表格库。 +### 多模态 Prompt 指南 -### 5. Prompt 反馈优化 +百炼为不同模态提供结构化 Prompt 指南，核心思路一致：用框架化结构替代模糊描述，描述越完整精确，生成质量越高。 -基于输入输出样例与评测数据，多轮自动评估、反思、优化 Prompt，涉及推理调用。适合对输出质量有持续提升需求的闭环场景。 +- **文生文**：推荐"背景、目的、风格、语气、受众、输出"六要素框架。 +- **文生图**：基础公式（主体 + 场景 + 风格）和进阶公式（主体描述 + 场景描述 + 定义风格 + 镜头语言 + 氛围词 + 细节修饰），支持 `prompt_extend` 智能改写和 `negative_prompt` 反向提示词。 +- **文生视频**：在图像基础上增加"运动"维度，进阶公式为"主体描述 + 场景描述 + 运动描述 + 美学控制 + 风格化"，支持多镜头连贯叙事和参考生视频。 +- **Vidu 视频生成**：公式为"主体/场景 + 场景描述 + 环境描述 + 艺术风格/媒介"，通过关键词词典触发动态控制、运镜和特效。 -## 关键参数与配置 +### 模型评测中的 Prompt -### 智能体应用 +模型评测场景中涉及两类 Prompt：**评分器 Prompt**配置于评测维度，指导裁判模型如何对被评测模型的回答打分，长度不超过 50000 字符，至少包含一个变量（`${prompt}`、`${output}`、`${completion}`）；**System Prompt**配置于评测任务，为被评测模型设定角色定位或行为规范，通常可留空。 -- **系统提示词最大长度**：6144 字符（从模板「使用 [prompt](../guides/prompt.md) > 创建应用」时自动填充到此上限）。 -- **模型参数**：`temperature`、最长回复长度、`enable_thinking`（开启思考模式以提升反思效果，仅支持思考模式模型）。 -- **变量引用**：在系统提示词中通过 `/` 嵌入自定义变量，运行时由业务数据填充。 +## Prompt 工程框架 -### 多模态生成 +百炼平台内置三种 Prompt 工程框架，可在创建自定义文本生成模板时选用： -- **文生图**：`prompt`（正向）、`negative_prompt`（反向，描述不希望出现的内容）、`prompt_extend`（V2 专用，大模型智能改写，默认 `true`）。基础公式 `主体 + 场景 + 风格`，进阶公式追加镜头语言、氛围词与细节修饰。 -- **文生视频**：基础公式 `主体 + 场景 + 运动`，进阶公式 `主体描述 + 场景描述 + 运动描述 + 美学控制 + 风格化`；图生视频简化为 `运动 + 运镜`。wan2.7 起单/多镜头由提示词控制，不再使用 `shot_type`。 +| 框架 | 组成要素 | 适用场景 | +|------|----------|----------| +| **ICIO** | 指令、背景信息、补充数据、输出格式 | 简单明确的任务，如数据分析、内容生成、文本摘要 | +| **CRISPE** | 角色与能力、背景信息、任务、输出风格、输出范围 | 需要 AI 扮演特定角色的交互，如客服、创意写作 | +| **RASCEF** | 角色、行动、步骤、上下文、示例、格式 | 多步骤复杂业务流程，如项目规划、战略分析 | -### 模板调用 API +## 关键参数与限制 -- **创建模板**：`CreatePromptTemplate`，需先获取 Workspace ID。 -- **获取模板**：`GetPromptTemplate`，传入 `workspaceId` 与 `promptTemplateId`，返回 `content`、`variables` 等字段，在代码中填充变量后调用模型。相比字符串拼接，可实现逻辑与内容分离、集中管理与版本一致。 +| 参数/限制项 | 值 | +|-------------|-----| +| 提示词最大字符数 | 6144 | +| 评分器 Prompt 最大长度 | 50000 字符 | +| 单个样例库容量 | 300 条样例 | +| 单应用关联样例库数 | 5 个 | +| 单次召回片段数 | 最多 10 个 | +| 批量导入文件大小 | 20MB（Excel） | +| 单次导入条数 | 100 条 | +| Prompt 模板可用地域 | 仅华北2（北京） | -## 设计要点 +## API 接口 -1. **结构化优先**：复杂任务优先采用 ICIO/CRISPE/RASCEF 框架或「背景-目的-风格-语气-受众-输出」六要素，避免笼统指令。 -2. **变量分离**：把不可变的结构与可变的业务数据拆开，通过模板或 `/` 变量注入，便于复用与协作。 -3. **样例引导**：对风格或格式敏感的任务，用 Few-shot 样例或反馈优化建立闭环，持续校准输出。 -4. **正反向结合**：图片与视频生成场景同时使用正向与反向 Prompt 精确控制画面内容。 -5. **迭代验证**：结合在线调试面板与评测能力，对 Prompt 变更做回归验证后再发布。 +Prompt 模板的生命周期管理通过应用组件 OpenAPI（`bailian/2023-12-29`）实现，核心接口包括 `CreatePromptTemplate`、`GetPromptTemplate`、`UpdatePromptTemplate` 等。调用时需提供 `workspaceId`（业务空间 ID），RAM 子账号需授予百炼 API 权限并加入对应业务空间。接口采用 ROA 签名风格，官方已封装多语言 SDK。 ## 关联主题页 - [prompt](../guides/prompt.md) -- [start using](../guides/start-using.md) -- [llm application](../guides/llm-application.md) - [use cases](../guides/use-cases.md) +- [model evaluation introduction](../guides/model-evaluation-introduction.md) - [application component api reference](../api/application-component-api-reference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md b/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md index f5102324..3fdc6eb3 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/rag.md @@ -1,62 +1,119 @@ # 检索增强生成（RAG） -检索增强生成（Retrieval-Augmented Generation, RAG）是一种在大模型生成回答前，先从外部知识库检索语义相关内容、再将其与用户问题一起送入模型的技术。它为大模型补充私有数据和最新信息，从而显著提升在特定领域问题上的准确性、降低幻觉。 +检索增强生成（Retrieval-Augmented Generation，RAG）是一种将外部知识检索与大模型生成能力结合的技术范式，通过在推理时从知识库中检索相关内容并注入到提示词中，使模型能够回答私有数据或最新信息相关的问题，而无需重新训练模型。 -## 在百炼平台的使用场景 +## 在百炼平台的应用场景 -百炼把 RAG 拆成「建立索引 → 检索召回 → 生成答案」三个阶段，并在不同层面提供了对应能力： +### 云端知识库 RAG -- **云端知识库（控制台）**：进入知识库按「填写基础信息 → 配置数据来源 → 设置索引参数」三步建库，创建时选定类型（文档搜索 / 数据查询表格库 / 图片问答 / 音视频搜索，创建后不可更改），随后关联到智能体应用、工作流应用或外部应用。工作流应用中知识库节点须接在开始节点之后、大模型节点之前，并在大模型提示词中引用 `result` 变量。注意：知识库功能仅在中国站**华北2（北京）**地域可用。 -- **知识检索服务**：面向多知识库联合检索（最多 15 个），提供 Query 改写、混合检索（向量+关键词）、Rerank 排序的流水线。 -- **知识问答服务**：在检索基础上由大模型生成自然语言回答，提供**极速模式**（单轮检索+生成）与**多轮智能模式**（Agentic 多轮规划搜索），并支持文件预解析、拒答、防泄漏、多模态回复、引用来源等生成控制。 -- **应用场景接入**：围绕「RAG + 智能体应用」可将问答能力接入网站、企业微信、微信公众号、钉钉等渠道；也支持基于本地知识库构建 RAG 应用（检索在本地执行、生成调用通义千问 API），适合需要灵活切分与自定义嵌入模型的场景。 -- **框架集成**：LlamaIndex（Python）可构建云端知识库与 RAG 应用；Spring AI Alibaba（Java）可集成智能体/工作流应用并检索百炼知识库。 +百炼平台最核心的 RAG 路径是基于平台托管的知识库。典型流程： -## HTTP REST 接口 +1. 创建知识库（文档搜索 / 数据查询 / 图片问答 / 音视频搜索） +2. 导入文档并完成解析与切片 +3. 在智能体应用或工作流应用中挂载知识库 +4. 应用接收用户问题后，自动执行检索 → Rerank → 生成 -除控制台外，百炼提供 DashScope 应用网关体系的两个 REST 接口，用 API Key Bearer 鉴权，Base URL 形如 `https://{workspaceId}.cn-beijing.maas.aliyuncs.com`： +适用场景：企业内部文档问答、产品手册、结构化表格数据查询、富文本文档（PDF、图片）的视觉级理解检索。 -| 接口 | 路径 | 说明 | +### 本地知识库 RAG + +检索在本地执行，生成调用通义千问 API。适合需要自定义切分策略或自定义嵌入模型的场景。百炼提供 `local_rag.zip` 示例包，支持替换文档后直接运行。 + +- 嵌入模型可选百炼 embedding API 或本地部署的 GTE 模型（如 `iic/nlp_gte_sentence-embedding_chinese-large`） +- 受 embedding API 限流，不建议传入超过 100 MB 的单个文件 + +### LlamaIndex 云端 RAG + +通过 LlamaIndex Python SDK 接入百炼云端知识库： + +1. `DashScopeParse` 解析文档（.doc/.docx/.pdf，单文件 ≤100 MB、≤1000 页） +2. `DashScopeCloudIndex.from_documents()` 创建云端知识库 +3. `as_retriever()` 或 `as_query_engine()` 执行检索与问答 + +> **注意**：LlamaIndex 云端方案使用百炼默认智能文档切分与官方向量模型，不支持自定义切分和嵌入模型。如需灵活控制，改用本地知识库方案。 + +### API 直接调用 + +百炼提供两个 REST 接口供自定义 RAG 流程使用： + +| 接口 | 路径 | 适用场景 | +| --- | --- | --- | +| 知识检索 | `POST /api/v1/indices/knowledge/search` | 自定义生成流程：取回切片后自行拼接 [prompt](../guides/prompt.md) 调用大模型 | +| 知识问答 | `POST /api/v2/apps/knowledge/chat` | 开箱即用：服务端自动完成规划、检索、生成，SSE 流式返回 | + +Base URL 格式：`https://{workspaceId}.cn-beijing.maas.aliyuncs.com`，鉴权方式：`Authorization: Bearer `，默认限流 25 QPS。 + +## 检索核心参数 + +### 切片策略 + +| 参数 | 说明 | +| --- | --- | +| 切片方式 | 推荐**智能切分**，基于语义相关性自适应选取切片点 | +| 最大切片长度 | 6,000 Token | + +### 检索与重排 + +| 参数 | 说明 | 默认值 / 范围 | | --- | --- | --- | -| 知识检索 | `POST /api/v1/indices/knowledge/search` | 跨多个知识库联合语义检索，返回按相关性排序的切片，适合需自定义生成流程的场景 | -| 知识问答 | `POST /api/v2/apps/knowledge/chat` | 基于知识库的智能问答，通过 SSE 流式返回规划、工具调用、生成三个阶段 | +| 初步向量检索 TopK | 向量语义召回数量 | 50（1~100） | +| 初步关键词检索 TopK | 关键词匹配召回数量 | 50（1~100） | +| 相似度阈值 | 过滤低分切片 | 0.01~1.0；设置过高会导致零召回 | +| 最大召回数量 | Rerank 后返回切片数 | 1~20 | +| 排序模型 | qwen3-rerank（文本）/ qwen3-rerank(hybrid) / qwen3-vl-rerank（[多模态](multimodal.md)） | — | + +> **成本提示**：排序模型费用按**初步召回的总切片数**计算，而非最终返回数量。降低 TopK 可显著降低成本。 + +### LlamaIndex 检索参数 -默认用户维度 25 QPS。此外还有 `CreateIndex`、`Retrieve` 等 OpenAPI RPC 接口用于建库流程。 +| 参数 | 说明 | 示例值 | +| --- | --- | --- | +| `similarity_top_k` | 召回最相似的 K 个结果 | 5 | +| `similarity_cutoff` | 过滤低于此阈值的结果 | 0.4 | +| `top_n`（DashScopeRerank） | Rerank 后保留的结果数 | 1 | -## 关键参数与配置 +### 本地 RAG 参数 -检索效果主要由以下参数决定，可在命中测试、检索服务与问答服务中反复调优： +| 参数 | 说明 | +| --- | --- | +| 召回片段数 | 越大参考越多，但噪声可能增加 | +| 相似度阈值 | 越大参考越少，设为 0 不剔除任何片段 | +| 携带上下文轮数 | 设为 1 时不参考历史对话 | -- **相似度阈值（0.01~1.0）**：仅语义相似度高于阈值的切片会被召回。阈值过高会导致相关切片被全部丢弃（如调至 0.60 可能无召回）。 -- **初步向量检索 TopK / 初步关键词检索 TopK（1~100，默认各 50）**：控制初步召回数量，直接影响送入 Rerank 的 Token 量与成本。 -- **最大召回数量 / 召回片段数（1~20）**：最终提供给大模型的切片数，对总结、列举、比较类复杂问题应适当调大。 -- **权重**：多知识库联合召回时干预排序，仅在**同类型知识库之间**生效。 -- **排序模型（Rerank）**：纯文本可选 `qwen3-rerank` / `qwen3-rerank(hybrid)`，多模态可选 `qwen3-vl-rerank`；`gte-rerank` 将于 2026-05-30 下线，新项目直接选 `qwen3-rerank`。 -- **向量模型（Embedding）**：将文本/图片/视频编码到同一语义空间，供余弦相似度匹配。云端知识库使用官方向量模型；本地方案可改用自部署 GTE 模型。 -- **Meta 信息抽取与标签过滤**：在向量检索前做结构化筛选，精准定位目标文件；元数据只能在创建知识库时配置，创建后无法开启。 +## 检索流程 -在框架（LlamaIndex）中对应的参数为：`similarity_top_k`（召回数）、`similarity_cutoff`（最低相似度阈值）、`top_n`（重排后返回数），可通过 `node_postprocessors`（`SimilarityPostprocessor`、`DashScopeRerank`）做后处理。 +``` +Query 改写（可选） + └─→ 向量检索 + 关键词检索（混合召回） + └─→ Rerank 排序 + └─→ 相似度阈值过滤 + └─→ 返回 TopN 切片 → 大模型生成回答 +``` -## 效果优化建议 +多知识库联合检索支持最多 15 个知识库，每个知识库可独立配置检索参数；全局配置包括知识库路由（由大模型判断检索范围）和混排模型。 -优化前建议用自动评测建立至少 100 组用例的基线，再针对失败用例（打分 < 4）诊断改进： +## 知识问答的两种模式 -- **检索无效（没找到）**：补充知识、优化源文件排版（推荐转 Markdown、移除水印、避免复杂表格）、统一实体表述、启用多轮对话改写。 -- **召回不相关**：使用标签过滤或元数据做结构化搜索。 -- **切片不完整**：采用「智能切分」（基于语义自适应切分），并人工检查修正异常切片。 -- **重排不佳**：在漏召回与噪声之间平衡相似度阈值与召回片段数。 +| 模式 | 适用场景 | 特点 | +| --- | --- | --- | +| 极速模式 | 简单明确的问题 | 单轮检索后直接生成，低延迟 | +| 多轮智能模式 | 复杂问题、跨库综合回答 | Agentic 多轮规划，自动意图识别与 Query 改写 | -## 监控 +## 快速上手路径 -所有检索调用以日志形式投递到日志服务（SLS），topic 为 `log_dispatch`，含 `request_id`、`pipeline_id`（知识库 ID）、`workspace_id`、`latency`、`response_status_code` 等字段，可用于审计、用量统计与慢查询/错误率监控。SLS 存储与流量单独计费，关闭检索日志开关只停止新投递，历史日志仍保留计费。 +- **零代码**：在百炼控制台创建智能体应用 → 创建知识库 → 挂载知识库 → 发布，约 5 分钟完成 +- **LlamaIndex**：安装 `llama-index-indices-managed-dashscope`，参考 `llamaindex_cloud_rag.zip` 示例 +- **本地 RAG**：解压 `local_rag.zip`，配置 API Key 后直接运行 +- **API 集成**：调用 `/api/v1/indices/knowledge/search` 或 `/api/v2/apps/knowledge/chat`，子账号需获取 `AliyunBailianDataFullAccess` 策略权限 ## 关联主题页 - [knowledge base](../guides/knowledge-base.md) -- [frameworks](../api/frameworks.md) - [application use cases](../guides/application-use-cases.md) -- [vector and sort](../api/vector-and-sort.md) -- [knowledge](../api/knowledge.md) +- [frameworks](../api/frameworks.md) - [use cases](../guides/use-cases.md) +- [knowledge](../api/knowledge.md) +- [data connection overview](../guides/data-connection-overview.md) +- [start using](../guides/start-using.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md b/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md index c43445dd..d713cb47 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/rate-limiting.md @@ -1,71 +1,139 @@ # 限流与配额 -限流与配额是百炼平台对模型推理调用施加的吞吐量与调用频率约束，用以保障公共推理资源的公平使用和整体稳定性；当业务流量超过共享上限或需要刚性容量保障时，可通过专属域名、TPM 预留、PTU 部署或异步通知等手段规避限流影响。 +限流与配额是百炼平台对各 API 接口、模型调用吞吐量及资源使用量施加的访问控制机制，用于保障平台整体稳定性，同时为开发者提供可预期的服务边界。在百炼的模型推理、异步任务管理、文件上传、应用组件 API 等不同场景中，限流的维度、阈值和处理策略各不相同。 -## 限流的产生场景 +## 限流的类型与维度 -百炼模型调用主要在以下维度受到约束： +百炼平台的限流主要分为以下几类： -- **TPM（Tokens Per Minute）**：每分钟可消耗的 Token 数上限，按主账号 + 业务空间 + 模型维度计算，超出会返回 `429` 限流错误。 -- **RPM（Requests Per Minute）**：每分钟请求数，RPM 越大建议 TPM 同比增大。 -- **QPS 限制**：部分通用接口有独立的 QPS 限制。例如异步任务管理（查询、批量查询、取消）三个接口统一限制为 20 QPS，按主账号 + 子账号维度计算。 -- **公共池共享**：按量付费方案无专属容量，调用进入公共共享池，受公共限流波动影响，业务高峰期可能被限流。 +| 限流类型 | 维度 | 典型场景 | 超限处理 | +| --- | --- | --- | --- | +| QPS 限流 | 每秒请求数（主账号维度） | 异步任务管理、文件上传、应用组件 API | 返回 429，需退避重试 | +| TPM 限流 | 每分钟 Token 数 | 模型推理调用 | 公共资源限流或溢出至按量计费 | +| RPM 限流 | 每分钟请求数 | 模型单元部署 | 部署时自行设定上限 | +| 容量配额 | 预付费锁定的吞吐量 | PTU / TPM 预留 | 自动溢出或返回 429 | -监控页面的「错误」指标中专门提供**限流错误次数（429）**，可用于定位限流问题；「性能」指标中的 RPM、TPM 则帮助评估容量是否接近上限。 +## 模型推理场景 -## 不同方案下的限流行为 +### 公共 TPM 限流 -| 方案 | 容量保障 | 超额处理 | 接入改动 | -| --- | --- | --- | --- | -| 按量付费 | 无（共享公共池） | 自动服务，受公共限流 | 无需改动 | -| 资源包 / 节省计划 | 承诺用量折扣（非专属容量） | 超出转按量 | 无需改动 | -| TPM 预留 | 专属容量刚性兑付 | 超出自动降级公共池按量，不中断 | 替换 `model` 参数为专属模型 code | -| PTU（模型部署） | 专属部署实例 | 超出转按量 | 替换 `model` 参数 | +按量付费调用模型时，请求受公共资源池的 TPM（每分钟 Token 数）限制。不同模型和地域的 TPM 上限不同，高并发场景下可能触发限流。 + +### TPM 预留（容量保障） + +TPM 预留通过预付费方式锁定专属推理吞吐量，预留容量内的调用不与其他用户共享、不受公共资源限流影响。关键参数： + +| 参数 | 说明 | +| --- | --- | +| 输入 TPM | 预留输入吞吐量，单位 kTPM（1 kTPM = 1,000 Tokens/分钟） | +| 输出 TPM | 预留输出吞吐量，单位 kTPM | +| 付费周期 | 当前支持按天 | +| 购买时长 | 支持 1~30、60、90、120、365 天 | +| 溢出策略 | 自动溢出至按量计费（默认）/ 仅使用预留容量（返回 429） | + +溢出策略的两种选择： + +- **自动溢出至按量计费**：超出部分降级为按量计费，服务不中断，详情页可查看超额降级次数。 +- **仅使用预留容量**：超出返回 429，不产生额外费用。 + +创建 TPM 预留后，控制台生成专属 model code，将 API 请求中的 `model` 参数替换为该 code 即可使用预留容量。短时间请求量快速拉升时系统需短暂预热，预热期间可能出现延迟波动。 + +### PTU 预置吞吐 + +PTU（预置吞吐）是另一种容量保障方式，适用于高负载生产环境。PTU 的溢出策略与 TPM 预留一致：可选「自动溢出」（切换为按量付费，业务不中断）或「仅使用 PTU 容量」（超出返回 429）。输入超过模型上限（千问 128K / DeepSeek 64K）时，一律自动转为按量计费。 + +部分 PTU 部署模型支持长输入阶梯系数和前缀缓存折扣，影响额度消耗： + +- **长输入阶梯系数**：超过 32K token 的输入按更高系数折算 TPM 消耗。例如 glm-5.1 在 [32K, 200K] 区间输入系数为 1.33、输出系数为 1.17。 +- **前缀缓存折扣**：命中缓存的输入 token 按折扣系数消耗额度。glm-5.1 折扣为 0.2，deepseek-v4-pro 折扣为 0.08。 + +API 响应中与额度相关的字段： + +| 字段 | 说明 | +| --- | --- | +| `service_tier` | `ptu-standard` 表示使用 PTU 额度；`default` 或不返回表示按量计费 | +| `provisioned_tokens` | 折算后实际消耗的 PTU 额度 token 数（含阶梯系数和缓存折扣） | +| `cached_tokens` | 前缀缓存命中的 token 数 | -当业务流量可预估且不能接受限流时，优先选择 TPM 预留；对极致性能与隔离有更高要求时，可考虑 PTU 专属部署。 +### 模型单元 -## 接入域名对限流的影响 +模型单元部署方式支持自定义性能指标，部署时可设置 `rpm_limit` 和 `tpm_limit` 参数来限制每分钟请求数和每分钟 Token 数。 -接入域名直接影响并发上限与超时表现： +## Base URL 与并发能力 -- **业务空间专属域名** `https://{WorkspaceId}.{region}.maas.aliyuncs.com`：生产推荐，请求超时 3600 秒、SLA 99.9%，提供更高吞吐与时延隔离。 -- **Dashscope 中心化域名** `https://dashscope.aliyuncs.com`：存量业务兼容，可跨业务空间调用。 -- **试用域名** `https://trial.{region}.maas.aliyuncs.com`：仅限快速验证，限流小，不建议生产。 +不同类型的 Base URL 在并发能力和超时设置上有差异，直接影响可获得的限流上限： -各地域的 API Key、模型列表、接入域名不能跨地域混用；美国（弗吉尼亚）暂不支持业务空间专属域名，需使用 `dashscope-us.aliyuncs.com`。 +| 域名类型 | 特点 | 请求超时 | +| --- | --- | --- | +| 业务空间专属（推荐） | 更高并发、更低延迟、空间级隔离 | 3600 秒 | +| Dashscope 域名 | 存量业务兼容，建议迁移 | 600 秒 | +| 试用域名 | 快速验证，限流值小 | - | -## TPM 预留的关键参数 +生产环境应使用业务空间专属域名以获得更高的并发上限和 SLA 保障（99.9%）。 -创建 TPM 预留时需指定输入 TPM 与输出 TPM，单位为 kTPM（1 kTPM = 1,000 Tokens/分钟），起步和步长因模型而异。容量计算受以下参数影响： +## 异步任务管理 API -- **每分钟请求数（RPM）**：业务高峰期每分钟请求数。 -- **平均输入/输出长度（token）**：输入越长，阶梯系数越大，所需输入 TPM 越高。 -- **预估缓存命中率（%）**：命中率越高，输入容量消耗越慢，所需输入 TPM 越低；仅影响输入 TPM。 +图像生成、视频生成等耗时模型采用异步调用机制，相关管理 API 有明确的 QPS 限制： -部分模型支持长输入阶梯系数和缓存折扣（如 glm-5.1 在 [32K, 200K] 区间输入系数 1.33、输出 1.17；deepseek-v4-pro 缓存命中部分按 8% 折算），TPM 容量计算器会自动应用这些参数。 +| 接口 | 限流 | +| --- | --- | +| 查询单个任务 `GET /tasks/{task_id}` | 20 QPS（主账号维度） | +| 批量查询任务状态 `GET /tasks/` | 20 QPS（主账号维度） | +| 取消任务 `POST /tasks/{task_id}/cancel` | 20 QPS（主账号维度） | -## 规避异步任务轮询限流 +批量查询任务状态时，单次查询时间跨度不超过 24 小时。已完成任务通常保留 24 小时后自动清理。 -图像/视频生成等耗时模型采用异步机制，频繁轮询结果接口会浪费资源并可能触发 20 QPS 限流。百炼已接入事件总线 EventBridge，任务完成（无论成功或失败）后主动上报 `dashscope:System:AsyncTaskFinish` 事件，可推送到 HTTP 回调 URL 或 RocketMQ 消息队列。通知方案不限流、实时性高，适合高并发、大规模或对实时性要求高的任务。 +为避免频繁轮询触发限流，推荐使用 EventBridge 事件通知机制，在任务完成后主动推送通知（事件类型 `dashscope:System:AsyncTaskFinish`），收到通知后只需调用一次查询接口即可获取结果。 -## 免费额度与配额停用 +## 文件上传 API -免费额度页面提供「免费额度用完即停」开关：开启后免费额度用尽时服务自动停止，返回 `403 AllocationQuota.FreeTierOnly`，避免产生免费额度以外的费用。仅在账户内仍有未消耗的免费额度时才能开启；关闭需等免费额度完全消耗后进行。 +多模态、图像、视频、音频模型调用时需要传入文件 URL。百炼提供临时存储空间上传本地文件： -## 应对限流的实践建议 +| 限制项 | 值 | +| --- | --- | +| 上传凭证接口限流 | 100 QPS | +| 单文件大小上限 | 1 GB | +| 文件有效期 | 48 小时 | +| 上传与调用的 API Key | 必须属于同一阿里云主账号 | -1. 生产环境优先迁移到业务空间专属域名，获得更高吞吐与时延隔离。 -2. 流量可预估且不能接受限流的核心业务，使用 TPM 预留锁定专属容量。 -3. 通过模型监控的限流错误次数（429）与 RPM/TPM 指标评估容量是否接近上限。 -4. 异步任务改用 EventBridge 通知方案，避免轮询触发 20 QPS 限制。 -5. 需要严格控制成本的场景，可开启「免费额度用完即停」避免超额消费。 +临时 URL 不适用于生产环境，生产环境建议使用阿里云 OSS 等稳定存储方案。 + +## 应用组件 API + +应用组件 API（`bailian/2023-12-29`）的限流普遍为 5-10 次/秒： + +| 接口 | 限流 | +| --- | --- | +| `ApplyFileUploadLease`、`AddFile`、`DescribeFile`、`DeleteFile` | 10 次/秒 | +| `ListCategory`、`AddCategory`、`ListFile`、`AddFilesFromAuthorizedOss` | 5 次/秒 | + +触发限流后需实现退避重试机制。应用组件 API 还存在资源配额限制，如每个业务空间最多 500 个类目、每文件最多 100 个标签（总长 ≤ 700）、批量删除单次最多 20 个文件等。 + +## 临时 API Key + +临时 API Key 具有有限时效，过期自动失效，相关参数： + +| 参数 | 范围 | 默认值 | +| --- | --- | --- | +| `expire_in_seconds` | [1, 1800] 秒 | 60 秒 | + +临时 API Key 继承生成它的永久 API Key 的全部权限，无法手动删除，到期后自动失效。各地域的 API Key 不同，新加坡地域需将 Endpoint 中的 WorkspaceId 替换为实际值。 + +## 最佳实践 + +1. **生产环境使用业务空间专属域名**：获得更高并发上限和 SLA 保障。 +2. **高负载场景使用容量预留**：通过 TPM 预留或 PTU 锁定专属吞吐量，避免公共限流影响。 +3. **异步任务用事件通知替代轮询**：避免频繁轮询触发 QPS 限流。 +4. **实现退避重试机制**：所有有限流的接口都应实现指数退避重试。 +5. **合理规划配额**：使用控制台提供的 TPM/PTU 额度计算器，根据 RPM、平均输入/输出长度、缓存命中率预估所需容量。 +6. **溢出策略选择**：对延迟敏感的业务选自动溢出，对成本敏感的业务选仅使用预留容量。 ## 关联主题页 -- [get started with models](../guides/get-started-with-models.md) -- [model high speed inference](../guides/model-high-speed-inference.md) -- [model monitoring](../guides/model-monitoring.md) - [more about models](../api/more-about-models.md) -- [use cases](../guides/use-cases.md) +- [model high speed inference](../guides/model-high-speed-inference.md) +- [get started with models](../guides/get-started-with-models.md) +- [application component api reference](../api/application-component-api-reference.md) +- [model deployment 1](../guides/model-deployment-1.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md b/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md index 82223a7f..ac397f40 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/streaming.md @@ -1,47 +1,79 @@ # 流式输出 -流式输出（Streaming）是指服务端在生成内容的过程中，以增量分片（delta）的方式持续返回结果，而非等待全部内容生成完毕后一次性返回。它能显著降低首字延迟、改善实时交互体验，广泛用于对话、语音助手等场景。 +流式输出（Streaming）是指模型在生成内容时逐步、增量地将结果推送给调用方，而非等待全部内容生成完毕后一次性返回，从而显著降低用户感知的首字延迟。 -## 在百炼平台的使用场景 +## 适用场景与使用方式 -百炼平台在多类接口中都支持流式输出，核心场景包括： +### 文本生成模型（Chat Completions / DashScope） -- **应用调用（Application Call）**：无论是 OpenAI 兼容的 Responses API 还是 DashScope 原生 API，调用智能体或工作流应用时均支持流式输出，可用于需要边生成边展示的实时交互场景。 -- **文本生成模型 API**：OpenAI 兼容 Chat Completions / Responses、Anthropic 兼容 Messages 以及 DashScope 原生接口均可开启流式返回，适合聊天补全类应用逐字/逐段渲染输出。 -- **实时多模态交互（Omni-Realtime API）**：基于 WebSocket 协议，流式是其原生工作方式。服务端通过一系列增量事件持续推送音频与文本，天然适配低延迟的语音对话场景。 +在调用 OpenAI 兼容 Chat Completions 或 DashScope 文本生成接口时，通过在请求体中设置 `stream: true`（[OpenAI 兼容接口](openai-compatible-interface.md)）启用流式模式。启用后，响应以 Server-Sent Events（SSE）格式逐块推送，每个数据块包含增量文本内容，客户端需循环读取直到收到结束标志。 -## 关键参数与配置 +### 百炼应用调用（Responses API） -### HTTP / SDK 接口 +通过 Responses API 调用智能体或工作流应用时，同样支持 `stream` 参数： -- **`stream`**：布尔值，控制是否开启流式输出，默认 `false`。设为 `true` 后，服务端以 SSE（Server-Sent Events）方式逐片返回结果。 - - 适用于 OpenAI 兼容 Responses API、DashScope API 等应用调用与模型调用接口。 -- 使用 SDK 时，开启 `stream=true` 后通过迭代响应对象逐步获取增量内容；部分接口可配合 `stream_options` 等参数控制是否返回用量统计等附加信息（以对应接口文档为准）。 +| 参数 | 类型 | 默认值 | 说明 | +|------|------|--------|------| +| `stream` | boolean | `false` | 设为 `true` 开启流式输出 | +| `background` | boolean | `false` | 异步执行模式，与流式互斥 | -### Omni-Realtime（WebSocket） +Python 示例（Responses API 流式）： -实时接口不使用 `stream` 参数，而是以事件流的形式天然流式返回。关键的增量事件包括： +```python +from openai import OpenAI +import os -| 事件 | 含义 | -| --- | --- | -| `response.audio.delta` | 增量音频输出 | +client = OpenAI( + api_key=os.getenv("DASHSCOPE_API_KEY"), + base_url=f'https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/' +) + +stream = client.responses.create(input="你是谁？", stream=True) +for event in stream: + print(event) +``` + +### [DashScope SDK](dashscope-sdk.md) 应用调用 + +通过 [DashScope SDK](dashscope-sdk.md) 调用应用时，`Application.call` 支持流式参数，响应逐步返回 `output.text` 增量内容。 + +### Realtime API（实时[多模态](multimodal.md)） + +Realtime API（WebSocket / WebRTC / AOQ）本质上是全程流式的——客户端与服务端通过长连接持续交换事件，不存在非流式模式。输出通过以下服务端事件逐步推送： + +| 事件 | 说明 | +|------|------| +| `response.audio.delta` | 增量音频数据（Base64 编码） | | `response.audio_transcript.delta` | 增量文本转录 | | `conversation.item.input_audio_transcription.delta` | 实时语音识别中间结果 | -| `response.done` | 本轮响应流结束 | -此外，可通过 `session.update` 事件中的 `smooth_output`（部分模型支持）等参数调节流式输出的平滑度。 +### Managed Agents（托管智能体） + +Managed Agents 采用 SSE 事件流模型：通过 `GET /sessions/{id}/events/stream` 接口实时接收智能体执行过程中的所有事件，包括工具调用、代码执行输出和最终回复，事件历史在服务端持久化，支持断点续接。与普通响应级流式不同，这是会话级的持久化事件流。 + +## 关键参数汇总 + +| 接口 | 启用方式 | 数据格式 | +|------|----------|----------| +| OpenAI Chat Completions | `stream: true` | SSE，`data: {...}` 逐块 | +| Responses API | `stream: true` | SSE 事件流 | +| DashScope 应用调用 | SDK 流式参数 | 增量 `output.text` | +| Realtime API | 连接即流式，无需单独配置 | WebSocket / WebRTC / AOQ 事件帧 | +| Managed Agents | SSE 订阅 `/events/stream` | 持久化会话级事件流 | -## 开发建议 +## 注意事项 -- **注意结束标志**：SSE 流需处理到结束标记（如 `[DONE]`）或 `response.done` 事件后再收尾，避免内容截断。 -- **增量拼接**：客户端需将各 delta 分片按序拼接，才能得到完整结果。 -- **错误处理**：流式过程中仍可能收到错误事件，需在读取流的循环中做好异常捕获与连接重试。 -- **跨接口差异**：不同接口的分片结构与字段命名不同（OpenAI/Anthropic 兼容接口以对应生态约定为准，DashScope 参数最全），跨接口迁移时需核对字段映射。 +- **流式与异步不可同时启用**：Responses API 的 `stream=true` 与 `background=true` 互斥，异步任务完成后通过轮询获取结果，而非流式推送。 +- **客户端须处理中间状态**：流式响应中每个增量块通常不是完整 JSON，需拼接后再做业务处理。 +- **Realtime API 转录仅供参考**：`conversation.item.input_audio_transcription.delta` 返回的是 ASR 中间结果，与模型实际理解可能存在差异。 ## 关联主题页 - [application call](../api/application-call.md) - [qwen api reference](../api/qwen-api-reference.md) +- [realtime api user guide](../guides/realtime-api-user-guide.md) - [omni realtime api](../api/omni-realtime-api.md) +- [managed agents](../guides/managed-agents.md) +- [bailian application calling](../guides/bailian-application-calling.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md b/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md index 169b6401..cadd7bae 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/token-billing.md @@ -1,69 +1,94 @@ # Token 与计费 -Token 是百炼平台衡量模型处理文本量的基本单位，也是绝大多数计费、限流和用量统计的计量基础；平台的费用则围绕 Token 消耗，通过按量付费、免费额度、节省计划与资源包等机制综合结算。理解 Token 如何被计量与抵扣，是控制大模型使用成本的前提。 +Token 是大模型处理文本的最小计量单位，也是百炼平台按量计费、免费额度抵扣、限流控制、订阅套餐抵扣以及监控统计的核心度量。理解 Token 如何被记账，是控制百炼调用成本、规划容量与做线上运维的前提。 -## Token 在计费中的角色 +## 在百炼平台的核心角色 -对大语言模型、全模态模型和向量模型，用量与费用均按 **Token** 计量；图像生成按「张」、视频生成按「秒」、语音模型按「秒/字符/Token」（视模型而定）。因此谈「计费」时，Token 主要针对文本类调用。 +- **计量单位**：大语言模型、全模态模型、向量模型的用量口径均为 Token；图像按张、视频按秒、语音按秒/字符/Token，取决于具体模型。 +- **计费依据**：按量付费下，输入/输出 Token 分开计价，部分模型采用阶梯计费——单次请求的输入 Token 总量决定整次请求所有 Token 的适用单价。 +- **额度抵扣**：新人免费额度、资源包、节省计划、Token Plan 团队版 Credits 等都以 Token 为抵扣单位。 +- **限流基础**：TPM（Tokens Per Minute）与 RPM 一起构成百炼的限流指标，TPM 预留即以 kTPM（1,000 Token/分钟）为最小容量单元。 +- **监控与观测**：应用观测、模型监控中都会记录单次调用的输入/输出 Token 量，作为成本与性能的关键指标。 -模型调用按**输入 Token** 和**输出 Token** 分别计费，单价以「每百万 Token」为单位。部分模型采用**阶梯计费**：按单次请求的输入 Token 总量分档定价，落入某一区间后该请求全部 Token 按对应档位结算（例如 `qwen3-max` 华北2·北京划分为 `0 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费** +### 2. 免费额度与"用完即停" -- **免费额度**：首次开通时各模型自动发放（通常每模型 100 万 Token），仅抵扣实时推理，不抵扣 Batch、调优、部署；不同模型（含同一模型不同快照版本）额度相互独立。开启「免费额度用完即停」后，额度耗尽会停止响应并返回 `AllocationQuota.FreeTierOnly`（或 403），避免意外扣费。 -- **折扣**：Batch 调用输入/输出单价按实时推理价的 50% 计费；支持上下文缓存的模型仅输入 Token 享折扣，两者不能同时生效。 -- **地域差异**：同一模型在不同地域单价不同，境外地域通常无免费额度。 +- 新人开通后每个模型获得 100 万 Token 免费额度（30~90 天），仅在华北 2（北京）+ 中国内地部署生效，仅抵扣实时推理。 +- 主账号与其 RAM 子账号共享免费额度；`qwen-max` 与 `qwen-max-2026-05-17` 等快照视为独立模型，各自独立额度。 +- 抵扣优先级：免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费。 +- 已认证用户可开启"免费额度用完即停"（安心模式），耗尽后自动返回 `403 AllocationQuota.FreeTierOnly`；未认证用户耗尽后返回 `AllocationQuota.FreeTierOnly` 直到实名认证并充值。 +- Token Plan / Coding Plan 专属 API Key 不消耗免费额度。 -### 2. 模型训练（调优） +### 3. 订阅式套餐的 Token 抵扣 -按训练 Token 计费。文本模型公式为 `(训练数据 Token + 混合数据 Token) × 循环次数 × 训练单价`；图像/视频生成模型的训练 Token 总量由 `max_steps`、`max_pixels`、`n_epochs` 等超参决定。免费额度和节省计划**均不抵扣**训练费用。 +Token Plan 团队版按 Credits 抵扣 Token 消耗： -### 3. 模型部署 +| 坐席 | 价格 | 月度额度 | +| --- | --- | --- | +| 标准 | ¥198/月 | 25,000 Credits | +| 高级 | ¥698/月 | 100,000 Credits | +| 尊享 | ¥1,398/月 | 250,000 Credits | +| 共享用量包 | ¥5,000/个 | 625,000 Credits（1 个月有效期） | -免费额度和节省计划同样**不抵扣**部署费用。三种计费方式围绕 TPM（每分钟 Token 数）： +抵扣顺序：坐席额度 → 共享用量包（优先扣最近到期）→ 用尽后服务暂停。坐席额度按订阅月重置且不累积。Coding Plan 则按调用次数而非 Token 计费。 -- **预置吞吐（PTU）**：`费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)`。PTU 下超出购买吞吐或输入超上限时自动转按量付费（响应头 `x-dashscope-ptu-overflow:true`）。长输入按阶梯系数折算 TPM 消耗，命中前缀缓存的 Token 按折扣系数消耗额度。 -- **模型单元（MU）**：`费用 = 使用时长 × 模型单元数量 × 模型单元单价`。 -- **按 Token 使用量**：仅对 LoRA 微调后的自定义模型开放，用于调优效果验证。 +### 4. 训练与部署计费 -### 4. 订阅套餐（Token Plan / Coding Plan） +- **训练**：`训练费用 = (训练数据 Token + 混合训练数据 Token) × 循环次数 × 训练单价`，最小单位 1 Token；图像/视频模型另有换算表（涉及 `max_steps` / `max_token_length` / `max_pixels` / `n_epochs`）。自定义模型不享受免费额度。 +- **部署（预置吞吐 TPM）**：`费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)`；后付费按小时结算，预付费按天结算。 +- **部署（模型单元 MU）**：`费用 = 使用时长 × MU 数量 × MU 单价`；PD 分离模式单价通常翻倍，适合追求首 Token 延迟与吞吐的场景。 -- **Token Plan 团队版**：按 Token 消耗抵扣 Credits，面向团队协作。 -- **Coding Plan**：按模型调用次数计量，面向个人开发。 +### 5. TPM 预留与快速模式 -两者均使用 `sk-sp-` 前缀的**专属 API Key**，**不消耗新人免费额度**，且 Base URL 与按量付费端点完全隔离，混用会导致意外扣费或 401/403 鉴权失败。 +- **TPM 预留**：按 kTPM 预付费，为指定模型锁定专属输入/输出吞吐容量；创建后生成专属 model code，必须替换 `model` 参数才能命中。溢出策略可选"自动溢出至按 Token 付费"或"仅使用预留容量"（后者超出直接返回 429）。 +- **快速模式（Fast mode）**：TPS 提升至标准 API 的 1.5~2 倍（约 80~100 TPS），仍按 Token 计费。两者可叠加。 +- 部分模型有长输入阶梯系数（如 GLM-5.1 在 32K~200K 输入按 1.33、输出按 1.17 倍折算容量）；缓存命中部分按 8%~25% 折算容量。 -### 5. 监控与用量统计 +### 6. 监控、观测与账单 -模型监控将 Token 消耗归入「成本」类指标，并提供首 Token 延时、RPM/TPM 等性能指标。应用观测则可查看每次调用的输入/输出/平均 Token 量与平均首 Token 耗时。开通推理日志后可查看单次调用的 Token 消耗，用于排查与审计。 +- **模型监控**：`调用量`、`平均单次请求 Token 量`、TPM、首 Token 延时、非首 Token 延时等指标均以 Token 为基础；Prometheus 指标 `model_usage` 可按 `usage_type` 拆分输入/输出。 +- **应用观测**：分钟级同步应用调用的 Token 总量、输入/输出 Token、首 Token 耗时，支持 30 天内检索与筛选。 +- **账单分账**：账单详情中"实例 ID（出账粒度）"格式为 `ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`；配置业务空间标签可按部门/项目归集费用，T+1 天生效。 ## 关键参数与配置 -- **`max_tokens`**：限制单次生成的最大输出 Token 数，是控制输出成本和防止过度生成的首要手段。 -- **TPM / RPM 限流**：部署时可配置 `tpm_limit`、`rpm_limit`；触发限流后等待时间取决于限流值。 -- **PTU 计费识别字段**：`service_tier`（`ptu-standard` 走 PTU 额度，`default` 或缺失表示按量）、`provisioned_tokens`（折算后实际消耗额度）、`cached_tokens`（缓存命中数，Anthropic 兼容格式暂不返回）。这些字段在 OpenAI Chat、OpenAI Responses、Anthropic 兼容、DashScope 四种协议下 JSON 路径不同，需按协议读取。 - -## 成本优化与出账 - -- **节省 Token**：优化 Prompt 减少输入 Token、简单任务选用轻量级模型、非实时任务走批量推理、合理设置 `max_tokens`。 -- **预付费方案**：AI 通用型节省计划（承诺月消费换阶梯折扣，最高 5.3 折，月额度不可跨月累积）、其他模型节省计划、资源包（预购具体 Token/图片数量，仅抵扣单个模型超免费额度后的实时推理）。 -- **出账时效**：大模型推理分钟级出账（约 2～10 分钟）；批量推理、模型训练等小时级出账。用量统计数据约 1 小时延迟，且不支持查看 30 天前数据。 +| 项 | 位置 | 说明 | +| --- | --- | --- | +| `max_tokens` | API 请求参数 | 限制输出 Token 数，用于成本与延迟控制；生产环境建议显式设置 | +| `model` | API 请求参数 | 切换快照版本或专属 model code；快照/普通版本各自独立计费与额度 | +| `usage` 字段 | API 响应 | `prompt_tokens` / `completion_tokens` / `total_tokens` 用于对账 | +| 上下文缓存 | 模型支持列表 | 命中按输入单价 10% 计费，创建按 125% | +| 免费额度用完即停 | 控制台「模型监控 - 免费额度」 | 需账号有未消耗额度时开启；开启后需完全消耗才能关闭 | +| TPM 预留溢出策略 | 创建 TPM 预留时 | `自动溢出` 保业务不中断；`仅使用预留容量` 严格控成本 | +| 费用告警 | 阿里云费用中心 | 按月/日趋势与阈值触发，避免账单意外 | +| 审计日志 / 推理日志 | 模型监控配置 | 开通后可在日志页签查看每次调用的输入、输出与 Token 用量（仅部分地域、部分模型） | + +## 排错与最佳实践 + +- 控制台免费额度为分钟级更新且需手动刷新，出现"页面仍显示有额度但已耗尽"属正常，实际以账单为准。 +- `qwen-max` 与其快照版本额度独立、不自动切换，需在代码里显式改 `model`。 +- 生产环境请自建重试与排队机制以缓解限流；限流错误在监控中体现为 429 计入"限流错误次数"。 +- 通过降低 `temperature` / `top_k` / `top_p` 与 `max_tokens` 可同时降低幻觉与 Token 消耗。 +- 定期核对账单详情的 `实例 ID` 字段，识别控制台体验（`bmp`）、Assistant API（`assistant-api`）和代码调用（`app`）的成本分布。 ## 关联主题页 - [test 1](../guides/test-1.md) - [token plan guide](../guides/token-plan-guide.md) -- [model monitoring](../guides/model-monitoring.md) - [application monitoring](../guides/application-monitoring.md) - [support](../guides/support.md) -- [model deployment 1](../guides/model-deployment-1.md) - - +- [model monitoring](../guides/model-monitoring.md) +- [model high speed inference](../guides/model-high-speed-inference.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/token.md b/skills/bailian-docs-llm-wiki/wiki/concepts/token.md index 0b4e6e3c..4b1a65fe 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/token.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/token.md @@ -1,65 +1,101 @@ -# Token 与计量计费 +# Token 与计费 -Token 是大语言模型处理文本的最小计量单位，百炼平台以 Token 为核心，对模型的输入、输出、训练用量进行计量、计费与监控。理解 Token 的产生方式与计费规则，是控制模型调用成本、优化应用性能的基础。 +Token 是大语言模型处理文本的基本计量单位，阿里云百炼平台以 Token 数量为核心指标对模型推理、训练、部署等各类操作进行计费和用量统计。 -## 什么是 Token +## Token 计费基础 -Token 是模型在处理文本时切分出的基本片段（一个汉字、单词或子词可能对应一个或多个 Token）。在百炼平台中，Token 既是**用量计量单位**，也是**大部分计费的核算基准**： +百炼平台的推理计费按**输入 Token 数**和**输出 Token 数**分别计算，不同模型单价不同，部分模型支持阶梯定价： -- 文本生成模型按**输入 Token** 和**输出 Token** 分别计量，思考模式下的输出 Token 同时包含「思维链 + 回答」两部分。 -- 不同模型类型的计量单位不同：大语言模型 / 全模态模型 / 向量模型按 **Token** 计量，图像生成按**张**，视频生成按**秒**，语音模型按**秒 / 字符 / Token**（视模型而定）。 +- **阶梯计费**：单价取决于单次请求的输入 Token 总量，同一请求所有 Token 按对应阶梯单价统一结算（非分段计费）。 +- **Batch 调用折扣**：支持 Batch 调用的模型输入/输出 Token 均按实时推理价格的 **50%** 计费。 +- **上下文缓存**：显式缓存创建按标准输入单价的 **125%** 计费，缓存命中按 **10%** 计费；与 Batch 折扣不可叠加。 -## 在各场景中的使用 +主要模型参考价格（华北2，按量原价）： -### 1. 按量付费与免费额度 +| 模型 | 输入（/百万 Token） | 输出（/百万 Token） | +|------|-------------------|-------------------| +| qwen3.7-max | 12 元（限时 5 折） | 36 元（限时 5 折） | +| qwen3-max（≤32K） | 2.5 元 | 10 元 | +| qwen3.7-plus（≤256K） | 2 元（限时 8 折） | 8 元（限时 8 折） | +| qwen-plus（≤128K） | 0.8 元 | 2 元（非思考）/ 8 元（思考） | -- 首次开通时，各模型会发放新人专属免费额度（通常各 100 万 Token），仅抵扣**实时推理**费用，且不同模型（含同一模型不同快照版本）额度相互独立、不可合并。 -- 免费额度耗尽后默认转为**按量付费**，按输入 / 输出 Token 计费。部分模型采用**阶梯计费**：按单次请求的输入 Token 总量分档（如 `qwen3-max` 分 0–32K / 32K–128K / 128K–256K 三档），落在哪一档，该请求全部 Token 均按该档单价结算。 -- 同一模型在不同地域（北京、弗吉尼亚、新加坡、法兰克福、东京）单价不同。 +> 实际结算价以控制台展示为准，请前往百炼控制台查看最新活动价。 -### 2. 订阅制套餐 +## 免费额度 -- **Token Plan 团队版**：按 Token 消耗抵扣 Credits，工具调用（联网搜索、代码解释器等内置工具）产生的 Token 同样从套餐 Credits 抵扣，不额外收费。 -- **Coding Plan**：按模型调用**次数**计费（而非 Token），面向个人开发场景。 +首次开通百炼时，平台自动为各模型发放免费推理额度（通常每模型 100 万 Token，有效期 90 天）： -### 3. 模型训练与部署 +- 仅适用于华北2（北京）地域的实时推理；Batch 调用、模型调优、部署不适用。 +- 主账号与 RAM 子账号共享同一模型的免费额度；不同模型额度相互独立。 +- **消耗优先级**：免费额度 > 资源包 > 模型节省计划 > AI 通用型节省计划 > 按量付费。 +- 可在控制台开启**免费额度用完即停**开关，触发后返回错误码 `AllocationQuota.FreeTierOnly`（HTTP 403）。 -- **训练**按训练 Token 计费，文本模型公式为 `（训练数据 Token + 混合训练数据 Token）× 循环次数 × 训练单价`；图像 / 视频模型的训练 Token 由 `max_steps`、`max_pixels`、`n_epochs` 等超参数推算。 -- **部署**（预置吞吐 TPM）按输入 / 输出 TPM 单价与时长计费，与 Token 用量间接相关。训练与部署**不能**用免费额度或节省计划抵扣。 +## 节省计划与资源包 -### 4. 监控与观测 +| 方式 | 核心机制 | 最高折扣 | 适用范围 | +|------|----------|----------|----------| +| AI 通用型节省计划 | 承诺月消费金额换折扣，按月分配额度 | 5.3 折 | 阿里直供全部模型，跨模型通用 | +| 大语言模型推理节省计划 | 等同预存余额 | 无折扣 | 指定模型 | +| 向量及排序模型节省计划 | 预存折扣 | 7 折 | Embedding/Rerank 模型 | +| 资源包 | 预购具体 Token 数 | 因模型而异 | 特定模型实时推理 | -- 应用观测可查看每次调用的 Token 量，监控统计提供 Token 总量（全部 / 输入 / 输出）、平均单次请求 Token 量、平均首 Token 耗时等指标。 -- 模型监控将 Token 消耗归入「成本」类指标，首 Token 延时归入「性能」类指标，支持按分钟 / 小时 / 天聚合，并可配置告警。 -- 用量统计按业务空间维度归集，数据延迟约 1 小时。 +AI 通用型节省计划月末未用完的额度**不结转到下月**，且不支持抵扣知识库规格费用（RCU/知识库小时费用）。 -## 关键参数与配置 +## Token Plan 订阅服务 -| 项 | 说明 | -| --- | --- | -| `max_tokens` | 限制单次生成的最大输出 Token 数，用于控制成本、防止过度生成，也是降低幻觉的手段之一 | -| 上下文缓存 | 命中缓存的**输入** Token 享折扣；缓存折扣与 Batch 折扣不可同时生效，价格表输入单价不含缓存单价 | -| Batch 调用 | 支持的模型输入 / 输出单价按实时推理价的 50% 计费 | -| 免费额度用完即停 | 开启后额度耗尽即停服（返回 403），避免意外扣费，但也会阻断节省计划继续抵扣 | +Token Plan 是以 **Credits** 统一计量的订阅制服务，适合通过 Claude Code、Cursor、Qwen Code 等 AI 编程工具调用百炼模型的场景： -## 成本优化建议 +- **个人版**：采用 5 小时窗口 + 7 天窗口双层限额，窗口期内未用完额度不结转。 +- **团队版**：固定月额度，无时间窗口限制，支持席位分配和用量分析。 +- API Key 格式为 `sk-sp-xxxxx`，与通用 API Key（`sk-` 开头）不可混用，误用通用 Key 会走按量计费通道产生额外扣费。 -- **优化 Prompt**：简洁清晰的 Prompt 可减少不必要的输入 Token 消耗。 -- **控制输出长度**：合理设置 `max_tokens`，避免冗长输出。 -- **按任务选模型**：分类、摘要等简单任务优先使用轻量级模型。 -- **批量推理**：非实时大批量任务走 Batch 接口，Token 单价更低。 -- **善用抵扣顺序**：`免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费`，据此规划预付费方案。 +个人版套餐参考： -## 账单中的 Token +| 套餐 | 价格 | 5 小时限额 | 7 天限额 | +|------|------|-----------|---------| +| Lite | 39 元/月 | 700 Credits | 2,500 Credits | +| Standard | 139 元/月 | 3,000 Credits | 10,000 Credits | +| Pro | 499 元/月 | 12,000 Credits | 40,000 Credits | -大模型推理为分钟级出账（通常 2～10 分钟），批量推理与训练为小时级。账单「实例 ID」以英文分号分隔，包含 `ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`，可据此区分输入 / 输出 Token 的费用来源与调用渠道（`app` 代码调用、`bmp` 控制台体验、`assistant-api`）。 +## TPM 预留计费 + +TPM 预留（Tokens Per Minute）按输入 TPM 和输出 TPM 分别**按天预付费**，单位为每 10,000 TPM/天。适用于流量可预估、不能容忍 429 限流的业务。 + +计费注意事项： +- 缩减容量（TPM 归 0）属减配，已用部分按 **1.5 倍系数**结算。 +- 部分模型支持长输入阶梯系数（如 glm-5.1 输入超 32K 时系数升至 1.33）。 +- 缓存命中部分通常按 8%～20% 折算容量消耗（视模型而定）。 + +## 训练与部署 Token 计费 + +训练和部署产生的费用**独立于推理费用**，不可被免费额度或推理类节省计划抵扣： + +- **文本模型训练**：`费用 = (训练数据 Token 总数 + 混合训练数据 Token 总数) × 循环次数 × 单价` +- **图像/视频模型训练**：Token 总量由 `max_steps × Lmax`（图像）或视频时长/`max_pixels`/`n_epochs`（视频）决定。 +- **部署（PTU 模式）**：`费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)` + +## 用量监控与追踪 + +百炼控制台提供多维度 Token 用量追踪： + +- **模型用量页**：按业务空间统计，数据延迟约 1 小时，支持按 API Key、模型名称、推理类型筛选，不支持按账号维度汇总，最多查看最近 30 天。 +- **应用观测**：监控统计页签提供 Token 总量（全部/输入/输出）、平均单次请求 Token 量、平均首 Token 耗时等图表，精度支持分钟/小时/天。 +- **推理日志**：记录每次调用的用量字段，需先在「模型监控配置」中开启，开通前历史不补录。 +- **告警**：可设置 Token 消耗阈值，超阈值时通过短信、邮件、钉钉群机器人等渠道告警。 + +## 计费查询 + +- 后付费按**分钟级出账、月结算**，账单明细在「费用与成本」控制台查看。 +- 控制台「费用概览」页展示当前账期总消费、订阅费用与账单费用趋势，支持设置费用告警。 +- 免费额度页面可查看各模型剩余量、过期时间与状态。 ## 关联主题页 -- [token plan guide](../guides/token-plan-guide.md) - [test 1](../guides/test-1.md) -- [application monitoring](../guides/application-monitoring.md) +- [token plan guide](../guides/token-plan-guide.md) - [model monitoring](../guides/model-monitoring.md) +- [application monitoring](../guides/application-monitoring.md) +- [model high speed inference](../guides/model-high-speed-inference.md) - [support](../guides/support.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md b/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md index 0badc9bf..c053dfda 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/workflow.md @@ -1,75 +1,109 @@ # 工作流 -工作流（Workflow）是百炼平台三种核心应用构建模式之一，通过可视化节点编排将复杂任务拆解为有序步骤，逻辑确定、稳定可复现，适合流程固定、要求可复现的业务场景。 +工作流（Workflow）是阿里云百炼提供的一种低代码可视化应用形态，通过拖拽预定义节点并以有向图方式编排处理链路，将大模型调用、知识库检索、意图分类、API 调用等能力串联为输出确定、可复现的执行流程。与依赖模型自主规划的智能体不同，工作流由开发者显式控制每个步骤的执行顺序与数据流转。 -## 在百炼平台中的定位 +## 应用形态定位 -百炼提供智能体、工作流、高代码应用三种互补的应用构建模式。工作流对应"可视化节点编排（低代码）"路线，由预定义节点精确控制流程，适合 IT 运维、业务分析师构建报告生成、订单处理、审批流等场景。与由大模型自主规划的智能体不同，工作流强调开发者对流程的显式控制，输出可复现、可调试。 +百炼提供三种 LLM 应用形态：智能体、工作流、高代码应用。工作流处于中间位置： -## 核心节点 +| 维度 | 说明 | +| --- | --- | +| 开发方式 | 可视化节点编排（低代码） | +| 控制方式 | 预定义节点顺序确定 | +| 适合人群 | 业务分析师 / IT 实施 | +| 典型场景 | 报告生成、审批流、数据标注 | -工作流画布由以下节点类型组成： +工作流输出结果确定性高、可复现。需要模型自主决策调用顺序时选智能体，需要完全自定义代码时选高代码应用。工作流应用已被新版智能体编排应用替代部分场景，但仍适用于需要稳定、可审计处理流程的业务。 -- **开始 / 结束节点**：定义输入与输出参数。开始节点预置 `query`（用户输入）、`historyList`（对话历史）、`imageList`（图片）等变量，可在下游节点中引用。 -- **大模型节点**：执行 LLM 推理，配置模型、提示词、用户提示词、记忆等。 -- **意图分类节点**：根据输入分流到不同下游分支，支持多意图。 -- **变量处理节点**：用于文本输出或变量加工。 -- **智能体群组节点**：将任务分解给多个已发布的子智能体协同完成。 +## 节点类型与编排 -## 会话变量 +工作流由节点串联构成，支持以下节点类型： -会话变量作为全局变量在工作流全生命周期内记录参数，可在各节点中引用，在画布右上角配置。适合跨节点传递状态、累积上下文信息。 +- **开始 / 结束节点**：定义流程入口与出口。 +- **大模型节点**：调用 LLM 生成、理解、改写文本。 +- **意图分类节点**：根据用户输入分流到不同下游分支，实现多意图路由。 +- **智能体群组节点**：将已发布的[智能体应用](agent-application.md)作为子智能体调度。 +- **变量处理节点**：对中间结果进行格式转换、拼接、提取。 +- **API 节点**：调用外部 HTTP 接口。 +- **函数计算节点**：执行自定义计算逻辑。 +- **[多模态](multimodal.md)生成节点**：生成图像、视频、音频。 +- **[多模态](multimodal.md)数据节点**：解析文档、图片、视频、音频。 -## 典型案例 +典型组合模式：意图分类节点做分流 → 多个大模型节点承接不同意图 → 汇总到结束节点。智能体群组节点可把已发布的[智能体应用](agent-application.md)作为子智能体调度，实现多层编排。 -- **诈骗信息识别**：开始 → 大模型（提示词判定诈骗嫌疑）→ 结束。 -- **智能导购**：意图分类节点将输入分流到手机 / 电视 / 冰箱等大模型分支，未命中分支走变量处理节点。 -- **日程管理助手**：通过智能体群组节点串联"信息收集"与"数据整理"两个子智能体。 +## 预置变量与记忆 -## 创建与发布流程 +### 预置变量 -1. 控制台 → 应用管理 → 创建应用 → 工作流应用。 -2. 在画布上拖拽编排节点，配置各节点的模型、提示词、变量引用关系。 -3. 右侧对话框调试。 -4. 右上角"发布"——发布是后续 API 调用与集成的前提。 +| 变量 | 说明 | +| --- | --- | +| `query` | 用户输入文本 | +| `historyList` | 对话历史 | +| `imageList` | 用户上传图片 URL 列表 | + +`historyList` 和 `imageList` 需在支持"记忆"的节点中选择"自定义缓存"才会注入。 + +### 记忆模式 + +- **本节点缓存**：仅当前节点上下文，不跨节点共享。 +- **自定义缓存**：跨节点共享全局对话历史，适合多轮记忆场景。 + +### 会话变量 + +会话变量作为全局变量在工作流全生命周期内维护，可在任意节点引用，用于在节点间传递状态。 + +## 扩展能力 + +- **异步运行模式**：文本生成模式下后台执行并返回 Task ID，适合长耗时任务。 +- **Dify 工作流一键导入**：支持从 Dify 平台导入已有工作流配置。 +- **批量节点**：支持批量处理输入数据。 ## API 调用 -工作流应用与智能体应用共用同一套调用接口，区别仅在应用内部的编排逻辑。发布后通过 `APP_ID` 调用： +工作流应用发布后通过 API 调用，与[智能体应用](agent-application.md)调用接口完全一致： + +``` +POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion +``` + +请求体包含 `input.prompt`（用户输入）、`parameters`（业务参数）、`debug` 字段，响应中业务侧主要消费 `output.text`。 + +### 多轮对话 + +工作流支持多轮对话，有两种实现方式： -- **DashScope 原生 API**：`POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion`，请求体为 `{"input": {"prompt": "..."}, "parameters": {}, "debug": {}}`，响应中业务侧主要消费 `output.text`。 -- **OpenAI 兼容 Responses API**：`POST https://dashscope.aliyuncs.com/api/v2/apps/agent/{APP_ID}/compatible-mode/v1/responses`，可复用现有 OpenAI 生态代码库，支持同步 / 异步、流式、多模态。 -- **SDK**：Python 使用 `dashscope.Application.call`，Java 使用 `com.alibaba.dashscope.app.Application`，Node.js 可直接以 `axios` 发起 POST。 +- **使用 `session_id`**：系统自动从云端管理对话上下文。 +- **使用 `historyList`**：由调用方自行维护对话历史并传入。 -调用前需在控制台获取应用 ID 与 API Key（推荐写入 `DASHSCOPE_API_KEY` 环境变量）；若应用位于子业务空间，还需提供 Workspace ID。 +## 组件化复用 -## 多轮对话 +工作流应用可发布为模块化组件，供其他应用（智能体或工作流）复用。发布途径有三处：发布应用时勾选"发布应用组件"、在"发布渠道"的组件区域创建、或在控制台"组件管理"面板创建。 -工作流应用支持多轮对话，有两种实现方式： +组件预设系统参数 `query`（用户输入文本）和 `imageList`（图像 URL 列表），预设参数不可删除，不需要时可将"是否可见"设为"否"隐藏。参数传参方式分两种： -- **使用 `session_id`**：系统自动从云端加载历史对话，实现简单。`session_id` 有效期 1 小时，最多支持 50 轮。 -- **自行管理 `messages`（推荐）**：手动维护消息列表，灵活性更高，不受 session 有效期限制。 +- **业务透传**：由使用者或上游节点提供具体值。 +- **模型识别**：由大模型根据参数描述自动推断填充。 -## 评测 +> **注意**：即使参数传参方式设为模型识别，在工作流应用中也不会自动推断参数值，必须从上游节点明确提供输入值。模型识别仅在智能体应用中生效。 -工作流应用可作为评测任务的被测对象。在新版应用评测中，评测集支持智能体、工作流、自定义三种类型，按所选应用的出入参形式自动生成数据模板。评测任务可关联工作流应用，由 LLM 评估器或 Code 评估器自动评分，也可人工标注。 +接入工作流应用时，组件作为组件节点接入，需手动传入参数（如 `系统变量/query`），并将 `组件1/result` 传递到下游节点。避免嵌套调用（A 调 B、B 调 A）和过多级调用（A 调 B、B 调 C），会因最长运行时间限制导致超时报错。应用重新发布后组件会自动更新。 -## 发布与分享 +## 应用观测 -工作流应用支持多种发布渠道：UI 应用（通过 UI 设计器构建自定义界面）、钉钉机器人、微信公众号、组件化复用（将工作流作为其他智能体或工作流的子组件）、音视频实时互动（仅限图文对话类）。需要注意的是，官方网页版分享当前只支持智能体应用，不支持工作流应用。 +工作流应用（WorkflowApp）在百炼应用观测功能中以 `WorkflowApp` 为根 CHAIN 节点展示完整调用链路，支持查看延时、[Token](token.md) 量等关键指标，数据更新频率为分钟级，可保留最长 30 天的调用记录。观测数据支持按 Request ID / Trace ID / Span ID 检索，并支持导出为 JSONL 或 Excel 格式。 -## 关键限制与注意事项 +## 框架集成 -- 工作流应用若配置了文件类型的自定义参数，在 UI 设计器中需指定 `{{{file_name:files[0]}}}`（将 `file_name` 替换为实际变量名），否则应用无法正确读取用户上传的文件。 -- 旧版"智能体编排"应用已被工作流应用替代，新建应用请直接选择工作流。 -- 工作流与智能体调用接口一致，但可附加的扩展能力（如自定义参数传递）取决于应用内部编排逻辑。 +通过 Spring AI Alibaba（Java，Spring Boot 3.x，JDK 17+）可集成已创建的工作流应用，支持流式与非流式调用。需提前在百炼控制台创建工作流应用并获取应用 ID，通过 `APP_ID` 环境变量配置，[API Key](api-key.md) 推荐使用 `DASHSCOPE_API_KEY` 环境变量。若应用创建在子[业务空间](workspace.md)，还需配置 `WORKSPACE_ID`。 ## 关联主题页 +- [frameworks](../api/frameworks.md) - [llm application](../guides/llm-application.md) -- [application call](../api/application-call.md) - [bailian application calling](../guides/bailian-application-calling.md) -- [application evaluation](../guides/application-evaluation.md) +- [start using](../guides/start-using.md) +- [application monitoring](../guides/application-monitoring.md) - [application publishing and sharing](../guides/application-publishing-and-sharing.md) +- [application use cases](../guides/application-use-cases.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md b/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md index 51a00e4c..65413e7b 100644 --- a/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md +++ b/skills/bailian-docs-llm-wiki/wiki/concepts/workspace.md @@ -1,61 +1,75 @@ # 业务空间（Workspace） -业务空间（Workspace）是阿里云百炼平台进行精细化权限管理（模型、用户）和阿里云账单分账的**最小管理单元**。平台按地理区域划分资源与业务空间，单个业务空间不能跨地域存在，即便是各地域的默认业务空间也彼此独立。 +业务空间（Workspace）是阿里云百炼平台进行精细化权限管理和账单分账的最小管理单元，每个业务空间归属于单一地域，不可跨地域存在。 -## 在不同场景中的使用 +## 核心定位 -### 1. 权限与身份管理 +业务空间是百炼平台组织资源、隔离权限和分摊成本的基础边界。平台在每个地域为主账号预置一个默认业务空间，开发者也可按需创建子业务空间，常见场景包括按环境（dev/test/prod）或按业务线划分，以实现资源隔离与成本追踪。 -业务空间是权限体系的核心边界，权限管理围绕三种角色展开： +**重要约束**： +- 单个业务空间不能跨地域存在；各地域的默认业务空间彼此独立。 +- 默认业务空间内所有模型均可调用、调优、部署，且无法设置限流，无法限制用户权限。 +- 子业务空间支持更细粒度的模型调用限制和用户控制台权限管理。 -- **超级管理员**：阿里云主账号，或拥有 `AliyunBailianFullAccess` 系统策略的 RAM 用户。可跨空间统一管理用户权限、空间可用模型、模型限流和 API Key。 -- **业务空间管理员**：拥有访问某个业务空间「权限管理」页面的 RAM 用户，仅管理该空间内的用户与资源，其权限包含该空间下所有页面的访问权限。 -- **普通用户**：仅能访问/使用被授权的空间、页面与资源，不能管理用户或模型授权。 +## 在各场景中的使用 -在非默认业务空间中，可对模型进行三类精细化授权（**默认业务空间无法设置这些限制**，即所有模型均可调用、调优、部署且无法限流）： +### 权限管理 -| 权限项 | 控制范围 | +百炼的权限体系围绕业务空间展开，分三种角色： + +| 角色 | 管理范围 | | --- | --- | -| 限制模型调用 | 是否可调用（控制台 & API）+ 请求数限流 + Token 限流 | -| 限制模型训练 | 是否可调优（控制台 & API）及调优后部署 | -| 限制模型部署 | 是否可直接部署 | -| 用户控制台权限 | 管理 RAM 用户能否使用该空间控制台及可用功能 | +| 超级管理员 | 跨空间统一管理用户权限、空间可用模型、限流和 API Key | +| 业务空间管理员 | 仅管理所属业务空间内的用户和资源 | +| 普通用户 | 使用被授权的页面和资源 | + +在子业务空间内，超级管理员可以针对每个模型独立配置： +- **调用权限**：是否允许控制台和 API 调用，以及请求数/Token 限流。 +- **训练权限**：是否允许调优及调优后部署。 +- **部署权限**：是否允许直接部署。 + +### API Key 与业务空间绑定 -> **注意**：OpenAPI 接口权限不通过业务空间角色授予，必须由阿里云主账号在 RAM 控制台为 RAM 用户单独添加系统策略（如 `AliyunBailianDataFullAccess` / `AliyunBailianDataReadOnlyAccess`）。 +每个 API Key 只能归属一个地域内的一个业务空间和一个用户，不可转移。API Key 的可调用功能与模型限流与**归属业务空间**的权限保持一致，无需为不同模型（文生文、文生图、语音合成）创建不同的 API Key。 -### 2. API Key 归属 +将 RAM 账号移出业务空间会使其 API Key 失效（重新加入后恢复）；在 RAM 控制台删除账号则会使 API Key 永久失效。 -单个 API Key 只能归属**一个地域内的一个业务空间和一个用户**，且不能转移。API Key 可调用的功能与模型限流与其**归属业务空间**的权限保持一致，不受用户控制台权限管理的影响。将 RAM 账号移出业务空间会使其 API Key 失效（重新加入后恢复生效）。 +### 子业务空间模型调用 -### 3. 应用组件 API 调用 +调用子业务空间下的模型时，必须使用该子空间自身的 API Key，并在请求中提供 **Workspace ID**。Workspace ID 可在控制台右上角图标处查看，目前不支持通过 API 或 CLI 查询。 -调用百炼应用组件 API（`bailian/2023-12-29`，含数据连接、知识库、Prompt 模板、长期记忆等）时，所有接口均需传入 `WorkspaceId`（业务空间 ID）。RAM 子账号需先获取对应权限策略并加入业务空间后才能调用。类目等资源也以业务空间为界，例如每个业务空间最多可新建 500 个类目。 +调用标准模型（如 `qwen-plus`）前，需为该空间单独授权模型调用权限。在该空间内调优并部署的模型无需额外授权，但只能由所在空间的 API Key 调用。 -### 4. 应用观测 +### 用量监控与计费分账 -应用观测以业务空间为范围，端到端查看空间内应用（智能体应用、工作流应用、高代码应用）的处理流程与延时、Token 等指标。若应用观测列表中看不到已创建的应用，常见原因之一即为该应用不属于当前业务空间。 +模型用量数据按业务空间维度统计，延迟约 1 小时，**不支持按阿里云账号维度跨空间汇总**。监控列表也按「模型 + 业务空间」维度生成记录。利用子业务空间划分，可实现不同业务线或环境的账单分账。 -### 5. 数据管理 +### 应用观测 -数据管理功能统一管理业务空间下的大模型相关数据集（训练集、评测集）。该能力目前仅适用于华北2（北京）地域。 +应用观测页面添加被观测应用时，若列表中看不到目标应用，通常是因为该应用尚未发布或不属于当前业务空间。 -## 关键参数与配置 +## 关键配置参数 -- **`WorkspaceId`**：业务空间 ID，是应用组件 OpenAPI 的必传参数，用于标识资源所属空间。 -- **地域隔离**：业务空间绑定单一地域，跨地域需在对应地域分别创建/使用空间。 -- **默认业务空间的限制**：默认空间无法设置模型调用/训练/部署授权与限流，如需精细化管控请使用非默认业务空间。 +| 参数/标识 | 说明 | 获取方式 | +| --- | --- | --- | +| Workspace ID | 子业务空间唯一标识，API 调用时作为请求参数传入 | 控制台右上角图标 | +| 模型调用限流 | 请求数 QPM 和 Token TPM 上限，仅子业务空间可配置 | 超级管理员在模型列表配置 | +| 限流分配建议 | 将主账号总配额按比例分配并预留缓冲，例如总配额 1000 QPM：prod 600 / test 200 / dev 100，预留 100 | — | -## 生产环境实践 +## 生产环境实践建议 -- **空间规划**：推荐按环境（dev/test/prod）划分业务空间实现隔离，或按业务线划分以便权限与成本管理。 -- **限流策略**：将主账号总配额按比例分配给各业务空间并预留缓冲。例如总配额 1000 QPM，可分配 prod 600 / test 200 / dev 100，预留 100。 +- 按环境（dev/test/prod）或按业务线划分子业务空间，以实现权限隔离和成本分摊。 +- 将主账号总限流配额按比例分配给各子空间并预留缓冲。 +- OpenAPI 接口权限（应用数据、知识库、Prompt 工程等）不通过业务空间角色授予，需主账号在 RAM 控制台添加 `AliyunBailianDataFullAccess` 或 `AliyunBailianDataReadOnlyAccess` 策略。 +- AI 安全护栏、模型监控、应用观测等一次性开通操作建议使用主账号完成，避免子账号权限不足导致失败。 ## 关联主题页 -- [application component api reference](../api/application-component-api-reference.md) - [application permission management](../guides/application-permission-management.md) +- [more about models](../api/more-about-models.md) - [application monitoring](../guides/application-monitoring.md) +- [model monitoring](../guides/model-monitoring.md) - [security and compliance](../guides/security-and-compliance.md) -- [model data overview](../guides/model-data-overview.md) +- [application call](../api/application-call.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md index 508d7604..6493850d 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-evaluation.md @@ -1,6 +1,6 @@ # application evaluation -阿里云百炼提供完整的应用[评测体系](../concepts/evaluation.md)，支持对[智能体应用](../concepts/agent-application.md)和工作流应用的输出质量进行系统化评估。平台同时提供自动评测与手动评测两种模式，并通过评测集、评估器和标签三大组件构建多维度的评测闭环。当前平台存在新旧两套评测系统，新版在评测任务管理、评估器和标签体系上做了较大升级。 +阿里云百炼提供完整的应用[评测体系](../concepts/evaluation.md)，支持对[智能体应用](../concepts/agent-application.md)和[工作流](../concepts/workflow.md)应用的输出质量进行系统化评估。平台同时提供自动评测与手动评测两种模式，并通过评测集、评估器和标签三大组件构建多维度的评测闭环。当前平台存在新旧两套评测系统，新版在评测任务管理、评估器和标签体系上做了较大升级。 ## 评测模式 @@ -51,8 +51,8 @@ | 类型 | 说明 | |------|------| -| 智能体 | 根据选中智能体应用的出入参形式定义评测集 | -| 工作流 | 根据选中工作流应用的出入参形式定义评测集 | +| 智能体 | 根据选中[智能体应用](../concepts/agent-application.md)的出入参形式定义评测集 | +| [工作流](../concepts/workflow.md) | 根据选中[工作流](../concepts/workflow.md)应用的出入参形式定义评测集 | | 自定义 | 任意定义评测集表结构，适用于特殊评测场景 | 新版评测集支持手动上传和从应用观测导入两种创建方式，并具备版本管理能力，每次发布生成新版本。创建后类型不可修改。 @@ -66,7 +66,7 @@ 百炼提供多种预置评估器模板，覆盖以下分类： - **通用质量**：评估回答的基本质量指标 -- **智能体**：专门用于评测智能体应用 +- **智能体**：专门用于评测[智能体应用](../concepts/agent-application.md) - **文本匹配**：精确规则文本匹配 - **文本相似度**：计算文本相似度得分 - **格式校验**：验证输出格式规范性 @@ -137,9 +137,9 @@ 识别 BadCase → 分析归因定位问题 → 实施针对性优化 → 发布新版本再次评测 → 对比结果确认改进。若效果未达预期则继续迭代。 -## 计费说明 +## [计费](../concepts/billing.md)说明 -评测任务调用大模型产生的 [Token](../concepts/token.md) 费用正常计费。自动评测的评测集生成和评估均会消耗 [Token](../concepts/token.md)，预估平均消耗仅为参考值，最终以实际账单为准。评估器模型当前限时免费。 +评测任务调用大模型产生的 [Token](../concepts/token.md) 费用正常[计费](../concepts/billing.md)。自动评测的评测集生成和评估均会消耗 [Token](../concepts/token.md)，预估平均消耗仅为参考值，最终以实际账单为准。评估器模型当前限时免费。 ## 常见问题 @@ -167,3 +167,11 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md index 9ae2c8d0..49385033 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-monitoring.md @@ -75,17 +75,17 @@ | AGENT | 对智能体的调用 | | RETRIEVER | 检索操作；KnowledgeRetriever 表示在[知识库](../concepts/knowledge-base.md)中检索。子节点名称含 TextRetriever（改进 BM25，默认返回 100 个切片）、VectorRetriever（向量检索，默认返回 100 个切片） | | REWRITER | 基于会话上下文调整原始 Prompt 以提升检索效果 | -| EMBEDDING | 将 Prompt 转为向量，[Token](../concepts/token.md) 量为本次向量化的 [Token](../concepts/token.md) 数 | +| EMBEDDING | 将 Prompt 转为向量，[Token](../concepts/token.md) 量为本次[向量化](../concepts/embedding.md)的 [Token](../concepts/token.md) 数 | | RERANKER | 计算文本切片相似度分数并降序排列 | | LLM | 大模型推理/文本生成，[Token](../concepts/token.md) 量 = 输入 + 输出；延时包含输出回复过程 | | TOOL | 插件调用（官方或自定义） | | GUARDRAIL | 阿里绿网调用；ManualIntervention 为用户干预规则，SystemIntervention 为系统干预规则 | -> 目前暂不支持观测长期记忆中的检索过程；TextRetriever 与 VectorRetriever 默认返回 100 个切片，暂不支持调整数量。 +> 目前暂不支持观测[长期记忆](../concepts/long-term-memory.md)中的检索过程；TextRetriever 与 VectorRetriever 默认返回 100 个切片，暂不支持调整数量。 ### [工作流](../concepts/workflow.md)应用节点 -除上述 CHAIN、RETRIEVER、REWRITER、EMBEDDING、RERANKER、LLM、GUARDRAIL 外，还包含工作流专属节点：START（开始）、END（结束）、API、CLASSIFIER（意图分类）、TEXT_CONVERTER（文本转换）、SCRIPT（脚本转换）、CONDITION（条件判断）、FUNCTION_COMPUTE（函数计算）、APP_FLOW。 +除上述 CHAIN、RETRIEVER、REWRITER、EMBEDDING、RERANKER、LLM、GUARDRAIL 外，还包含[工作流](../concepts/workflow.md)专属节点：START（开始）、END（结束）、API、CLASSIFIER（意图分类）、TEXT_CONVERTER（文本转换）、SCRIPT（脚本转换）、CONDITION（条件判断）、FUNCTION_COMPUTE（函数计算）、APP_FLOW。 ### 高代码应用节点 @@ -98,7 +98,7 @@ ## 关键指标说明 - **延时（调用时长）**：对 LLM 节点，包含输出回复的完整过程。 -- **[Token](../concepts/token.md) 量**：Embedding 节点为本次向量化 [Token](../concepts/token.md) 数；LLM 节点为输入 [Token](../concepts/token.md) + 输出 [Token](../concepts/token.md)。 +- **[Token](../concepts/token.md) 量**：Embedding 节点为本次[向量化](../concepts/embedding.md) [Token](../concepts/token.md) 数；LLM 节点为输入 [Token](../concepts/token.md) + 输出 [Token](../concepts/token.md)。 - **数据时效**：指标更新频率为分钟级，调用记录最长可查 30 天。 - **应用总量 / 平均延时**：用于评估应用运营效果与成本，详见 [应用观测](../../raw/application-user-guide/application-monitoring/application-observation.md)。 @@ -117,6 +117,14 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md index 32803f47..b4a6415c 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-permission-management.md @@ -32,20 +32,20 @@ - **限制模型调用**：管理某个模型可否在该[业务空间](../concepts/workspace.md)调用（控制台 & API），并设置该模型的请求数限流和 [Token](../concepts/token.md) 限流。默认[业务空间](../concepts/workspace.md)所有模型均可调用且无法限流。 - **限制模型训练**：管理某个模型可否在该[业务空间](../concepts/workspace.md)进行调优和调优后部署。默认[业务空间](../concepts/workspace.md)所有支持调优的模型均可调优及部署。 - **限制[模型部署](../concepts/model-deployment.md)**：管理某个模型可否在该[业务空间](../concepts/workspace.md)直接部署。默认[业务空间](../concepts/workspace.md)所有支持部署的模型均可部署。 -- **用户控制台权限管理**：管理某个 RAM 用户是否能使用该业务空间控制台的功能及能使用哪些功能，但无法限制归属该用户的 [API Key](../concepts/api-key.md) 的调用。阿里云主账号无须设置，可访问所有业务空间的所有页面。 +- **用户控制台权限管理**：管理某个 RAM 用户是否能使用该[业务空间](../concepts/workspace.md)控制台的功能及能使用哪些功能，但无法限制归属该用户的 [API Key](../concepts/api-key.md) 的调用。阿里云主账号无须设置，可访问所有[业务空间](../concepts/workspace.md)的所有页面。 -关于业务空间的地域隔离与限流细节，可进一步参考 [权限管理](../../raw/application-user-guide/application-permission-management/application-permission-management-overview.md)。 +关于[业务空间](../concepts/workspace.md)的地域隔离与限流细节，可进一步参考 [权限管理](../../raw/application-user-guide/application-permission-management/application-permission-management-overview.md)。 ## API-Key 权限 -单个 [API Key](../concepts/api-key.md) 只能归属一个地域内的一个业务空间和一个用户，且不能转移。[API Key](../concepts/api-key.md) 可调用的功能和模型限流与**归属业务空间**的权限保持一致，不受用户控制台权限管理的影响，也无需为不同模型（如文生文、文生图、语音合成）创建不同的 [API Key](../concepts/api-key.md)。 +单个 [API Key](../concepts/api-key.md) 只能归属一个地域内的一个[业务空间](../concepts/workspace.md)和一个用户，且不能转移。[API Key](../concepts/api-key.md) 可调用的功能和模型限流与**归属[业务空间](../concepts/workspace.md)**的权限保持一致，不受用户控制台权限管理的影响，也无需为不同模型（如文生文、文生图、语音合成）创建不同的 [API Key](../concepts/api-key.md)。 [API Key](../concepts/api-key.md) 的状态随归属用户操作变化： | 触发操作 | 主账号的 [API Key](../concepts/api-key.md) | RAM 账号的 [API Key](../concepts/api-key.md) | | --- | --- | --- | | 主动删除 [API Key](../concepts/api-key.md) | 失效，不可恢复 | 失效，不可恢复 | -| 将账号移出业务空间 | — | 失效（重新加入后恢复生效） | +| 将账号移出[业务空间](../concepts/workspace.md) | — | 失效（重新加入后恢复生效） | | 在 RAM 控制台删除账号/角色 | — | 失效，不可恢复 | | 为 [API Key](../concepts/api-key.md) 设置 IP 访问白名单 | 华北2（北京）地域支持 | 华北2（北京）地域支持 | @@ -55,7 +55,7 @@ ## OpenAPI 接口权限 -RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程及长期记忆等功能的 Open API。需由阿里云主账号在 RAM 控制台为 RAM 用户添加以下权限之一： +RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程及[长期记忆](../concepts/long-term-memory.md)等功能的 Open API。需由阿里云主账号在 RAM 控制台为 RAM 用户添加以下权限之一： - `AliyunBailianDataFullAccess`：可调用百炼应用 API 目录下的所有 API。 - `AliyunBailianDataReadOnlyAccess`：可调用百炼应用 API 目录下的只读类 API，如 `DescribeFile`、`GetIndexJobStatus` 等。 @@ -73,34 +73,34 @@ RAM 用户默认无权查看阿里云账单和购买预付费产品，需在 RAM 需要阿里云主账号或具备 `AliyunRAMFullAccess` 系统策略的 RAM 用户操作。前往 RAM 控制台为 RAM 用户添加 `AliyunBailianFullAccess` 和 `AliyunBSSOrderAccess` 权限后，即可通过百炼全局管理菜单授权任意地域、空间的权限并购买预付费产品。 -### 设置业务空间管理员 +### 设置[业务空间](../concepts/workspace.md)管理员 -需超级管理员或业务空间管理员操作。在百炼控制台左侧导航栏「权限管理」页签内为 RAM 用户添加「管理员」权限。 +需超级管理员或[业务空间](../concepts/workspace.md)管理员操作。在百炼控制台左侧导航栏「权限管理」页签内为 RAM 用户添加「管理员」权限。 ### 设置模型调用权限 -1. 不使用默认业务空间时，需先由超级管理员为业务空间开通特定模型的模型调用权限。 -2. 通过控制台调用时，需由超级管理员或业务空间管理员为 RAM 用户添加：**模型体验-操作**（控制台调用模型）、**批量推理-操作**（支持批量推理）、**模型观测-操作**（查看 [Token](../concepts/token.md) 消耗量）。 -3. 通过 API 调用时，需为 RAM 用户在对应业务空间创建或分配 API Key。 +1. 不使用默认[业务空间](../concepts/workspace.md)时，需先由超级管理员为[业务空间](../concepts/workspace.md)开通特定模型的模型调用权限。 +2. 通过控制台调用时，需由超级管理员或[业务空间](../concepts/workspace.md)管理员为 RAM 用户添加：**模型体验-操作**（控制台调用模型）、**批量推理-操作**（支持批量推理）、**模型观测-操作**（查看 [Token](../concepts/token.md) 消耗量）。 +3. 通过 API 调用时，需为 RAM 用户在对应[业务空间](../concepts/workspace.md)创建或分配 [API Key](../concepts/api-key.md)。 ### 设置[模型调优](../concepts/fine-tuning.md)权限 -1. 不使用默认业务空间时，需先由超级管理员为业务空间开通特定模型的[模型调优](../concepts/fine-tuning.md)（训练）权限。 +1. 不使用默认[业务空间](../concepts/workspace.md)时，需先由超级管理员为[业务空间](../concepts/workspace.md)开通特定模型的[模型调优](../concepts/fine-tuning.md)（训练）权限。 2. 在「权限管理」页签内为 RAM 用户添加以下权限：**模型体验-操作**、**模型调优-操作**、**我的模型-操作**（管理调优后模型快照）、**[模型部署](../concepts/model-deployment.md)-操作**（部署调优后的模型）、**模型[评测](../concepts/evaluation.md)-操作**、**数据管理-操作**（管理调优数据集）、**模型观测-操作**。 -3. 通过 API 调优时，无需额外控制台权限，只需为 RAM 用户分配 API Key 即可。 +3. 通过 API 调优时，无需额外控制台权限，只需为 RAM 用户分配 [API Key](../concepts/api-key.md) 即可。 完整的权限配置流程与截图说明见 [权限管理](../../raw/application-user-guide/application-permission-management/application-permission-management-overview.md)。 ## 生产环境实践 - **空间规划策略**：推荐按环境划分（开发 `project-dev-workspace`、测试 `project-test-workspace`、预发与生产 `project-prod-workspace`），实现严格的环境隔离；也可按业务线划分（如 `marketing-team-workspace`、`customer-team-workspace`），便于权限和成本管理。 -- **限流策略**：将主账号总配额按比例分配给各业务空间并预留缓冲。例如账号总配额 1000 QPM，可分配生产 600 QPM（60%）、测试 200 QPM（20%）、开发 100 QPM（10%）、预留缓冲 100 QPM（10%），以应对突发流量。 +- **限流策略**：将主账号总配额按比例分配给各[业务空间](../concepts/workspace.md)并预留缓冲。例如账号总配额 1000 QPM，可分配生产 600 QPM（60%）、测试 200 QPM（20%）、开发 100 QPM（10%）、预留缓冲 100 QPM（10%），以应对突发流量。 ## 限制与注意事项 - 业务空间不能跨地域存在；不同地域的默认业务空间也是不同空间。 - 默认业务空间无法设置模型调用、调优、部署限制，所有模型均按默认策略可用且无法限流。 -- API Key 不可跨业务空间或跨用户转移；账号移出业务空间后其 API Key 失效，重新加入后恢复。 +- [API Key](../concepts/api-key.md) 不可跨业务空间或跨用户转移；账号移出业务空间后其 [API Key](../concepts/api-key.md) 失效，重新加入后恢复。 - OpenAPI 接口权限、账单与预付费权限必须由阿里云主账号在 RAM 控制台授权，业务空间管理员无法授予。 - `AliyunBSSReadOnlyAccess` / `AliyunBSSOrderAccess` 为全产品级权限，授权范围远超百炼本身，需谨慎。 - 开通 AI 安全护栏、模型监控、应用观测等功能，建议使用阿里云主账号在控制台一次性授权开通。 @@ -108,7 +108,7 @@ RAM 用户默认无权查看阿里云账单和购买预付费产品，需在 RAM ## 常见问题 - **如何获取业务空间 ID**：参考应用开发的「获取 Workspace ID」文档。 -- **如何使用子业务空间调用模型**：无需特殊设置，使用子业务空间的 API Key 即可。 +- **如何使用子业务空间调用模型**：无需特殊设置，使用子业务空间的 [API Key](../concepts/api-key.md) 即可。 - **如何使用特定业务空间的应用**：使用 API 管理和调用特定业务空间的应用时，需同时设置 APP ID 和 Workspace ID。 ## 来源文档 @@ -126,6 +126,14 @@ RAM 用户默认无权查看阿里云账单和购买预付费产品，需在 RAM + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md index 0dd5decf..4f99d8d8 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-publishing-and-sharing.md @@ -8,24 +8,24 @@ > **注意**：**Agent 2.0** [智能体应用](../concepts/agent-application.md)仅支持通过 API 调用，**不支持**上述任何分享渠道。若需分享，请确认应用版本。 -前提条件是已有构建好且**已发布**的智能体应用。所有分享渠道通过百炼控制台 **应用管理 → 目标应用卡片 → 发布** 进入。详见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 +前提条件是已有构建好且**已发布**的[智能体应用](../concepts/agent-application.md)。所有分享渠道通过百炼控制台 **应用管理 → 目标应用卡片 → 发布** 进入。详见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 ## 分享渠道 -智能体应用（Agent 1.0）支持四种分享或发布方式，以及音视频实时互动： +[智能体应用](../concepts/agent-application.md)（Agent 1.0）支持四种分享或发布方式，以及音视频实时互动： - **UI 应用 / 魔笔分享渠道**：进入 UI 设计器编辑并发布界面，在 **环境部署** 中获取应用地址后分享。持有链接的阿里云用户均可访问，**单击「下线」可停止服务**。 - **钉钉**：在 **发布平台** 授权计算巢 AppFlow（SLR 关联 + API-KEY 加密传输），配置钉钉模板 ID、Client ID、Client Secret 后创建，最终得到 **回调地址** 用于配置钉钉机器人。钉钉机器人的 **消息接收模式必须选 HTTP 模式**，选 Stream 模式会导致无法返回消息；并需申请 `Card.Streaming.Write` 与 `Card.Instance.Write` 权限。 - **微信公众号**：若已在钉钉步骤授权过则无需再次授权。选择 API KEY 与微信凭据（需 AppID 授权）后创建，生成二维码供用户扫码体验。 -- **音视频实时互动**：仅支持图文对话类应用（含智能体与工作流）。支持 H5/APP 扫码与 SDK 集成（基于 AICallKit SDK，含 UI/不含 UI 两种方案）两种渠道。 +- **音视频实时互动**：仅支持图文对话类应用（含智能体与[工作流](../concepts/workflow.md)）。支持 H5/APP 扫码与 SDK 集成（基于 AICallKit SDK，含 UI/不含 UI 两种方案）两种渠道。 > **注意**：临时体验二维码（音视频互动）与从已有应用发布的 UI 体验链接，**有效期均为 24 小时**，过期需重新生成或重新发布。 -**权限与计费**：共享应用可被应用创建者（主账号）、RAM 用户及持有链接的其他阿里云用户访问；所有通过分享链接产生的费用由**应用创建者 UID 账号**承担。上述钉钉/微信配置细节见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 +**权限与[计费](../concepts/billing.md)**：共享应用可被应用创建者（主账号）、RAM 用户及持有链接的其他阿里云用户访问；所有通过分享链接产生的费用由**应用创建者 UID 账号**承担。上述钉钉/微信配置细节见 [分享智能体应用](../../raw/application-user-guide/application-publishing-and-sharing/share-an-application.md)。 ## 组件化发布与接入 -智能体或工作流应用可发布为模块化组件，供其他应用复用。发布路径有三处：发布应用时勾选 **发布应用组件**、在 **发布渠道** 的组件区域 **+ 创建**、或在控制台 **组件管理** 面板创建。详见 [使用智能体或工作流作为组件](../../raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md)。 +智能体或[工作流](../concepts/workflow.md)应用可发布为模块化组件，供其他应用复用。发布路径有三处：发布应用时勾选 **发布应用组件**、在 **发布渠道** 的组件区域 **+ 创建**、或在控制台 **组件管理** 面板创建。详见 [使用智能体或工作流作为组件](../../raw/application-user-guide/application-publishing-and-sharing/use-agent-or-workflow-as-component.md)。 ### 关键参数 @@ -35,11 +35,11 @@ - **别名**：调用者只能看到别名，用于避免参数重名。 - **传参方式**： - - **业务透传**：智能体中由使用者提供，工作流中由上游节点提供。 + - **业务透传**：智能体中由使用者提供，[工作流](../concepts/workflow.md)中由上游节点提供。 - **模型识别**：智能体中由大模型根据参数描述自动推断填充。 - **组件描述**：接入智能体时，大模型据此自动判断是否调用；接入工作流时仅作说明，不影响运行。 -> **注意**：即使参数的传参方式设为**模型识别**，在**工作流应用**中应用也**不会**自动推断参数值，必须像业务透传一样从上游节点明确提供输入值。模型识别仅在智能体应用中生效。 +> **注意**：即使参数的传参方式设为**模型识别**，在**工作流应用**中应用也**不会**自动推断参数值，必须像业务透传一样从上游节点明确提供输入值。模型识别仅在[智能体应用](../concepts/agent-application.md)中生效。 ### 接入方式 @@ -56,7 +56,7 @@ UI 设计器集成阿里云多端低代码平台魔笔的能力，提供可视化拖放式界面构建，可将应用发布为网页 UI。详见 [UI设计器](../../raw/application-user-guide/application-publishing-and-sharing/ui-designer.md)。 -**前提**：百炼应用、API Key 和 UI 设计必须归属于**同一业务空间**，否则无法在 UI 创建时选择对应的 API Key 与应用。 +**前提**：百炼应用、[API Key](../concepts/api-key.md) 和 UI 设计必须归属于**同一[业务空间](../concepts/workspace.md)**，否则无法在 UI 创建时选择对应的 [API Key](../concepts/api-key.md) 与应用。 发布方式有两种：从已有应用一键创建 UI（自动填充标题、API-KEY、智能体、预设问题等），或通过 UI 设计器从模板（空白 / 智能出行助手 / 智能体门户 / AI 基础对话 / 企业 AI 知识库 Lite）创建。核心流程为：创建 UI → 拖放组件编辑页面 → 发布与分享。 @@ -71,7 +71,7 @@ UI 设计器集成阿里云多端低代码平台魔笔的能力，提供可视 **权限**：UI 应用发布后默认持有链接的阿里云用户可访问，也可开启 **允许匿名访问** 并通过权限组限制其只访问会话页。 -**计费**：UI 设计器功能本身不计费，但会产生模型调用费用、UI 应用数据（超出 1GB 免费文件存储与 0.3GB 免费数据库容量后按量计费）、以及生产环境发布所需的套餐订阅费用。 +**[计费](../concepts/billing.md)**：UI 设计器功能本身不[计费](../concepts/billing.md)，但会产生模型调用费用、UI 应用数据（超出 1GB 免费文件存储与 0.3GB 免费数据库容量后按量[计费](../concepts/billing.md)）、以及生产环境发布所需的套餐订阅费用。 对于工作流应用，若配置了文件类型的自定义参数，需在 UI 设计器中指定 `{{{file_name:files[0]}}}`（将 `file_name` 替换为实际变量名），才能正确读取用户上传的文件。 @@ -84,3 +84,11 @@ UI 设计器集成阿里云多端低代码平台魔笔的能力，提供可视 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md index adc2411d..2ff3abc2 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-support.md @@ -1,91 +1,105 @@ # application [support](support.md) -本页汇总阿里云百炼平台应用与[知识库](../concepts/knowledge-base.md)使用过程中的常见问题、关键限制以及相关协议入口，帮助开发者在接入应用、调用插件、管理数据与合规备案时快速定位答案。内容主要参考 [常见问题](../../raw/application-user-guide/application-support/application-faq.md) 与 [相关协议](../../raw/application-user-guide/application-support/application-related-agreements.md)。 +阿里云百炼平台为开发者提供多层次的售后支持体系，涵盖 7×24 基础咨询、标准工单、付费增值服务等渠道，同时明确了平台自身与第三方工具之间的支持边界。本页汇总应用开发中的常见问题解答、相关服务协议及售后服务范围，帮助开发者快速定位支持资源。 -## 应用中心 +## 应用中心常见问题 -### 插件能力 +以下问题摘自 [常见问题](../../raw/application-user-guide/application-support/application-faq.md)，覆盖插件、RAG 检索、API 调用等高频场景。 -百炼应用中心官方提供六款插件：Python 代码解释器、计算器、图片生成、夸克搜索、生成二维码、GitHub 搜索，其中部分插件需申请通过后方可使用。自定义插件服务本身暂不收费，但配置智能体 API 时若涉及 [prompt](prompt.md) 优化、应用调用及测试窗测试，则会产生费用。 +**官方插件类型** -- **插件理解机制**：自定义 API 插件遵循协议传给大模型理解；自定义函数则由大模型学习传入的参数信息并返回完整结果。 -- **header 透传**：百炼调用自定义插件时**不支持自定义 header**，仅支持 `authorization`。若业务场景需要透传 header，需在服务端侧另行处理。 +目前系统提供六款内置插件：Python 代码解释器、计算器、图片生成、夸克搜索、生成二维码、GitHub 搜索。部分插件需申请审批后方可使用。自定义插件服务暂不收费，但涉及 [prompt](prompt.md) 优化、应用调用及测试窗测试时会产生费用。 -### Agent 与 Assistant API 的区别 +**自定义插件与 Assistant API** -Agent 偏重于调整插件模型与基于上下文的理解，由用户自行开发；Assistant API 则提供各类能力以方便调优。两者面向不同定制粒度，可根据应用复杂度选择。 +- 自定义 API 插件遵循协议传给大模型理解，函数调用会返回完整结果。 +- 不支持透传自定义 header，仅支持 `authorization`。 +- Agent 与 Assistant API 的核心区别：Agent 允许开发者自行调整插件模型和上下文理解逻辑；Assistant API 提供多种类以方便调优。 -### 输出控制 +**RAG 检索增强** -- **流式与增量输出**：默认为全量回复，若需增量输出，可设置 `stream=True`（[流式输出](../concepts/streaming-output.md)）与 `incremental_output=True`（增量式[流式输出](../concepts/streaming-output.md)）。 -- **Markdown 加粗**：模型输出中的 `**xxxxx**` 是 Markdown 加粗标识，需在前端渲染时解析 md 语法即可正常显示。 +- 多知识库检索采用**并行**方式，各知识库按用户配置独立检索，最终按得分取 topN。 +- 模型回复不准确时，可点击回复下方的问题反馈按钮提交，或复制 RequestId 后提交阿里云工单。 -## 知识检索（RAG） +**流式/增量输出** -RAG（[检索增强生成](../concepts/rag.md)）在问答系统、对话系统、文本摘要、知识图谱构建与推理、教育与培训、客户服务、新闻与内容创作、智能搜索与推荐等多个领域均有应用。 +若需增量[流式输出](../concepts/streaming.md)，在 SDK 调用时设置： -- **检索顺序**：RAG 检索为**并行**方式，依据每个[知识库](../concepts/knowledge-base.md)的用户配置进行检索，再根据得分选取 topN 结果。 -- **回复不准确优化**：可点击模型回复下方的问题反馈按钮，勾选问题类型提交；也可复制 RequestId 通过阿里云工单反馈。详见 [常见问题](../../raw/application-user-guide/application-support/application-faq.md)。 +```python +stream=True # 开启流式输出 +incremental_output=True # 增量式流式输出 +``` -## 数据管理 +**Markdown 渲染** -### 文件上传 +AI 输出中的 `**text**` 为标准 Markdown 加粗语法，需在前端渲染时解析 Markdown 并做对应展示。 -- **格式限制**：上传 PDF 文件时后缀必须为小写 `pdf`，否则会触发错误码 `140010`（"上传文件仅支持 pdf/doc/docx 文件"）。 -- **MD5 参数**：上传文件接口的必填 MD5 参数用于校验上传文件的完整性。 -- **容量上限**：每个[业务空间](../concepts/workspace.md)最多上传 10 万个文档，超出需提交阿里云工单申请扩容。 +## 数据管理常见问题 -### 结构化数据导入 +**文件上传** -结构化数据导入后若出现条数缺失（如 100 条仅导入 20 条），通常是因为表格中存在空行。产品策略规定：遇到空行后续数据不再识别；若第一行为空行，则整表视为空文件。 +- PDF 文件后缀必须为小写 `pdf`，否则报错码 `140010`。 +- 每个业务空间最多上传 10 万个文档；如需扩容，提交阿里云工单申请。 +- 上传接口中的 MD5 参数用于校验文件完整性。 -## 应用与小程序备案 +**结构化数据导入** -产品接入通义千问大模型后，若需上架应用市场或小程序平台，需完成备案并申请合作协议： - -1. 参考[应用合规备案](https://help.aliyun.com/zh/model-studio/compliance-and-launch-filing-guide-for-ai-apps-powered-by-the-tongyi-model)进行备案。 -2. [提交工单](https://smartservice.console.aliyun.com/service/create-ticket)申请通义千问系列模型的合作协议。 - -## 相关协议 - -接入百炼前请阅读以下协议条款： - -- [阿里云百炼服务协议](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20230728213935489/20230728213935489.html) -- [阿里云百炼服务特别说明](https://help.aliyun.com/zh/model-studio/bailian-service-notes) -- [开源模型协议条款说明](https://help.aliyun.com/zh/model-studio/open-source-model-terms) - -协议入口同时收录在 [相关协议](../../raw/application-user-guide/application-support/application-related-agreements.md) 中，建议在正式接入前逐项确认。 - -## 常见限制与注意事项 - -- 自定义 header 不被支持，仅 `authorization` 可透传。 -- PDF 后缀必须为小写，避免触发 `140010` 错误码。 -- 结构化数据表格中的空行会导致后续数据被截断识别。 -- [业务空间](../concepts/workspace.md)文档数上限为 10 万，超额需工单申请。 -- 自定义插件本身免费，但 [prompt](prompt.md) 优化、应用调用与测试窗测试会收费。 - -## 来源文档 - -- [常见问题](../../raw/application-user-guide/application-support/application-faq.md) -- [相关协议](../../raw/application-user-guide/application-support/application-related-agreements.md) +若结构化数据导入后条数少于预期，请检查表格中是否含空行——空行之后的数据不会被识别；若第一行为空行，文件将被视为空文件。 +## 应用/小程序备案 +接入通义千问大模型并准备上架应用市场或小程序平台时： +1. 参考[应用合规备案](https://help.aliyun.com/zh/model-studio/compliance-and-launch-filing-guide-for-ai-apps-powered-by-the-tongyi-model)完成备案。 +2. 提交阿里云工单申请通义千问系列模型的合作协议。 +## 售后服务范围 +详细说明见 [阿里云百炼平台售后服务范围说明](../../raw/application-user-guide/application-support/application-after-sales-service-scope.md)。 +### 基础支持（免费，服务期内） +通过官网、电话（95187、400）及阿里云 APP 提供 7×24 咨询，支持范围： +- 模型服务与产品功能、架构咨询 +- 使用与配置最佳实践 +- API 及官方 SDK 故障诊断 +- 管理控制台相关问题 +- 账号、财务、合同及计费咨询 +### 付费增值服务 +阿里云提供付费版售后增值服务（含支持计划），需在阿里云官网订购后生效。如项目需要更深度的技术支持（业务代码编写指导、定制化集成方案等），建议联系阿里云商务经理沟通定制化方案。 +### 第三方工具对接的支持边界 +**支持范围（方向性建议）**： +- 确认百炼 API 接口及服务端可用状态 +- 官方 API 调用示例及 SDK 使用说明参考 +- 协助核查服务端调用明细和计费记录 +- 基本连通性测试建议（如 curl 测试） +**不在支持范围内**： +- 第三方工具（Cursor、Windsurf、Cline 等）的安装、配置、升级及使用指导 +- 第三方工具内部功能、交互逻辑问题排查 +- 用户业务代码的编写、调试与实现 +- 用户本地环境（内网、代理、VPN、防火墙等）导致的连通性或兼容性问题 +- 第三方工具显示的 Token 数/费用预估与阿里云计费数据之间的差异解释 +> **注意**：第三方工具不构成阿里云的代理或联合服务主体，阿里云不对外部第三方工具的任何陈述、承诺或行为承担责任。第三方工具的运行维护责任由用户及相应工具提供方承担。 +## 相关协议 +以下协议文本详见 [相关协议](../../raw/application-user-guide/application-support/application-related-agreements.md)： +- [阿里云百炼服务协议](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20230728213935489/20230728213935489.html) +- [阿里云百炼体验功能特别说明](https://terms.alicdn.com/legal-agreement/terms/common_platform_service/20260716114753386/20260716114753386.html) +- [开源模型协议条款说明](https://help.aliyun.com/zh/model-studio/open-source-model-terms) +## 来源文档 +- [常见问题](../../raw/application-user-guide/application-support/application-faq.md) +- [相关协议](../../raw/application-user-guide/application-support/application-related-agreements.md) +- [阿里云百炼平台售后服务范围说明](../../raw/application-user-guide/application-support/application-after-sales-service-scope.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md b/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md index cbd307ef..3a8b6325 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/application-use-cases.md @@ -96,6 +96,14 @@ AppFlow 连接流可在百炼步骤后添加 SLS 日志云服务节点，将对 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md b/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md index 5d694cf8..488f5612 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/bailian-application-calling.md @@ -13,7 +13,7 @@ ## 基本调用方式 -[智能体应用](../concepts/agent-application.md)与工作流应用的调用接口完全相同，详见[调用智能体应用](../../raw/application-user-guide/bailian-application-calling/call-single-agent-application.md)与[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。核心请求结构如下： +[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用的调用接口完全相同，详见[调用智能体应用](../../raw/application-user-guide/bailian-application-calling/call-single-agent-application.md)与[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。核心请求结构如下： ``` POST https://dashscope.aliyuncs.com/api/v1/apps/{APP_ID}/completion @@ -84,14 +84,14 @@ curl -X POST https://dashscope.aliyuncs.com/api/v1/apps/YOUR_APP_ID/completion \ ## 多轮对话 -工作流应用支持多轮对话，详见[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。两种实现方式： +[工作流](../concepts/workflow.md)应用支持多轮对话，详见[调用工作流应用](../../raw/application-user-guide/bailian-application-calling/invoke-workflow-application.md)。两种实现方式： - **使用 `session_id`**：系统自动从云端加载历史对话，实现简单。`session_id` 有效期 1 小时，最多支持 50 轮对话。 - **自行管理 `messages`（推荐）**：手动维护 `messages` 数组传递每轮历史，无需传 `prompt`，控制更灵活。 > **注意**：若请求中同时包含 `session_id` 和 `messages`，系统将优先使用 `messages`。 -使用 `messages` 时，需先在工作流的大模型节点中配置提示词变量 `historyList` 并发布应用，再发起调用。 +使用 `messages` 时，需先在[工作流](../concepts/workflow.md)的大模型节点中配置提示词变量 `historyList` 并发布应用，再发起调用。 ## 自定义参数传递 @@ -184,6 +184,14 @@ Java SDK 通过 `JsonUtils.parse(...)` 将 JSON 字符串转为对象传入 `App + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md b/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md index c0b98b7e..d55db783 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/data-connection-overview.md @@ -24,7 +24,7 @@ - MySQL：已有 MySQL 实例（RDS 或自建），网络可达（公网或私网）。 - PostgreSQL：账号具备高权限（Superuser 或 REPLICATION），且 `wal_level` 设置为 `logical`；自建实例还需配置 `listen_addresses` 允许 `100.64.0.0/16` 网段访问。 - PolarDB-X 2.0：已有阿里云 PolarDB-X 2.0 实例且所在地域支持私网访问；DMS 导入方式需先在 DMS 录入实例。 - - 语雀：已有公网版语雀知识库并获取访问 Token。 + - 语雀：已有公网版语雀知识库并获取访问 [Token](../concepts/token.md)。 - OSS：已创建 Bucket 并开通向量检索服务。 ## 数据库连接器关键差异 @@ -63,7 +63,7 @@ - 数据库连接器执行 SQL 的限制见上文注意框（仅 DMS 导入方式支持）。 - **OSS 连接器**：使用需开通[向量检索服务](https://help.aliyun.com/zh/oss/user-guide/vector-retrieval/)，否则无法使用 `searchOSSFile` / `searchOSSFileByFileName` 工具；不支持归档/冷归档/深度冷归档类型的 Bucket；支持内容加密与私有 Bucket；开启 Referer 防盗链时需将 `*.console.aliyun.com` 加入白名单。 -- **文件导入**：文件作为独立副本存储在平台免费空间（当前无容量限制），仅支持查看最近 **90** 天内导入的文件（超期不可查看但不删除），且仅供当前业务空间使用。请求高峰期解析可能耗时数小时甚至偶现超时，需耐心等待或重试。 +- **文件导入**：文件作为独立副本存储在平台免费空间（当前无容量限制），仅支持查看最近 **90** 天内导入的文件（超期不可查看但不删除），且仅供当前[业务空间](../concepts/workspace.md)使用。请求高峰期解析可能耗时数小时甚至偶现超时，需耐心等待或重试。 - **语雀连接器**：仅支持公网版本语雀，需提供有效的 Tenant access token。 以上流程、字段和限制的完整细节，请以原文 [数据连接](../../raw/application-user-guide/data-connection-overview/data-connection.md) 为准。 @@ -78,3 +78,11 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md b/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md index 3781b4b1..f5b5751f 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/fine-tuning.md @@ -1,77 +1,150 @@ # fine tuning -模型微调（Fine-tuning）是阿里云百炼在 Prompt 工程、插件调用等手段仍无法满足效果时提供的深度定制手段。它覆盖文本生成、视觉理解（Qwen-VL）、图像/视频生成（万相）以及语音合成（CosyVoice）等多种模态，通过 SFT、CPT、DPO 等训练方式，把领域知识、任务能力、人类偏好或特定音色/风格直接写入模型参数。 +阿里云百炼平台支持对文本生成、视觉理解、图像生成、视频生成和语音合成多类模型进行微调，统一通过 DashScope API（`https://dashscope.aliyuncs.com/api/v1/fine-tunes`）发起训练任务。微调是在 Prompt 工程、Function Calling 等轻量手段无法满足需求时才应采用的"最后手段"，耗时较长、部署成本较高，请在充分评估后再决定是否使用。 -> **注意**：以下所有微调、部署与调用能力均**仅在华北2（北京）地域可用**，且必须使用该地域的 API Key；子账号（RAM 用户）需预先被授予调用、训练和部署权限。 +> **注意**：所有微调功能目前仅在**华北2（北京）**地域可用，须使用该地域的 API Key。子账号（RAM 用户）需提前授予模型调用、训练、部署相关权限。 -## 支持的模型与训练方式 +## 支持的模型与调优方式 -按模态划分，不同模型支持的训练方式差异明显： +### 文本生成（千问系列） -- **文本生成（千问系列）**：支持 CPT、SFT（全参 `sft` / 高效 `efficient_sft`）、DPO（全参 `dpo_full` / 高效 `dpo_lora`）。是否支持某种方式因模型而异，例如 Qwen3-32B、Qwen3-4B/1.7B/0.6B、Qwen2.5 系列支持全部 5 种；而 Qwen3.5-Plus/Flash、Qwen3.6/3.7 等新模型往往仅支持 `sft`。详见 [模型调优简介](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md)。 -- **视觉理解（千问 VL）**：Qwen3-VL、Qwen2.5-VL 系列支持 SFT 全参与高效训练，不支持 CPT/DPO。 -- **图像生成（万相）**：`wan2.7-image-pro`、`wan2.7-image`，仅支持 SFT-LoRA 高效微调，见 [微调图像生成模型](../../raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md)。 -- **视频生成（万相）**：图生视频-基于首帧 `wan2.7-i2v`/`wan2.5-i2v-preview`/`wan2.2-i2v-flash`，基于首尾帧 `wan2.2-kf2v-flash`，同样仅支持 SFT-LoRA，见 [微调视频生成模型](../../raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md)。 -- **语音合成（CosyVoice）**：`cosyvoice-v3-flash`，仅支持 `efficient_sft`，且**当前只能通过 API 发起，控制台暂不支持**，见 [CosyVoice模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-speech-synthesis-model/fine-tune-speech-synthesis-model-by-api.md)。 +详见 [模型调优简介](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md)，支持三种调优方式： -## 三种调优方式（文本生成） +| 方式 | 代码 | 一句话概括 | 典型数据量 | +|------|------|-----------|-----------| +| 继续预训练 | `cpt` | 补充领域知识 | ≥ 1000 万 Token 无标签文本 | +| 监督微调 | `sft` / `efficient_sft` | 学会遵循指令 | ≥ 1000 条问答对 | +| 直接偏好优化 | `dpo_full` / `dpo_lora` | 对齐人类偏好 | ≥ 100 组 chosen/rejected 对 | -推荐按递进顺序组合使用：`CPT（可选）→ SFT → DPO（可选）`。 +推荐训练顺序：`CPT（可选）→ SFT → DPO（可选）`。 -| 方式 | 目标 | 数据量 | 数据形态 | -| --- | --- | --- | --- | -| CPT（持续预训练） | 补领域知识 | 1000 万+ Token | 无标签领域文本 `{"text":"..."}` | -| SFT（监督微调） | 学会遵循指令 | 1000+ 条 | ChatML「问-答」对 | -| DPO（直接偏好优化） | 对齐人类偏好 | 100+ 组 | 同指令下「更好/更差」回答对（`chosen`/`rejected`） | +支持的代表性模型（截至文档更新时）：Qwen3-32B、Qwen3-8B、Qwen3-14B、Qwen2.5-72B-Instruct 等；视觉理解模型包括 Qwen3-VL-8B-Instruct、Qwen2.5-VL-72B-Instruct 等。不同模型支持的训练方式不同，以[模型调优简介](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-overview.md)中的支持矩阵为准。 -训练模式分**全参训练**与**高效训练（LoRA）**：两者费用相同，官方建议在模型支持全参训练时优先选择全参（效果更好、性价比更高）；LoRA 适合对训练时间/成本敏感或数据集较小的场景。 +**全参训练 vs 高效训练（LoRA）**：两者费用相同，若模型支持全参训练则优先选择（效果更好）。高效训练收敛更快，适合数据集较小或快速验证的场景。 -## 关键超参数 +### 图像生成（万相） -文本生成调优的常用超参及默认值（以控制台实际显示为准）： +支持 SFT-LoRA 高效微调，详见 [微调图像生成模型](../../raw/model-user-guide/fine-tuning/wan-image-generation-finetune-guide.md)。 -- `learning_rate`：高效训练建议 `1e-4` 量级，全参/CPT 建议 `1e-5` 量级。 -- `n_epochs`：默认 `3`，范围 `[1, 200]`；数据量 <10000 建议循环 3~5 次，>10000 建议 1~2 次。 -- `batch_size`：一般 16/32。 -- `max_length`：建议设为模型支持的最大值；SFT 会**丢弃**超长数据，DPO 则**截断**后仍训练。 -- `lora_rank` / `lora_alpha` / `lora_dropout`：LoRA 专用，秩越大效果略好但更慢、更易过拟合。 -- 通过 API 创建任务时，`n_epochs`、`batch_size`、`max_length` 因影响计费而**必填**。 +| 模型 | 支持模式 | +|------|---------| +| wan2.7-image-pro | 文生图（t2i）、图生图（i2i） | +| wan2.7-image | 文生图（t2i）、图生图（i2i） | -> **注意**：默认学习率各文档取值不一致。控制台参数面板列出的 `learning_rate` 默认值为 `3e-4`（对应高效训练默认场景），而 API 示例中 SFT 全参使用的是 `1.6e-5`。请以实际训练方式对应的量级为准，切勿照搬。 +### 视频生成（万相） -万相图像/视频与 CosyVoice 使用各自独立的超参集，例如万相有 `max_steps`/`generation_type`/`val_img_size`，CosyVoice 分 `lm_*`（影响韵律）与 `fm_*`（影响音色）两组网络的 `*_max_epoch`/`*_step`/`*_num`/`*_batch_size`（8 个子字段全部必填）。 +支持 SFT-LoRA 高效微调，详见 [微调视频生成模型](../../raw/model-user-guide/fine-tuning/wan-video-generation-finetune-guide.md)。 -## 使用方式 +| 模型 | 支持模式 | +|------|---------| +| wan2.7-i2v | 图生视频-基于首帧 | +| wan2.5-i2v-preview | 图生视频-基于首帧 | +| wan2.2-i2v-flash | 图生视频-基于首帧 | +| wan2.2-kf2v-flash | 图生视频-基于首尾帧 | -**控制台（推荐入门）**：在[模型调优](https://bailian.console.aliyun.com/?tab=model#/efm/model_manager)页面创建训练任务 → 选训练方式与模型 → 配置训练集/验证集（可自动切分）→ 配置 Checkpoint 保存 → 开始训练 → 部署 → 评测。零代码场景可参考 [0 代码强化大模型安全合规能力](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/enhance-the-security-compliance-of-large-models.md)，其中给出了以 Qwen3-8B 为例的完整安全对齐 SFT 流程与超参实验对照（全参 `n_epochs=3`/`lr=1e-5` 或 LoRA `n_epochs=3`/`lr=3e-4` 效果较好）。 +### 语音合成（CosyVoice） -**API / 命令行**：统一四步流程，详见 [使用 API 或命令行进行模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/fine-tuning-api-guide.md)： +仅支持 `efficient_sft`，仅支持 `cosyvoice-v3-flash`，**仅支持 API 方式**（控制台不支持）。适用于同一发音人多条录音的高还原度专属音色定制，训练音频推荐总时长 1～10 小时、不少于 150 条。 -1. 上传数据集到 `POST /api/v1/files`（`purpose=fine-tune`），获取 `file_id`。 -2. `POST /api/v1/fine-tunes` 创建任务，关注返回的 `job_id`、`finetuned_output`、`status`。 -3. 轮询 `GET /api/v1/fine-tunes/` 直到 `status` 变为 `SUCCEEDED`。 -4. `POST /api/v1/deployments` 部署（`plan=lora`），轮询直到 `status` 为 `RUNNING`，再用 `deployed_model` 调用。 +## 通用操作流程 -> **注意**：通过 API 创建的训练任务**仅支持按 Token 计费**，不支持模型训练单元（预付费/后付费）；如需使用训练单元，必须通过控制台创建。 +所有模型的微调流程均遵循以下四步： -数据集除 `file_id` 外还可用 OSS 挂载（`data_source_type=oss_mount`），OSS Bucket 地域支持 `cn-beijing` 与 `ap-southeast-1`，挂载时只需指定 `data.jsonl` 路径。 +1. **上传数据集**：`POST /api/v1/files`，`purpose="fine-tune"`，获取 `file_id` +2. **创建训练任务**：`POST /api/v1/fine-tunes`，获取 `job_id` 与 `finetuned_output` +3. **查询任务状态**：`GET /api/v1/fine-tunes/{job_id}`，等待 `status` 变为 `SUCCEEDED` +4. **部署并调用**：`POST /api/v1/deployments`，等待 `status` 变为 `RUNNING` 后即可调用 -## 数据格式要点 +> **注意**：通过 API 创建的文本生成训练任务**仅支持按 Token 计费**，不支持使用预付费/后付费训练单元；如需使用训练单元，请通过控制台创建任务。 -- **SFT**：ChatML `{"messages":[...]}`，支持多轮；不支持 OpenAI 的 `name`/`weight`，所有 assistant 行都会被训练；思考模型（thinking）只训练**最后**一个 assistant 输出且须保留 `` 标签前后的换行。 -- **DPO**：在 `messages` 基础上追加 `chosen`/`rejected`。 -- **CPT**：纯文本 `{"text":"..."}`。 -- **视觉理解**：`content` 用数组，`image`/`video` 声明文件名（不含路径），打包为 ZIP（≤2GB），`data.jsonl` 必须在根目录，文件名全局唯一且仅含 ASCII。 -- **CosyVoice**：`data.jsonl` 每行 `{"wav_fn":"train/xxx.wav","text":"..."}`，`wav_fn` 必须以 `train/` 前缀；`text` 须为纯文本，禁止 SSML/LaTeX/情感标注。 +### 创建训练任务的请求体差异 -## 限制与注意事项 +不同模型的 `POST /api/v1/fine-tunes` 请求体在数据集传参字段上存在不一致： -- **成本与耗时高**：文本模型微调需构建大规模数据集，且调优后模型**必须部署才能使用**，部署费用较高；官方明确将模型调优定位为「最后的手段」，建议先充分尝试 Prompt 工程与插件调用。 -- **训练耗时差异大**：万相文生图约数十分钟，视频微调可达数小时；文本 LoRA 通常 15~30 分钟；部署一般需 3~10 分钟。 -- **计费方式各异**：文本/VL 按训练 Token 计费（`训练Token × 循环次数 × 单价`）；CosyVoice 按 `(lm_max_epoch+fm_max_epoch)×25×音频总秒数` 估算 Token，单价 0.2 元/千 Token，另加部署时长费用。 -- **能力边界不可突破**：CosyVoice 调优产物为单音色模型（`voice` 锁定 `default`），无法新增基础模型不支持的语种、也不支持 `instruction` 指令控制。 -- **过拟合/欠拟合判断**：观察 Training/Validation Loss 曲线，欠拟合可增大 `n_epochs`/`lora_rank`，过拟合则反向调整。 -- 万相 LoRA 调用需在提示词中包含**触发词**以激活风格；图像模型部署后当前仅支持异步调用。 +> **注意**：图像生成和文本生成模型使用 `training_datasets`（含 `data_source_type`），而视频生成和 CosyVoice 使用 `training_file_ids`（仅传文件 ID 数组）。两者不可混用，请以各自的文档示例为准。 + +## 关键超参数说明 + +### 文本生成模型 + +参考 [在控制台进行模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/model-training-on-console.md) 中的超参说明： + +| 参数 | 推荐值 | 说明 | +|------|--------|------| +| `learning_rate` | 高效训练 `1e-4`，全参训练 `1e-5` | 过高导致效果变差，过低变化不明显 | +| `n_epochs` | 数据 < 1 万条用 3~5，> 1 万条用 1~2 | 越多费用越高，需结合验证损失判断 | +| `max_length` | 设为模型支持最大值 | SFT 超长数据直接丢弃，DPO 自动截断 | +| `lora_rank` | 设为模型支持最大值 | 秩越大效果越好但训练略慢 | + +### 图像生成模型（wan） + +| 参数 | 文生图推荐 | 图生图推荐 | 说明 | +|------|-----------|-----------|------| +| `max_steps` | 800 | 800 | 不少于 500 步确保收敛 | +| `generation_type` | `t2i` | `i2i` | 决定训练数据格式 | +| `max_pixels` | `2k` | `1k` | 训练图片最大分辨率 | +| `lora_rank` | 32 | 32 | 取值须为 2ⁿ（16/32/64） | + +### 视频生成模型（wan） + +| 参数 | 说明 | +|------|------| +| `n_epochs` | 建议总 steps ≥ 800；小数据集（≤5条）约需 50 epochs | +| `batch_size` | wan2.7-i2v 推荐 1，其余推荐 4 | +| `max_pixels` | 各模型推荐值不同，wan2.7-i2v 为 102400 | +| `lora_rank` / `lora_alpha` | 推荐均为 32 | + +### CosyVoice + +涉及 LM（韵律）和 FM（音色）两个子网络，推荐超参：`lm_max_epoch=60`，`fm_max_epoch=100`，两者按计费公式线性影响 Token 消耗与训练时长。 + +## 数据格式要求 + +### 文本生成 SFT（ChatML 格式） + +```jsonl +{"messages": [ + {"role": "system", "content": "系统提示"}, + {"role": "user", "content": "用户输入"}, + {"role": "assistant", "content": "期望输出"} +]} +``` + +- 不支持 OpenAI 的 `name`、`weight` 参数 +- 所有 assistant 行都会被训练；思考模型（Thinking）只训练最后一个 assistant 输出 +- 支持 `loss_weight`（0.0~1.0）控制各行重要性（邀测参数） + +### 文本生成 DPO（ChatML 格式） + +```jsonl +{"messages": [...], "chosen": {"role": "assistant", "content": "好答案"}, "rejected": {"role": "assistant", "content": "差答案"}} +``` + +### 图像/视频生成训练集 + +ZIP 压缩包，根目录直接包含 `data.jsonl` 及图片/视频文件（文件名须全局唯一，仅 ASCII 字符）。图片单张宽高不超过 1024px，最大 10 MB。 + +### CosyVoice 训练集 + +ZIP 压缩包，目录结构：`user_data/data.jsonl` + `user_data/train/*.wav`。每行格式：`{"wav_fn": "train/xxx.wav", "text": "对应文本"}`，文本字段为纯文本，禁止包含 SSML 标签。 + +## 部署与调用 + +训练完成（`SUCCEEDED`）后需部署为在线服务（`POST /api/v1/deployments`），等待状态变为 `RUNNING` 后方可调用。部署过程一般需要 5～10 分钟。 + +- **图像生成**：部署后使用 `deployed_model` 名称，调用时走异步接口，响应中无 `content[].type` 字段 +- **视频生成**：wan2.7 使用 `/image2video/video-synthesis`，wan2.5/wan2.2 使用 `/video-generation/video-synthesis` +- **文本生成**：部署后按模型单元时长计费；LoRA 需在部署时将 `freeze_vit=true` 才能按 Token 计费（仅 VL 模型） +- **CosyVoice**：调用时 `voice` 参数必须固定为 `default`，不支持 `instruction` 控制参数 + +## 注意事项与限制 + +- **费用**：调优后的模型部署才能使用，部署费用按时长计费，成本较高；请充分评估后再使用 +- **图像/视频微调触发词**：LoRA 模型调用时提示词中需包含触发词（训练时自动分配，如 `s86b5p`）以激活对应风格 +- **CosyVoice 语种**：调优不能扩展基础模型的语种支持，使用不支持的语种训练后模型仍无法合成该语种 +- **CosyVoice 能力边界**：调优产物不支持声音复刻、声音设计、`instruction` 控制；支持 SSML 和 LaTeX +- **OSS 挂载数据集**：不支持 ZIP 格式，需将整个数据集文件夹上传至 OSS；仅支持北京（`cn-beijing`）和新加坡（`ap-southeast-1`）地域 +- **安全合规微调**：可利用 SFT 将安全对齐目标直接写入模型参数，详见 [0 代码强化大模型安全合规能力](../../raw/model-user-guide/fine-tuning/fine-tune-text-generation-model/enhance-the-security-compliance-of-large-models.md)，全量微调 `n_epochs=3`、`learning_rate=1e-5` 效果最佳（Pass 率约 99%） ## 来源文档 @@ -84,4 +157,3 @@ - [CosyVoice模型调优](../../raw/model-user-guide/fine-tuning/fine-tune-speech-synthesis-model/fine-tune-speech-synthesis-model-by-api.md) - diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md b/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md index 56974632..4f4e5459 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/get-started-with-models.md @@ -1,35 +1,52 @@ # get started with models -阿里云百炼是一站式大模型开发与应用平台，集成千问（Qwen）全系列及 DeepSeek、Kimi、GLM 等主流第三方模型，并提供兼容 OpenAI 的 API。本页面帮助开发者快速完成从选择模型、获取 API Key、配置 Base URL 到发起首次调用的全流程，并梳理地域、接入域名与限流等关键约束。 +阿里云百炼是一站式大模型开发与应用平台，兼容 OpenAI 接口规范，支持千问全系列及 DeepSeek、GLM 等第三方模型的直接 API 调用。开发者只需获取 API Key、选择合适的地域与模型，即可通过几行代码完成首次调用；平台同时提供可视化应用构建、模型微调与评测等全链路能力。 -## 支持的模型与能力 +## 平台概览 -百炼提供开箱即用的模型服务，无需自行部署或运维即可调用。文本生成方面，千问旗舰模型按能力与成本分层选择（参见 [选择模型](../../raw/model-user-guide/get-started-with-models/models.md)）： +百炼提供以下核心能力（详见[什么是阿里云百炼](../../raw/model-user-guide/get-started-with-models/what-is-model-studio.md)）： -- **千问 Max**（如 `qwen3.7-max`）：Qwen 系列效果最好的模型，适合复杂、多步骤任务。 -- **千问 Plus**（如 `qwen3.7-plus`）：效果、速度和成本均衡，多数场景的**推荐选择**。 -- **千问 Flash**（如 `qwen3.6-flash`）：高性价比、低延迟，适合需要快速响应的简单任务。 +- **API 调用**：兼容 OpenAI 接口，仅需替换 `api_key`、`base_url` 和模型名称即可从 OpenAI 迁移。 +- **[多模态](../concepts/multimodal.md)模型**：文本生成、视觉理解、图像/视频生成、语音识别与合成、向量嵌入等。 +- **应用构建**：可视化智能体与工作流应用，以及支持 Python 后端的高代码应用。 +- **模型调优与部署**：支持 SFT / CPT / DPO 微调，支持将模型部署为专享推理服务。 -此外还覆盖视觉理解、图像生成、视频生成、语音识别与合成、嵌入向量等多模态能力，以及长文本、翻译、法律等细分领域模型。平台同时支持模型调优（SFT / CPT / DPO）、模型部署与模型评测，详见 [什么是阿里云百炼](../../raw/model-user-guide/get-started-with-models/what-is-model-studio.md)。 +**计费**：开通无费用；模型调用按 Token 按量付费，新用户可获北京地域新人免费额度。 -## 关键概念与参数 +## 选择模型 -调用前需要先确定四个维度（详见 [选择地域、服务部署范围和接入域名](../../raw/model-user-guide/get-started-with-models/regions.md)）： +百炼提供从能力最强到成本最低的千问系列，以及多家第三方模型（详见[选择模型](../../raw/model-user-guide/get-started-with-models/models.md)）： -- **地域（Region）**：决定接入点和数据存储位置。目前提供华北2（北京，`cn-beijing`）、新加坡（`ap-southeast-1`）、日本（东京，`ap-northeast-1`）、德国（法兰克福，`eu-central-1`）、美国（弗吉尼亚，`us-east-1`）。就近选择可降低延迟。 -- **服务部署范围**：决定推理执行位置。有数据合规需求时选择特定地理边界（如中国内地、欧盟、美国），无合规需求可选全球部署（推理资源池更大）。德国、日本地域通过[业务空间（Workspace）](../concepts/workspace.md)区分部署范围；美国地域可用带 `-us` 后缀的模型名（如 `qwen-plus-us`）限定境内推理。 -- **接入域名**：影响并发上限、超时等服务保障，推荐使用**业务空间专属域名**（`{WorkspaceId}.{region}.maas.aliyuncs.com`，SLA 99.9%、请求超时 3600 秒、支持 HTTP/SSE/WebSocket/WebRTC），另有 Dashscope 域名（现有，超时 600 秒）和试用域名（限流小，不建议生产）。 -- **API Key**：各地域相互独立、不能跨地域混用；Base URL 也必须与同一计费方案的 API Key 配套使用，否则报 401。 +| 定位 | 代表模型 | 适用场景 | +|---|---|---| +| 旗舰（Max） | `qwen3.7-max` | 复杂多步骤推理任务 | +| 均衡（Plus） | `qwen3.7-plus` | 大多数生产场景的推荐选择 | +| 经济（Flash） | `qwen3.6-flash` | 高并发、低延迟、简单任务 | -> **注意**：各地域接入点（Base URL）、API Key 和模型列表均不能跨地域混用；使用北京、新加坡、日本、德国地域时，业务空间专属域名中的 `{WorkspaceId}` 需替换为真实业务空间 ID（可在业务空间管理页查看）。 +> **注意**：`qwen3.8-max-preview` 目前仅对 Token Plan 订阅用户开放，普通按量付费账号无法使用。 -## 使用方式 +稳定版（如 `qwen-plus`）比带日期快照版本（如 `qwen-plus-2025-07-28`）限流额度更高，生产环境优先选用稳定版。 -**1. 账号与凭证准备**（参见 [首次调用千问API](../../raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md)）：注册并开通百炼 → 在 API Key 页面创建 Key → 获取业务空间 ID。建议将 Key 配置到环境变量 `DASHSCOPE_API_KEY`，避免硬编码泄露。 +## 首次 API 调用 -**2. 选择 Base URL**（详见 [Base URL总览](../../raw/model-user-guide/get-started-with-models/base-url.md)）：百炼提供 OpenAI 兼容（`/compatible-mode/v1`）、Anthropic 兼容（`/apps/anthropic`）、DashScope（`/api/v1`）三类接口。以北京地域业务空间专属域名的 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)为例：`https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`。 +完整步骤参见[首次调用千问API](../../raw/model-user-guide/get-started-with-models/first-api-call-to-qwen.md)。 -**3. 发起调用**：兼容 OpenAI 接口规范，迁移现有代码只需调整 API Key、base_url 和模型名称。Python 示例： +### 前置准备 + +1. 注册阿里云账号并完成实名认证。 +2. 前往[百炼控制台](https://bailian.console.aliyun.com/)开通服务（首次进入时自动开通）。 +3. 在 **API Key** 页面创建密钥，建议写入环境变量而非硬编码： + + ```bash + # Linux / macOS（Zsh） + echo "export DASHSCOPE_API_KEY='sk-xxx'" >> ~/.zshrc && source ~/.zshrc + # Windows CMD（永久） + setx DASHSCOPE_API_KEY "sk-xxx" + ``` + +4. 使用北京、新加坡、日本、德国地域时，还需在[业务空间管理](https://bailian.console.aliyun.com/cn-beijing?tab=globalset#/efm/business_management)页面获取 `WorkspaceId`，填入 Base URL。 + +### Python 示例（OpenAI SDK） ```python import os @@ -37,29 +54,93 @@ from openai import OpenAI client = OpenAI( api_key=os.getenv("DASHSCOPE_API_KEY"), + # 北京地域；将 {WorkspaceId} 替换为真实业务空间 ID base_url="https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1", ) completion = client.chat.completions.create( - model="qwen-plus", - messages=[ - {'role': 'system', 'content': 'You are a helpful assistant.'}, - {'role': 'user', 'content': '你是谁？'} - ] + model="qwen3.7-plus", + messages=[{"role": "user", "content": "你是谁？"}] ) print(completion.choices[0].message.content) ``` -也可通过 DashScope SDK（`pip install -U dashscope`）、curl，或 Chatbox、Claude Code 等客户端/开发工具调用。OpenAI Python SDK 要求 Python ≥ 3.8。 +Python 需 3.8+，安装 SDK：`pip install -U openai`（或 `pip install -U dashscope` 使用 [DashScope SDK](../concepts/dashscope-sdk.md)）。 + +## 选择地域与 Base URL + +每个地域有**独立的接入域名、API Key 和模型列表**，不能跨地域混用。详细说明见[选择地域、服务部署范围和接入域名](../../raw/model-user-guide/get-started-with-models/regions.md)和[Base URL总览](../../raw/model-user-guide/get-started-with-models/base-url.md)。 + +### 地域选择原则 + +| 使用场景 | 推荐地域 | 服务部署范围 | +|---|---|---| +| 数据不出中国内地 | 华北2（北京） | 中国内地 | +| 数据不经中国内地 | 新加坡 | 国际 | +| 数据不出欧盟 | 德国（法兰克福） | 欧盟 | +| 数据不出美国 | 美国（弗吉尼亚） | 美国 | +| 无合规限制、追求更大资源池 | 美国 / 德国 / 日本 | 全球 | + +### 接入域名类型对比 + +| 类型 | 域名格式 | 请求超时 | SLA | 适用场景 | +|---|---|---|---|---| +| 业务空间专属（推荐） | `{WorkspaceId}.{region}.maas.aliyuncs.com` | 3600s | 99.9% | 生产环境 | +| Dashscope 域名 | `dashscope.aliyuncs.com` 等 | 600s | 99.9% | 存量业务兼容 | +| 试用域名 | `trial.{region}.maas.aliyuncs.com` | 600s | 无 | 快速验证 | + +各地域 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md) Base URL（业务空间专属域名）： + +| 地域 | Base URL | +|---|---| +| 华北2（北京） | `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| 新加坡 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 日本（东京） | `https://{WorkspaceId}.ap-northeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 德国（法兰克福） | `https://{WorkspaceId}.eu-central-1.maas.aliyuncs.com/compatible-mode/v1` | +| 美国（弗吉尼亚） | `https://dashscope-us.aliyuncs.com/compatible-mode/v1`（暂无专属域名） | + +> **注意**：美国（弗吉尼亚）地域目前尚不支持业务空间专属域名，只能使用 Dashscope 域名（`dashscope-us.aliyuncs.com`）。 + +从 Dashscope 域名迁移到业务空间专属域名只需替换 URL 中的域名部分，无需修改业务逻辑。 + +## 限流规则 + +限流按**主账号维度**计算，账号下所有 RAM 子账号、业务空间和 API Key 的调用量合并统计。超出限制后通常在一分钟内自动恢复。详细额度见[限流](../../raw/model-user-guide/get-started-with-models/rate-limit.md)。 + +### 常见限流错误 + +| 错误信息 | 触发原因 | +|---|---| +| `Requests rate limit exceeded` | 超出每分钟请求数（RPM） | +| `Allocated quota exceeded` | 超出每分钟 Token 消耗（TPM） | +| `Request rate increased too quickly` | 瞬时请求爆发，触发秒级稳定性保护 | + +> **注意**：即使每分钟总量未超过 RPM / TPM，短时间内的请求爆发也可能触发 RPS / TPS 秒级限流。 + +### 应对策略 + +1. **优先使用高限流模型**：稳定版（如 `qwen-plus`）额度远高于带日期快照版本；RPM 30,000 远高于快照版的 60~600。 +2. **指数退避 + 请求队列**：收到 429 时平滑重试，避免瞬时高峰。 +3. **配置备选模型**：主模型触发限流时自动切换到备用模型（参考上文示例代码）。 +4. **批量推理**：非实时场景使用 Batch API，不受实时限流约束。 +5. **临时提额**：在百炼控制台的**限流提额**页面申请，提交后立即生效，有效期 30 天（当前支持北京和新加坡地域）。 + +### 部分模型限流参考（华北2·北京） -## 限制与注意事项 +| 模型 | RPM | TPM | +|---|---|---| +| `qwen3.7-max` / `qwen3.7-plus` | 30,000 | 5,000,000 | +| `qwen3.6-flash` | 30,000 | 10,000,000 | +| `qwen-plus` | 30,000 | 5,000,000 | +| `qwen3.7-max-preview` | 60 | 500,000 | +| 各日期快照版本 | 60~600 | 100,000~1,000,000 | -- **限流按主账号维度合并计算**：账号下所有 RAM 子账号、业务空间和 API Key 的调用量合并统计，不同模型限流额度相互独立。超限请求被拒绝，通常一分钟内自动恢复。详见 [限流](../../raw/model-user-guide/get-started-with-models/rate-limit.md)。 -- **RPM 与 TPM 双重约束**：`Requests rate limit exceeded` 表示触发每分钟请求数（RPM）限流；`Allocated quota exceeded` 表示触发每分钟 Token 数（TPM）限流；`Request rate increased too quickly` 表示请求瞬时激增触发稳定性保护。限流可能按秒级 RPS（RPM/60）、TPS（TPM/60）执行。 -- **规避限流**：优先选用高限流额度模型（稳定版比日期快照版更宽松）、平滑请求速率（匀速/指数退避/队列）、配置备选模型自动切换、拆分任务、无需实时响应时改用 Batch API（不受实时限流约束）。北京与新加坡地域支持在控制台申请临时 TPM 提额（生效 30 天）。 -- **计费独立**：模型推理按 Token 用量计费，知识库（RAG）按规格时长与调用独立计费，两者互不相通。限流只约束速率、不限制累计用量；如需控费可设置费用告警、开启"免费额度用完即停"或订阅 Coding Plan（固定月费）。 -- **各地域功能差异**：批量推理、模型调优、应用开发等能力目前主要在华北2（北京）支持，海外地域功能覆盖较少，选型前请核对目标地域的功能与模型列表。 +## 注意事项 -> **注意**：Token Plan 与 Coding Plan 的 Base URL 及专属 API Key 仅限 Claude Code、Codex 等 AI 工具交互式使用，不能用于后端服务；使用非专属 Base URL 调用将按量付费。 +- **API Key 不通用**：各地域的 API Key 相互独立，切换地域时需重新获取密钥。 +- **Base URL 与 API Key 必须配套**：混用不同计费方案（如按量付费 Key 调用 Token Plan URL）会报 401 错误。 +- **Token Plan / Coding Plan 专属 URL**：仅限 Claude Code、Codex 等 AI 工具交互式使用，不能用于后端服务调用。 +- **DeepSeek 仅支持北京地域**：其他地域模型广场不展示 DeepSeek 模型。 +- **功能差异**：模型调优、应用开发、批量推理等功能仅华北2（北京）地域完整支持；其他地域功能有限。 ## 来源文档 diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md b/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md index 8f2e139a..4e2df432 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/knowledge-base.md @@ -1,81 +1,146 @@ # [knowledge](../api/knowledge.md) base -知识库（Knowledge Base）是阿里云百炼平台基于 RAG（检索增强生成）技术为大模型补充私有数据和最新信息的能力。大模型在生成回答前先从知识库中检索语义相关的内容，从而显著提升在特定领域问题上的准确性。围绕知识库，平台还提供了知识检索、知识问答、API 集成、日志监控与计费等一整套配套能力。 +阿里云百炼知识库基于 RAG（[检索增强生成](../concepts/rag.md)）技术，为大模型补充私有数据与最新信息。支持文档搜索、数据查询、图片问答、音视频搜索等多种类型，可集成到[智能体应用](../concepts/agent-application.md)、[工作流](../concepts/workflow.md)应用或通过 API 调用。知识库功能仅支持中国站华北2（北京）地域。 -> **注意**：知识库功能仅能在中国站 **华北2（北京）** 地域开通和使用，新加坡、德国（法兰克福）等其他地域均不支持。 +## 知识库类型 -## 支持的模型与知识库类型 +创建知识库时需选择类型，创建后不可更改： -预置模型（千问-QwQ/Long/Max/Plus/Turbo/Coder、千问VL 系列、Qwen 开源版，以及 DeepSeek-R1/V3.1、Llama3.1 等第三方文本生成模型）和部分调优后的自定义模型均可挂载知识库。具体可选模型以[应用管理](https://bailian.console.aliyun.com/?tab=app#/app-center)页面创建应用时实际可选项为准。 +- **文档搜索**：适用于企业内部文档、产品手册等非结构化数据。提供三种使用场景： + - 基础文档问答：纯文本文档的语义检索。 + - 视觉理解（富文本文档）：使用 qwen3-vl-embedding [多模态](../concepts/multimodal.md)向量模型，对 PDF、图片等富文本文档进行视觉级理解和索引，保留版面信息。 + - 极速问答：针对低延迟场景优化，适合 FAQ、产品参数表等高度结构化文档，仅支持文本查询。 +- **数据查询**：结构化数据（Excel/CSV）检索，单个知识库仅支持 1 篇文件。 +- **图片问答**：使用 multimodal-embedding-v1 模型。 +- **音视频搜索**：支持音频和视频文件的语音识别、视频帧提取和剧情解析。 -创建知识库时按场景选择类型（创建后不可更改）： +## 支持的模型 -- **文档搜索**：企业内部文档、产品手册等非结构化数据检索。可细分为基础文档问答、图文并茂回复、视觉理解（富文本文档）、极速问答四种使用场景。选择视觉理解后向量模型自动切换为 qwen3 多模态向量（qwen3-vl-embedding），不可更改。 -- **数据查询（表格库）**：结构化 Excel/CSV，单库仅支持 1 篇。 -- **图片问答类**：仅支持 multimodal-embedding-v1 向量模型。 -- **音视频搜索类**：支持语音识别、视频帧提取与剧情解析。 +预置模型包括千问全系列（QwQ/Long/Max/Plus/Turbo/Coder/Deep-Research）、千问VL系列、千问开源版（Qwen3、Qwen2.5、Qwen2等）、第三方模型（DeepSeek-R1、DeepSeek-V3.1、abab6.5s、Llama3.1、Yi-Large 等）。自定义模型支持基于千问 Plus/Turbo、千问VL-Max/Plus 及开源版调优后的模型。详见[知识库](../../raw/application-user-guide/knowledge-base/rag-knowledge-base.md)。 -不同解析方式（电子文档解析、文档智能解析、大模型文档解析、Qwen VL 解析、音视频解析）在速度与图表理解能力上有明显差异，详见[知识库](../../raw/application-user-guide/knowledge-base/rag-knowledge-base.md)。 +向量模型方面，文档搜索/数据查询/音视频搜索类知识库支持 text-embedding-v4 和 text-embedding-v3（均为 512 维）；图片问答类仅支持 multimodal-embedding-v1（1024 维）。视觉理解场景自动切换为 qwen3-vl-embedding，不可更改。 -## 关键参数 +## 创建知识库 -知识库的检索效果主要由以下参数决定，在命中测试、检索服务和问答服务中可反复调优： +知识库分标准版和旗舰版两种规格： -- **相似度阈值（0.01~1.0）**：仅语义相似度高于阈值的切片会被召回。阈值过高会导致相关切片被全部丢弃（例如调至 0.60 可能返回无召回结果）。 -- **初步向量检索 TopK / 初步关键词检索 TopK（1~100，默认各 50）**：控制初步召回的切片数量，直接影响送入 Rerank 模型的 Token 量与成本。 -- **最大召回数量 / 召回片段数（1~20）**：即多路召回的 K 值，最终提供给大模型的切片数。对总结、列举、比较类复杂问题应适当调大。 -- **权重**：多知识库联合召回时用于干预排序，但**仅在同类型知识库之间生效**。 -- **排序模型（Rerank）**：纯文本可选 qwen3-rerank、qwen3-rerank(hybrid)；多模态可选 qwen3-vl-rerank。支持问答模式与相似模式。 -- **Meta 信息抽取与标签过滤**：通过元数据（常量/变量/大模型/正则/关键词方式提取）和标签在向量检索前做结构化筛选，精准定位目标文件。注意元数据只能在创建时配置，创建后无法再开启。 +| 规格 | 最高并发 | 存储空间 | 价格 | +| --- | --- | --- | --- | +| 标准版 | 1 QPS（固定） | ≤ 100 GB | 0.03 元/小时 | +| 旗舰版 | 50-10,000 QPS（1-200 RCU） | ≤ 9,999 GB | 0.2 元/RCU/小时 | -## 使用方式 +创建流程分三步：填写基础信息并选择知识库类型 → 配置数据来源 → 设置索引参数。 -**控制台快速构建**：进入[知识库](https://bailian.console.aliyun.com/?tab=app#/knowledge-base)选择规格后，按"填写基础信息 → 配置数据来源 → 设置索引参数"三步完成创建，随后可关联到智能体应用、工作流应用或外部应用。工作流应用需将知识库节点接在开始节点之后、大模型节点之前，并在大模型提示词中引用 `result` 变量。 +### 数据来源与解析方式 -**知识检索服务**：面向多知识库联合检索（最多 15 个），提供 Query 改写、混合检索（向量+关键词）、Rerank 排序的流水线，支持知识库路由、混排模型模式等全局与单库独立参数配置，详见[知识检索](../../raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md)。 +支持本地上传和云端导入（数据连接器或 OSS）。文档搜索类知识库提供多种解析方式： -**知识问答服务**：在检索基础上由大模型（如 qwen3.6-plus）生成自然语言回答，提供**极速模式**（单轮检索+生成）和**多轮智能模式**（Agentic 多轮规划搜索），并支持文件预解析、拒答、防泄漏、多模态回复、引用来源等生成控制。 +- **电子文档解析**：速度最快，不支持解析插图与图表。 +- **文档智能解析**：提取插图文本摘要，速度较快。 +- **大模型文档解析**：深度理解插图和图表，耗时较长。 +- **Qwen VL 解析**：专用于图片文件。 +- **音视频解析**：语音识别 + 视频帧提取 + 剧情解析（可选）。 -**API/SDK 集成**：通过[阿里云百炼 SDK](https://api.aliyun.com/api-tools/sdk/bailian?version=2023-12-29)调用，典型创建流程为：申请上传租约（ApplyFileUploadLease）→ 上传文件 → AddFile → CreateIndex → SubmitIndexJob → 轮询 GetIndexJobStatus。子账号需先获取 AliyunBailianDataFullAccess 策略并加入业务空间，详见[知识库API指南](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-api-guide.md)。 +### Meta 信息抽取 + +metadata 以 key-value 形式集成到文本切片中，提供上下文信息以提升检索准确性。取值方法支持常量、变量（file_name/cat_name）、大模型（实体描述匹配）、正则、关键词搜索。**知识库一旦创建后无法再配置 metadata 抽取**。 + +### 切片策略 + +建议选择**智能切分**，基于语义相关性自适应选择切片点，保留语义完整性。单个文本切片最大 6,000 [Token](../concepts/token.md)，切片数量无限制。可在导入后人工检查和编辑切片内容进行修正。 + +## 检索与重排配置 + +检索流程为：Query 改写（可选）→ 向量检索 + 关键词检索 → Rerank 排序 → 返回结果。 + +关键参数： + +| 参数 | 说明 | 取值范围 | +| --- | --- | --- | +| 相似度阈值 | 过滤排序后分数低于阈值的切片 | 0.01~1.0 | +| 最大召回数量 | 单知识库排序后返回的切片数 | 1~20 | +| 初步向量检索 TopK | 向量语义召回的切片数 | 1~100（默认 50） | +| 初步关键词检索 TopK | 关键词匹配召回的切片数 | 1~100（默认 50） | +| 排序模型 | qwen3-rerank（文本）/ qwen3-rerank(hybrid) / qwen3-vl-rerank（[多模态](../concepts/multimodal.md)） | — | +| 排序模型模式 | 问答模式（QA 匹配）/ 相似模式（语义相似度）/ 自定义高级模式 | — | + +> **注意**：相似度阈值设置过高会丢弃所有相关切片，导致无召回结果。应通过命中测试反复调试。 + +排序模型费用取决于**初步召回的总切片数**，而非最终返回数量。通过降低初步向量检索 TopK 和初步关键词检索 TopK 可显著降低成本。 + +## 知识检索服务 + +支持多知识库联合检索（最多 15 个），每个知识库可独立配置检索参数。全局配置包括知识库路由（依赖大模型判断检索范围）、混排模型、混排模型模式、最大召回数量（1~20）。详见[知识检索](../../raw/application-user-guide/knowledge-base/rag-knowledge-retrieval.md)。 + +## 知识问答服务 + +基于大模型结合知识检索生成自然语言回答，支持多知识库绑定（最多 15 个）。提供两种检索模式： + +- **极速模式**：单轮检索后直接生成回答，低延时，适合简单明确的问题。 +- **多轮智能模式**：基于大模型 Agentic 多轮规划搜索，自动进行意图识别、Query 改写、知识库路由，适合复杂问题和跨库综合回答。 + +生成控制参数包括：文件预解析（全文引用/切片检索）、拒答策略、防泄漏保护、[多模态](../concepts/multimodal.md)回复、引用来源展示。详见[知识问答](../../raw/application-user-guide/knowledge-base/rag-knowledge-qa.md)。 + +## API 集成 + +通过阿里云百炼 SDK 可实现知识库的自动化操作。子账号需获取 AliyunBailianDataFullAccess 策略权限并加入[业务空间](../concepts/workspace.md)。完整流程包括：申请上传租约 → 上传文件 → 添加文件到类目 → 查询文件解析状态 → 创建知识库 → 提交索引任务 → 查询任务状态。接入地址为 `bailian.cn-beijing.aliyuncs.com`。详见[知识库API指南](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-api-guide.md)。 ## 效果优化 -RAG 效果由建立索引、检索召回、生成答案三个阶段决定。优化前建议用[自动评测](https://help.aliyun.com/zh/model-studio/application-auto-evaluation)建立至少 100 组用例的评估基线，再针对失败用例（打分 < 4）诊断改进： +当遇到知识召回不完整或内容不准确时，可从三个阶段优化。详见[RAG效果优化](../../raw/application-user-guide/knowledge-base/rag-optimization.md)。 + +### 建立评估基线 + +创建至少 100 组问题的评测集（覆盖事实型、比较型、教程型、分析型），运行并记录基线结果。 + +### 诊断与改进 -- **检索无效（没找到）**：补充知识、优化源文件排版（推荐转 Markdown、移除水印、避免复杂表格）、统一实体表述、启用多轮对话改写。 -- **召回不相关**：使用标签过滤或元数据做结构化搜索。 -- **切片不完整**：采用"智能切分"（基于语义自适应切分），并人工检查修正异常切片。 -- **重排不佳**：调整相似度阈值与召回片段数，在漏召回与噪声之间平衡。 +针对失败用例（打分 < 4）： + +1. **检索无效（无相关知识）**：补充知识库内容；优化源文件排版（移除水印、避免复杂表格、优先 Markdown）；统一术语表述；启用多轮对话改写（创建时开启，后续无法补开）。 +2. **检索无效（召回不相关）**：为文件添加标签进行过滤；配置 metadata 进行结构化搜索精准定位目标文件。 +3. **切片不完整**：采用智能切分策略；人工检查和修正切片内容。 +4. **重排不佳**：通过命中测试调整相似度阈值；对复杂问题适当增加召回片段数。 ## 日志与监控 -所有检索调用都会以日志形式投递到日志服务（SLS），topic 为 `log_dispatch`，包含 `request_id`、`pipeline_id`（知识库 ID）、`workspace_id`、`latency`、`response_status_code`、`response_code`、`request_body`、`response_body` 等索引字段，可用于调用审计、用量统计、慢查询与错误率监控。首次使用需在知识库列表页的**监控配置**中授权 SLS 角色、开通日志服务并创建 LogStore。SLS 存储与流量单独计费，关闭检索日志开关只停止新投递，历史日志仍保留计费，需彻底停止请到 SLS 删除对应 LogStore。 +所有检索调用日志投递到日志服务（SLS），支持调用审计、问题排查、用量统计与告警。首次使用需授权角色 AliyunServiceRoleForSFMAccessSLS 并开通 SLS。日志字段包括 request_id、pipeline_id（知识库 ID）、latency、response_status_code、response_code 等。关闭检索日志开关只停止新日志投递，历史日志仍按 SLS 配置保留与[计费](../concepts/billing.md)。详见[知识库日志与监控](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-log-monitoring.md)。 -## 限制与配额 +## 配额与限制 | 类别 | 上限 | | --- | --- | -| 知识库数量 | RDS 数据源 100，其它数据源无限制 | -| 存储容量 | 旗舰版 9,999 GB / 标准版 100 GB | -| 单个文档搜索类知识库文件数 | 无硬性上限（数据查询类仅 1 篇） | -| 单次控制台导入文件数 | 50（API 批量建议单次 ≤ 10,000） | -| 单文件标签数 | 32 | -| 文本切片长度 | 6,000 Token | -| 召回文本切片数量 | 20 | -| 检索并发 | 旗舰版 50-10,000 QPS（1-200 RCU）/ 标准版 1 QPS 固定 | +| 知识库数量（RDS 数据源） | 100 | +| 知识库数量（其他数据源） | 无限制 | +| 存储容量（旗舰版） | 9,999 GB | +| 存储容量（标准版） | 100 GB | +| 类目数量（每[业务空间](../concepts/workspace.md)） | 500 | +| 文件数量（每[业务空间](../concepts/workspace.md)） | 100,000 | +| 单知识库文件数（文档搜索） | 无硬性上限 | +| 单知识库文件数（数据查询） | 1 篇 | +| 检索并发（标准版） | 1 QPS | +| 检索并发（旗舰版） | 50-10,000 QPS | +| 召回文本切片数 | 20 | + +文件格式限制：pdf/docx/doc/wps/pptx/ppt 最大 150MB 且不超过 1,000 页；txt/markdown/html 最大 10MB；xlsx/xls 最大 10MB 且 10 万行以内。单次导入文件数量上限 50（API 批量导入建议不超过 10,000）。详见[知识库配额与限制](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-specifications.md)。 + +## [计费](../concepts/billing.md)说明 + +知识库自 2026 年 1 月 4 日起正式[计费](../concepts/billing.md)，费用由规格费用和模型调用费用两部分构成。详见[知识库计费说明](../../raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md)。 -文件格式限制：pdf/docx/ppt 等最大 150MB 且页数 ≤ 1,000；txt/markdown/html 最大 10MB；图片最大 20MB；音视频最大 512MB。向量模型仅支持 text-embedding-v3/v4（512 维）与 multimodal-embedding-v1（1024 维），维度不可更改。完整清单见[知识库配额与限制](../../raw/application-user-guide/knowledge-base/rag-knowledge-base-specifications.md)。 +### 规格费用 -## 计费注意事项 +所有用户享一次性 720 小时免费额度（仅抵扣标准版）。老用户免费额度有效期截至 2026 年 2 月 3 日；新用户自开通起 30 天内有效。扣费顺序：免费额度 > 资源包 > 按量付费。不再需要的知识库需及时删除以停止[计费](../concepts/billing.md)。 -知识库服务自 **2026 年 1 月 4 日**起正式计费，总费用由**规格费用**（运行时长）和**模型调用费用**（向量化 + Rerank）两部分构成，扣费顺序为免费额度 > 资源包 > 按量付费。 +### 模型调用费用 -- 规格费用：标准版 0.03 元/知识库/小时；旗舰版 0.2 元/RCU/小时（1 RCU ≈ 50 QPS）。 -- 模型调用费用独立计费，公式为 `(输入 Token 总数 / 1000) × 模型单价`。**Rerank 费用取决于初步召回的总切片数，而非最终返回数**，因此降低初步 TopK 或关闭排序可显著省钱。 -- 应用挂载多个知识库时，模型 Token 消耗按知识库数量倍增（N 个库则 × N）。 -- 平台提供一次性 720 小时免费额度（仅抵扣标准版规格费用，不含模型调用费）。删除知识库以停止计费，但删除会**永久清除数据且无法恢复**。 +模型调用费用独立于规格费用，按 [Token](../concepts/token.md) 用量计算： -> **注意**：免费额度有效期存在新老用户差异——老用户统一截至 2026 年 2 月 3 日 23:59，新用户自开通起 30 天内有效，逾期作废。此外《知识库计费说明》以 2026 年计费规则描述，而《知识库》文档仍按旧的即时计费口径（0.03/0.2 元/小时）介绍创建流程，接入时以[知识库计费说明](../../raw/application-user-guide/knowledge-base/billing-for-knowledge-base.md)为准。 +- **知识管理**：上传/更新文件时调用向量模型[向量化](../concepts/embedding.md)，按新增内容 [Token](../concepts/token.md) 数[计费](../concepts/billing.md)。 +- **知识检索**：Query [向量化](../concepts/embedding.md)费用（按输入 [Token](../concepts/token.md)）+ Rerank 排序费用（按初步召回总切片数 × 平均切片 [Token](../concepts/token.md) × 模型单价）。多个知识库时 [Token](../concepts/token.md) 消耗按知识库数量倍数增加。 +- **知识问答**：问答生成模型费用 + 可选的预文件解析和知识库路由费用。 + +费用优化方式：关闭排序功能（降低精度但消除排序费用）；调低初步向量/关键词检索 TopK（减少送入排序模型的 [Token](../concepts/token.md) 量）。 ## 来源文档 @@ -89,3 +154,9 @@ RAG 效果由建立索引、检索召回、生成答案三个阶段决定。优 - [知识问答](../../raw/application-user-guide/knowledge-base/rag-knowledge-qa.md) + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md b/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md index cf82ffab..a053076d 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/llm-application.md @@ -1,114 +1,176 @@ # llm application -阿里云百炼平台提供三种核心应用构建模式：智能体（Agent）、工作流（Workflow）和高代码应用，用于突破大模型在私有知识访问、实时信息获取和复杂任务规划方面的原生局限。开发者可根据开发门槛、控制粒度和业务场景选择合适的应用类型，并通过集成知识库、MCP 工具、插件等能力构建完整的 AI 应用。 +阿里云百炼平台提供三种核心应用构建模式——智能体（Agent）、工作流（Workflow）和高代码应用，帮助开发者突破大模型在私有知识访问、实时信息获取、固定流程执行等方面的原生局限。本文汇总各应用类型的选型对比、关键能力配置、使用方式及[计费](../concepts/billing.md)要点，供开发者在构建 LLM 应用时快速参考。 ## 应用类型与选型 -| 对比维度 | 智能体（Agent） | 工作流（Workflow） | 高代码应用 | -|---------|---------------|-------------------|-----------| -| 开发方式 | 自然语言配置（零代码） | 可视化节点编排（低代码） | Python 编码 | -| 核心特点 | AI 自主决策、动态规划 | 预定义流程精确控制 | 完全由代码控制 | -| 适合人群 | 业务人员、产品经理 | IT 运维、业务分析师 | AI 工程师、开发者 | -| 开发门槛 | 低 | 中 | 高 | +百炼提供三种应用类型，开发者可根据开发门槛和控制需求进行选择： -详细的类型介绍参见 [应用类型介绍](../../raw/application-user-guide/llm-application/application-introduction.md)。 +| 应用类型 | 开发方式 | 核心特点 | 适合人群 | 开发门槛 | +| --- | --- | --- | --- | --- | +| 智能体（Agent） | 自然语言配置（零代码） | AI 自主决策、动态规划，由大模型根据提示词自主规划任务步骤 | 业务人员、产品经理、运营 | 低 | +| 工作流（Workflow） | 可视化节点编排（低代码） | 预定义流程精确控制，每一步由预设节点定义，逻辑确定 | IT 运维、业务分析师、实施顾问 | 中 | +| 高代码应用 | Python 编码（专业代码） | 完全由代码控制所有逻辑和执行路径 | AI 工程师、开发者 | 高 | -## [智能体应用](../concepts/agent-application.md) +> **注意**：智能体应用分为旧版（Agent 1.0）和新版（Agent 2.0），两者基于不同技术架构，不兼容，无法直接升级或降级。旧版适用于意图单一、流程固定的简单任务；新版将知识库、MCP 统一为工具，由智能体自主规划调用顺序，并能完整展示每一轮"规划-执行-反思"链路全过程，推荐用于各类任务场景。详见 [应用类型介绍](../../raw/application-user-guide/llm-application/application-introduction.md) 和 [新版智能体应用](../../raw/application-user-guide/llm-application/new-single-agent-application.md)。 -### 新版智能体（Agent 2.0） +## 智能体应用 -新版智能体将知识库、MCP 等能力统一为工具，由智能体自主规划调用顺序，支持完整的"规划-执行-反思"链路展示。推荐在无旧版依赖时使用新版。 +### 创建步骤 -核心能力配置： +1. 访问百炼控制台应用管理，单击 **创建应用** > **智能体应用** > **Agent 2.0**（推荐）。 +2. 填写应用名称，单击 **立即创建**，自动跳转至应用配置界面。 +3. 在模型选择器下拉菜单中选择模型（如 `千问-Plus-Latest` 或 `千问-Max`）。 +4. 配置提示词、知识库、MCP 工具等能力后，在右侧对话窗口中测试。 -- **模型选择**：推荐具备强工具调用能力的模型（如千问-Max 系列）。支持配置最长回复长度、temperature、enable_thinking（思考模式）等参数。 -- **提示词**：定义角色、行为指令与能力边界，支持自定义变量嵌入。 -- **内置工具**：沙箱环境中的 bash、write、read、edit、glob、grep、download_file 等工具，默认关闭需按需开启。 -- **知识库**：作为工具由智能体自主调用，支持标签过滤限定查询范围。 -- **MCP**：外部工具以 MCP 协议接入，支持动态非固定顺序调用。 -- **记忆**：短期记忆支持 0-30 轮上下文；长期记忆暂未支持。 -- **ReAct 最大轮次**：取值 1-50，限制单次会话中工具调用最大次数。 +### 模型与参数 -详细配置方法参见 [新版智能体应用（Agent 2.0）](../../raw/application-user-guide/llm-application/new-single-agent-application.md)。 +为确保多步规划效果，推荐选用具备强工具调用能力的模型（如 `千问-Max` 系列）。可配置的模型参数包括： -### 旧版智能体（Agent 1.0） +- **最长回复长度**：模型生成的长度限制，不包含提示词。 +- **温度系数**：控制生成随机性和多样性，数值越高随机性越强。 +- **enable_thinking**：是否开启思考模式。开启后有助于提升智能体反思效果；不支持思考模式的模型无法配置此参数。 -旧版智能体通过知识库（RAG）和插件扩展能力，适合意图单一、流程固定的简单任务。知识库检索后再决策是否调用其他工具。 +### 提示词 -> **注意**：新版智能体与旧版智能体基于不同技术架构，不支持直接升级或版本切换。需要迁移时必须重新创建新版应用。 +系统提示词用于定义智能体角色、行为指令与能力边界。编写要点： -旧版智能体的自定义插件有 5 秒超时限制。详情参见 [智能体应用](../../raw/application-user-guide/llm-application/single-agent-application.md)。 +- **定义角色**：说明模型应扮演的角色及专业知识。 +- **指定输出格式**：描述期望的内容结构、长度或风格。 +- **设置约束条件**：告知模型应避免的内容或需遵守的规则。 +- **引导工具使用**：明确提及工具名称及使用时机。 -## 工作流应用 +提示词还支持嵌入自定义变量，通过 `/` 快速引用已配置的变量。 -工作流通过可视化节点编排将多步骤任务串联为稳定可控的执行链路，适合固定流程自动化场景。 +### 核心能力 -主要节点类型： +| 能力 | 说明 | +| --- | --- | +| 知识库（RAG） | 作为工具由智能体自主规划调用，处理私有知识或垂直领域问答，提升准确率并减少幻觉。支持标签过滤限定查询范围。 | +| MCP | 外部工具均以 MCP 协议接入，支持官方 MCP 广场和自定义 MCP 服务，可动态、非固定顺序调用。插件也支持一键转换为 MCP。 | +| 内置工具 | 在隔离沙箱中运行，提供 `bash`、`write`、`read`、`edit`、`glob`、`grep`、`download_file` 等代码执行和文件操作能力，默认关闭，按需开启。 | +| 数据连接器 | 智能体直接查询和操作外部数据源中的数据。 | +| 应用组件 | 将已发布的智能体或工作流作为工具接入。 | +| 技能（Skill） | 能力包，智能体自动识别匹配任务并调用对应技能，无需编写代码。 | +| 记忆 | 短期记忆支持 0-30 轮上下文（0 代表不传递多轮对话记录）；长期记忆计划在未来迭代中支持。 | +| 预解析文件 | 控制上传文件处理方式。关闭时文件 URL 作为上下文传递；开启时使用预置解析器处理文件并返回文本内容。 | -- **开始/结束节点**：定义输入输出参数结构，预置 query、historyList、imageList 变量 -- **大模型节点**：配置模型、提示词和用户提示词 -- **意图分类节点**：根据用户输入分发到不同处理分支 -- **智能体群组节点**：将子智能体作为工具组合调用 -- **变量处理节点**：文本输出或变量转换 +### 文件问答 -工作流支持会话变量作为全局参数在节点间传递，支持记忆功能（本节点缓存或自定义缓存）。 +智能体应用支持上传文件进行智能问答，提供三种处理模式： -创建和配置详情参见 [工作流应用](../../raw/application-user-guide/llm-application/workflow-application.md)。 +- **全文引用**：将文件内容（在上下文长度限制内）整体提供给模型。适合文档总结、全文翻译等全局理解任务。可配置单文件最大解析长度和最大拼装长度。 +- **切片检索（RAG）**：将文件切片后检索最相关片段。适合长文档问答、精确定位信息。支持混合检索上传文件与知识库内容。可配置召回片段数和最大拼装长度。 +- **自定义处理**：将文件信息（URL 或内容）提供给模型，允许模型自主调用外部工具处理文件。适合图片风格转换、视频分析后生成报告等任务。 -## 高代码应用 +> **注意**：千问-VL 系列模型因具备[多模态](../concepts/multimodal.md)能力，即使关闭预解析文件也能直接解析图片和视频文件。使用其他文本模型或千问-VL 处理非图像/视频文件时，文件处理能力严格遵循"开启"或"关闭"逻辑。 + +支持的文件格式包括文档（`.doc`、`.docx`、`.pdf`、`.md` 等）、图片（`.png`、`.jpg` 等）、视频（`.mp4` 等）、音频（`.mp3` 等）。单会话最多上传 10 个文件，单文件不超过 10MB。超过此限制需使用文件上传 API。详见 [文件问答](../../raw/application-user-guide/llm-application/file-q-a.md)。 + +### 运行与结果分析 + +新版智能体以卡片流形式展示决策过程，包含： + +- **思考（Thinking）**：展示模型推理逻辑（仅当选用支持思考模式的模型时出现）。 +- **工具调用**：记录工具调用入参及返回结果。 + +**ReAct 最大轮次**（取值范围 1-50）限制单次会话中工具调用的最大次数，超出后智能体自动退出工具调用链路并生成最终回复。 + +### 发布与调用 + +应用发布是后续所有调用和集成的前提条件。在应用配置页面右上角单击 **发布**，弹窗会展示自上次发布以来的配置变更差异。发布后可通过 API/SDK 调用，也可发布到钉钉、微信公众号等第三方平台，或发布为可复用组件。 + +> **注意**：如果应用由 RAM 账号创建，发布前需确认已拥有服务关联角色权限 `ram:CreateServiceLinkedRole`。 + +### 上下文缓存 + +智能体应用支持**隐式缓存**（自动生效，无需配置，命中缓存的输入 Token 按标准输入单价的 20% [计费](../concepts/billing.md)），暂不支持**显式缓存**（需在模型调用请求中主动创建缓存标记，智能体应用由平台统一构造模型请求，不支持配置）。 + +## 工作流应用 + +工作流通过可视化节点编排，将复杂任务拆分为有序步骤，适合固定流程自动化场景，如报告生成、订单处理、多步骤审批流、数据标注等。 -面向专业开发者，支持基于 Python 项目部署 AI 后端服务。 +### 节点类型 -关键特性： +| 节点 | 作用 | +| --- | --- | +| 开始/结束 | 定义工作流的输入/输出参数结构和内容。预置变量包括 `query`（用户输入文本）、`historyList`（对话历史）、`imageList`（上传图片） | +| 大模型 | 执行 LLM 推理任务，配置模型、提示词、用户提示词等 | +| 意图分类 | 根据用户意图路由到不同分支 | +| 变量处理 | 对变量进行文本输出等处理 | +| 智能体群组 | 将多个已发布的智能体作为子智能体组合，由决策模型判断调用哪个子智能体 | -- **部署方式**：Serverless Function（无状态快速拉起）和 K8s（高性能有状态长程任务） -- **MCP 工具接入**：控制台直接关联知识库、工作流、插件等 MCP 服务 -- **前端体验**：支持直接体验、自定义交互卡片、基于 Spark Design 的自定义 WebUI -- **企业级能力**：自动化运维、可观测、日志服务、API 网关 -- **代码提交**：支持控制台模板创建或命令行上传 .whl 代码包 +### 会话变量 -生产环境建议开启网关功能，通过自定义域名访问。时延敏感业务建议最小实例数大于等于 1。 +会话变量作为全局变量，可在当前工作流全生命周期内记录参数信息，并可在各节点中引用。 -详细开发和部署流程参见 [高代码应用](../../raw/application-user-guide/llm-application/rich-code-application.md)。 +### 典型案例 -## 文件问答 +- **诈骗信息识别**：开始节点 → 大模型节点（分析短信是否涉及诈骗）→ 结束节点。 +- **智能导购**：意图分类节点（电视/手机/冰箱）→ 对应大模型节点（按参数列表逐步询问用户）→ 结束节点。 +- **日程管理助手**：智能体群组节点（信息收集子智能体 + 数据整理子智能体）→ 结束节点。 -[智能体应用](../concepts/agent-application.md)支持上传文件进行智能问答，提供三种处理模式： +### 发布与调用 -| 模式 | 适用场景 | 特点 | -|------|---------|------| -| 全文引用 | 文档总结、全文翻译 | 简单直接，受上下文长度限制 | -| 切片检索（RAG） | 长文档问答、知识库检索 | 能处理超长文件，效果依赖检索策略 | -| 自定义处理 | 图片转换、视频分析等需工具介入的任务 | 功能灵活，依赖配置的工具 | +工作流配置完成后单击 **测试** 验证效果，确认正常后单击 **发布**，即可通过 API 调用。详见 [工作流应用](../../raw/application-user-guide/llm-application/workflow-application.md)。 -文件限制：单会话最多 10 个文件，单文件不超过 10MB。超过 10MB 需使用文件上传 API。 +## 高代码应用 + +高代码应用面向专业开发者，支持基于完整 Python 项目结构部署 AI 后端服务。使用单条命令即可将 Python 项目部署为公网可访问的云上后端 API 服务。 + +### 部署方式 + +- **Serverless Function**（默认）：适用于低负载、无状态、快速拉起场景，部署花销低。 +- **K8s**：适用于高性能、有状态、执行长程任务的 Agent，性能强。使用前需开通 ACK 容器服务并完成授权。 -支持格式：文档（doc/docx/pdf/md/txt 等）、图片（png/jpg/bmp/gif）、视频（mp4/mkv/avi 等）、音频（mp3/wav/flac 等）。 +### 创建与部署 -详细使用方式参见 [文件问答](../../raw/application-user-guide/llm-application/file-q-a.md)。 +1. 在应用中心选择 **创建应用** > **高代码应用**，选择控制台创建或命令行创建。 +2. 配置部署方式、提交代码（使用模板代码或上传 `.whl` 代码包）、选择部署资源（规格方案、最小实例数、单实例并发度、部署地域）。 +3. 单击 **立即部署**，等待构建和部署完成。 +4. 配置百炼 API Key 后即可在测试面板体验调试。 -## 发布与调用 +> **注意**：部署后即开始[计费](../concepts/billing.md)。应用测试会产生实际调用，函数、网关、存储、模型调用均会产生费用。时延敏感业务建议最小实例数 ≥ 1，可实现毫秒级热启动。 -所有应用类型均需先发布才能通过 API 集成： +### 应用管理 -1. 在应用配置页点击"发布"，确认变更后完成发布 -2. 在"发布渠道"页签查看 API 调用方式 -3. [智能体应用](../concepts/agent-application.md)还支持发布到钉钉、微信公众号等第三方平台 +部署完成后，应用详情页提供四个功能 Tab： -RAM 账号发布前需确认拥有 `ram:CreateServiceLinkedRole` 权限。 +- **部署**：管理部署状态、重新部署（上传新代码包、调整资源、修改地域）、查看运行日志、停止服务。 +- **工具**：一站式 MCP 工具接入，关联知识库、工作流、插件等 MCP 服务。 +- **网关**：通过自定义域名和网关路由在生产环境访问云上服务。应用部署地域应与网关所在地域相同。 +- **前端**：提供直接体验、自定义交互卡片、自定义前端 WebUI（基于 AgentScope Spark Design 框架）三种方式。 + +详见 [高代码应用](../../raw/application-user-guide/llm-application/rich-code-application.md)。 ## 计费说明 -- **模型调用**：按模型类型和 [Token](../concepts/token.md) 用量计费 -- **知识库**：按量付费，召回的文本切片会增加输入 [Token](../concepts/token.md) -- **MCP/插件**：部分官方 MCP 按调用计费，第三方 MCP 费用由第三方收取 -- **高代码应用**：部署后函数计算、API 网关、存储均按量计费 -- **文件上传**：上传本身不收费，问答消耗按所选模型标准计费 +各应用类型的计费主要涉及以下方面： + +| 计费项 | 说明 | +| --- | --- | +| 模型调用 | 根据模型类型和输入/输出 Token 数量计费。文件问答中全文引用模式 Token 消耗较大，切片检索模式 Token 消耗较小 | +| 知识库 | 按量付费。知识库召回的文本切片会增加模型输入 Token 数量，可能导致模型调用费用增加 | +| MCP/插件 | 部分官方 MCP（如文生图、文生视频、语音合成）按模型调用计费；部分 MCP 涉及第三方 API 调用，费用由第三方收取 | +| 高代码应用 | 部署后产生函数计算、API 网关、存储、模型调用等费用，以阿里云账单为准 | +| 长期记忆（旧版智能体） | 数据存储不收费。记忆体内容合并到 Prompt 中会增加 Token 消耗，记忆体内容占用的 Token 暂不计费 | + +> **注意**：仅创建应用不收费。调用应用进行问答时才根据所用模型类型收取模型调用费用。旧版智能体的长期记忆功能与新版智能体不同——新版智能体长期记忆计划在未来迭代中支持，当前仅支持短期记忆（0-30 轮上下文）。 + +## 限制与注意事项 + +- **文件问答地域**：仅适用于中国大陆版（北京地域）。 +- **文件有效期**：通过聊天窗口上传的文件仅在当前会话有效；通过文件上传 API（`session_file_id`）上传的文件有效期约 24 小时；通过 URL 传递的文件可访问性由 URL 自身决定。 +- **API 调用频率**：文件问答功能遵循所属智能体应用的统一限流策略，默认上限 100 次/分钟，此配额涵盖该应用的所有 API 请求。 +- **自定义插件超时**：旧版智能体的自定义插件超时限制为 5 秒。 +- **模型支持**：数据更新可能存在延迟，模型支持情况以应用内显示为准。 +- **API 创建应用**：支持使用 Assistant API 创建功能类似于智能体应用的大模型应用，但不支持控制台管理。 +- **版本兼容**：旧版智能体和新版智能体基于不同技术架构，彼此不兼容，无法直接版本切换、升级或降级。如需使用新版，需重新创建新版智能体应用。 ## 来源文档 - [应用类型介绍](../../raw/application-user-guide/llm-application/application-introduction.md) -- [新版智能体应用（Agent 2.0）](../../raw/application-user-guide/llm-application/new-single-agent-application.md) +- [新版智能体应用](../../raw/application-user-guide/llm-application/new-single-agent-application.md) - [智能体应用](../../raw/application-user-guide/llm-application/single-agent-application.md) - [高代码应用](../../raw/application-user-guide/llm-application/rich-code-application.md) - [工作流应用](../../raw/application-user-guide/llm-application/workflow-application.md) @@ -116,9 +178,3 @@ RAM 账号发布前需确认拥有 `ram:CreateServiceLinkedRole` 权限。 - - - - - - diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md b/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md index 6ad7d7d1..81c4933e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/managed-agents.md @@ -8,7 +8,7 @@ Managed Agents 是百炼提供的智能体托管运行时，面向多步工具 | --- | --- | --- | | 运行模式 | 无状态调用，应用侧维护上下文 | 服务端维护会话状态，支持中断与续接 | | 执行环境 | 共享运行时 | 独立沙箱，云端容器 | -| 事件模型 | 响应级[流式输出](../concepts/streaming.md) | 会话级 SSE 事件流，事件历史持久化 | +| 事件模型 | 响应级[流式输出](../concepts/streaming.md) | 会话级 SSE [事件流](../concepts/event-stream.md)，事件历史持久化 | | 典型场景 | 问答、对话、轻量任务 | 多步工具调用、代码执行、文件处理等长时任务 | ## 核心概念 @@ -38,7 +38,7 @@ Managed Agents 是百炼提供的智能体托管运行时，面向多步工具 1. **配置智能体**：指定名称、模型（如 `qwen3-max`）、系统提示词与工具。API 为 `POST /api/v1/agentstudio/agents`。 2. **配置运行环境**：默认云端托管沙箱，可通过 `config.packages` 预装 apt / pip 依赖并设置网络策略。API 为 `POST /api/v1/agentstudio/environments`。 3. **发起会话**：绑定智能体 ID 与环境 ID 创建会话实例。API 为 `POST /api/v1/agentstudio/sessions`。 -4. **发送事件并接收响应**：向会话写入用户消息触发处理（`POST /sessions/{id}/events`），通过 SSE 事件流实时接收工具调用过程与输出（`GET /sessions/{id}/events/stream`）。 +4. **发送事件并接收响应**：向会话写入用户消息触发处理（`POST /sessions/{id}/events`），通过 SSE [事件流](../concepts/event-stream.md)实时接收工具调用过程与输出（`GET /sessions/{id}/events/stream`）。 控制台的**预览调试**标签页可直接对话并按事件类型（User、Agent、Tool、Tool_output、Error、Model、System）筛选查看执行过程。 @@ -73,3 +73,11 @@ Managed Agents 是百炼提供的智能体托管运行时，面向多步工具 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md b/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md index 3ee13beb..d330fdd7 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/memory-library-overview.md @@ -1,12 +1,12 @@ # memory library overview -百炼记忆库（Memory Library）通过长期记忆 API 解决大模型跨会话上下文丢失的问题：自动从对话中提取关键信息并持久化存储，再在后续对话中基于语义检索召回相关记忆注入 Prompt，使智能体能够持续理解用户偏好与历史信息。该能力既可在百炼控制台可视化管理，也提供开放的 HTTP API 接入任意应用，并支持通过 OpenClaw 插件以"自动捕获 / 自动召回"的方式零侵入接入 Agent。详见 [记忆库](../../raw/application-user-guide/memory-library-overview/memory-library.md)、[长期记忆 API](../../raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) 与 [为 OpenClaw 配置长期记忆插件](../../raw/application-user-guide/memory-library-overview/modelstudio-memory-for-openclaw.md)。 +百炼记忆库（Memory Library）通过[长期记忆](../concepts/long-term-memory.md) API 解决大模型跨会话上下文丢失的问题：自动从对话中提取关键信息并持久化存储，再在后续对话中基于语义检索召回相关记忆注入 Prompt，使智能体能够持续理解用户偏好与历史信息。该能力既可在百炼控制台可视化管理，也提供开放的 HTTP API 接入任意应用，并支持通过 OpenClaw 插件以"自动捕获 / 自动召回"的方式零侵入接入 Agent。详见 [记忆库](../../raw/application-user-guide/memory-library-overview/memory-library.md)、[长期记忆 API](../../raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) 与 [为 OpenClaw 配置长期记忆插件](../../raw/application-user-guide/memory-library-overview/modelstudio-memory-for-openclaw.md)。 ## 核心能力 记忆库提供两类持久化记忆内容，二者可独立或组合使用： -- **记忆片段**：从对话中自动提取的关键事件和信息（如"用户每天上午9点需要喝水提醒"），适用于大多数长期记忆场景。支持自动去重、动态更新，也可通过 `custom_content` 直接写入指定内容。 +- **记忆片段**：从对话中自动提取的关键事件和信息（如"用户每天上午9点需要喝水提醒"），适用于大多数[长期记忆](../concepts/long-term-memory.md)场景。支持自动去重、动态更新，也可通过 `custom_content` 直接写入指定内容。 - **用户画像**：基于自定义画像模板从对话中提取的结构化属性（如年龄、职业、偏好等），适用于需要固定属性持久化存储的场景。属性字段及描述应清晰具体，避免"姓名/名称/名字"等同义字段并存，且不应期望一次对话就提取全部信息。 > **注意**：记忆有效期在不同入口存在差异。[长期记忆 API](../../raw/application-user-guide/memory-library-overview/long-term-memory-2-0.md) 文档指出"生成的记忆片段与用户画像暂无失效日期"，而 [记忆库](../../raw/application-user-guide/memory-library-overview/memory-library.md) 控制台的默认记忆片段规则预置了"默认有效期 180 天"，并支持按规则配置 7/30/180 天或永不过期。以控制台记忆规则配置为准；通过 API 直写且不指定 `project_id` 时使用默认规则。 @@ -45,7 +45,7 @@ Python 用户可安装 `agentscope-runtime`，使用 `AddMemory`、`SearchMemory ### 方式二：OpenClaw 记忆插件 -OpenClaw Agent 可通过插件实现零侵入的[跨会话记忆](../concepts/cross-session-memory.md)。插件在 Gateway 内通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子与长期记忆 API 交互，所有读写均由百炼服务端完成提炼、向量化和语义检索。 +OpenClaw Agent 可通过插件实现零侵入的[跨会话记忆](../concepts/cross-session-memory.md)。插件在 Gateway 内通过 `before_agent_start`（自动召回）和 `agent_end`（自动捕获）两个生命周期钩子与[长期记忆](../concepts/long-term-memory.md) API 交互，所有读写均由百炼服务端完成提炼、[向量化](../concepts/embedding.md)和语义检索。 ```bash # 安装 @@ -155,6 +155,14 @@ CLI 等效：`openclaw modelstudio-memory search|list|stats`。 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md index 7b9ed189..fcaafb91 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-compression.md @@ -56,10 +56,10 @@ 任务失败时，可在详情页查看错误信息，或切换到日志页签搜索 ERROR 级别日志进行排查。如仍无法解决，可提交工单并附上任务 ID 和日志文件。更多管理细节参见[模型压缩](../../raw/model-user-guide/model-compression/model-compression-introduction.md)。 -## 计费说明 +## [计费](../concepts/billing.md)说明 - 压缩任务本身限时免费，截止时间以控制台公告为准。 -- 压缩后的模型在部署阶段按 MU 规格计费。 +- 压缩后的模型在部署阶段按 MU 规格[计费](../concepts/billing.md)。 - 建议在免费期内对同一微调模型尝试多个量化模板，分别部署后用业务测试集验证推理效果，选择最优方案后再正式上线。 ## 来源文档 @@ -75,3 +75,11 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md index d021cb14..db1fe2d4 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-context-protocol.md @@ -1,6 +1,6 @@ # model context protocol -模型上下文协议（Model Context Protocol, MCP）是 Anthropic 提出的开源标准协议，用于在大模型与外部工具之间搭建统一的信息传递通道。阿里云百炼基于 MCP 提供全周期服务：开发者无需为每个外部工具编写专用接口，即可让智能体、工作流应用接入海量第三方工具，也能通过外部调用集成到第三方应用或个人项目中。 +模型上下文协议（Model Context Protocol, MCP）是 Anthropic 提出的开源标准协议，用于在大模型与外部工具之间搭建统一的信息传递通道。阿里云百炼基于 MCP 提供全周期服务：开发者无需为每个外部工具编写专用接口，即可让智能体、[工作流](../concepts/workflow.md)应用接入海量第三方工具，也能通过外部调用集成到第三方应用或个人项目中。 ## 服务类型 @@ -16,10 +16,10 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三方应用。 -### 平台内部：智能体与工作流 +### 平台内部：智能体与[工作流](../concepts/workflow.md) - **[智能体应用](../concepts/agent-application.md)**：大模型根据对话内容自动判断是否调用 MCP 服务，单个智能体最多可同时添加 **5 个** MCP 服务。适合路径规划、逻辑推理、多工具组合（如天气查询 + 图表绘制）等场景。 -- **工作流应用**：每个 MCP 节点只能使用一个工具，需手动指定输入参数并将输出传递到下一节点。通常需先用大模型节点把自然语言解析为 MCP 工具所需的输入参数（在 System Prompt 中描述工具的名称、功能、输入输出格式），再接入 MCP 节点。 +- **[工作流](../concepts/workflow.md)应用**：每个 MCP 节点只能使用一个工具，需手动指定输入参数并将输出传递到下一节点。通常需先用大模型节点把自然语言解析为 MCP 工具所需的输入参数（在 System Prompt 中描述工具的名称、功能、输入输出格式），再接入 MCP 节点。 > **注意**：在工作流中仅使用单一工具（如 Amap Maps 的 `maps_weather`）时，工作流只能回答与该工具相关的问题。 @@ -51,11 +51,11 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三 > **注意**：百炼 MCP 服务已从旧版 SSE 协议升级为新版 **Streamable HTTP** 协议。已开通用户需在 MCP 广场执行"取消开通 → 立即开通"完成协议升级；SDK 调用请使用 `streamablehttp_client` 连接。 -## 计费 +## [计费](../concepts/billing.md) -- **云部署 MCP 服务**：限时免部署费用；部分服务涉及第三方 API 调用，费用由第三方收取。联网搜索 MCP 服务免费额度 2000 次，用尽后按 29 元/千次计费，限流 15 QPS（主账号与 RAM 子账号共享）。 +- **云部署 MCP 服务**：限时免部署费用；部分服务涉及第三方 API 调用，费用由第三方收取。联网搜索 MCP 服务免费额度 2000 次，用尽后按 29 元/千次[计费](../concepts/billing.md)，限流 15 QPS（主账号与 RAM 子账号共享）。 - **自定义部署 MCP 服务**： - - **基础模式**：无部署费用，按调用时长计费（0.000156 元/秒），首次调用有冷启动延迟，适合偶尔调用。 + - **基础模式**：无部署费用，按调用时长[计费](../concepts/billing.md)（0.000156 元/秒），首次调用有冷启动延迟，适合偶尔调用。 - **极速模式**：有部署费用（0.000036 元/秒）+ 调用费用（0.000156 元/秒），适合长时间在线、调用频繁的场景。 ## 限制与注意事项 @@ -66,8 +66,8 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三 - **无法访问本地资源**：自定义 MCP 服务托管在函数计算 FC，暂不支持访问用户本地数据库、文件、硬件等资源；需要访问本地资源的 MCP Server 建议在本地部署。 - **访问远程资源需配置网络**：FC 无固定出口公网 IP，访问云数据库等远程资源需配置 FC 的 IP 白名单或打通 VPC 网络。 - **仓库与版本限制**：私有 npm 仓库暂不支持，需发布到公共仓库或改用 SSE；通过 npx/uvx 部署的服务在源版本更新后不会自动更新，需手动重新部署。 -- **调用增加 Token 消耗**：MCP 返回的内容会作为上下文传入模型，增加输入 Token，并可能间接增加输出 Token。 -- **调用失败排查**：优先确认已开通/升级服务、API Key 有效、额度未用尽；若模型无报错但不调用工具，应在提示词中明确工具名称与能力，必要时更换更强的推理模型（如千问 3 系列）。自定义服务的连接、超时、鉴权、协议等错误可对照 `11200044`~`11200060` 系列错误码逐项排查。 +- **调用增加 [Token](../concepts/token.md) 消耗**：MCP 返回的内容会作为上下文传入模型，增加输入 [Token](../concepts/token.md)，并可能间接增加输出 [Token](../concepts/token.md)。 +- **调用失败排查**：优先确认已开通/升级服务、[API Key](../concepts/api-key.md) 有效、额度未用尽；若模型无报错但不调用工具，应在提示词中明确工具名称与能力，必要时更换更强的推理模型（如千问 3 系列）。自定义服务的连接、超时、鉴权、协议等错误可对照 `11200044`~`11200060` 系列错误码逐项排查。 ## 来源文档 @@ -80,3 +80,11 @@ MCP 服务既可在平台内部集成，也可通过外部调用集成到第三 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md index a2d4f8ac..3a42948e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-data-overview.md @@ -1,173 +1,151 @@ # model data overview -百炼平台的数据管理功能用于在[模型调优](../concepts/fine-tuning.md)和[评测](../concepts/evaluation.md)前创建、清洗、增强训练集与[评测](../concepts/evaluation.md)集。它统一管理[业务空间](../concepts/workspace.md)下的大模型相关数据集，分为训练集（用于[模型调优](../concepts/fine-tuning.md)）和[评测](../concepts/evaluation.md)集（用于模型评测）两类，并支持基于数据流的可视化数据处理能力。本文汇总训练集与评测集的格式规范、关键参数以及数据清洗与增强的使用方式。 +阿里云百炼平台的数据管理功能覆盖训练集与评测集的创建管理、数据清洗与增强、以及从推理日志直接回流生成结构化数据集三大环节。本文档汇总这三类能力的核心用法、数据格式规范与限制，供开发者在模型调优和评测流程中参考。 -> **注意**：本文涉及的数据管理与数据处理能力**仅适用于华北2（北京）地域**。此外，阿里云百炼目前暂未提供可用的数据处理 API，所有数据处理操作需在控制台完成。 +> **注意**：以下大部分功能目前仅适用于**华北2（北京）**地域；日志回流额外支持**新加坡**地域。其他地域暂不显示相关入口。 -## 支持的数据集类型 +--- -数据集分为训练集和评测集两类，详见 [训练集与评测集](../../raw/model-user-guide/model-data-overview/training-set-and-evaluation-set.md)。 +## 数据集类型 -| 类型 | 用途 | 支持的子类型 | -| --- | --- | --- | -| 训练集 | 用于[模型调优](../concepts/fine-tuning.md)，通过在特定任务上进行有监督训练提升模型表现 | 文本生成、[多模态](../concepts/multimodal.md)理解、图生视频（首帧）、图生视频（首尾帧） | -| 评测集 | 用于评估模型在未见过数据上的泛化能力 | 文本生成 | +百炼数据管理将数据集分为两类： -## 训练集格式 +| 类型 | 用途 | +|------|------| +| **训练集** | 用于模型调优（SFT / DPO / CPT） | +| **评测集** | 用于评估调优后模型的泛化能力 | -### SFT 训练集（文本生成） +详见 [训练集与评测集](../../raw/model-user-guide/model-data-overview/training-set-and-evaluation-set.md)。 -采用 ChatML 格式，支持多轮对话和多种角色设置。一行训练数据为一个 JSON 对象，结构如下： +--- -```json -{"messages": [ - {"role": "system", "content": "系统输入1"}, - {"role": "user", "content": "用户输入1"}, - {"role": "assistant", "content": "期望的模型输出1"}, - {"role": "user", "content": "用户输入2"}, - {"role": "assistant", "content": "期望的模型输出2"} -]} -``` +## 训练集格式规范 -不支持 OpenAI 的 `name`、`weight` 参数，所有的 assistant 输出都会被训练。单条训练数据的所有 assistant 行支持 `loss_weight` 参数（设置范围 `0.0~1.0`，数值越大重要性越高），该参数属于邀测参数，如需使用请联系商务经理。 +### 文本生成 SFT（ChatML 格式） -### SFT 思考模型（thinking） +每行一条 JSON，包含 `messages` 数组，字段含 `role`（system / user / assistant）和 `content`。 -只能针对**最后**的 assistant 输出进行训练，思考内容必须用 `导读` / `` 标签包裹，且思考标签前后的若干个 `\n` 必须保留。中间的 assistant 输出不应添加思考标签。也可以在训练样本中设置模型不输出 `导读` 标签，但训练完成后不建议再开启思考模式调用。 +- 不支持 OpenAI 的 `name`、`weight` 参数；所有 assistant 输出默认参与训练。 +- 可选 `loss_weight`（`0.0～1.0`）控制单条数据的训练权重，**目前属于邀测参数**，需联系商务开通。 -### SFT 视觉理解（千问 VL） +### SFT 思考模型（Thinking） -支持图片、视频文件路径和图片帧列表三种输入。如需传入 `system` 消息，对应 `content` 必须使用数组格式 `[{"text":"..."}]`，不能使用字符串格式。关键参数： +仅对**最后一条** assistant 输出进行训练；思考内容用 `\n...\n` 包裹，标签前后的换行符必须保留。 -| 字段 | 类型 | 必填 | 说明 | -| --- | --- | --- | --- | -| `image` | str | 是 | 图片文件路径 | -| `resized_width` / `resized_height` | int | 否 | 图片目标缩放尺寸（像素） | -| `video`（路径模式） | str | 是 | 视频文件路径，仅 qwen3.5 及以后 VL 模型支持 | -| `video`（帧列表模式） | `List[str]` | 是 | 图片帧列表，需配合 `sample_fps` | -| `fps` / `sample_fps` | float | 否 | 训练输入频率 / 帧率 | -| `video_start` / `video_end` | float | 否 | 视频截取起止时间（秒） | +### SFT 视觉理解（QwenVL） -关于物体定位坐标：Qwen2.5-VL 使用相对缩放后图像左上角的绝对像素坐标；Qwen3-VL 使用相对坐标，坐标值会缩放到 `[0, 999]` 范围。 +`system` 消息的 `content` 必须使用数组格式 `[{"text":"..."}]`，不能使用字符串格式。视频输入支持文件路径模式和图片帧列表模式，**仅 qwen3.5 及以后的 VL 模型支持视频输入**。 -### DPO 数据集 +[多模态](../concepts/multimodal.md)压缩包要求： +- 格式 ZIP，最大 2 GB；文件名仅支持 ASCII 字母、数字、下划线和连字符。 +- 训练文本固定为 `data.jsonl`，须位于压缩包**根目录**。 +- 图片单张宽高均不超过 1024 px，单文件不超过 10 MB。 -DPO ChatML 格式将 `messages` 内所有内容作为输入，通过 `chosen` 与 `rejected` 字段训练模型对最后一条用户输入的正负反馈。针对深度思考内容需使用 `导读` 标签包裹。`chosen` 模块支持 `loss_weight` 参数（邀测参数）。 +### DPO（ChatML 格式） -### CPT 训练集 +在 `messages` 之外额外包含 `chosen`（正反馈）和 `rejected`（负反馈）两个字段；`chosen` 支持 `loss_weight` 参数（邀测）。 -纯文本格式，一行训练数据结构为 `{"text":"文本内容"}`。 +### CPT（纯文本） -### 图生视频训练集 - -分为基于首帧和基于首尾帧两种。训练集必须提供，验证集可选（无需提供视频，训练任务会在评估节点自动调用模型生成预览视频）。 - -- 标注文件固定命名为 `data.jsonl`，最大 20MB，每行为一个 JSON 对象。 -- 字段包括 `prompt`、`first_frame_path`、`last_frame_path`（仅首尾帧）、`video_path`（仅训练集）。 -- 图像最大分辨率 4096*4096，支持 BMP、JPEG、PNG、WEBP；视频支持 MP4、MOV。 - -## 文本生成评测集 +每行一条 `{"text": "..."}` JSON，最少需要**一千万 Token** 优质预训练数据。 -单轮对话评测数据，使用 Excel 格式，每行包含 Prompt（用户输入）和 Completion（模型期望输出）。参评模型基于评测集中每条 Prompt 进行推理，评分员或自动化评分系统参考 Completion 对推理结果评分。 +### 图生视频训练集 -## 数据集构建规模要求 +支持**首帧**（`first_frame_path` + `video_path`）和**首尾帧**（`first_frame_path` + `last_frame_path` + `video_path`）两种模式，标注文件均固定命名为 `data.jsonl`，最大 20 MB。验证集无需提供视频，训练任务会自动在每个评估节点生成预览视频。 -不同调优方式对训练集规模有不同最低要求： +### 文本生成评测集 -| 调优方式 | 最低规模 | -| --- | --- | -| CPT | 一千万 [Token](../concepts/token.md) 优质预训练数据 | -| SFT | 上千条优质微调数据 | -| DPO | 上百条人类偏好数据 | +Excel 格式，包含 `Prompt` 和 `Completion` 两列，用于单轮对话评测。 -> 如果调优后评测结果不佳，最简单的改进方法是收集更多数据进行训练。 +--- ## 数据清洗与增强 -在模型调优前，可使用数据处理功能对训练集进行数据清洗和数据增强，从而获得更高质量的训练集，详见 [数据清洗或增强](../../raw/model-user-guide/model-data-overview/data-processing.md)。 - -| 处理方式 | 适用场景 | -| --- | --- | -| 数据清洗 | 修正训练数据中的规范性、合规性、一致性及重复等问题（如特殊内容移除、敏感信息打码等十种清洗操作） | -| 数据增强 | 增加训练数据的多样性和均衡性，或扩展数据规模 | - -> **注意**：如果训练集数据不适合清洗与增强（如法律文件、医学记录、文学作品、方言汇总、用户评论、技术手册等），建议直接跳过数据处理。此外，数据处理目前仅支持 SFT-文本生成训练集，不支持图片理解训练集和 DPO-文本生成训练集。 - -### 创建数据流任务 - -数据处理通过在控制台搭建自定义数据流完成。典型流程为「先清洗后增强」——确保增强操作在干净、高质量的数据集上进行，保证模型调优数据源的准确性。两步操作： - -1. **创建数据流**：在数据管理页面创建空白数据流，将数据清洗节点（开启所需算子）和数据增强节点拖入画布并依次连接，发布后即可使用。也可直接使用预置的数据流模板。 -2. **创建数据流任务**：选择已发布的数据流，输入任务名称，选择模型数据作为数据来源并指定训练集，任务自动执行。执行期间不支持手动终止。 - -任务处理状态包括：**处理中**（执行中，高峰时段需排队）、**已完成**（成功完成，可查看处理结果）、**处理失败**（建议提交工单咨询）。 +[数据清洗或增强](../../raw/model-user-guide/model-data-overview/data-processing.md) 功能通过**数据流**画布编排，支持对 SFT 文本生成训练集（ChatML 格式）进行处理。**目前不支持图片理解训练集和 DPO 训练集。** -> 训练集在清洗或增强后会自动生成一个新版本，新版本独立保存，不会覆盖原训练集。建议检查清洗后的训练集，确保数据完整性和真实性未被破坏。 +### 数据清洗节点 -### 节点说明 +支持的算子（可多选，按编排顺序依次执行）：特殊内容移除、敏感信息打码、文章相似度去重、敏感词过滤、毒性消除等，共十种。每个节点建议只开启一个算子，便于排查问题。 -数据流由若干节点组成，每个数据流必须包含一个开始节点和一个结束节点： +### 数据增强节点 -| 节点 | 作用 | -| --- | --- | -| 开始/结束 | 开始节点接收待处理训练集（`对话文本`参数无法更改）；结束节点输出处理结果，自动生成新版本 | -| 条件判断 | 设置条件分支，支持且/或配置，多条件自上而下顺序执行 | -| 数据清洗 | 选择清洗算子（如文章相似度去重、敏感词过滤、毒性消除等），按编排顺序执行，输出清洗后训练集及 `dataSetCount` 变量 | -| 数据增强 | 增加数据多样性和规模，分为通用、文本分类、文本抽取、文本创作四种场景 | - -### 数据增强节点关键参数 - -数据增强节点本质上是基于 `千问-Max` 大模型的 Few-Shot 生成器，暂不支持选择其他模型。每次最多生成 2000 条样本。 +通过 Few-Shot 策略调用`千问-Max`模型生成新样本（暂不支持选择模型）。 | 参数 | 说明 | -| --- | --- | -| 生成样本数 | 需要生成的数据量。原训练集 N 条 + 生成 M 条 = 增强后 N+M 条 | -| 指令生成依赖样本数 | 从原训练集中选出的种子数量，拼入 Prompt 提供给大模型。若种子+Prompt 总长度超过千问-Max 最大输入 [Token](../concepts/token.md)，系统会自动调整 | -| 过滤相似度阈值 | 控制生成数据的相似度过滤 | -| Prompt 配置 | 定义增强任务输入输出要求，支持 `few_shot_examples` 参数。提供默认模板 | +|------|------| +| 生成样本数 | 追加到原训练集的新样本数量，每次最多 2000 条 | +| 指令生成依赖样本数 | 每次从种子池中抽取的样本数，用于拼入 Prompt | +| 过滤相似度阈值 | 过滤生成数据中与原始数据过于相似的样本 | +| Prompt 配置 | 可自定义，默认模板已内置；目前只支持 `${few_shot_examples}` 变量 | -Few-Shot 策略示例：训练集 1000 条、指令生成依赖样本数 5、生成样本数 200，则每次从 1000 条中抽样 5 条拼入 `few_shot_examples`，请求千问-Max 生成 1 条，重复 200 次。 +场景变体：**数据增强-文本分类**、**数据增强-文本抽取**、**数据增强-文本创作**在通用策略基础上针对特定任务做了优化，各自特定场景下效果优于通用版本。 -> 输出数据中 `foreignKey` 为系统后添加的标识字段，增强后的训练集可直接用于模型调优，无需删除该字段。 +处理后数据自动生成新版本（独立存储，不覆盖原始版本），可直接用于模型调优。 -### 数据增强建议 +> **注意**：平台目前暂未提供 API 进行数据处理，全部操作须通过控制台完成。 -- **任务相关性**：确保生成数据与目标任务高度相关，避免引入不相关变体。 -- **多样化策略**：使用同义词替换、随机抽样、翻译变换等多种策略提升数据多样性。 -- **平衡增强**：生成数据应在类别、难度和结构上相对平衡，避免过度接触特定类型数据导致过拟合。 +--- -## 限制与注意事项 +## 日志回流 -- 数据管理与数据处理能力仅适用于华北2（北京）地域。 -- 数据处理暂未提供可用 API，需在控制台完成；仅支持 SFT-文本生成训练集（ChatML 格式），不支持图片理解和 DPO 训练集。 -- 压缩包格式为 ZIP，最大 2GB；VL 训练集图片单张尺寸宽高均不超过 1024px、单张不超过 10MB；图生视频训练集图像/视频最大分辨率 4096*4096。 -- `loss_weight`、思考模式相关参数等部分能力属于邀测参数，如需使用请联系商务经理。 -- 数据流任务执行期间暂不支持手动终止，处理失败建议提交工单咨询。 - -> **注意**：构建有效的 SFT 训练集通常需要 1000+ 样本；数据增强节点暂不支持选择模型，固定使用千问-Max。更多信息参考 [训练集与评测集](../../raw/model-user-guide/model-data-overview/training-set-and-evaluation-set.md) 与 [数据清洗或增强](../../raw/model-user-guide/model-data-overview/data-processing.md)。 - -## 来源文档 - -- [训练集与评测集](../../raw/model-user-guide/model-data-overview/training-set-and-evaluation-set.md) -- [数据清洗或增强](../../raw/model-user-guide/model-data-overview/data-processing.md) +[日志回流](../../raw/model-user-guide/model-data-overview/model-log-backflow.md) 将 SLS（日志服务）中的推理日志转化为 JSONL 格式结构化数据集，可直接用于微调或评测。 +### 支持范围 +| 数据类型 | 支持的训练方式 | +|----------|--------------| +| 训练集（文本生成） | SFT、DPO、CPT | +| 评测集（文本生成） | — | +- 可用地域：**华北2（北京）**和**新加坡**。 +- 单次回流上限：**10 万条**（超出部分不会被回流）；可多次回流到同一数据集的不同版本累积数据。 +### 前置授权 +1. 授权 SLS 服务关联角色（`AliyunServiceRoleForSFMAccessSLS`），审计日志和推理日志各授权一次。 +2. 开启审计日志，再开启推理日志（必须按此顺序）。 +3. 如使用 OSS 挂载存储，还需额外授权 `AliyunServiceRoleForAccessCusOss` 和 `AliyunServiceRoleForSFMDataHubOSSImport`。 +> **注意**：推理日志开启后 SLS 持续产生存储和读写费用，不再需要时应及时关闭。关闭必须反序操作：先关推理日志，再关审计日志。 +### 存储方式对比 +| 维度 | 平台存储 | OSS 挂载 | +|------|---------|---------| +| 额外授权 | 无 | 需授权 2 个角色 | +| 新增版本 | 支持 | 不支持（需通过导入数据页追加） | +| 评测集支持 | 支持 | 不支持 | +| 自动发布 | 导入完成后自动发布 | 不自动发布 | +### 回流参数说明 +关键参数（按顺序填写，修改上游参数会联动重置下游参数）： +- **时间范围**：最近 30 天（含当天），精确到时分秒 +- **API Key 过滤**：全部 / 其他（排除已列出 Key）/ 选择具体 Key（最多 10 个） +- **模型选择**：最多 10 个，不匹配能力类型的模型置灰 +存储方式、数据类型和训练方式在**创建后不可更改**，选择前请仔细确认。 +### 增量回流最佳实践 +推荐按时段或模型分批次回流，每批次精准选择表现良好的模型和业务高峰时段数据，逐步积累高质量训练集，效果优于一次性大量回流。 +--- +## 数据规模建议 +| 训练方式 | 推荐最低数据量 | +|----------|--------------| +| SFT | 上千条优质微调数据 | +| DPO | 上百条人类偏好数据 | +| CPT | 一千万 Token 优质预训练数据 | +如调优后评测结果不佳，优先考虑收集更多数据，而非调整超参数。 +## 来源文档 +- [训练集与评测集](../../raw/model-user-guide/model-data-overview/training-set-and-evaluation-set.md) +- [数据清洗或增强](../../raw/model-user-guide/model-data-overview/data-processing.md) +- [日志回流](../../raw/model-user-guide/model-data-overview/model-log-backflow.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md index 0491c527..a08a0793 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-deployment-1.md @@ -1,93 +1,129 @@ # model deployment 1 -模型部署让你为平台预置模型或调优后的自定义模型获得独立、资源专享的推理服务，以满足高并发、低延迟等生产需求。本页汇总三种计费方式的选型、PTU 长输入与前缀缓存机制、LoRA 模型导入约束，以及通过控制台或 API 完成部署的完整流程，面向需要落地专属推理服务的开发者。 +百炼平台支持将预置模型或调优后的模型部署为独立、资源专享的推理服务，以满足高并发、低延迟等业务需求。部署提供三种[计费](../concepts/billing.md)方式——预置吞吐（PTU）、模型单元、按 Token 用量——分别面向稳定吞吐、自定义性能和效果验证场景。此外，用户可从 OSS 导入本地训练的 LoRA 模型，并通过控制台或 API 完成部署、扩缩容、监控和下线等全生命周期管理。 -## 三种计费方式与选型 +## [计费](../concepts/billing.md)方式总览 -百炼提供三种互斥的部署计费方式，计费方式在服务创建后无法更改，如需切换必须先下线已部署的模型再重新部署（详见 [模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-introduction.md)）： +| [计费](../concepts/billing.md)方式 | 适用场景 | 性能可控性 | 支持模型 | +|---------|---------|-----------|---------| +| 预置吞吐（PTU） | 高负载生产环境，流量稳定可预估 | 吞吐/并发和生成速度由平台预置 | 部分预置模型 | +| 模型单元 | 大规模推理业务，需自定义性能 | 延迟/吞吐等性能指标可自定义 | 部分预置模型与所有调优后模型 | +| 按 Token 用量 | 效果验证，对并发和延迟要求不高 | 不可调 | 部分经 LoRA 调优后的模型 | -- **预置吞吐（PTU，Provisioned Throughput Unit）**：平台预留资源保障特定 TPM 吞吐能力，额度内不限速。相比按 Token 计费，TPS 通常提升约 1.5～2.0 倍，适合流量可预估的高负载生产环境（智能客服、实时内容审核）。支持预付费（按天）与后付费（按小时），可自助增减吞吐量并设置自动续费。 -- **模型单元（MU）**：按使用时长 × 模型单元数量计费，资源独占，延迟/吞吐等性能指标可自定义。支持部分预置模型与所有调优后模型，可自助增减模型单元数量，支持 PD 分离计算模式（拆分 Prefill 与 Decode 阶段以降低首 Token 延迟、提高吞吐）。 -- **按 Token 使用量**：以每次调用的输入/输出 Token 计量，不使用不计费。仅支持对基础模型完成 SFT 高效训练后的自定义模型，主要用于调优后模型的效果验证；扩缩容需在控制台提交申请等待人工审核。 +> **注意**：计费方式在服务创建后无法更改，如需切换必须先下线已部署的模型再重新部署。部署成功后即开始计费，即使未发起任何调用。详见 [模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-introduction.md)。 -关键计费公式： +## 预置吞吐（PTU） -- 预置吞吐（按时长）：`费用 = 使用时长 × (输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)` -- 模型单元（按时长）：`费用 = 使用时长（小时）× 模型单元数量 × 模型单元单价`；预付费按月时改为 `包月数 × 模型单元数量 × 月单价` -- 按 Token：`费用 = 输入 Token 数 × 输入单价 + 输出 Token 数 × 输出单价` +### 核心特性 -## PTU 长输入与前缀缓存 +PTU 通过平台预留资源保障特定 TPM 吞吐能力，在保障额度内不限速。相比按 Token 用量计费，TPS 通常提升约 1.5~2.0 倍，适用于银行智能客服、实时内容审核等流量稳定的场景。 -PTU 部署支持长输入请求（部分模型最高 200K token）和前缀缓存，通过阶梯容量系数和缓存折扣管理额度消耗，详见 [预置吞吐长输入与缓存](../../raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md)： +### 长输入与阶梯系数 -- **长输入阶梯系数**：超过 32K token 的输入按更高阶梯系数折算 TPM。例如 glm-5.1 在 `[32K, 200K]` 区间输入系数为 1.33、输出为 1.17；deepseek-v4-pro 与 qwen3.7-plus-2026-05-26 无阶梯（1.0）。 -- **前缀缓存折扣**：命中缓存的输入 token 按折扣系数消耗额度（glm-5.1 为 0.2，deepseek-v4-pro 为 0.08，qwen3.7-plus 为 0.2），可显著降低多轮对话和重复前缀场景的额度消耗。 -- **自动转按量计费**：超出 PTU 额度或输入超过模型上限时，请求自动转为按量计费，无需修改调用代码，业务不中断。 +部分模型支持超过 32K token 的长输入，超出部分按更高的阶梯系数折算 TPM 消耗。以 glm-5.1 为例：[0, 32K) 阶梯系数为输入 1.0 / 输出 1.0；[32K, 200K] 阶梯系数为输入 1.33 / 输出 1.17。deepseek-v4-pro 和 qwen3.7-plus 则无阶梯（系数 1.0）。单次输入超过模型上限（千问 128K / DeepSeek 64K）时自动转为按量计费。 -API 响应关键字段：`service_tier`（值为 `ptu-standard` 表示使用 PTU 额度，`default` 或不返回表示按量计费）、`provisioned_tokens`（折算后实际消耗的额度 token 数）、`cached_tokens`（前缀缓存命中数）。不同 API 格式（OpenAI Chat / Responses、Anthropic、DashScope）下这些字段的 JSON 路径不同，需按对应格式取值。 +### 前缀缓存 -> **注意**：模型输入上限存在两处口径。[模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-introduction.md) 的价格表中千问系列多为 128K、部分新模型达 256K，而 PTU 文档明确将「千问 128K / DeepSeek 64K」作为触发自动转按量计费的上限。请以控制台实际展示与所选具体模型为准。 +部分模型支持前缀缓存，命中缓存的输入 token 按折扣系数消耗额度。例如 glm-5.1 缓存命中部分按 20% 折算，deepseek-v4-pro 按 8% 折算。可通过 API 响应中的 `cached_tokens` 字段确认缓存是否生效，也可在控制台监控页面查看缓存命中比例。 -> **注意**：长输入场景下 PTU 利用率可能超过 100%，这是阶梯系数导致折算消耗高于原始 token 数的正常现象，超出部分自动转按量计费，不影响服务可用性。 +### 溢出策略 -## 模型导入（LoRA） +创建 PTU 时可选两种溢出策略： -通过**我的模型**页面可将本地训练的 LoRA 模型从 OSS 导入百炼平台，详见 [模型导入](../../raw/model-user-guide/model-deployment-1/model-import.md)。当前版本**仅支持 LoRA 模型，不支持全参微调模型**。 +- **自动溢出**（默认）：超出购买 TPM 时自动切换为按量付费，响应头包含 `x-dashscope-ptu-overflow:true`，业务不中断。 +- **仅使用 PTU 容量**：超出时返回 429 错误，不产生额外费用。 -导入前提与约束： +### 额度计算器 -- **OSS Bucket**：需为目标 Bucket 添加 `bailian-datahub-access` 标签（标签值 `read`）；不支持归档/冷归档类存储；不支持访问 Bucket 根目录文件，需放入子目录。首次导入需先完成 OSS 服务关联角色授权（子账号还需主账号授予 `ram:CreateServiceLinkedRole` 权限）。 -- **必需文件**：`adapter_model.safetensors`（权重）与 `adapter_config.json`（含 rank、alpha 等配置）。 -- **rank 限制**：必须为 8、16、32、64 之一，且同一模型所有 LoRA 层使用相同 rank。 -- **词汇表与对话模板**：不得修改原始 vocab 或 chat_template，必须与开源基础模型默认配置一致，否则无法导入。 -- **VL 模型**：必须冻结 VIT，若 adapter 中包含 `visual` 开头的权重参数则无法导入。 +控制台提供**预置吞吐额度计算器**，根据 RPM、平均输入/输出长度、缓存命中率等参数推荐购买的输入 KTPM 和输出 KTPM。建议在创建或扩容前使用，避免额度不足导致请求转为按量计费。详见 [预置吞吐长输入与缓存](../../raw/model-user-guide/model-deployment-1/ptu-long-input-and-cache.md)。 -支持导入的基础模型涵盖千问3、千问3-VL、千问2.5、千问2.5-VL 系列的指定版本。导入后模型状态包括创建中、创建成功（可部署）、创建失败、已失效。 +### API 响应字段 -> **注意**：导入模型若与本地 vLLM/SGLang 推理效果不一致，通常是推理引擎参数默认值差异所致。可将 `temperature`、`top_p`、`repetition_penalty` 设为 1.0、`presence_penalty` 设为 0 以对齐 vLLM 默认行为。 +PTU 部署的 API 响应包含以下额度相关字段： -## 使用 API/命令行部署 +| 字段 | 说明 | +|------|------| +| `service_tier` | 值为 `ptu-standard` 表示使用 PTU 额度；`default` 或不返回表示按量计费 | +| `provisioned_tokens` | 折算后实际消耗的 PTU 额度 token 数（含阶梯系数和缓存折扣） | +| `cached_tokens` | 前缀缓存命中的 token 数 | -除控制台外，可通过 DashScope HTTP API 完成部署，**仅适用于华北2（北京）地域**，需先获取并配置 API Key，详见 [使用 API或命令行进行模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md)。核心接口为 `POST/GET/DELETE https://dashscope.aliyuncs.com/api/v1/deployments`，通过 `plan` 字段区分计费方式： +不同 API 格式（OpenAI Chat 兼容、OpenAI Responses、Anthropic 兼容、DashScope）下这些字段的 JSON 路径存在差异，Anthropic 兼容格式暂不返回 `cached_tokens`。 -- **PTU**：`plan: "ptu"`，配合 `ptu_capacity.input_tpm` / `output_tpm`。 -- **模型单元**：`plan: "mu"`，配合 `deploy_spec`（如 `MU1`）、`capacity`（副本数）、`enable_thinking`、`max_context_length`、`rpm_limit`、`tpm_limit`。 -- **按 Token（LoRA 自定义模型）**：`plan: "lora"`，`capacity` 必填但设置无效，扩缩容需在控制台申请。 +## 模型单元 -典型部署命令（模型单元）： +模型单元按使用时长和模型单元数量计费，资源独占，支持自定义延迟/吞吐等性能指标，适用于电商微调模型大促扩容、医药分子筛选等需独占资源的场景。 -```bash -curl "https://dashscope.aliyuncs.com/api/v1/deployments" \ ---header "Authorization: Bearer $DASHSCOPE_API_KEY" \ ---header 'Content-Type: application/json' \ ---data '{ - "name": "my_qwen_plus", - "model_name": "qwen-plus-2025-12-01", - "plan": "mu", - "deploy_spec": "MU1", - "enable_thinking": true, - "capacity": 4, - "max_context_length": 10000, - "rpm_limit": 500, - "tpm_limit": 1000 -}' -``` +### PD 分离模式 -部署流程：创建部署 → 返回 `deployed_model`（专属服务唯一 ID）→ 轮询 `GET /deployments/{id}` 直到 `status` 为 `RUNNING` → 通过 DashScope SDK 或兼容 API 发起推理 → 不再使用时 `DELETE /deployments/{id}` 下线并停止计费。 +部分模型支持 PD 分离部署模式，将首 Token 计算（Prefill）和后续 Token 计算（Decode）拆到不同计算节点执行，可降低首 Token 延迟、提高吞吐。该模式下模型单元规格和单价与普通模式不同（通常更高），如千问3.6-Plus 在 PD 分离模式下为 MU1 x 16，小时单价 ¥864（普通模式 MU1 x 8 为 ¥432）。 -## 部署配置与列表管理 +### 推理模式配置 -在控制台部署时可配置：服务名称、选择模型、模型单元类型（部署规格）、部署副本数、部署模板（如「单机部署」，仅模型单元模式可用）、推理模式（Instruct 非思考 / Thinking 思考）、最长上下文、服务限流（RPM/TPM）。 +部分模型在模型单元部署时可配置推理模式： -部署列表页展示服务名称、模型名称、**模型 Code**（API 调用时指定模型的唯一标识）、部署状态（待部署、部署中、运行中、部署失败、下线中、已停止、变配中等）、计费方式、部署详情与限流详情。 +- **Instruct**：非思考模式推理 +- **Thinking**：思考模式推理 +- **Instruct/Thinking**：可在部署时选择是否开启思考模式 + +## 按 Token 用量计费 + +仅当对基础模型完成 SFT 高效训练并得到自定义模型后才支持此计费方式。费用按模型输入/输出 Token 数计算，最小计费单位为 1 token。不使用不计费，一个月内不使用将自动释放。仅支持部分高效微调（LoRA）后的模型。 + +## 模型导入 + +部署自定义模型前，需先将本地训练的 LoRA 模型从阿里云 OSS 导入到百炼平台。详见 [模型导入](../../raw/model-user-guide/model-deployment-1/model-import.md)。 + +### 前提条件 + +- 已创建 OSS Bucket 并添加 `bailian-datahub-access` 标签（标签值为 `read`） +- 不支持归档、冷归档或深度冷归档存储类型；支持内容加密和私有 Bucket +- 模型文件须放在 Bucket 子目录下，不支持访问根目录文件 +- 已完成 OSS 服务关联角色授权（主账号自动开通，子账号需先授予 `ram:CreateServiceLinkedRole` 权限） + +### 文件要求 + +- **必需文件**：`adapter_model.safetensors`（权重）和 `adapter_config.json`（配置） +- **rank 限制**：rank 值必须为 8、16、32 或 64，同一模型所有 LoRA 层须使用相同 rank +- **词汇表**：不可添加新 token 或修改原始词汇表 +- **对话模板**：不可修改 `chat_template`，须与基础模型默认配置一致 +- **VIT 冻结**：VL 模型必须冻结 Vision Transformer 部分，adapter 中不能包含 `visual` 相关权重参数 + +### 支持导入的基础模型 + +千问3 系列（32B/14B/8B/4B-Instruct-2507）、千问3-VL-8B-Instruct、千问2.5 系列（72B/32B/14B/7B）、千问2.5-VL 系列（72B/7B）。 + +## API 部署 + +支持通过 HTTP API 完成模型部署的全生命周期管理，仅适用于华北2（北京）地域。详见 [使用 API或命令行进行模型部署](../../raw/model-user-guide/model-deployment-1/model-deployment-quick-start.md)。 + +### 创建部署 + +调用 `POST https://dashscope.aliyuncs.com/api/v1/deployments`，通过 `plan` 参数指定计费方式： + +- `plan: "ptu"`：预置吞吐，需配置 `ptu_capacity.input_tpm` 和 `output_tpm` +- `plan: "mu"`：模型单元，需配置 `deploy_spec`（如 `MU1`）、`capacity`（副本数），可选 `enable_thinking`、`max_context_length`、`rpm_limit`、`tpm_limit` +- `plan: "lora"`：按 Token 计费，`capacity` 参数须填写但实际无效，扩缩容须在控制台提交申请 + +### 查询状态 + +通过 `GET /api/v1/deployments/{deployed_model}` 查询服务详情，`status` 为 `RUNNING` 时表示部署完成。返回的 `deployed_model` 为专属服务的唯一 ID，后续推理和删除均使用该 ID。 + +### 执行推理 + +使用 [DashScope SDK](../concepts/dashscope-sdk.md) 调用，传入 `model` 参数为基础模型名称（如 `qwen3-8b`），API Key 所属[业务空间](../concepts/workspace.md)须与部署所在[业务空间](../concepts/workspace.md)一致。 + +### 删除服务 + +通过 `DELETE /api/v1/deployments/{deployed_model}` 删除不再使用的服务，删除后立即下线且不可恢复，停止计费。 ## 限制与注意事项 -- **计费不可逆变更**：计费方式创建后不可改；预付费按天/按月无法提前退费，首月内提前退订按日单价 1.2 倍计费。 -- **部署即计费**：模型部署成功后即产生费用，即便尚未发起任何调用；后付费欠费后资源保留并继续计费 24 小时，超时后停止计费并删除底层资源（部署任务保留）。 -- **按 Token 模式约束**：仅支持 LoRA 调优后模型，一个月内不使用将自动释放。 -- **权限**：API 部署报错 `Workspace ... does not have deployment privilege` 或 `Workspace access denied` 时，需检查 API Key 归属业务空间的模型部署授权与账号操作权限。 -- **删除不可恢复**：执行 DELETE 后服务立即下线且不可恢复。 +- **计费方式不可变更**：创建后无法切换，需下线重建 +- **预付费退订**：PTU 预付费按天计费无法提前退费；模型单元预付费首月内退订日单价按 1.2 倍计费 +- **欠费处理**：后付费欠费后资源保留并计费 24 小时，超 24 小时停止计费，底层资源被删除但任务保留；补足欠费后重新分配资源恢复使用 +- **权限要求**：API Key 归属[业务空间](../concepts/workspace.md)须有模型部署权限，归属账号须在该业务空间有操作权限 +- **推理效果差异**：导入模型与本地 vLLM/SGLang 推理效果可能不一致，需调整 `temperature`、`top_p`、`top_k`、`presence_penalty`、`repetition_penalty` 等参数对齐 +- **利用率超 100%**：长输入阶梯系数会使 PTU 利用率超过 100%，属于正常现象，超出部分按溢出策略处理 ## 来源文档 diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md index 674be24b..ba04702e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-evaluation-introduction.md @@ -71,13 +71,13 @@ 数据量建议：小规模验证 50-100 条，正式评测 200-500 条，全面评估 500 条以上。 -## 计费说明 +## [计费](../concepts/billing.md)说明 费用由两部分构成：被评测模型推理费用 + 裁判模型评分费用。 - 使用推理结果集可免去推理费用。 - 规则评估和人工评估无裁判模型费用。 -- 已部署的调优模型评测不额外计费（推理费用包含在部署算力费用中）。 +- 已部署的调优模型评测不额外[计费](../concepts/billing.md)（推理费用包含在部署算力费用中）。 **成本优化**：先用 50-100 条小规模验证 → 保存推理结果集复用 → 有确定性标准的场景优先用规则评估。 @@ -105,3 +105,11 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md index 5cedd681..8d6142c4 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-experience.md @@ -1,83 +1,243 @@ # model experience -百炼平台按模态和场景组织了一整套可直接调用的模型能力：文本生成、视觉理解、图片/视频/3D 生成、语音合成与识别、语音转语音、全模态、音乐生成，以及向量与重排序。本页汇总各场景的推荐模型、关键参数和选型要点，帮助开发者快速定位到合适的模型；模型的实时上下文窗口、计费等详细参数请以模型广场为准。 +百炼平台提供覆盖文本、视觉、视频、图片、3D、语音、音乐、向量等多种模态的模型体验入口，开发者可在同一平台完成从模型选型到 API 调用的全流程。各模态均有推荐模型、能力对比表和迁移参考，帮助从 GPT/Claude/ElevenLabs 等闭源服务平滑切换。 ## 文本生成 -通用文本场景（聊天机器人、内容生成、摘要、文档处理、办公任务）推荐从 `qwen3.7-plus` 起步——能力与成本均衡，具备 1M 上下文、Function Calling 和内置工具；效果确认后可切到 `qwen3.6-flash` 降本，功能与上下文一致；需要最强推理时用 `qwen3.7-max`。超长文档（多合同审阅、大规模文献）可用 `qwen-long`（10M 上下文）。AI 编程 / Agent 开发推荐 `qwen3.7-plus`（工具调用完整、1M 上下文适合大代码库）。 +适用于聊天机器人、内容生成、摘要总结、文档处理、Agent 开发等场景。详见 [文本生成](../../raw/model-user-guide/model-experience/text-generation-model.md)。 -关键能力： +### 推荐选型 -- **思考模式**：通过 `enable_thinking` 参数开启（Responses API 用 `reasoning.effort` 控制开关与深度），所有 Qwen3 及以上模型均支持，多为混合模式可按请求切换。 -- **Function Calling**：所有通用模型均支持自定义工具调用；**内置工具**（联网搜索、代码解释器、网页抓取）免复杂配置。 -- **结构化输出**：可强制返回有效 JSON，适合信息抽取。 -- **批量推理**：适合大量、低时延要求的请求以降本。 +| 场景 | 推荐模型 | +| --- | --- | +| 通用/Agent/办公 | `qwen3.7-plus`（1M 上下文，支持 Function Calling 和内置工具） | +| 成本优先 | `qwen3.6-flash`（效果接近旗舰，同等上下文） | +| 最强推理 | `qwen3.7-max`（1M 上下文）；`qwen3.8-max-preview`（仅 Token Plan） | +| 超长文档（>100 万 token） | `qwen-long`（10M 上下文） | +| 代码/编程 | `qwen3.7-plus`、`kimi-k2.7-code`、Qwen3-Coder 系列 | -详细的模型对位（从 GPT / Claude / Gemini 迁移）与完整模型清单见 [文本生成](../../raw/model-user-guide/model-experience/text-generation-model.md)。 +### 关键能力 -## 视觉理解与 OCR +- **思考模式**：通过 `enable_thinking` 参数开启（Responses API 用 `reasoning.effort`）。Qwen3 及以上系列均支持，大多数为混合模式，可按请求切换。 +- **Function Calling**：所有通用模型均支持自定义工具调用；部分模型支持联网搜索、代码解释器等内置工具（无需额外配置）。 +- **结构化输出**：获取有效 JSON，用于从文本中提取结构化字段。 +- **批量推理**：适合大量低时延要求场景，可降低成本。 -图像 / 视频理解推荐 `qwen3.7-plus`（1M 上下文、最长 2 小时视频、Function Calling + 内置工具），稳定后可降本到 `qwen3.6-flash`。要点见 [视觉理解](../../raw/model-user-guide/model-experience/vision-model.md)： +### 翻译模型 -- **图像分辨率**：多数模型支持每张最高 1600 万像素，Token 数按 `h x w / (32 x 32) + 2` 计算。 -- **视频支持**：`qwen3.7-plus` / `qwen3.6-plus` / `qwen3.6-flash` / `qwen3.5-plus` / `qwen3.5-flash` 最长 2 小时 / 2GB；`qwen3-vl-plus` / `qwen3-vl-flash` 最长 1 小时。 -- **OCR / 文档提取**：`qwen3.5-ocr` 针对文档、表格、试卷、手写内容优化；通用图片文字提取也可用旗舰模型。 +`qwen-mt-plus/turbo/flash/lite`，上下文 16k，不支持思考模式、Function Calling 或结构化输出。 -## 图片生成与编辑 +--- + +## 视觉理解 + +适用于图像分析、视频理解、OCR 等场景。详见 [视觉理解](../../raw/model-user-guide/model-experience/vision-model.md)。 + +### 推荐选型 + +- **旗舰**：`qwen3.7-plus`（1M 上下文，最长 2 小时视频，每张图最高 1600 万像素，Function Calling + 内置工具） +- **成本平衡**：`qwen3.6-flash`（效果接近旗舰，相同视频/图片规格） +- **OCR/文档提取**：`qwen3.5-ocr`（专为文档、表格、试卷、手写内容优化） + +### 关键参数 + +- **图片 Token 计算**：`h × w / (32 × 32) + 2`，分辨率越高消耗越多 Token。 +- **视频上限**：Qwen3.7/3.6/3.5 系列最长 2 小时 / 2GB；Qwen3-VL 系列最长 1 小时 / 2GB。 +- **最大图片数**：`qwen3.7-plus` 单次 2048 张；`qwen3.6-flash` 256 张。 -见 [图片生成与编辑](../../raw/model-user-guide/model-experience/image-model.md)。推荐 `wan2.7-image-pro`，集成文字渲染、品牌色控制、角色一致性多图生成和图片编辑（文生图最高 4096x4096，编辑最高 2048x2048，支持最多 9 张输入图参考）。仅需生图且追求速度/成本时用 `z-image-turbo`（约快 10 倍、价格约 1/5，写实人像与产品照）；需要负向提示词或单次最多 6 张变体时用 `qwen-image-2.0-pro`（生成和编辑同一模型 ID）。 +--- ## 视频生成与编辑 -见 [视频生成与编辑](../../raw/model-user-guide/model-experience/video-generate-edit-model.md)，按子场景选型： +适用于文生视频、图生视频、视频编辑、角色动画等场景。详见 [视频生成与编辑](../../raw/model-user-guide/model-experience/video-generate-edit-model.md)。 + +### 推荐选型 + +| 场景 | 推荐模型 | 规格 | +| --- | --- | --- | +| 文生视频（有声） | `happyhorse-1.1-t2v` | 720P/1080P，3-15 秒，24fps | +| 文生视频（自定义音频） | `wan2.7-t2v-2026-06-12` | 720P/1080P，2-15 秒，30fps | +| 首帧图生视频 | `happyhorse-1.1-i2v` | 720P/1080P，3-15 秒 | +| 首尾帧/视频续写 | `wan2.7-i2v-2026-04-25` | 720P/1080P，2-15 秒 | +| 参考图生视频 | `happyhorse-1.1-r2v` | 720P/1080P，3-15 秒 | +| 视频编辑 | `happyhorse-1.0-video-edit` | 720P/1080P，3-15 秒 | +| 特效/运镜复刻 | `wan2.7-videoedit` | 720P/1080P，最长 10 秒 | +| 角色动画（动作迁移） | `wan2.2-animate-move`（pro/std 两种模式） | 720P，2-30 秒 | + +--- + +## 图片生成与编辑 + +适用于文生图、图片编辑等场景。 -- **文生视频**：`happyhorse-1.1-t2v`（1080P、单片段最长 15 秒、有声）；需传入自定义音频文件用 `wan2.7-t2v-2026-06-12`。 -- **图生视频**：首帧生视频用 `happyhorse-1.1-i2v`；首尾帧串联长视频用 `wan2.7-i2v-2026-04-25`。 -- **参考生视频**：`happyhorse-1.1-r2v`（保持角色一致性）；需自定义音色或视频参考主体用 `wan2.7-r2v-2026-06-12`。 -- **视频编辑 / 角色动画**：编辑用 `happyhorse-1.0-video-edit`，特效/运镜复刻用 `wan2.7-videoedit`；动作迁移用 `wan2.2-animate-move`，人物替换用 `wan2.2-animate-mix`（均支持 wan-std / wan-pro 两种模式）。 +### 推荐选型 + +- **综合旗舰**：`wan2.7-image-pro`（文字渲染、品牌色控制、角色一致性、多图编辑，文生图最高 4096×4096） +- **快速低成本**：`z-image-turbo`（仅支持文生图，速度快 10 倍，价格约 1/5，适合写实人像/产品照） +- **需要负向提示词/多变体**：`qwen-image-2.0-pro`（单次最多 6 张，支持文生图和编辑） + +> **注意**：`wanx2.1-imageedit` 仅支持北京（cn-beijing）地域，且只支持图片编辑，不支持文生图；新项目建议改用 `wan2.7-image-pro`。 + +--- ## Tripo 3D 模型生成 -支持文生 3D、单图生 3D、多图生 3D 三种模式，通过 `input` 中互斥的 `prompt` / `image` / `images` 字段区分。`Tripo/Tripo-H3.1` 面向高精度（最高 200 万面，较慢），`Tripo/Tripo-P1.0` 面向快速预览（最高 2 万面，更快）。贴图质量用 `parameters.texture_quality`（`standard` / `detailed`）控制，几何精度用 `parameters.geometry_quality`（仅 H3.1 支持，`standard` 最高 150 万面 / `ultra` 最高 200 万面）。调用为异步任务，需轮询任务状态（`PENDING` → `RUNNING` → `SUCCEEDED` / `FAILED`），建议间隔 15 秒。 +支持文生 3D、单图生 3D、多图生 3D 三种模式。详见 [Tripo 3D模型生成](../../raw/model-user-guide/model-experience/tripo-3d-generation-guide.md)。 + +> **注意**：该服务**仅限华北2（北京）地域**，必须使用对应地域的 API Key，其他地域无法调用。 + +### 模型对比 + +| 模型 | 最高面数 | 速度 | 适用场景 | +| --- | --- | --- | --- | +| `Tripo/Tripo-H3.1` | 200 万面 | 较慢 | 影视级渲染、高精度数字资产 | +| `Tripo/Tripo-P1.0` | 2 万面 | 更快 | 快速预览、游戏/AR/实时应用 | + +### 调用方式 -> **注意**：Tripo 3D 生成仅适用于**华北2（北京）**地域，且必须使用该地域的 API Key。 +采用异步任务模式：先调用接口获取 `task_id`，再轮询任务状态（建议间隔 15 秒）。任务状态流转：`PENDING` → `RUNNING` → `SUCCEEDED` / `FAILED`，`task_id` 有效期 24 小时。 + +### 关键参数 + +- `parameters.texture_quality`：`standard`（默认）或 `detailed`（高清贴图） +- `parameters.geometry_quality`：仅 Tripo-H3.1 支持，`standard`（最高 150 万面）或 `ultra`（最高 200 万面） +- 三种输入字段互斥：`prompt`（文生 3D）、`image`（单图）、`images`（2-4 张多角度图） + +--- ## 语音合成（TTS） -见 [语音合成](../../raw/model-user-guide/model-experience/tts-model.md)。先确定内置音色还是自定义音色：标准合成推荐 `qwen-audio-3.0-tts-plus` / `MiniMax/speech-2.8-hd`；自定义音色分**声音复刻**（提供音频样本，用 `qwen-audio-3.0-tts-flash` / `MiniMax/speech-2.8-hd`）和**声音设计**（用文字描述音色，用 `cosyvoice-v3.5-plus` / `cosyvoice-v3.5-flash`），音色统一由 `voice-enrollment` 服务注册管理。接入方式上，WebSocket 双向流式延迟最低（实时交互），HTTP 适合有声阅读等；Qwen 系列以 `-realtime` 后缀区分 WebSocket / HTTP。指令控制可用自然语言动态调节语速、情绪和风格。 +适用于智能客服、有声阅读、品牌音色、声音复刻等场景。详见 [语音合成](../../raw/model-user-guide/model-experience/tts-model.md)。 + +### 选型决策 + +1. **标准内置音色** → `qwen-audio-3.0-tts-plus` 或 `MiniMax/speech-2.8-hd` +2. **声音复刻**（已有录音素材）→ `qwen-audio-3.0-tts-plus`、`qwen-audio-3.0-tts-flash`、`MiniMax/speech-2.8-hd` +3. **声音设计**（用文字描述音色）→ `cosyvoice-v3.5-plus`、`cosyvoice-v3.5-flash` + +### 接入方式 + +- **WebSocket**：流式双向，延迟最低，适合实时交互（客服、语音助手） +- **HTTP**：支持流式返回，适合有声阅读、音频内容制作 + +Qwen-Audio-TTS/CosyVoice 系列同一模型 ID 同时支持两种接入方式；Qwen 系列通过模型名称区分（`-realtime` 后缀为 WebSocket）。 + +### 指令控制 + +用自然语言按请求动态控制语速、情绪、风格（如"用温柔语气，语速稍慢"）。支持的系列：Qwen-Audio-TTS、CosyVoice v3.5/v3、Qwen-TTS Instruct 系列。 + +--- + +## 语音转语音（S2S） + +适用于语音助手、实时对话、同声传译等场景。 + +### S2S 与 Pipeline 对比 + +| 维度 | S2S 单模型 | Pipeline（ASR + LLM + TTS） | +| --- | --- | --- | +| 延迟 | 低 | 较高 | +| 音频理解 | 端到端，感知语调/情绪 | 先转文本，细节丢失 | +| 音色定制 | 预设音色 | 支持声音复刻/设计 | + +- 需要低延迟实时交互 → S2S（`qwen-audio-3.0-realtime-plus`） +- 需要自定义音色或精细控制各阶段 → Pipeline + +### 推荐模型 + +| 场景 | 推荐模型 | API | +| --- | --- | --- | +| 语音助手/客服 | `qwen-audio-3.0-realtime-plus` | WebSocket | +| 成本敏感对话 | `qwen-audio-3.0-realtime-flash` | WebSocket | +| 同声传译/直播翻译 | `qwen3.5-livetranslate-flash-realtime` | WebSocket | +| 视频配音/播客翻译 | `qwen3-livetranslate-flash` | HTTP | +| 视频分析/批量打标（需思考模式） | `qwen3-omni-flash` | HTTP | + +--- ## 语音识别（ASR） -见 [语音识别](../../raw/model-user-guide/model-experience/asr-model.md)，按维度选型： +适用于实时字幕、会议转写、呼叫中心录音分析等场景。详见 [语音识别](../../raw/model-user-guide/model-experience/asr-model.md)。 -- **实时 vs 非实时**：实时（WebSocket）用 `fun-asr-realtime` 或 `qwen3.5-omni-plus-realtime`；非实时文件转写（HTTP）用 `fun-asr` 或 `qwen3.5-omni-plus`。 -- **专业术语**：Prompt 上下文注入（Qwen3.5-Omni，无需预配置）或热词表（Fun-ASR，适合稳定术语列表）。 -- **说话人分离**：仅 Fun-ASR 非实时模型（`fun-asr`、`fun-asr-mtl`）支持。 -- **情感识别**：Qwen-ASR 与 Qwen3.5-Omni 系列支持，推荐 `qwen3-asr-flash-realtime` / `qwen3-asr-flash-filetrans`。 +### 选型决策维度 -Paraformer 为较早一代模型，新业务建议迁移到 Fun-ASR 或 Qwen-ASR。 +1. **实时 vs 非实时**：实时用 `fun-asr-realtime` 或 `qwen3.5-omni-plus-realtime`；非实时用 `fun-asr` 或 `qwen3.5-omni-plus` +2. **专业术语**：用热词（Fun-ASR 系列）或 Prompt 上下文注入（Qwen3.5-Omni 系列） +3. **说话人分离**：仅 `fun-asr`、`fun-asr-mtl` 支持 +4. **情感识别**：Qwen-ASR 和 Qwen3.5-Omni 系列支持 -## 语音转语音（S2S）与全模态 +### 关键限制 -构建语音应用可选 **S2S 单模型**（延迟低、端到端感知语调情绪）或 **Pipeline（ASR + LLM + TTS）**（可自定义音色、各阶段独立选优）。S2S 路线推荐：语音助手/客服用 `qwen3.5-omni-plus-realtime`，成本敏感用 `qwen3.5-omni-flash-realtime`，同传/直播翻译用 `qwen3.5-livetranslate-flash-realtime`，视频配音/播客翻译用 `qwen3-livetranslate-flash`。全模态（同时理解文本/音频/图片/视频）三大系列为 Qwen3.5-Omni（旗舰）、Qwen3-Omni-Flash（轻量、支持思考模式）、Qwen3.5-Livetranslate（专业翻译，开箱即用，60 种语言）。 +| 模型 | 音频最大时长/大小 | +| --- | --- | +| `fun-asr`（非实时） | 12 小时 / 2GB | +| `qwen3.5-omni-plus`（非实时） | 3 小时 / 2GB | +| `qwen3.5-omni-plus-realtime` | 2 小时 | +| `qwen3-asr-flash`（HTTP OpenAI 兼容） | 5 分钟 / 10MB | -> **注意**：Function Calling 与联网搜索能力在不同接入模式下差异较大——例如 `qwen3-omni-flash` 在 HTTP 模式支持 Function Calling 和思考模式，但其 WebSocket（`-realtime`）版本均不支持；联网搜索仅 Qwen3.5-Omni（HTTP / WebSocket）支持，且联网搜索与 Function Calling 不可同时开启；思考模式下不输出语音。选型前务必核对目标模型的具体接入模式。 +--- ## 音乐生成 -Fun-Music 是端到端音乐生成模型，通过 `prompt` 描述风格/场景/情绪自动作词谱曲，或通过 `lyrics` 提供自定义歌词，用 `gender` 选男女声（仅 `fun-music-v1`），`is_instrumental=true` 生成纯音乐（此时 `lyrics` / `gender` 被忽略），`format` 指定 mp3 / wav 输出。 +Fun-Music 支持通过提示词或自定义歌词生成带人声的中英文歌曲，也支持纯音乐输出。 + +> **注意**：Fun-Music 目前处于**邀测阶段**，需在模型广场申请开通，且**仅限华北2（北京）地域**。 + +### 两个模型的主要区别 + +| 特性 | `fun-music-v1` | `fun-music-preview` | +| --- | --- | --- | +| `prompt` | 与 `lyrics` 至少传一个 | 必填 | +| `lyrics` | 同时传入时仅 `lyrics` 生效 | 可选，优先用于歌词 | +| `gender` | 支持 | 不支持 | +| 纯音乐（`is_instrumental`） | 支持 | 支持 | + +输出格式：`mp3`（小体积，网络传输）或 `wav`（无损，后期处理）。 + +--- + +## 向量与重排序（Embedding & Rerank） + +适用于语义搜索、RAG 检索、跨模态匹配等场景。详见 [向量与重排序](../../raw/model-user-guide/model-experience/embedding-rerank-model.md)。 + +### 选型 + +| 场景 | 推荐模型 | +| --- | --- | +| 纯文本搜索/RAG/聚类 | `text-embedding-v4`（64~2048 维，最大 8192 Token） | +| 已有 v3 索引迁移 | `text-embedding-v3`（维度兼容） | +| 图文混合检索（融合向量） | `qwen3-vl-embedding` | +| 跨模态搜索（独立向量） | `tongyi-embedding-vision-plus` | +| 纯文本重排序 | `qwen3-rerank`（100+ 语言，最多 500 文档） | +| [多模态](../concepts/multimodal.md)重排序 | `qwen3-vl-rerank`（文本/图片/视频混合） | + +### 维度选择建议 + +- 大规模搜索且存储受限 → 256 或 512 维 +- 通用场景 → 1024 维（默认） +- 高精度检索 → 1536 或 2048 维 + +--- + +## 全模态（Omni） -> **注意**：Fun-Music 处于邀测阶段，需在模型广场申请开通，且服务仅在**华北2（北京）**地域可用。 +Qwen3.5-Omni / Qwen3-Omni-Flash 系列支持同时理解文本、音频、图片和视频，并输出文本和语音，涵盖实时对话、音视频分析、翻译等场景。 -## 向量与重排序 +### 推荐选型 -见 [向量与重排序](../../raw/model-user-guide/model-experience/embedding-rerank-model.md)。纯文本搜索 / RAG / 聚类推荐 `text-embedding-v4`（维度 64~2048，默认 1024，最大 8192 Token；迁移旧索引可用 `text-embedding-v3`）；跨模态检索用 `qwen3-vl-embedding`（融合向量）或 `tongyi-embedding-vision-plus`（独立向量）。重排序用于 Embedding 检索后对 Top-N 结果精排：纯文本用 `qwen3-rerank`（100+ 语言、最多 500 文档），多模态用 `qwen3-vl-rerank`（文本/图片/视频混排）。 +| 场景 | 推荐模型 | +| --- | --- | +| 实时语音/视频对话（高能力） | `qwen3.5-omni-plus-realtime`（WebSocket） | +| 音视频内容分析（HTTP） | `qwen3.5-omni-plus`（音频最长 3 小时，视频最长 1 小时） | +| 轻量分析/支持深度推理 | `qwen3-omni-flash`（HTTP，支持思考模式） | +| 实时语音翻译（60 种语言） | `qwen3.5-livetranslate-flash-realtime`（WebSocket，约 3 秒延迟） | +| 语义 VAD 语音助手/Function Calling | `qwen-audio-3.0-realtime-plus`（WebSocket） | -## 选型与使用注意事项 +### 能力限制 -- 旧版模型（如旧版 Qwen、Paraformer、`qwen-omni-turbo`、`qwen-tts` 等）不再作为首选，新项目建议使用各系列最新版本。 -- 上下文窗口、计费、地域可用性等以模型广场实时信息为准；本页面数据可能滞后。 -- 图片/视频/3D/音乐等生成类模型多为异步任务，需按文档轮询或配置回调。 +- 联网搜索与 Function Calling **不可同时开启**。 +- 思考模式（`qwen3-omni-flash`）下**不支持生成语音**，仅输出文本。 +- 旧版 `qwen-omni-turbo` 仅支持中文和英文；新项目建议迁移至 Qwen3.5-Omni。 ## 来源文档 diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md index 712b5a20..a29c28d4 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-high-speed-inference.md @@ -1,34 +1,62 @@ # model high speed inference -百炼平台针对高吞吐、高速率的推理场景提供两类能力：**TPM 预留**用于为指定模型锁定专属推理容量，避免业务高峰期受公共限流影响；**快速模式（Fast mode）**则针对输出速度敏感的场景提升 TPS。两者都通过替换或指定 `model` 参数接入，无需大改代码。 +百炼平台为对推理速度和吞吐量有高要求的场景提供两种加速方案：**TPM 预留**锁定专属推理容量以规避公共限流，**快速模式（Fast mode）**则提升单请求输出速度至标准 API 的 1.5~2 倍。前者面向流量可预估、不能接受限流的业务，后者面向对输出延迟敏感的实时交互场景。 -## TPM 预留：锁定专属容量 +## 方案对比与选型 -TPM（Tokens Per Minute）预留为指定模型锁定专属的推理吞吐量，预留容量内的调用不受公共资源限流影响，容量为业务专属、不与其他用户共享。详见 [TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md)。 +| 维度 | TPM 预留 | 快速模式（Fast mode） | +| --- | --- | --- | +| 核心目标 | 保障吞吐容量，不受公共限流影响 | 提升单请求输出 TPS | +| [计费](../concepts/billing.md)方式 | 按 kTPM 预付费（输入/输出分别计价） | 按 token [计费](../concepts/billing.md)，与标准 API 一致 | +| 容量保障 | 专属容量刚性兑付 | 无专属容量，共享资源池 | +| 超额处理 | 可选自动溢出按量或仅预留容量返回 429 | 超出 TPM 不立即限流，请求进入排队队列 | +| 接入方式 | 将 `model` 参数替换为专属模型 code | 将 `model` 参数指定为 fast 模型 ID | +| 成熟度 | 正式商用 | preview 阶段，规格可能调整 | -核心特性： +选型建议：若业务有明确的峰值流量预期且不能容忍 429，优先选 TPM 预留；若只需更快的单请求输出速度（如 AI 编程助手、Agent 多步推理、实时对话），且可接受 preview 阶段的不确定性，使用快速模式。两者均通过替换 `model` 参数接入，无需改造整体调用链路。 -- **专属模型 code**：创建预留后系统自动生成专属模型 code，需将 API 请求中的 `model` 参数替换为该 code 才能使用预留容量。 -- **超额不中断**：超出预留容量的请求自动降级为按量计费处理，服务不中断，无需修改代码。可在详情页的**超额降级统计**查看降级次数。 -- **计费单位**：按 kTPM 预付费（1 kTPM = 1,000 Tokens/分钟），一次性支付，从购买成功起连续生效。 +## TPM 预留 -### 方案选型 +### 工作原理 -[TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md) 文档给出了多种容量方案的对比，便于按业务诉求选型： +TPM（Tokens Per Minute）预留为指定模型锁定专属推理吞吐量，预留容量内的调用不与其他用户共享、不受公共资源限流影响。创建后系统自动生成专属模型 code，需将 API 请求中的 `model` 参数替换为该 code 才能使用预留容量，详见 [TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md)。 -| 方案 | 计费单位 | 容量保障 | 适用场景 | 超额处理 | 代码改动 | -| --- | --- | --- | --- | --- | --- | -| 按量付费 | 按 token | 无（共享公共池） | 流量波动大/短期 | 自动服务，受公共限流 | 无需改动 | -| 资源包/节省计划 | 预付费额度 | 承诺用量折扣（非专属） | 费用优化 | 超出转按量 | 无需改动 | -| TPM 预留 | 按 kTPM 预付费 | 专属容量刚性兑付 | 流量可预估、不能接受限流 | 超出自动降级公共池按量，不中断 | 替换 model 参数 | -| PTU 专属部署 | 按 kTPM 预付费 | 专属部署实例 | 高吞吐高性能 | 超出转按量 | 替换 model 参数 | +### 支持的模型与[计费](../concepts/billing.md) -### 创建与接入 +TPM 预留在华北2（北京）和新加坡两个地域开放，支持千问、GLM、DeepSeek、Kimi 等系列模型。计费按输入 TPM 和输出 TPM 分别计价，单位为「每 10,000 TPM」的日预付费。以下为华北2（北京）部分模型示例（完整列表以控制台为准）： -1. 登录百炼控制台创建 TPM 预留，填写预留名称、选择模型、付费周期（按天）、输入/输出 TPM（单位 kTPM）、购买时长（支持 1~30、60、90、120、365 天）等参数。建议先用 **TPM 容量计算器**（根据 RPM、平均输入/输出长度、缓存命中率估算）确认所需额度。 -2. 确认费用后完成支付。 -3. 在详情页**概览** Tab 复制**专属模型 code**。 -4. 将 API 请求的 `model` 参数替换为该 code 即可： +| 模型名称 | 输入（Per 10,000 TPM/天） | 输出（Per 10,000 TPM/天） | +| --- | --- | --- | +| 千问3.7-Max-2026-05-20 | ¥121.00 | ¥362.90 | +| 千问3.7-Plus-2026-05-26 | ¥20.20 | ¥80.60 | +| GLM-5.2 | ¥80.60 | ¥282.20 | +| DeepSeek-v4-Pro | ¥121.00 | ¥241.90 | +| Kimi-K2.6 | ¥65.50 | ¥272.20 | + +新加坡地域价格高于北京，具体见 [TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md) 的计费表。 + +部分模型支持长输入阶梯系数和缓存折扣，容量计算器会自动应用。例如 glm-5.1 在输入超过 32K 时阶梯系数升至 1.33（输入）/1.17（输出）；deepseek-v4-pro 缓存命中部分按 8% 折算容量；多数其他模型缓存命中按 20% 折算。 + +### 创建步骤 + +1. 登录[百炼控制台](https://bailian.console.aliyun.com/#/efm/tpm_reservation)，单击**创建 TPM 预留**。 +2. 填写关键参数： + +| 参数 | 说明 | 取值 | +| --- | --- | --- | +| 预留名称 | 自定义标识 | ≤ 50 字符 | +| 选择模型 | 选择目标模型，提交后生成专属 code | 以控制台展示为准 | +| 付费周期 | 计费周期 | 按天 | +| 输入 TPM | 输入吞吐量（kTPM） | 起步/步长因模型而异 | +| 输出 TPM | 输出吞吐量（kTPM） | 起步/步长因模型而异 | +| 购买时长 | 有效期 | 1~30、60、90、120、365 天 | +| 溢出策略 | 容量耗尽时处理方式 | 自动溢出按量（默认）/ 仅预留容量返回 429 | + +3. 可选：使用创建页面右侧的 TPM 容量计算器，根据 RPM、平均输入/输出长度、缓存命中率估算所需 TPM。 +4. 确认参数后单击**立即购买** → **确认支付**。 +5. 在详情页**概览** Tab 复制专属模型 code，替换 API 调用的 `model` 参数。 + +调用示例： ```python import dashscope @@ -41,33 +69,41 @@ response = dashscope.Generation.call( print(response.output.text) ``` -> **注意**：短时间内请求量快速拉升时，系统需短暂预热以匹配算力，预热期间部分请求可能出现延迟波动，请做好请求排队或重试机制。 +> **注意**：短时间内请求量快速拉升时，系统需要短暂预热以匹配所需算力，预热期间部分请求可能出现延迟波动。请做好请求排队或重试机制。 + +### 管理与运维 -### 容量换算参数 +在控制台预留列表页可查看所有实例，详情页包含三个 Tab： -部分模型支持长输入阶梯系数和缓存折扣，容量计算器会自动应用。例如 glm-5.2 输入长度上限 1M、缓存折扣 0.25、无阶梯；glm-5.1 缓存折扣 0.2，且在 [32K, 200K] 区间输入系数 1.33 / 输出 1.17；deepseek-v4-pro 缓存折扣低至 0.08。Qwen3.6-flash-2026-04-16 不支持缓存。 +- **概览**：专属模型 code、容量配置、近 7 天 TPM 峰值与利用率趋势、超额降级统计。 +- **监控**：利用率、配额用量、缓存命中量等运行指标。 +- **API 接入**：专属 code 与调用示例。 -### 管理与生命周期 +支持的管理操作： +- **扩缩容**：调整输入/输出 TPM。输入/输出 TPM 可调整为 0（归 0 后不再产生容量费用且 code 保留，但属减配，已用部分按 1.5 倍系数结算）。 +- **续费**：手动续订或开启到期自动续费（到期前一天 08:00 自动扣款）。 +- **退订**：不可恢复，退订后专属 code 失效，请求回退至公共资源。 -- **扩缩容**：在详情页调整输入/输出 TPM，变配期间服务不中断。利用率持续接近 100% 或频繁降级时建议扩容。 -- **续费**：可手动续订，或开启**到期自动续费**（到期前一天 08:00 自动扣款）。 -- **退订**：跳转费用中心完成，退订后专属模型 code 失效、请求回退公共资源，不可恢复。缩容/退订退费按已使用部分 1.5 倍系数结算：`退款 = 降量部分预付费 - (降量部分预付费 × 已用时长/购买时长 × 1.5)`。 +实例状态流转：运行中 →（到期 2h 内仍可调用）→ 已停止（2~14h，可续费）→ 已过期（14h 后，不可恢复）。 -预留实例状态：服务到期后 2 小时内仍为**运行中**（可调用、可续费）；2~14 小时转为**已停止**（不可调用、仍可续费）；到期 14 小时后**已过期/删除**，不可恢复。其余状态包括待生效、变配中、已取消。 +## 快速模式（Fast mode） -## 快速模式（Fast mode）：提升输出速度 +### 工作原理 -[快速模式](../../raw/model-user-guide/model-high-speed-inference/fast-mode.md) 面向对输出速度敏感的场景（AI 编程助手、Agent 多步推理、实时对话等），当前处于 **preview 阶段**，能力与规格可能随版本调整。 +快速模式将输出 TPS 提升至标准 API 的 1.5~2 倍，可达 80~100 TPS，适用于 AI 编程助手、Agent 多步推理、实时对话等对输出速度敏感的场景。当前处于 preview 阶段，能力与规格可能随版本调整，详见 [快速模式](../../raw/model-user-guide/model-high-speed-inference/fast-mode.md)。 -关键特性： +### 支持的模型与计费 -- **高速输出**：TPS 提升至标准 API 的 1.5~2 倍，达 80~100 TPS。 -- **按 token 计费**：计费逻辑与标准 API 一致，按输入/输出 token 计费。 -- **特殊限流**：超出 TPM 额度不会立即限流，请求进入排队队列。 +目前快速模式仅支持 `glm-5.2-fast-preview` 模型，在北京和新加坡地域开放。计费逻辑与标准 API 一致，按输入/输出 token 计费，缓存命中享折扣价： + +| 地域 | 输入单价（每百万 token） | 输出单价 | 缓存命中 | +| --- | --- | --- | --- | +| 华北2（北京） | ¥16 | ¥56 | ¥4 | +| 新加坡 | ¥20.98 | ¥65.95 | ¥4.20 | ### 接入方式 -将 `model` 参数指定为支持的模型 ID（如 `glm-5.2-fast-preview`）即可开启，无需额外参数。接入域名格式为 `https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`，其中 `{workspace_id}` 可在业务空间管理页面切换到对应地域后查看。 +调用时将 `model` 参数指定为 fast 模型 ID 即可开启，无需额外参数。接入域名格式为 `https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1`，其中 `{workspace_id}` 可在[业务空间](../concepts/workspace.md)管理页面查看。 ```bash curl -X POST https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/chat/completions \ @@ -80,14 +116,16 @@ curl -X POST https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode }' ``` -glm-5.2 默认返回 `reasoning_content` 思考字段；[流式输出](../concepts/streaming-output.md)时思考内容与回答内容分别通过 `delta.reasoning_content` 与 `delta.content` 推送。 +glm-5.2 默认返回 `reasoning_content` 思考字段；[流式输出](../concepts/streaming.md)时思考内容与回答内容分别通过 `delta.reasoning_content` 与 `delta.content` 推送。响应中 `usage.completion_tokens_details.reasoning_tokens` 记录思考 token 消耗。 ## 限制与注意事项 -- **两者定位不同**：TPM 预留解决"容量保障/不受限流"，快速模式解决"输出速率提升"。快速模式仍为 preview，生产环境需评估稳定性。 -- **接入差异**：TPM 预留通过替换为专属模型 code 接入标准 dashscope 域名；快速模式使用带 `{workspace_id}` 的 maas 域名并指定 fast-preview 模型 ID。 -- **限流行为差异**：TPM 预留超额自动降级按量、不中断；快速模式超额不立即限流而是排队。 -- **计费口径**：具体价格、容量换算与费用以百炼控制台为准，[TPM 预留](../../raw/model-user-guide/model-high-speed-inference/tpm-reservation.md) 与快速模式的价格表可能随时间调整，请以控制台实时展示为准。 +- **TPM 预留溢出策略**：选择「自动溢出」时超出容量自动降级为按量计费（服务不中断，可在详情页查看降级次数）；选择「仅使用预留容量」时超出返回 429。频繁降级或 429 时建议扩容。 +- **TPM 预留退订不可恢复**：退订后专属 model code 失效，已有请求回退至公共资源处理。 +- **快速模式限流机制**：超出 TPM 额度不会立即限流，请求进入排队队列，但排队可能导致延迟增加。 +- **快速模式 preview 阶段**：能力与规格可能随版本调整，不建议在要求高稳定性的生产环境中强依赖。 +- **地域差异**：两个方案在新加坡地域的价格均高于北京，跨地域调用需注意网络延迟。 +- **预热延迟**：TPM 预留在请求量快速拉升时需短暂预热，期间可能出现延迟波动。 ## 来源文档 @@ -95,3 +133,4 @@ glm-5.2 默认返回 `reasoning_content` 思考字段；[流式输出](../concep - [快速模式](../../raw/model-user-guide/model-high-speed-inference/fast-mode.md) + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md b/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md index 6aa8dc00..7ea1519e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/model-monitoring.md @@ -1,75 +1,143 @@ # model monitoring -阿里云百炼提供两套互补的用量与监控能力：**模型用量**（控制台聚合视图，用于查看调用量、Token 消耗和费用）与**模型监控**（面向指标、告警、日志的可观测体系）。前者侧重成本与免费额度管理，后者侧重性能、错误、安全指标的采集、告警与对话审计，二者共同覆盖从成本控制到线上运维的完整链路。 +百炼平台提供模型用量统计与运行监控两类能力，帮助开发者掌握 [Token](../concepts/token.md) 消耗、调用性能、失败率等关键指标，并支持告警与 Grafana 接入。用量数据按[业务空间](../concepts/workspace.md)维度统计、延迟约 1 小时；监控数据在普通监控下为小时级，高级监控下为分钟级。本文整合[模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)与[模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)两篇文档，介绍用量查询、运行监控、[Token](../concepts/token.md) 追踪、告警及 Prometheus 接入的要点。 -## 支持的模型与功能范围 +## 功能概览 -- **用量查看**：模型列表中的所有模型均支持查看用量，包括基于它们调优后的自定义模型。详见 [模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)。 -- **模型监控**： - - **普通监控**支持所有模型（含调优后的自定义模型），延迟通常为小时级。 - - **高级监控**支持北京、新加坡、弗吉尼亚地域下的所有模型，可提供分钟级数据洞察。 - - **告警功能**支持北京、新加坡地域下的所有模型。 -- 监控可查看调用记录、指标监控与告警（Token、延时、调用时长、RPM、TPM、失败率）、以及 Token 消耗统计。详见 [模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 +| 能力 | 数据来源 | 典型延迟 | 适用地域 | +| --- | --- | --- | --- | +| 模型用量统计 | 用量统计页 | 约 1 小时 | 全部地域 | +| 模型运行监控（普通） | 自动采集 | 小时级 | 所有模型 | +| 高级监控 | Prometheus | 分钟级 | 北京、上海、新加坡、弗吉尼亚 | +| 告警 | 告警规则 | 实时 | 北京、新加坡、弗吉尼亚 | +| 推理日志（请求/响应） | 开通后采集 | 分钟级 | 北京、新加坡、弗吉尼亚的部分模型 | -## 用量与费用查看 +## 模型用量查询 -数据按[业务空间](https://help.aliyun.com/zh/model-studio/use-workspace)维度统计，不支持按阿里云账号维度统计。 +用量数据在「模型用量」页面查看，按[业务空间](../concepts/workspace.md)维度统计，**不支持按阿里云账号维度汇总**，数据延迟约 1 小时。 -- **数据延迟约 1 小时**；不支持查看 30 天以前的统计数据，更早数据需前往「费用与成本」页面查询。 -- **时间精度**：支持分钟 / 小时 / 天三种精度。时间跨度超过 1 天时分钟精度不可选，超过 7 天时仅支持按天查看。 -- **筛选维度**：仅「大语言模型」页签支持按推理类型（实时推理 / 批量推理）筛选；支持按 API-KEY、模型名称（如 `qwen-plus`）筛选。 -- **费用概览**：可查看当前账期总消费、订阅费用、账单趋势（按月/按天，可按产品分类、API Key ID、模型筛选），并可设置**费用告警**。 +- **时间范围**：不支持查看 30 天以前的统计；更早数据需到「费用与成本」页面查询。 +- **时间精度**：分钟、小时、天三种；跨度超过 1 天时分钟精度不可选，超过 7 天时仅支持按天。 +- **筛选维度**：模型类型页签（如大语言模型）、推理类型（仅大语言模型支持实时/批量筛选）、API-KEY、模型名称搜索。 +- **指标**：调用模型表格按模型 Code 列出调用量、[Token](../concepts/token.md) 用量等（随模型类型变化）；「总调用成功次数 Top 10 模型」区域汇总热门模型。 -不同模型的用量统计口径不同：大语言模型 / 全模态 / 向量模型按 **Token**，图像生成按**张**，视频生成按**秒**，语音模型按**秒、字符或 Token**（视模型而定）。完整口径见 [模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)。 +### 免费额度管理 -## 免费额度管理 +在「免费额度」页面可查看各模型的剩余量、过期时间与状态，并支持「免费额度用完即停」开关（开启后额度用尽返回 `403 AllocationQuota.FreeTierOnly`）。仅大语言模型页签支持按推理类型筛选。详见[模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)。 -「免费额度」页面提供使用概览（按模型总数、额度充沛、使用超 50%/80%、无免费额度等维度汇总）及「即将用尽 Top 3」列表。 +### 费用概览 -- **免费额度用完即停**：开启后免费额度用尽时服务自动停止（返回 `403 AllocationQuota.FreeTierOnly`），避免产生额度外费用。 -- 支持批量开启/关闭、一键开启/关闭所有模型；账号未绑定有效支付方式时批量操作会失败。 +「费用概览」页展示当前账期总消费、订阅费用与账单费用，支持按月/按天的账单趋势图，并可设置费用告警。 -> **注意**：「免费额度用完即停」只能在账户仍有未消耗免费额度时开启；一旦开启，需在免费额度完全消耗后才能关闭。控制台免费额度数据为分钟级更新，账单记录按分钟汇总，请以控制台显示数值为准。 +## 模型运行监控 -## 监控指标与告警 +系统自动采集主账号下所有[业务空间](../concepts/workspace.md)的调用数据，按「模型 + [业务空间](../concepts/workspace.md)」维度生成列表记录，新模型在首次同步后自动加入。列表顶部汇总模型总量、总调用次数、总失败次数、平均调用时长、平均首包时长。 -在模型监控列表中点击目标模型操作列的**监控**，可查询 4 类指标： +点击单行「监控」进入详情页，查看以下 4 类指标： -- **安全**：如 `内容安全错误次数`（输入/输出被内容安全服务拦截）。 -- **成本**：如 `平均单次请求调用量`。 -- **性能**：`调用时长`、`首 Token 延时`、RPM、TPM、非首 Token 延时等。 -- **错误**：`失败次数`、`失败率`，其中**限流错误次数**指因 [429 状态码](https://help.aliyun.com/zh/model-studio/error-code)导致的失败。 +- **安全**：如内容安全错误次数（涉黄、涉政、广告等被内容安全服务拦截）。 +- **成本**：如平均单次请求调用量。 +- **性能**：如调用时长、首 [Token](../concepts/token.md) 延时；性能页签还提供 RPM、TPM、非首 [Token](../concepts/token.md) 延时。 +- **错误**：如失败次数、失败率；限流错误次数对应 429 状态码。 -**创建告警**（仅限新加坡、华北2（北京）地域）：需先开启高级监控（性能和用量指标监控），再在模型告警页面创建规则。 +调用统计页签支持按 API-KEY、推理类型、时间范围及精度筛选，失败次数图表可点击「失败详情」定位失败原因。详见[模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 -- **通知方式**：短信、电子邮件、电话、钉钉群机器人、企业微信机器人、Webhook。 -- **告警等级**：紧急（电话/短信/邮件）、错误（短信/邮件）、警告（短信/邮件）、普通（邮件），不支持自定义。 +## [Token](../concepts/token.md) 消耗追踪 -## Token 消耗与历史对话 +监控提供成本视角的三类能力： -- **历史 Token 消耗**：最近 30 天可在监控页调用统计的「调用量」区域查看；更早数据前往「费用与成本」页面。 -- **单次调用 Token 消耗 / 历史对话（模型日志）**：需在「模型监控配置」中依次开通审计日志和推理日志，之后在**日志**页签查看每次调用的输入、输出与用量。开通后从调用到记录存在分钟级延迟。 +- **汇总**：按[业务空间](../concepts/workspace.md)维度汇总历史 [Token](../concepts/token.md) 消耗，可按时间范围和 [API Key](../concepts/api-key.md) 筛选；最近 30 天可在调用统计页签查看。 +- **追踪**：记录每次调用的 [Token](../concepts/token.md) 消耗，需开通推理日志后在「日志」页签的「用量」字段查看。 +- **告警**：设置 [Token](../concepts/token.md) 消耗阈值，异常时立即告警。 -> **注意**：查看某次调用的 Token 消耗及历史对话（模型日志）功能**目前仅适用于华北2（北京）地域的部分模型**，且仅覆盖特定模型/快照版本（如 qwen3-max、qwen-plus、qwen3-coder 系列、部分开源与三方模型）。详见 [模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 +> **注意**：普通监控的用量汇总为小时级延迟（高峰期可能 1-2 小时），而高级监控/推理日志为分钟级。仅记录开启推理日志后的调用，开通前的历史不会补录。 + +## 历史对话（推理日志） + +推理日志记录每次调用的输入、输出及耗时，用于故障排查与内容审计，需先在「模型监控配置」中开通审计日志与推理日志。 + +日志页签以表格展示 Request ID/调用时间、调用时长、状态码、错误码、用量、请求和响应等字段。并非所有模型都支持请求/响应内容记录（与是否[多模态](../concepts/multimodal.md)无关），不支持时界面会显示「当前模型暂不支持日志」。支持日志的模型包括千问 Max/Plus/Flash/Turbo/Coder 系列、部分开源模型（qwen3-235b-a22b 等）及三方模型（deepseek-v3.x）等，详见[模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md)。 + +## 主动告警 + +告警用于发现静默失败（超时、[Token](../concepts/token.md) 突增等）。需先在「模型监控配置」中开启高级监控的「性能和用量指标监控」，再在「模型告警」页面创建告警规则。 + +- **通知方式**：短信、邮件、电话、钉钉群机器人、企业微信机器人、Webhook。 +- **告警等级**：紧急（CRITICAL，电话+短信+邮件）、错误（ERROR，短信+邮件）、警告（WARNING，短信+邮件）、普通（INFO，邮件），不支持自定义新增。 + +「告警历史」页可按时间、规则、等级、状态筛选历史告警。 ## 接入 Grafana 与自建应用 -高级监控的指标数据存储在私有 Prometheus 实例中，支持标准 Prometheus HTTP API，可接入 Grafana 或自建应用做可视化分析。 +高级监控的数据存储在私有 Prometheus 实例，支持标准 Prometheus HTTP API，可接入 Grafana 或自建应用。 + +### 获取 HTTP API 地址 + +确保已开启高级监控，在模型监控配置页点击云监控 Prometheus 实例右侧「查看详情」，在设置页复制公网或 VPC 的 HTTP API 地址。 + +### 查询示例 + +查询全部[业务空间](../concepts/workspace.md)在指定时间范围内所有模型的 [Token](../concepts/token.md) 消耗： + +```http +GET {HTTP_API}/api/v1/query_range?query=model_usage&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s + +Accept: application/json +Content-Type: application/json +Authorization: Basic base64Encode(AccessKey:AccessKeySecret) +``` + +增加筛选，仅获取指定模型在指定[业务空间](../concepts/workspace.md)的用量： -1. 确保已开启高级监控，在模型监控配置中查看 Prometheus 实例详情，按网络环境（公网/VPC）复制 HTTP API 地址。 -2. 通过 `GET {HTTP API}/api/v1/query_range?query=<指标名>&start=...&end=...&step=60s` 查询，`Authorization` 需用 `Basic base64Encode(AccessKey:AccessKeySecret)`。 +```http +GET {HTTP_API}/api/v1/query_range?query=model_usage{workspace_id="llm-nymssti2mzww****",model="qwen-plus"}&start=2025-11-20T00:00:00Z&end=2025-11-20T23:59:59Z&step=60s +``` -常用指标名包括 `model_call_count`（调用次数）、`model_call_duration`（调用时长均值）、`model_usage`（用量总和）等；可用 `{workspace_id="...",model="qwen-plus"}` 形式追加过滤条件（支持 `user_id`、`apikey_id`、`workspace_id`、`model`、`protocol`、`status_code`、`usage_type` 等 LabelKey）。 +`query` 可替换为任意指标名称，常用指标如下： -> **注意**：`status_code`、`error_code` 仅 `model_call_count` 支持；`usage_type` 仅 `model_usage` 支持。AccessKey 必须与 Prometheus 实例归属同一阿里云账号。 +| 类型 | 指标名称 | 描述 | +| --- | --- | --- | +| 调用次数 | `model_call_count` | 模型调用次数总和 | +| 调用时长 | `model_call_duration` | 模型调用时长均值 | +| 调用时长 | `model_call_duration_p50` / `_p99` | 调用时长分位 | +| 首包时长 | `model_first_token_duration` | 首 [Token](../concepts/token.md) 延时均值 | +| 非首包时长 | `model_generation_duration_per_token` | 非 首 Token 延时均值 | +| TPS | `model_tps_per_request` | 单次请求输出 Token 速度（仅高级监控） | +| 用量 | `model_usage` | 模型用量总和 | -## 生产环境实践建议 +支持的过滤条件（LabelKey）：`user_id`、`apikey_id`（-1 表示来自控制台）、`workspace_id`、`model`、`protocol`（HTTP/SSE/WS）、`sub_protocol`（DEFAULT/ASYNC）。`Authorization` 使用 `Basic base64Encode(AccessKey:AccessKeySecret)`，且 AccessKey 须与 Prometheus 实例归属同一阿里云账号。 -- **控制输出长度**：合理设置 `max_tokens` 与限制思考长度以控制费用。 -- **按任务选模型**：分类、摘要等简单任务优先用轻量级模型。 -- **监控与告警**：通过模型监控跟踪用量趋势并配置告警。 -- **优化 Prompt**：简洁清晰的 Prompt 可减少输入 Token 消耗。 -- **使用批量推理**：非实时大批量任务用批量推理更具成本优势。 +## 用量统计单位 + +不同模型的用量统计口径与[计费](../concepts/billing.md)单位不同，详见[模型用量](../../raw/model-user-guide/model-monitoring/model-usage-statistics.md)： + +| 模型类型 | 统计单位 | 说明 | +| --- | --- | --- | +| 大语言模型（文本生成/深度思考/视觉理解） | Token | 按输入和输出 Token 数 | +| 视觉模型（图像生成） | 张 | 按成功生成图像张数 | +| 视频生成 | 秒 | 按成功生成视频秒数 | +| 语音模型 | 秒/字符/Token | 视模型而定 | +| 全模态模型 | Token | 各模态按对应 Token 数 | +| 向量模型 | Token | 按输入文本 Token 数 | + +经验换算：1 个汉字约 1.5-2 Token，1 个英文单词约 1.3 Token。实时推理涵盖 API 调用、模型广场、应用测试/发布态、Assistant API、应用调用、Prompt 反馈优化、模型评测等；批量推理为离线文件输入的大规模处理。 + +## 限制与注意事项 + +- **延迟差异**：用量统计约 1 小时，普通监控小时级，高级监控/推理日志分钟级；查不到数据时先确认等待时间。 +- **推理日志开通**：仅在开通后采集，开通前历史不补录；需主账号或足够权限的子账号操作。 +- **地域限制**：高级监控支持北京/上海/新加坡/弗吉尼亚；告警与推理日志支持北京/新加坡/弗吉尼亚（上海不在告警/日志支持列表中）。 +- **数据维度**：用量按[业务空间](../concepts/workspace.md)统计，不支持账号级汇总；如需账号级 Token 用量，需在阿里云账单详情页导出「大模型服务平台百炼」账单。 +- **时间范围**：用量统计不支持查看 30 天以前数据；模型监控历史 Token 消耗仅最近 30 天。 +- **TPS 限流**：`model_tps_per_request` 触发按请求维度的限流，区别于 TPM 的账号维度限流；排查响应慢应结合 TTFT、非首 Token 延时及输入 Token 量综合分析。 + +## 生产环境建议 + +- 合理设置 `max_tokens` 与思考长度，控制单次生成内容长度以控制成本。 +- 简单任务（分类、摘要）优先选择轻量级模型，而非始终使用高规格模型。 +- 通过模型监控掌握用量趋势并配置告警，及时响应异常。 +- 非实时、大批量任务使用批量推理，通常比实时调用更具成本优势。 +- 优化 Prompt，减少不必要的输入 Token 消耗。 ## 来源文档 @@ -77,3 +145,9 @@ - [模型监控](../../raw/model-user-guide/model-monitoring/model-telemetry.md) + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md b/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md index 5a84d01d..68a5f245 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/plug-in.md @@ -56,7 +56,7 @@ Python 代码解释器可用依赖包括：matplotlib、pandas、scipy、seaborn ### 调用插件 - **方式一（插件页面）**：在插件页面将工具添加至[智能体应用](../concepts/agent-application.md)。官方插件只能与位于相同[业务空间](../concepts/workspace.md)里的[智能体应用](../concepts/agent-application.md)关联。每个[智能体应用](../concepts/agent-application.md)最多支持添加 10 个工具，应用会根据输入选择调用一个或多个工具。 -- **方式二（应用管理页面）**：在指定智能体或工作流应用内添加插件，测试效果并发布应用。 +- **方式二（应用管理页面）**：在指定智能体或[工作流](../concepts/workflow.md)应用内添加插件，测试效果并发布应用。 - **方式三（Assistant API）**：通过 Assistant API 调用工具，需正确传递工具 ID。 子[业务空间](../concepts/workspace.md)调用官方插件前，需先在插件详情页为子[业务空间](../concepts/workspace.md)授权；默认[业务空间](../concepts/workspace.md)无需此步骤。 @@ -69,7 +69,7 @@ Python 代码解释器可用依赖包括：matplotlib、pandas、scipy、seaborn 当官方和三方插件无法满足业务需求时，可创建自定义插件。详见[自定义插件](../../raw/application-user-guide/plug-in/custom-plug-ins.md)。 -### 工作流程 +### [工作流](../concepts/workflow.md)程 1. **创建/导入插件**：定义插件基础信息，或直接从云市场导入。 2. **添加工具**（导入插件无需此步）：配置 API 路径、请求参数和返回数据。 @@ -147,6 +147,14 @@ Python 代码解释器可用依赖包括：matplotlib、pandas、scipy、seaborn + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md b/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md index 1a567cf3..a4de607e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/prompt.md @@ -36,11 +36,11 @@ Prompt 模板将提示词的固定结构与动态变量分离，实现可复用 - **指令增强**：将模糊指令具体化、步骤化 - **安全与边界注入**：增加输出格式、内容限制等边界条件 -操作路径：**应用开发 > 组件管理 > 提示词 > 自动优化**。优化结果可直接复制使用或保存为模板。该功能**不计费**，且提交的数据不会被存储或用于模型训练。详见 [Prompt自动优化](../../raw/application-user-guide/prompt/optimize-prompt.md)。 +操作路径：**应用开发 > 组件管理 > 提示词 > 自动优化**。优化结果可直接复制使用或保存为模板。该功能**不[计费](../concepts/billing.md)**，且提交的数据不会被存储或用于模型训练。详见 [Prompt自动优化](../../raw/application-user-guide/prompt/optimize-prompt.md)。 ## Prompt 反馈优化 -相比普通自动优化，Prompt 反馈优化基于用户提供的**输入输出样例**进行多轮自动化评估和迭代，生成更贴合实际业务场景的 Prompt。其工作流程为： +相比普通自动优化，Prompt 反馈优化基于用户提供的**输入输出样例**进行多轮自动化评估和迭代，生成更贴合实际业务场景的 Prompt。其[工作流](../concepts/workflow.md)程为： 1. 选择推理模型（推荐千问-max） 2. 输入初始 Prompt（描述任务目标） @@ -66,7 +66,7 @@ Prompt 样例库采用少样本学习（Few-shot learning）思路，从预定 | 批量导入文件大小 | 20MB（Excel） | | 单次导入条数 | 100 条 | -### 计费说明 +### [计费](../concepts/billing.md)说明 样例库功能本身不收费，但启用后会增加大模型调用的 [Token](../concepts/token.md) 消耗。总输入 [Token](../concepts/token.md) 约等于：用户查询 [Token](../concepts/token.md) + 所有召回样例的总 [Token](../concepts/token.md) + 系统指令 [Token](../concepts/token.md)。 @@ -110,3 +110,11 @@ Prompt 样例库采用少样本学习（Few-shot learning）思路，从预定 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/realtime-api-user-guide.md b/skills/bailian-docs-llm-wiki/wiki/guides/realtime-api-user-guide.md new file mode 100644 index 00000000..d4d5823c --- /dev/null +++ b/skills/bailian-docs-llm-wiki/wiki/guides/realtime-api-user-guide.md @@ -0,0 +1,180 @@ +# realtime api user guide + +百炼 Realtime API 是针对实时[多模态](../concepts/multimodal.md)交互场景提供的一套接入方案，支持 WebSocket、WebRTC 和 AOQ（AI over QUIC）三种传输协议，开发者可根据业务场景在服务端集成、浏览器端和移动端原生应用之间灵活选择。核心能力包括实时语音/视频对话、流式 ASR/TTS、[多模态](../concepts/multimodal.md)输入，以及内置回声消除、降噪和弱网对抗。 + +## 协议选择 + +参见 [Realtime API简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md) 的完整对比表。简要说明： + +| 协议 | 适用场景 | 端侧平台 | 弱网对抗 | 回声消除/降噪 | +|------|----------|----------|----------|--------------| +| WebSocket | 服务端集成、快速原型 | 全平台 | 差 | 无，需自行处理 | +| WebRTC | 浏览器端、已有 RTC 基础设施 | 浏览器、移动端 | 良好 | 内置 | +| AOQ | 移动端原生、弱网、[多模态](../concepts/multimodal.md) | Android / iOS / HarmonyOS | 极致 | 内置 | + +## 支持的模型与应用 + +| 模型/应用类型 | 模型 | AOQ | WebRTC | WebSocket | +|-------------|------|-----|--------|-----------| +| 实时全模态 | qwen3.5-omni-plus-realtime | ✓ | ✓ | ✓ | +| 实时全模态 | qwen3.5-omni-flash-realtime | ✓ | ✓ | ✓ | +| 实时全模态 | qwen3.5-livetranslate-flash-realtime | ✓ | ✓ | ✓ | +| 多模态开发套件 | multimodal-dialog | ✗ | ✓ | ✓ | +| 实时语音识别 | FunASR 系列 | ✗ | ✗ | ✓ | +| 实时语音合成 | CosyVoice 系列 | ✗ | ✗ | ✓ | +| 实时语音对话 | qwen-audio-3.0-realtime-plus/flash | ✗ | ✗ | ✓ | + +## 鉴权机制 + +三种协议均使用 API Key，通过 HTTP 请求头 `Authorization: Bearer ` 完成建连鉴权，连接建立后无需重复鉴权。 + +**AOQ 特殊机制**：API Key 仅在业务 AppServer 侧使用，客户端从 AppServer 换取临时 Token。AppServer 向百炼网关发起如下请求： + +```bash +curl -X POST \ + "https://{endpoint}/api/v1/webrtc/realtime?model=qwen3.5-omni-plus-realtime" \ + -H "Content-Type: application/json" \ + -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \ + -H "x-dashscope-rtc-transport: moq" \ + -d '{"clientIp": "<客户端真实公网IP>"}' +``` + +响应包含 `aoqTokenForClient`、`sid`、`clientRelayEndpoints`、`clientRelayCertFingerprint` 等字段，客户端使用这些凭证调用 SDK `connect`。详见 [Token鉴权](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md)。 + +> **注意**：API Key 不要硬编码到客户端代码或代码仓库。AOQ 方案本身的设计目标就是避免 API Key 下发到端侧，务必通过 AppServer 代理换取 Token。 + +## SDK 下载与集成 + +WebSocket 协议使用 [DashScope SDK](../concepts/dashscope-sdk.md)，参见官方安装文档。 + +AOQ Client SDK 当前最新版本 v1.0.1，支持 Android（`.aar` + `libPluginOpus.so`）、iOS（`.framework` + `PluginOpus.framework`）和 HarmonyOS（`.har` + `libPluginOpus.so`）。如需 Opus 编解码，须同时下载音频插件。详见 [SDK下载](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md)。 + +Android 集成要点： +- `minSdk 21`，ABI 过滤 `armeabi-v7a` 和 `arm64-v8a` +- Manifest 需声明 `INTERNET`、`RECORD_AUDIO`、`CAMERA` 等权限，其中 `RECORD_AUDIO` 和 `CAMERA` 为运行时权限 + +iOS 集成要点： +- framework 选 **Embed & Sign** +- Info.plist 声明 `NSMicrophoneUsageDescription` 和 `NSCameraUsageDescription` + +## 接入流程 + +### AOQ 接入 + +参见 [实现接通模型/应用](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md) 的 AOQ 章节。核心步骤： + +1. 调用 `AoqClientEngine.createEngine` 创建引擎，注册 `onConnectionStatusChange` / `onDataMsg` / `onError` 回调 +2. 调用 `startAudioCapture` / `startAudioPlayer`（可选 `startVideoCapture`）启动媒体设备 +3. AppServer 向百炼换取 Token，下发给客户端 +4. **建连前**调用 `enableSendMediaStream(.audio, enable: false)` 关闭媒体发送 +5. 调用 `connect(config)` 建立连接 +6. 收到 `session.updated` 后调用 `enableSendMediaStream(.audio, enable: true)` 开启媒体发送 +7. 通话结束后调用 `disconnect()` → `AoqClientEngine.destroy()` + +> **注意**：AOQ SDK 建连成功后默认立即开始发送媒体数据。若未在 `connect` 前关闭媒体发送，模型侧可能在会话配置完成前收到数据。务必遵循"先禁用、收到 `session.updated` 后再开启"的模式。 + +### WebRTC 接入（浏览器） + +1. `new RTCPeerConnection({ iceServers: [] })` +2. `getUserMedia` 获取音频（必须）和视频（可选）媒体流 +3. 添加媒体轨道；建连前将 sender track 替换为 `null` 实现媒体门控 +4. 创建名为 `oai-events` 的 DataChannel +5. `createOffer` → `setLocalDescription`，等待 `iceGatheringState === "complete"` +6. HTTP POST Offer SDP 到 `https://{endpoint}/api/v1/webrtc/realtime?model=<模型名>`，Header 携带 API Key +7. 将返回的 Answer SDP 设置为 `setRemoteDescription`（注意行尾规范化为 `\r\n`） +8. 收到 `session.created` 后恢复媒体发送 + +> **注意**：浏览器端受 CORS 限制，无法直接向百炼服务端发起 SDP 交换请求。Demo 中通过 curl 命令手动执行；正式产品应由业务 AppServer 代理此请求。WebRTC 仅支持 VAD 模式（`server_vad` 或 `semantic_vad`），不支持手动模式。 + +### 多模态开发套件（multimodal-dialog）接入 + +WebRTC 接入端点格式为： +``` +POST https://{workspace_id}.{region}.maas.aliyuncs.com/api/v1/webrtc/inference?model=multimodal-dialog +``` +`workspace_id` 和 `region` 从百炼控制台获取。DataChannel 就绪后向服务端发送 `run-task` 消息启动会话。 + +## 会话配置（session.update） + +连接建立后通过 DataChannel 或 AOQ data track 发送 `session.update` 事件配置会话： + +```json +{ + "type": "session.update", + "session": { + "modalities": ["text", "audio"], + "voice": "Ethan", + "input_audio_format": "pcm", + "output_audio_format": "pcm", + "instructions": "系统提示词", + "turn_detection": { + "type": "semantic_vad", + "threshold": 0.5, + "silence_duration_ms": 800 + } + } +} +``` + +- `input_audio_format` / `output_audio_format`：当前仅支持 `pcm`；输入 16 kHz，输出 24 kHz +- `turn_detection.type`：`server_vad` 或 `semantic_vad`；使用 qwen3.5-omni-realtime 系列模型推荐 `semantic_vad`；设为 `null` 表示手动模式（WebRTC 不支持） + +## AOQ SDK 核心 API + +### 媒体流发送控制 + +`enableSendMediaStream(trackType, enable)` 控制音频/视频发送开关，支持独立控制。必须在 `createEngine` 之后调用；未调用时建连成功后 SDK 立即开始发送。 + +### 音频功能 + +AOQ SDK 提供完整音频能力，包含： +- **采集**：`startAudioCapture(config)`，支持内部采集（默认）和外部采集（`isExternal=true`） +- **播放**：`startAudioPlayer(config)`，支持暂停/恢复（带淡入淡出 `fadeMs` 参数）和打断当前轮 +- **编解码**：`setAudioEncoderConfig` / `setAudioDecoderConfig`，支持 PCM（AudioPCM）和 Opus（AudioOpus）两种格式，PCM 支持 8K/16K/32K/48K 采样率 +- **扬声器管理**：`enableSpeakerphone(enable)`，需在 VoIP 模式下才可切换 +- **自定义音频播放**：设置 `isExternal=true` 启动播放器后，通过 `setAudioFrameObserver` + `enableAudioFrameObserver` 接收 PCM 帧回调，自行渲染 +- **自定义音频采集**：通过 `addAudioExternalStream` + `pushAudioExternalStreamData` 向 SDK 注入 PCM 数据；硬件采集建议 10ms 一帧，文件解析建议 40ms 一帧；缓冲区满时返回错误码 110，需等待重试 +- **音频文件混音**：`startAudioFile(fileId, config)` 将本地音频文件混入推流 + +### 视频功能 + +- **采集**：`startVideoCapture(config)`，支持内部摄像头采集和外部帧输入（`isExternal=true`） +- **渲染**：`setLocalView` / `setRemoteView`，渲染模式支持 Auto / Stretch / Fill / Crop +- **编码**：`setVideoEncoderConfig`，编码格式 H.264（默认）或 JPEG（外部编码帧模式） +- **自定义视频输入**： + - 原始帧模式：`pushExternalVideoCapturedFrame`，支持 BGRA、I420、NV12/NV21、RGBA；iOS 支持 CVPixelBuffer 零拷贝 + - 编码帧模式：`pushExternalVideoEncodedFrame`，目前支持 JPEG 格式，跳过 SDK 内部编码器 + - 两种模式不可混用 + +### 连接状态管理 + +SDK 连接状态为四态：`Disconnected(0)` → `Connecting(1)` → `Connected(2)` / `Failed(3)`。`Failed` 是瞬态，SDK 会自动迁移到 `Disconnected`，业务层无需手动调用 `disconnect`。`disconnect` 后引擎不会自动释放，可重新调用 `connect` 重连。 + +## 注意事项与限制 + +- AOQ SDK 不支持浏览器环境，仅支持 Android / iOS / HarmonyOS 原生应用 +- WebRTC 协议不提供官方 SDK，Web 端通过原生 WebRTC API 接入，其他端通过开源项目或第三方 RTC 服务商接入 +- 音视频轨道数据（AOQ）通过媒体轨道直接传输，无需发送 `input_audio_buffer.append` 或 `input_image_buffer.append` 事件 +- 模型并发限流条件参见百炼控制台的限流文档；模型名称、快照版本、价格等信息以控制台展示为准 +- AOQ SDK 异常处理优先内部恢复，仅在物理限制（网络、设备、资源）或外部因素（token 无效）无法恢复时才回调错误 +- `onPlaybackAudioFrame` 回调在 SDK 内部线程触发，回调中的数据指针仅在回调期间有效，异步使用需自行拷贝 + +## 来源文档 + +- [Realtime API简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-overview.md) +- [SDK下载](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-sdk-download.md) +- [Token鉴权](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-token-authentication.md) +- [实现接通模型/应用](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-quick-start-guide/realtime-connect-model.md) +- [通过WebRTC使用qwen3.5-omni-plus-realtime实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-omni-realtime.md) +- [通过WebRTC使用多模态交互套件实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-webrtc-multimodal-dialog.md) +- [通过AOQ使用qwen3.5-omni-plus-realtime实现实时通话](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-best-practices/best-practice-aoq-omni-realtime.md) +- [AOQ SDK简介](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-desc.md) +- [媒体流发送管理](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-media-stream-control.md) +- [音频常用功能介绍](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-audio-features.md) +- [自定义音频播放](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-playback.md) +- [自定义音频采集](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-audio-capture.md) +- [连接状态管理](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-connection-management.md) +- [视频常用功能介绍](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-video-features.md) +- [自定义视频输入](../../raw/model-user-guide/realtime-api-user-guide/realtime-api-aoq-api/realtime-api-aoq-sdk-function/aoq-custom-video-input.md) + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md b/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md index f686e492..26f471a4 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/release-notes.md @@ -1,41 +1,110 @@ # release notes -阿里云百炼平台的 release notes 由两条互补的时间线组成：一是**平台功能更新**（计费、部署、调优、知识库 RAG、SDK/接入工具、API 等能力的演进），二是**模型上下架与更新**（各模型的上架时间、服务部署范围、模型规格与能力说明）。开发者可据此追踪能力可用性、模型可调用状态与计费/下线变更，避免因模型下线或网关变更导致线上调用中断。 +百炼平台持续迭代，涵盖新模型上架、平台功能更新与老旧模型下线三类变更。开发者可通过[模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md)追踪 API、SDK、知识库、模型调优等功能动态，通过[模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md)了解各区域可用模型的上线时间与规格。本页汇总两份文档的核心信息，供快速检索。 -## 两类更新的定位 +## 公告与下线机制 -release notes 覆盖两个正交的维度，查询时应按需求选择对应文档： +平台对老旧模型设有明确的退役流程，退市前会提前发布公告。开发者需关注以下通知类型： -- **平台功能动态**：记录平台侧能力的上线与调整，按 `年 → 月 → 日` 组织，每条含"功能模块 / 功能点 / 功能说明"。详见 [模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md)。 -- **模型上架清单**：按地域（如华北2（北京））列出每个模型的上架时间、服务部署范围、模型规格（如 `qwen3.7-max`、`kimi/kimi-k2.7-code`）及能力说明。详见 [模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md)。 +- **模型降价**：千问系列、通义千问 VL 系列、GLM-5.2 Fast 等均有过降价通知，可通过[模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md)中"公告通知"区块查看历史链接。 +- **模型下线**：部分老旧模型（含长尾模型）会分批下线，下线时间可能延期，详见[模型下线机制说明](https://help.aliyun.com/zh/model-studio/model-depreciation)。 +- **商品退市**：析言 GBI、qwen-turbo 资源包等已公告退市。 -> **注意**：模型**上架**信息在上表中维护，而模型**下线**规则与清单不在此列，需单独参考 [模型下线机制说明](https://help.aliyun.com/zh/model-studio/model-depreciation)。功能更新文档中也频繁出现"部分老旧模型下线通知""网关变更通告"等公告，建议在集成前定期核对，防止依赖的模型或域名失效。 +## 平台功能更新（2025–2026 年要点） -## 平台功能更新的关键脉络 +### API 与鉴权 -从 [模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md) 可提炼出几条对开发者影响较大的主线： +| 时间 | 功能点 | 说明 | +|---|---|---| +| 2026-06 | Responses API [异步调用](../concepts/async-invocation.md) | `background=true` 提交长耗时任务，轮询结果 | +| 2026-06 | 临时 API Key | 不可信环境下避免永久 Key 泄露 | +| 2026-04 | 异步任务 EventBridge 回调 | 支持 HTTP 回调与 RocketMQ，无需轮询 | +| 2026-05 | 文本生成 API 入口聚合 | 新增 OpenAI Responses 与 Anthropic Messages 接口分类 | -- **[模型调优与部署](../concepts/fine-tuning-and-deployment.md)**：陆续新增视觉理解（VL）、视频生成、图像生成模型的定制训练支持；DPO 偏好训练、强化学习（RL，邀约制）训练；以及按模型单元（MU）时长计费的部署方式与预置模型部署（qwen-flash / qwen-plus 等）。 -- **API 能力**：文本生成 API 入口聚合 OpenAI Responses、Anthropic Messages 等分类；Responses API 新增 `background=true` 异步调用；异步任务支持事件总线 EventBridge 回调，无需轮询。 -- **知识库 RAG**：上线知识检索服务、知识问答服务，检索调用全量投递 SLS 日志，Retrieve 接口新增排序模型与指令干预模式。 -- **接入与计费**：新增 Codex、Kilo CLI 等客户端接入；Token Plan 团队版团队管理与共享用量包；Coding Plan 联网搜索 MCP 升级；API Key 加密存储与业务空间专属推理域名升级。 -- **地域接入**：新增美国、德国、日本等地域与服务部署范围，跨地域部署时需确认目标模型的服务部署范围。 +### 知识库 RAG -## 模型上架的读法与关键字段 +| 时间 | 功能点 | +|---|---| +| 2026-06 | 知识检索服务、知识问答服务上线（多知识库联合检索、混合排序） | +| 2026-04 | 知识库日志与监控（SLS 全量投递，支持审计/告警） | +| 2025-07 | 知识检索与问答 API（SSE 流式三阶段返回） | +| 2026-02 | Retrieve 接口新增排序模型与指令干预模式 | -[模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md) 的每一行都对应一个可调用的模型规格，集成时重点关注： +### 模型调优与部署 -- **模型规格**：即调用时使用的 `model` 名称，例如推理模型 `qwen3.7-max`、`qwen3.7-plus`、`deepseek-v4-pro`、`kimi/kimi-k2.7-code`、`ZHIPU/GLM-5.1`；文字提取 `qwen3.5-ocr`；语音合成 `qwen-audio-3.0-tts-plus/flash` 等。三方厂商模型通常带 `厂商/` 前缀（如 `vidu/`、`pixverse/`、`stepfun/`、`xiaomi/`）。 -- **快照版本**：形如 `qwen3.7-max-2026-05-20`、`wan2.7-t2v-2026-04-25` 的带日期后缀模型为快照版，能力与主版本一致但版本锁定，适合对稳定性敏感的生产环境。 -- **服务部署范围**：当前上架清单多为"中国内地"，跨地域调用前务必核对。 -- **模态与模式限制**：部分模型有明确约束，例如 `qwen3.6-max-preview` 仅支持纯文本输入、不支持图像与视频输入且默认开启思考模式；`kimi/kimi-k2.7-code` 仅支持思考模式。 +| 时间 | 功能点 | +|---|---| +| 2026-05 | 强化学习（RL）训练（邀约制） | +| 2026-05 | 图像生成模型调优（Wan/Wanx） | +| 2026-05 | 模型压缩（量化，降低部署成本） | +| 2026-01 | 视觉理解（VL）与视频生成模型调优 | +| 2025-10 | 模型单元（MU）部署，按时间计费，固定成本可预测 | +| 2025-09 | 千问 2.5/3 系列支持 DPO 偏好训练 | +| 2026-06 | PTU 长输入与前缀缓存 | -## 限制与注意事项 +### 接入与 SDK -- **计费与优惠会随时间调整**：如 `deepseek-v4-pro` 的 `cached_token` 单价曾调整为 1 元/百万 token（标准 `input_token` 不变），GLM-5.2 Fast mode 降价、上下文缓存降价等均以对应公告为准，release notes 中的价格描述可能滞后。 -- **模型可能延期或提前下线**：功能更新中同时存在"部分老旧模型下线通知"与"部分老旧模型延期下线通知"，同一批模型的下线时间可能被修订，务必以最新公告为准。 -- **两份文档存在时间粒度差异**：功能更新文档到具体功能点，模型清单文档到具体模型规格；排查某能力是否可用时，建议交叉比对 [模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md) 与 [模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md) 两处。 -- **以控制台/API 实际返回为准**：release notes 是变更记录而非实时状态，最终的可调用模型列表、配额与地域支持应以控制台模型广场和 API 返回为准。 +| 时间 | 功能点 | +|---|---| +| 2026-06 | Codex 终端 AI 编程助手接入百炼 | +| 2026-02 | 官方 MCP 服务上线（含第三方接入如高德地图） | +| 2026-04 | [多模态](../concepts/multimodal.md)交互开发套件 Android/iOS/Linux C++ SDK | +| 2026-02 | CosyVoice 声音复刻 API | +| 2026-06 | 新增美国、德国、日本地域部署 | + +### 智能体与应用 + +| 时间 | 功能点 | +|---|---| +| 2026-06 | 智能体托管运行时 API（Managed Agents）上线 | +| 2026-03 | 记忆库 Memory 2.0（长期记忆，多应用共享） | +| 2026-06 | Skill 能力包、数据连接模块（MySQL/语雀/OSS）上线 | +| 2026-04 | UI 设计器（魔笔低代码，可视化拖放） | +| 2026-04 | Prompt 工程 API 上线 | + +## 模型上架（部分区域，2026 年 Q2–Q3 要点） + +以下数据来源于[模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md)，当前覆盖华北2（北京）区域。 + +### 文生文与推理 + +| 上线时间 | 模型 ID | 说明 | +|---|---|---| +| 2026-07 | `kimi/kimi-k3` | Kimi 旗舰，2.8T 参数，100 万 token 上下文，原生视觉 | +| 2026-06 | `qwen3.7-max-2026-06-08` | Qwen3.7 Max，新增视觉模态 | +| 2026-06 | `qwen3.7-plus`/`qwen3.7-plus-2026-05-26` | [多模态](../concepts/multimodal.md)混合智能体，可读屏幕/操作 GUI | +| 2026-05 | `qwen3.7-max` | 默认开启思考模式，支持显式缓存 | +| 2026-04 | `deepseek-v4-pro`/`deepseek-v4-flash` | 阿里直供 DeepSeek-V4 系列 | +| 2026-04 | `qwen3.6-max-preview` | 纯文本，Coding/Agent 增强，不支持图像/视频输入 | +| 2026-04 | `qwen3.6-flash`/`qwen3.6-35b-a3b` | 原生视觉语言 Flash，智能体编程能力大幅提升 | +| 2026-04 | `glm-5.1` | 200K 上下文，最大输出 128K Token | + +### [多模态](../concepts/multimodal.md)（图像/视频/音频） + +| 上线时间 | 模型 ID | 类型 | +|---|---|---| +| 2026-07 | `qwen-image-3.0-pro`（邀测） | 图像生成，复杂版面/10px 小字精准渲染 | +| 2026-07 | `qwen-audio-3.0-realtime-plus/flash` | 实时多模态语音对话 | +| 2026-07 | `qwen-audio-3.0-tts-plus/flash` | 语音合成，小语种与方言支持增强 | +| 2026-06 | `qwen3.5-ocr` | 文字提取，128K 上下文，多轮对话 | +| 2026-06 | `wan2.7-t2v`/`wan2.7-i2v` 快照 | 万相2.7 文生/图生视频快照版 | +| 2026-04 | `wan2.7-t2v`/`wan2.7-i2v`/`wan2.7-videoedit` | 万相2.7 系列正式上线 | +| 2026-05 | `fun-music-v1` | 百聆音乐生成，支持中英文演唱 | +| 2026-04 | `fun-asr` | 实时 ASR 升级，覆盖 7 大方言、30 语种 | + +## 注意事项与限制 + +> **注意**：`qwen3.6-max-preview` 仅支持纯文本输入，**不支持图像与视频输入**，与同系列其他模型存在模态差异，使用前请确认输入类型。 + +> **注意**：[模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md)中部分功能条目（如 2025 年 6 月 5 日"模型观测"）内容不完整，可能是文档截断所致，建议直接访问原始链接获取最新说明。 + +> **注意**：模型下线时间可能延期（文档中有"延期下线通知"记录），生产环境依赖具体快照版本 ID（如 `qwen3.7-max-2026-05-20`）可降低被动升级风险。 + +## 快速定位 + +- 查看所有历史模型上架记录 → [模型上下架与更新](../../raw/model-user-guide/release-notes/newly-released-models.md) +- 查看平台 API/功能变更时间线 → [模型平台功能更新](../../raw/model-user-guide/release-notes/model-release-notes.md) +- 查看模型退役规则 → [模型下线机制说明](https://help.aliyun.com/zh/model-studio/model-depreciation) ## 来源文档 diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md b/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md index f9850221..d7db0992 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/security-and-compliance.md @@ -30,7 +30,7 @@ ### OpenAPI 接口权限 -RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程、长期记忆等 Open API。需阿里云主账号在 RAM 控制台添加以下系统策略之一： +RAM 用户默认无权调用百炼应用的数据、[知识库](../concepts/knowledge-base.md)、Prompt 工程、[长期记忆](../concepts/long-term-memory.md)等 Open API。需阿里云主账号在 RAM 控制台添加以下系统策略之一： - `AliyunBailianDataFullAccess`：可调用应用 API 目录下的所有 API。 - `AliyunBailianDataReadOnlyAccess`：仅可调用只读类 API（如 `DescribeFile`、`GetIndexJobStatus`）。 @@ -171,11 +171,11 @@ SDK 自动完成加解密，响应为明文，无需手动处理。 ## 限制与注意事项汇总 - 默认[业务空间](../concepts/workspace.md)无法设置模型调用/训练/部署限制，所有模型均可调用、调优、部署，且无法限流。 -- [API Key](../concepts/api-key.md) 不可跨地域、跨业务空间、跨用户转移；账号移出空间会使其 [API Key](../concepts/api-key.md) 失效（重新加入恢复），删除账号/角色则永久失效。 +- [API Key](../concepts/api-key.md) 不可跨地域、跨[业务空间](../concepts/workspace.md)、跨用户转移；账号移出空间会使其 [API Key](../concepts/api-key.md) 失效（重新加入恢复），删除账号/角色则永久失效。 - AI 安全护栏目前仅支持文本和图片类型模型。 - [DashScope SDK](../concepts/dashscope-sdk.md) 自动加密仅支持 Java/Python 且不支持自定义密钥；HTTP 手动加密仅适用于 DashScope Endpoint，OpenAI 兼容 Endpoint 不支持。 - PrivateLink 私网访问美国（弗吉尼亚）地域暂不支持；跨地域访问需区分同境内/同境外与跨境两种方式。 -- 安全存储业务空间的 OSS/ES 等底层资源一旦释放，安全存储空间不可恢复，需重建。 +- 安全存储[业务空间](../concepts/workspace.md)的 OSS/ES 等底层资源一旦释放，安全存储空间不可恢复，需重建。 - 模型与应用的合规备案信息应以算法备案系统实时查询结果为准，建议定期核验；开发者作为"服务提供者"需独立承担全部法律责任。 ## 来源文档 @@ -204,6 +204,14 @@ SDK 自动完成加解密，响应为明文，无需手动处理。 + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/skill.md b/skills/bailian-docs-llm-wiki/wiki/guides/skill.md index c3b17ca0..8a9ca032 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/skill.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/skill.md @@ -126,6 +126,14 @@ description: "Use this skill any time a spreadsheet file is the primary input or + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md b/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md index 93ce31e7..d1a37778 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/start-using.md @@ -17,15 +17,15 @@ 百炼应用支持多种模型系列，详见 [应用功能动态](../../raw/application-user-guide/start-using/application-release-notes.md)： - **千问系列**：千问-Max 为构建问答应用的推荐模型；[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用均支持 QwQ 系列（具备强推理能力，先输出思考过程再输出回答，数学/代码能力达 DeepSeek-R1 满血版水平，但不包括插件、流程、音视频交互能力）；视觉模型支持 qwen-vl-plus-latest、qwen-vl-plus-0125（Qwen2.5-VL 系列，128k 上下文）以及 qwen-vl-max/plus 用于图片解析。 -- **DeepSeek 系列**：[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用均可集成 DeepSeek 系列模型，结合知识库、长期记忆和 Prompt 模板构建私有知识问答应用。 -- **嵌入模型**：知识库支持 text-embedding-v3、v4 模型，v4 在语种支持、代码片段向量化效果和向量维度选择上较 v3 全面升级。 +- **DeepSeek 系列**：[智能体应用](../concepts/agent-application.md)与[工作流](../concepts/workflow.md)应用均可集成 DeepSeek 系列模型，结合知识库、[长期记忆](../concepts/long-term-memory.md)和 Prompt 模板构建私有知识问答应用。 +- **嵌入模型**：知识库支持 text-embedding-v3、v4 模型，v4 在语种支持、代码片段[向量化](../concepts/embedding.md)效果和向量维度选择上较 v3 全面升级。 ## 应用类型与关键能力 百炼提供多种应用类型以适配不同场景： - **[智能体应用](../concepts/agent-application.md)**：2025 年 12 月 26 日上线新版[智能体应用](../concepts/agent-application.md)（Agent 2.0），将知识库、MCP 统一为工具，由智能体自主规划调用时机与顺序，并完整展示模型思考与工具调用全过程。文件问答支持全文引用、切片检索和自定义处理三种模式。 -- **工作流应用**：支持批量节点、[多模态](../concepts/multimodal.md)生成节点（生成图像/视频/音频）、异步运行模式（文本生成模式下后台执行并返回 Task ID）、Dify 工作流一键导入、[多模态](../concepts/multimodal.md)数据节点（文档/图片/视频/音频解析）等。 +- **[工作流](../concepts/workflow.md)应用**：支持批量节点、[多模态](../concepts/multimodal.md)生成节点（生成图像/视频/音频）、异步运行模式（文本生成模式下后台执行并返回 Task ID）、Dify [工作流](../concepts/workflow.md)一键导入、[多模态](../concepts/multimodal.md)数据节点（文档/图片/视频/音频解析）等。 - **高代码应用**：2025 年 9 月 24 日上线，支持基于 Python 项目结构部署 AI 后端服务，内置自动化运维、可观测性及日志服务等企业级能力。 - **MCP 服务**：2025 年 4 月 9 日新增 MCP 市场与 MCP 管理功能，可开通预置 MCP 服务或部署自定义 MCP 服务；8 月 13 日新增外部调用功能，支持一键配置到第三方应用或通过 MCP SDK 调用。 @@ -40,10 +40,10 @@ ## 应用调用与发布 -- **API 调用**：2025 年 11 月 3 日起支持通过 Responses API 调用百炼应用，提供同步调用 API（实时交互，可复用 OpenAI 代码库）与[异步调用](../concepts/async-invocation.md) API（设置 `background=true` 立即返回任务 ID）。调用工作流和[智能体编排](../concepts/agent-orchestration.md)应用时需传入自定义参数。 +- **API 调用**：2025 年 11 月 3 日起支持通过 Responses API 调用百炼应用，提供同步调用 API（实时交互，可复用 OpenAI 代码库）与[异步调用](../concepts/async-invocation.md) API（设置 `background=true` 立即返回任务 ID）。调用[工作流](../concepts/workflow.md)和[智能体编排](../concepts/agent-orchestration.md)应用时需传入自定义参数。 - **发布渠道**：支持微信、钉钉分享渠道（创建钉钉 AI 机器人或微信公众号 AI 机器人）；支持音视频实时互动（将图文对话应用转为音视频实时互动应用，提供 H5/APP 调试窗口，通过音视频 SDK 发布到 WEB/iOS/Android）。 - **应用观测**：2024 年 10 月 24 日新增应用观测能力，支持端到端查看应用处理流程；2026 年 2 月 6 日上线新版应用[评测](../concepts/evaluation.md)，支持智能体、工作流和自定义三种类型[评测](../concepts/evaluation.md)集。 -- **长期记忆**：2026 年 1 月 31 日上线新版长期记忆与用户画像管理 API，支持多应用共享同一记忆库、自动提取关键信息、语义检索优化及完整用户画像管理。 +- **[长期记忆](../concepts/long-term-memory.md)**：2026 年 1 月 31 日上线新版[长期记忆](../concepts/long-term-memory.md)与用户画像管理 API，支持多应用共享同一记忆库、自动提取关键信息、语义检索优化及完整用户画像管理。 ## 限制与注意事项 @@ -51,7 +51,7 @@ - 大模型调用产生[计费](../concepts/billing.md)，平台提供限时免费额度，可在模型广场查看各模型系列详情。 - QwQ 系列模型在[智能体应用](../concepts/agent-application.md)中不支持插件、流程、音视频交互能力。 - 文档解析耗时与文档大小相关，知识文档导入通常 1~6 分钟，知识库解析通常 1~2 分钟，需耐心等待。 -- [智能体编排](../concepts/agent-orchestration.md)应用已于 2025 年 8 月 12 日随工作流应用界面升级而下线，相关需求请使用新版智能体应用或工作流应用。 +- [智能体编排](../concepts/agent-orchestration.md)应用已于 2025 年 8 月 12 日随工作流应用界面升级而下线，相关需求请使用新版[智能体应用](../concepts/agent-application.md)或工作流应用。 - Assistant API 处于下线中状态，如需全代码开发高度定制化 RAG 应用请关注官方公告。 ## 来源文档 @@ -70,6 +70,14 @@ + + + + + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/support.md b/skills/bailian-docs-llm-wiki/wiki/guides/support.md index e235c257..ccfecfe8 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/support.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/support.md @@ -1,106 +1,116 @@ # support -本页汇总阿里云百炼平台的常见问题解答、服务协议与技术支持渠道，帮助开发者快速定位使用中遇到的问题并找到对应解决方案。内容涵盖[计费](../concepts/billing.md)、API/SDK、模型训练、模型幻觉处理以及平台相关协议。 +阿里云百炼平台为开发者提供多层次的支持体系，涵盖计费咨询、API/SDK 故障诊断、产品使用答疑，以及明确的售后服务边界说明。本页汇总常见问题解答、相关法律协议及售后服务范围，帮助开发者快速定位支持渠道，了解平台的服务承诺与限制。 -## [计费](../concepts/billing.md)常见问题 +## 常见问题 -百炼平台采用按量后付费模式（分钟级出账、按月结算），部分模型支持预付费（节省计划与资源包）。关键要点： +完整问答列表见 [常见问题](../../raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md)，以下列出高频场景。 -- 模型调用价格与模型部署/训练[计费](../concepts/billing.md)分开计算，具体单价参见百炼控制台模型市场 -- 开通服务要求阿里云账户余额不小于 0 元 -- 万相会员与百炼 API [计费](../concepts/billing.md)体系相互独立，会员权益不适用于 API 调用 -- 费用明细与发票申请通过阿里云费用与成本控制台操作 +### 计费 -详细[计费](../concepts/billing.md)说明参见[常见问题](../../raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md)中的[计费](../concepts/billing.md)相关章节。 +- 模型调用单价以[百炼控制台 - 模型市场](https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/all)为准，详细计费规则参见官方文档。 +- 后付费按**分钟级出账、月结算**；账单明细在费用与成本控制台查看。 +- 部分模型支持预付费（节省计划与资源包）。 +- 万相会员权益与百炼 API 计费体系**相互独立**，不能通用。 +- 开通服务需账户余额 ≥ 0 元；开通后**暂不支持关闭**，删除 API-Key 可阻止后续调用。 -## API/SDK 使用 +### API / SDK -百炼支持 Java 和 Python SDK，API 调用返回标准状态码标识结果。开发者常遇问题： +- 错误码 `100004` 表示缺少必填参数，需检查参数名称及格式。 +- 完整错误码说明参见官方错误码文档。 +- 官方 SDK 支持 Java 和 Python，安装方式见官方文档。 +- **Assistant API** 当前不支持在一次对话中顺序调用两个独立函数；Memory 配置功能暂未上线。 +- `doc_reference_type` 参数仅对旧版应用生效；新版应用在控制台开启「展示回答来源」开关即可。 -| 问题 | 解决方式 | -|------|----------| -| Completion API 报错 100004（参数缺失） | 检查必填参数是否完整、格式是否正确（注意 JSON body 字段名大小写） | -| doc_reference_type 不生效 | 该参数仅旧版应用有效；新版应用需在控制台开启"展示回答来源"开关 | -| Assistant API 不支持多函数串行调用 | 当前限制，可创建多个 Assistant 分别处理 | -| Assistant API 无 memory 能力 | 当前暂不支持 | +### 产品使用 -错误码完整列表与 SDK 安装指引请参见[常见问题](../../raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md)中的 API/SDK 相关章节。 +- 百炼为大模型服务**平台**，千问系列只是其中一类模型；两者不是同一产品。 +- 不同用户的数据隔离可通过子账号 + 业务空间权限实现。 +- 传输数据经 AES-256 加密；根据法规百炼会留存调用数据，详见服务协议隐私条款。 +- 控制台最多展示 **100 条**历史对话记录，未登录及推理报错时的对话不保存。 +- 目前不提供官方手机端独立应用。 -## 模型训练与选型 +### 模型训练 / 微调 -### 模型选择 +- qwen-vl-plus 支持图片训练微调。 +- 训练完成的开源模型**不支持导出**。 +- 千问系列支持 **14 种语言**（中、英、阿拉伯、西班牙、法、葡、德、意、俄、日、韩、越南、泰、印尼）。 +- SFT 只使用垂直领域数据可能导致通用知识遗忘；建议保证数据质量与多样性，超参数需通过实验确定。 +- 大模型过拟合判断不能仅依赖 loss，最终效果以人工评估为准。 -- **qwen-turbo**：侧重速度与资源效率，费用更低，适合对响应速度要求高的场景 -- **qwen-max**：侧重顶级性能与全面知识，适合对精度和复杂任务处理能力要求严格的场景 -- 千问系列支持 14 种语言（中文、英文、阿拉伯语、西班牙语、法语等） -- qwen-vl-plus 已支持图片训练微调 +### 模型幻觉 -### 训练注意事项 +降低幻觉的主要手段： -- 仅使用垂直领域数据做 SFT 可能导致模型遗忘通用知识 -- 训练数据需保证：任务定义清晰、数据质量高（准确简洁）、数据多样性（同一语义多种 [prompt](prompt.md) 表达） -- 循环次数与数据量无固定规律，需通过实验确定；不应仅通过 loss 判断是否过拟合，最终效果以人工评估为准 -- 训练后的模型不支持导出；本地训练的模型不支持上传 +1. **选用更高级模型**：Max > Plus > Turbo，效果依次递减。 +2. **提示词工程**：在 RAG 场景加约束指令，限制模型在检索结果范围内回答。 +3. **RAG**：确保检索质量，清晰标注来源，优雅拒绝检索不到的内容。 +4. **插件 / MCP**：将数值计算等任务交给工具执行后再汇总，避免模型直接推算。 +5. **参数调优**：降低 `temperature`、`top_k`、`top_p` 等随机性参数。 +6. **后处理验证**：通过 AI 二次校验回答正确性（会增加成本和延迟）。 -### 模型幻觉处理 +### 限流 -降低幻觉的主要手段（按实施难度排序）： +限流等待时间取决于您的 RPS/RPM 配额。例如限流为 120 RPM（2 次/秒），若在 0.2 秒内连发 2 次，第 3 次需等约 0.8 秒。模型版本别名（如 `qwen-plus-latest`）指向 Qwen3 系列最新版本，与 Qwen3.5/3.7 等独立系列并列，非子版本。 -1. **选择更强模型**：Max > Plus > Turbo -2. **[提示词工程](../concepts/prompt-engineering.md)**：限定回答范围、要求引用来源、分步骤引导 -3. **RAG（[检索增强生成](../concepts/rag.md)）**：让模型基于检索到的知识回答，严格限制范围 -4. **插件/MCP**：数值计算等任务通过工具完成，避免模型直接处理 -5. **参数调优**：降低 temperature/top_k/top_p，降低 max_tokens 防止过度生成 -6. **后处理验证**：通过 AI 二次校验回复正确性（增加成本和延迟） +## 相关协议 -## 产品使用要点 +使用百炼前需了解以下协议，详见 [相关协议](../../raw/model-user-guide/support/related-agreements.md)： -- 百炼服务需**分地域开通**，使用主账号在控制台切换目标地域后自动开通 -- 服务开通后暂不支持关闭；删除 API-Key 即可停止调用 -- 数据隔离通过[业务空间](../concepts/workspace.md)权限管理实现，不同子账号分配不同空间权限 -- 阿里云不会将用户数据用于模型训练，传输数据经 AES-256 加密；根据法规要求会存储调用数据 -- 控制台最多展示 100 条历史对话记录，不设时间限制 -- 模型生成速度非固定值，受服务负载和请求并发影响；限流触发后等待时间取决于具体限流值（如 120 RPM 则约等待 0.8 秒） - -## 服务协议 - -百炼平台涉及的主要协议包括： - -- 阿里云百炼服务协议（平台总协议） -- 阿里云百炼模型推理服务等级协议（SLA） -- 阿里云百炼服务特别说明 -- 开源模型协议条款说明 -- 三方模型服务协议和使用条款清单 - -完整协议链接请参见[相关协议](../../raw/model-user-guide/support/related-agreements.md)。 - -## 技术支持渠道 - -| 需求类型 | 联系方式 | -|----------|----------| -| 业务合作/售前咨询 | 服务热线 4008013260 或官网售前咨询 | -| 产品使用问题/售后 | 官网售后服务 | -| 合作协议申请 | 提交阿里云工单 | - -## 来源文档 - -- [常见问题](../../raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md) -- [相关协议](../../raw/model-user-guide/support/related-agreements.md) +| 协议 | 说明 | +|---|---| +| 阿里云百炼服务协议 | 平台整体使用条款，含数据处理与隐私 | +| 模型推理服务等级协议（SLA） | 服务可用性承诺 | +| 百炼体验功能特别说明 | 体验功能适用条款 | +| 开源模型协议条款说明 | 开源模型使用限制 | +| 三方模型服务协议和使用条款清单 | 第三方模型服务条款 | +## 售后服务范围 +详细说明见 [阿里云百炼平台售后服务范围说明](../../raw/model-user-guide/support/after-sales-service-scope.md)。 +### 基础服务（含购买期内） +通过官网、电话（95187 / 400 热线）、阿里云 APP 提供 **7×24** 支持，覆盖： +- 产品功能、架构咨询与最佳实践 +- 技术问题及故障诊断 +- API / 官方 SDK 故障排查 +- 控制台、账号、财务及计费咨询 +增值服务（如支持计划）需单独订购。如需业务代码编写指导或定制集成方案，建议联系阿里云商务经理。 +### 第三方工具对接的服务边界 +百炼**提供**的协助范围： +- 确认百炼 API 及服务端可用状态 +- 提供官方 API 调用示例及 SDK 使用说明 +- 协助核查服务端调用明细和计费记录 +- 基本连通性测试建议（如 `curl` 测试） +百炼**不覆盖**的范围： +- Cursor、Windsurf、Cline、OpenClaw 等第三方工具的安装、配置、升级、日常运维 +- 其他云厂商或社区产品的配置运维 +- 用户业务代码的编写与调试 +- 用户本地环境（内网、代理、VPN、防火墙）导致的连通性问题 +- 第三方工具显示的 Token 数量、费用预估与百炼计费数据之间的差异解释 +> **注意**：第三方工具不是百炼的代理或联合服务主体，阿里云不对外部第三方工具的任何陈述或行为承担责任。第三方工具的运行维护由用户及工具提供方自行负责。 +## 联系支持 +| 渠道 | 适用场景 | +|---|---| +| 售前咨询热线 4008013260 / 官网售前咨询 | 业务合作、方案咨询 | +| 官网售后服务（在线客服） | 产品使用问题反馈 | +| 阿里云工单 | 合规备案、合作协议申请等正式诉求 | +## 来源文档 +- [常见问题](../../raw/model-user-guide/support/faq-about-alibaba-cloud-model-studio.md) +- [相关协议](../../raw/model-user-guide/support/related-agreements.md) +- [阿里云百炼平台售后服务范围说明](../../raw/model-user-guide/support/after-sales-service-scope.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md b/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md index 6f95466a..e214ef0e 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/test-1.md @@ -1,71 +1,132 @@ # test 1 -本页汇总阿里云百炼平台在计费与成本方面的核心规则，涵盖新人免费额度、模型调用价格、训练与部署计费、节省计划与资源包，以及账单查询与成本管理。面向开发者，帮助你在调用、微调、部署模型时准确预估费用并规避意外扣费。 +阿里云百炼平台的计费体系涵盖模型推理、训练、部署多个维度，提供按量付费、节省计划、资源包等多种结算方式。新用户开通后可获得各模型的免费推理额度（通常每模型 100 万 Token，有效期 90 天），额度耗尽或过期后按原价或折后价扣费。合理选择计费方案可显著降低使用成本。 -## 计费优先级与整体逻辑 +## 新人免费额度 -无论使用哪种付费方式，系统在实时调用时按固定优先级自动抵扣，无需手动指定： +首次开通阿里云百炼时，平台自动发放**各模型独立的免费推理额度**，详见 [新人免费额度](../../raw/model-user-guide/test-1/new-free-quota.md)。 -**免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费** +**关键规则：** -- 免费额度仅抵扣模型**实时推理**费用，不抵扣 Batch 调用、模型调优、模型部署等场景。 -- 超出各类额度后的用量自动转为按量付费，从阿里云账户余额扣除。 +- **地域限制**：仅华北2（北京）且服务部署范围为中国内地的模型享有免费额度；其他地域（如新加坡）无免费额度。 +- **有效期**：90 天，从开通百炼、模型发布或申请通过之日起计算（以较晚者为准），过期自动失效，不支持延期或重置。 +- **适用范围**：仅抵扣实时推理费用；Batch 调用、模型调优、模型部署、自定义模型均不适用。 +- **账号共享**：主账号与 RAM 子账号共享同一模型的免费额度；不同模型（含同快照版本）额度相互独立，不可跨模型合并。 +- **消耗优先级**：免费额度 > 资源包 > 其他模型节省计划 > AI 通用型节省计划 > 按量付费。 -> **注意**：账户欠费（可用额度 < 0）时，即使某模型仍有免费额度也无法调用；请提前配置余额预警或消费限额。 +**防止意外扣费：** 已认证用户额度耗尽后会直接计费；可在控制台开启**免费额度用完即停**开关，触发后返回错误码 `AllocationQuota.FreeTierOnly`。全新未认证用户额度耗尽后自动停止响应，完成实名认证并充值后方可继续使用。 -## 新人免费额度 +## 模型调用按量价格 -首次开通阿里云百炼时，平台自动为各模型发放新人专属免费额度，详见 [新人免费额度](../../raw/model-user-guide/test-1/new-free-quota.md)。关键规则： +模型调用默认按量计费，按输入/输出 Token 数计费，部分模型支持阶梯定价，详见 [模型调用价格](../../raw/model-user-guide/test-1/model-pricing.md)。 -- **有效期**：30～90 天，自开通或模型申请通过之日起计算。自 2025 年 9 月 8 日 11 点起首次开通的用户统一调整为 90 天。到期或耗尽后自动失效，不支持补发、延期或重置。 -- **地域限制**：仅华北2（北京）地域且服务部署范围为中国内地的模型享有免费额度（新加坡国际部署同理），其他地域和部署范围无免费额度。 -- **额度独立**：每个模型（含不同快照版本，如 `qwen-max` 与 `qwen-max-2026-05-17`）拥有独立额度（通常 100 万 Token），不可跨模型合并或转移；主账号与 RAM 子账号共享同一模型的额度。 -- **免费额度用完即停**：开启后额度耗尽即停止响应并返回 `AllocationQuota.FreeTierOnly`，不再扣费。全新未认证用户默认额度耗尽后无法继续调用，需完成认证并充值。 +**计费要点：** -> **注意**：Token Plan / Coding Plan 专属 API Key **不消耗免费额度**，会直接按量付费；如需使用免费额度请改用通用 API Key。 +- **阶梯计费**：单价取决于单次请求的输入 Token 总量，同一请求所有 Token 按对应阶梯单价统一结算（非分段计费）。 +- **Batch 调用折扣**：支持 Batch 调用的模型输入/输出 Token 均按实时推理价格的 **50%** 计费。 +- **上下文缓存**：显式缓存创建按标准输入单价的 **125%** 计费，缓存命中按 **10%** 计费；与 Batch 折扣不可叠加。 -## 模型调用价格（按量付费） +**主要模型参考价格（华北2，中国内地，按量原价）：** -模型调用默认按量计费，价格表见 [模型调用价格](../../raw/model-user-guide/test-1/model-pricing.md)。要点： +| 模型 | 输入（/百万Token） | 输出（/百万Token） | +|------|-------------------|-------------------| +| qwen3.7-max | 12元（限时5折） | 36元（限时5折） | +| qwen3-max（≤32K） | 2.5元 | 10元 | +| qwen3.7-plus（≤256K） | 2元（限时8折） | 8元（限时8折） | +| qwen-plus（≤128K） | 0.8元 | 2元（非思考）/ 8元（思考） | -- **阶梯计费**：部分模型的单价取决于单次请求的输入 Token 总量，该请求的所有 Token 均按落入的阶梯单价结算（K=1,000，M=1,000,000）。例如 `qwen3-max` 分 0 **注意**：部分模型标注"限时折扣"，实际结算价以控制台展示为准，本文档中的原价不含活动优惠，请前往百炼控制台查看最新活动价。 ## 模型训练与部署计费 -微调与部署的计费规则见 [模型训练与部署计费](../../raw/model-user-guide/test-1/model-training-and-deployment-billing.md)。 +训练和部署产生的费用独立于推理费用，不可被免费额度或节省计划（模型调用类）抵扣，详见 [模型训练与部署计费](../../raw/model-user-guide/test-1/model-training-and-deployment-billing.md)。 + +### 训练计费 + +**文本生成模型（千问）** + +- 计费公式：`费用 = (训练数据Token总数 + 混合训练数据Token总数) × 循环次数 × 训练单价` +- 示例单价：Qwen3-8B 为 ¥0.006/千Token，Qwen2.5-72B-Instruct 为 ¥0.15/千Token。 + +**图像/视频生成模型（万相）** -- **模型训练**：按训练 Token 计费。 - - 文本模型：`费用 =（训练数据 Token + 混合训练数据 Token）× 循环次数 × 训练单价`。 - - 图像/视频模型：`费用 = 训练 Token 总量 × 训练单价（每千 Token）`，训练 Token 总量由 `max_steps`、`max_pixels`、`n_epochs` 等超参决定。 -- **模型部署**：训练完成的新模型需先**部署**才能评测/调用。部署计费方式包括： - - **按使用时长（预置吞吐）**：`费用 = 使用时长 ×(输入 TPM 单价 × 输入 TPM + 输出 TPM 单价 × 输出 TPM)`，后付费按小时、预付费按天。超出购买 TPM 或最长输入 Token 时自动切换为按量付费（响应 Header 含 `x-dashscope-ptu-overflow:true`）。 - - **按使用时长（模型单元）**：`费用 = 使用时长 × 模型单元数量 × 模型单元单价`，支持后付费小时计费或预付费包月。 +- 图像生成（wan2.7-image-pro/image）：¥0.08/千Token；Token总量由 `max_steps × Lmax` 决定。 +- 视频生成（wan2.7-i2v）：¥2/千Token；Token总量与视频时长、`max_pixels`、`n_epochs` 相关，单条视频最多按 10 秒计算。 -> **注意**：免费额度和节省计划均**不抵扣**模型训练与部署费用；后付费部署在账户欠费后仍会继续保留并计费 24 小时。 +### 部署计费 + +提供两种计费模式： + +1. **预置吞吐（PTU）**：`费用 = 使用时长 × (输入TPM单价 × 输入TPM + 输出TPM单价 × 输出TPM)`，支持后付费（按小时）和预付费（按天）；输入超最长 Token 或溢出 TPM 时自动切换按量付费（仅"自动溢出"策略）。 +2. **模型单元**：`费用 = 使用时长(小时) × 模型单元数量 × 单价`，支持后付费和包月；提供 PD 分离模式（降低首 Token 延迟、提高吞吐）。 ## 节省计划与资源包 -成本优化方案见 [节省计划与资源包](../../raw/model-user-guide/test-1/savings-plan-and-resource-package.md)。 +用于降低按量推理成本，详见 [节省计划与资源包](../../raw/model-user-guide/test-1/savings-plan-and-resource-package.md)。 + +### AI 通用型节省计划（推荐） + +- 承诺每月消费金额（1,000元起），换取阶梯折扣，最高 **5.3 折**。 +- 覆盖阿里直供全部模型（A/B/C 三类），一次购买跨模型使用。 +- 购买时长：3/6/12/24 个月；支持全预付（最大折扣）和零预付（需联系商务）。 +- **不可抵扣**：模型调优、模型部署、联网搜索插件、MCP 广场等。 +- 额度按动态月分配，月末未用完自动清零，**不可累积到下月**。 + +| 月承诺（元） | A类 12个月全预付 | B类 12个月全预付 | +|-------------|----------------|----------------| +| 1,000-5,000 | 8.4折 | 7.7折 | +| 10,000-30,000 | 8折 | 7.1折 | +| 1,000,000+ | 7折 | 5.6折 | -- **AI 通用型节省计划（推荐）**：承诺每月消费金额换取阶梯折扣，最高 5.3 折，可抵扣阿里直供的全部模型。以**动态月**为周期发放额度（非自然月），当月未用完自动清零、不累积。支持抵扣模型调用、原生工具调用、上下文缓存、批量推理；不抵扣调优、部署、联网搜索插件、MCP 广场等。 -- **其他模型节省计划**：一次性购买固定金额，抵扣特定模型系列（如大语言模型、语音模型、向量排序、万相），适合用量集中场景，折扣一般不如通用型。 -- **资源包**：预购具体 Token / 张数等资源量，抵扣单个特定模型超出免费额度后的实时推理用量，到期作废。 +### 其他节省计划 -> **注意**：若开启了**免费额度用完即停**（安心模式），免费额度耗尽后服务停止，节省计划将无法继续抵扣；需手动关闭该功能后才能切换到节省计划。 +- **大语言模型推理节省计划**：无折扣，等同预存余额，有效期 1 个月至 1 年不等。 +- **千问语音模型节省计划**：最高 8 折，有效期 6/12 个月。 +- **向量及排序模型节省计划**：最高 7 折，有效期 3-12 个月。 +- **万相模型节省计划**：最高 9 折，有效期 3/6 个月。 + +### 资源包 + +预购具体 Token 数量，抵扣特定模型超出免费额度后的实时推理用量，购买后立即生效，过期自动作废。 + +> **注意**：AI 通用型节省计划不支持抵扣知识库规格费用（按运行时长计费的 RCU/知识库小时费用），该部分需通过资源包或按量付费结算。向量模型（Embedding）和排序模型（Rerank）的调用费用可被 AI 通用型节省计划抵扣，也可单独购买向量及排序模型节省计划。 ## 账单查询与成本管理 -账单查询、分账与欠费处理见 [账单查询与成本管理](../../raw/model-user-guide/test-1/bill-query-and-cost-management.md)。 +### 查看账单 + +- **费用概览**：百炼控制台 > 模型 > 费用概览，按模型或 API Key 筛选，可设置月度费用告警。 +- **账单详情**：在[账单详情](https://usercenter2.aliyun.com/finance/expense-report/expense-detail)页面，选择"大模型服务平台百炼"，通过**实例 ID（出账粒度）**字段区分模型名称、API Key、调用渠道等。 + +**实例 ID 字段格式（分号分隔）：** +``` +ApiKeyID ; 业务空间ID ; 模型名称 ; 输入/输出类型 ; 调用渠道 ; 免费额度用完即停标识 +``` + +出账延迟：大模型推理 2-10 分钟，批量推理/训练/知识库按小时出账，高峰期可能进一步延迟。 + +### 分账管理 + +给业务空间绑定标签后可按部门/项目归集费用，配置完成后 T+1 天生效。 + +### 欠费与停止计费 + +- 欠费判定：账户可用额度 < 0（现金余额 + 信控额度 - 未结清费用）。 +- 免费额度、节省计划、资源包在欠费期间均无法使用，需结清欠费后恢复。 +- 停止模型推理：停止 API 调用或删除 API Key 即可；模型部署按时长计费，需在控制台下线部署任务方可停止计费。 +- Token Plan 团队版可按席位退订（无用量消耗的席位），Coding Plan 到期自动停止，不支持中途退订。 + +详细操作步骤参见 [账单查询与成本管理](../../raw/model-user-guide/test-1/bill-query-and-cost-management.md)。 -- **出账时效**：大模型推理分钟级出账（通常 2~10 分钟），批量推理、模型训练、知识库等小时级出账。 -- **账单详情**：核心是"实例 ID（出账粒度）"字段，格式为 `ApiKeyID;业务空间ID;模型名称;输入/输出类型;调用渠道;免费额度用完即停标识`，可据此定位产生费用的模型与渠道（`app` 代码调用、`bmp` 控制台体验、`assistant-api`）。 -- **分账管理**：给业务空间绑定标签，按部门/项目归集费用，配置后 T+1 生效。 -- **欠费与停止计费**：欠费按商品维度判定，Coding Plan / Token Plan 套餐额度独立于余额、欠费期间仍可用。停止计费需停止调用、下线部署模型、删除 API Key 或退订套餐。 +## 常见问题速查 -> **注意**：按量付费采用"预占+月结"模式，并非实时扣款；系统先冻结额度，月账期结束后（次月初）生成最终账单实际扣款。此外，`enable_search` 等联网搜索附加功能按次单独计费，可能在未主动操作时仍产生费用。 +| 场景 | 处理方式 | +|------|---------| +| 有剩余额度但调用失败 | 检查账户是否欠费；欠费时即使有免费额度也无法调用 | +| 查不到账单 | 等待出账延迟（推理 2-10 分钟，训练/批量按小时） | +| 意外产生费用 | 检查 `enable_search` 参数、已部署模型状态、未删除的 API Key | +| 免费额度用完后防扣费 | 开启"免费额度用完即停"，或删除 API Key | +| 怀疑账户被盗用 | 在账单详情查看 ApiKeyID，核对创建时间，删除可疑 Key | ## 来源文档 diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md b/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md index 3bb3d847..89d3a7f0 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/token-plan-guide.md @@ -1,102 +1,201 @@ # token plan guide -Token Plan 团队版与 Coding Plan 是百炼面向 AI 编程/智能体工具的两类订阅服务：Token Plan 团队版以 Credits 统一计量、按 Token 消耗抵扣，支持文本与图像生成模型并提供团队管理后台；Coding Plan 面向个人开发场景，按模型调用次数计费并设有请求限额。两者的 API Key 与 Base URL 完全隔离、互不相通，接入前需先明确使用的是哪种套餐。 +Token Plan 是阿里云百炼推出的 AI 大模型订阅服务，以 Credits 统一计量，支持文本、图像、视频生成及多种 Harness 工具，兼容 Claude Code、Cursor、Qwen Code、Qoder 等主流 AI 编程和智能体工具。产品分为**个人版**和**团队版**两大版本，满足从个人开发者到企业团队的不同使用场景。当前仅支持**华北2（北京）**地域，购买和使用前需在控制台切换至该地域。 -## 两种套餐对比 +> **注意**：Coding Plan 是独立的订阅产品，与 Token Plan 之间无法迁移或升级，两者的 API Key 和 Base URL 完全隔离，不可混用。Coding Plan Lite 已于 2026 年 3 月 20 日停止新购，4 月 13 日停止续费；Coding Plan Pro 为限量抢购，官方推荐新用户选择 Token Plan。 -| 维度 | Token Plan 团队版 | Coding Plan | -| --- | --- | --- | -| 适用场景 | 一人公司/团队/企业日常办公 | 个人开发场景 | -| 支持模型 | 文本生成 + 图像生成 | 文本生成模型 | -| 计费方式 | 按 Token 消耗抵扣 Credits | 按模型调用次数 | -| 使用频次 | 无每 5 小时/每周限额 | 有每 5 小时/每周/每月限额 | -| 高峰期性能 | 多租户隔离，不排队 | 高峰期可能排队 | -| 数据安全 | 承诺不使用数据训练模型 | 用户数据授权用于服务改进 | +## 产品版本对比 -> **注意**：两个计划互相独立，不支持互转（即使补差价也不行），可同时订阅、各自计费。详见 [Token Plan（团队版）概述](../../raw/model-user-guide/token-plan-guide/token-plan-overview.md) 与 [Coding Plan概述](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md)。 +| 对比项 | 个人版 | 团队版 | +|--------|--------|--------| +| 适用场景 | 个人开发者 | 团队 / 企业 | +| 额度机制 | 5 小时 + 7 天固定窗口限额 | 固定月额度（无时间窗口限制） | +| 团队管理 | 不支持 | 席位分配与回收、成员用量分析、SSO/钉钉接入 | +| 数据安全 | 数据用于服务改进（遵循服务协议） | 承诺不使用对话数据训练模型 | +| 高峰期性能 | 高峰期可能出现等待 | 多租户隔离，高峰期不排队 | -## 支持的模型 +同一账号可同时持有个人版和团队版，各自独立计费，额度不共享。详见 [Token Plan 概述](../../raw/model-user-guide/token-plan-guide/token-plan-overview.md)。 -Token Plan 团队版的模型清单为**精确字符串白名单**，必须逐字符完全匹配，版本号/子型号任何差异均视为不支持，禁止版本兼容推理。 +## 个人版 -- **千问**：qwen3.7-max（限时活动）、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash、qwen-image-2.0、qwen-image-2.0-pro -- **万相**：wan2.7-image、wan2.7-image-pro -- **DeepSeek**：deepseek-v4-pro、deepseek-v4-flash、deepseek-v3.2 -- **月之暗面**：kimi-k2.7-code、kimi-k2.6、kimi-k2.5 -- **智谱 AI**：glm-5.2、glm-5.1、glm-5 -- **MiniMax**：MiniMax-M2.5 +### 套餐档位与限额 -Coding Plan Pro 套餐的推荐模型为 qwen3.7-plus、qwen3.6-plus、kimi-k2.5（均支持图片理解）、glm-5、MiniMax-M2.5，更多模型见 [Coding Plan概述](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md)。 +| 套餐 | 价格（限时） | 5 小时限额 | 7 天限额 | 并发 Agent | +|------|------------|-----------|---------|-----------| +| Lite | 39 元/月 | 700 Credits | 2,500 Credits | 1-2 个 | +| Standard | 139 元/月 | 3,000 Credits | 10,000 Credits | 3-4 个 | +| Pro | 499 元/月 | 12,000 Credits | 40,000 Credits | 6-8 个 | -> **注意**：两套清单的白名单不完全一致，且 Coding Plan Lite 套餐已于 2026 年 3 月 20 日停止新购、4 月 13 日停止续费与升级。调用时务必以对应套餐控制台的实时清单为准。 +**限额机制**：采用两层固定窗口，5 小时窗口和 7 天窗口自首次调用时开始计时（非自然周）。任一层触顶即暂停服务；窗口期内未用完的额度不结转。升级套餐后限额立即提升至新档位。 -## 快速接入（三步） +更多限额细节和示例见 [概述（个人版）](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md)。 -以 Token Plan 团队版为例，详见 [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-quickstart.md)： +### 支持的模型（个人版） -1. **订阅**：在购买页选择坐席类型、数量和订阅周期。RAM 子账号订阅前需主账号授予 `AliyunBailianFullAccess` 权限。 -2. **获取 API Key 和 Base URL**：分配席位后为成员生成专属 API Key（Token Plan 以 `sk-sp-` 开头，与通用 `sk-` 不可混用；仅首次显示一次，需立即保存）。 -3. **接入 AI 工具**：支持 Claude Code、Qwen Code、OpenCode、OpenClaw、Cursor、Codex、Qoder、Cline、Kilo CLI 等。 +| 品牌 | 模型 ID | 能力 | +|------|---------|------| +| 千问 | qwen3.8-max-preview | 推理、视觉理解、文本生成 | +| 千问 | qwen3.7-max | 推理、文本生成 | +| 千问 | qwen3.7-plus | 推理、视觉理解、文本生成 | +| 千问 | qwen3.6-flash | 推理、视觉理解、文本生成 | +| 智谱 AI | glm-5.2 | 推理、文本生成 | +| DeepSeek | deepseek-v4-pro | 推理、文本生成 | +| 万相 | wan2.7-image / wan2.7-image-pro | 图片生成 | +| HappyHorse | happyhorse-1.1-i2v / t2v / r2v | 视频生成 | -### Base URL 对照 +> **注意**：qwen3.8-max-preview 为预览版本，限时活动期间 Credits 消耗低至 1 折（相当于 10 倍用量），每晚 22:00–次日 08:00 另享 2 折（即 0.2 折）。预览期结束后该模型会下线或替换为正式版本，活动规则以最新页面公告为准。 -| 套餐 / 协议 | Base URL | -| --- | --- | -| Token Plan · OpenAI 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | -| Token Plan · Anthropic 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | -| Coding Plan · OpenAI 兼容 | `https://coding.dashscope.aliyuncs.com/v1` | -| Coding Plan · Anthropic 兼容 | `https://coding.dashscope.aliyuncs.com/apps/anthropic` | -| 按量付费 · OpenAI 兼容 | `https://dashscope.aliyuncs.com/compatible-mode/v1` | +### 快速开始（个人版） -> **注意**：Token Plan、Coding Plan、按量付费三者的 API Key 与 Base URL 必须配套使用。混用会导致走按量计费通道产生意外扣费，或返回 401/403 鉴权失败。 +参见 [快速开始（个人版）](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md)，三步完成接入： -## 工具调用与扩展能力 +1. **订阅**：访问购买页，选择套餐和周期。RAM 用户需主账号授予 `AliyunTokenPlanReadOnlyAccess` 或 `AliyunTokenPlanFullAccess` 策略，并在百炼控制台账号管理页面分配权限。 +2. **获取凭证**：API Key（格式 `sk-sp-xxxxx`，仅生成时完整显示一次）+ Base URL。 -- **模型内置工具**：qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.6-flash 通过 Responses API 内置联网搜索、代码解释器、网页抓取、以图搜图、文搜图 5 个工具，不额外收费，token 消耗统一从套餐 Credits 抵扣。 -- **MCP 服务**：其他模型（如 deepseek-v3.2、glm-5）通过百炼 MCP 广场接入工具。联网搜索 MCP 前 2000 次调用免费，之后按 29 元/千次计费。接入 MCP 用的是**百炼通用 API Key（`sk-xxx`）**，而非套餐专属 Key。 -- **图像生成模型**：不在文本模型清单展示，需通过工具的 Skill / Slash Command / Agent 机制调用 `multimodal-generation` API，详见 [接入多模态生成模型](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md)。 -- **视觉理解**：qwen3.6-plus、qwen3.5-plus、kimi-k2.5 原生支持视觉；glm-5、MiniMax-M2.5 等纯文本模型可通过 Skill/Agent 辅助获得视觉能力。OpenCode/OpenClaw 需在配置中显式声明 `modalities`/`input` 为 `["text","image"]`。 + | 协议 | Base URL | + |------|---------| + | OpenAI 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | + | Anthropic 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | -## Credits 计费与额度 +3. **接入工具**：将 API Key 和 Base URL 填入 Claude Code、Cursor、Qwen Code、Qoder 等工具的配置中。 -Token Plan 团队版单次请求消耗的 Credits **并非固定值**，由模型类型、Token 用量、思考模式及工具调用动态决定。多轮对话中上下文持续累积，消耗会随之上升；部分模型按上下文长度阶梯计费，长上下文可能进入更高价位档。 +> **注意**：Token Plan 的 API Key 以 `sk-sp-` 开头，与百炼通用 API Key（`sk-` 开头）格式不同，两者不可混用。若误用通用 Key 会走按量计费通道产生额外扣费，或返回 401/403 错误。 -抵扣顺序：坐席套餐月度额度 → 共享用量包（多个时优先扣最近到期的）→ 全部用尽后服务暂停至下一计费周期。 +## 团队版 -> **注意**：续费/续订只延长有效期或预定下期额度，**不会叠加补充到当前计费周期**。当期额度用尽需立即恢复时，应购买共享用量包、升级坐席或加购坐席（加购后需分配给成员才能使用）。 +### 套餐档位与定价 -控制消耗建议：任务切换时及时开启新会话、清理无关历史；对长文档/大代码库按需拆分输入；在控制台订阅页用量明细关注实时消耗趋势。 +| 坐席类型 | 价格（限时） | 月度额度 | 适用场景 | +|----------|------------|---------|---------| +| 标准坐席 | 150 元/坐席/月 | 25,000 Credits | 轻度 AI 辅助 | +| 高级坐席 | 550 元/坐席/月 | 100,000 Credits | 日常高频使用 | +| 尊享坐席 | 1,398 元/坐席/月 | 250,000 Credits | 重度核心开发者 | +| 共享用量包 | 5,000 元/个 | 625,000 Credits（1 个月有效） | 坐席超额补充 | -## 常见报错速查 +团队版采用**固定月额度**，无 5 小时/7 天窗口限制。坐席额度到期清零，不结转。持有多个共享用量包时优先抵扣最近到期的。 + +限时优惠仅适用于包月订阅的新购、续费和自动续费，包年订阅和升级坐席不参与。 + +### 支持的模型（团队版） + +团队版在个人版基础上额外支持更多模型： + +| 品牌 | 模型 ID | 能力 | +|------|---------|------| +| 千问 | qwen3.7-plus、qwen3.6-plus、qwen3.6-flash | 推理、视觉理解、文本生成 | +| 千问 | qwen-image-2.0 / qwen-image-2.0-pro | 图片生成 | +| DeepSeek | deepseek-v4-flash、deepseek-v3.2 | 推理、文本生成 | +| 月之暗面 | kimi-k2.7-code、kimi-k2.6、kimi-k2.5 | 推理、视觉理解、文本生成 | +| 智谱 AI | glm-5.2、glm-5.1、glm-5 | 推理、文本生成 | +| MiniMax | MiniMax-M2.5 | 推理、文本生成 | + +完整模型列表和 Credits 抵扣系数见控制台模型列表页面，以实时列表为准。 + +### 团队管理 + +团队版提供完整的成员管理后台，支持： + +- **添加成员**：手动添加（仅 API 调用）或通过 SSO（SAML 2.0）/钉钉登录自动加入。 +- **席位操作**：分配、回收、加购、升级席位；加购席位费用按剩余时长折算。 +- **角色权限**：所有者 > 管理员 > 成员，成员只能使用分配的 API Key 调用模型。 +- **用量分析**：查看近 1/7/30 天趋势、各模型用量和每个成员消耗明细。 + +详细的 SSO/钉钉配置步骤见 [团队管理](../../raw/model-user-guide/token-plan-guide/token-plan-team.md)。 + +## Harness 工具 + +Token Plan 支持的部分 Qwen 模型内置 Harness 工具，无需额外配置，模型根据上下文自动调用。调用按成功次数从套餐 Credits 中抵扣。 + +| 工具 | 说明 | +|------|------| +| 联网搜索（web_search） | 检索互联网实时信息 | +| 代码解释器（code_interpreter） | 沙箱运行 Python，用于计算/数据分析 | +| 网页抓取（web_extractor） | 访问指定 URL 提取内容 | +| 文搜图（t2i_search） | 按文本描述搜索相关图片 | +| 以图搜图（i2i_search） | 按输入图片搜索视觉相似图片 | + +**当前支持 Harness 的模型**（个人版和团队版相同）： -- **401 Invalid API-key / invalid access token**：误用了通用 Key 或其他套餐的 Key/Base URL、订阅过期、或 Key 复制不完整含空格。核对套餐专属 Key 与配套 Base URL，必要时重置。 -- **404 model not found / model not [support](support.md)ed**：模型名拼写或大小写错误，或不在套餐白名单内。 -- **400 url error / Range of input length**：Base URL 路径与协议不匹配（Anthropic 端点以 `/apps/anthropic` 结尾，OpenAI 端点以 `/compatible-mode/v1` 或 `/v1` 结尾），或输入超出上下文长度（新建会话或切换更长上下文模型）。 -- **429 quota exceeded**：套餐额度用尽（加购/等待重置）或触发 TPS/TPM 限流（限流按主账号维度合并计算，等待约一分钟后平滑重试）。 -- **Coding Plan 限额类**：`hour/week/month allocated quota exceeded` 分别对应每 5 小时（滚动恢复）、每周一 00:00 重置、每月订阅日重置。 +| 模型 | 支持的工具 | +|------|-----------| +| qwen3.8-max-preview | 联网搜索、代码解释器、网页抓取、以图搜图、文搜图 | +| qwen3.7-max | 联网搜索、代码解释器、网页抓取 | +| qwen3.7-plus | 联网搜索、代码解释器、网页抓取、以图搜图、文搜图 | -完整报错表见 [Token Plan 常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-faq.md) 与 [Coding Plan 常见问题](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md)。 +> **注意**：Harness 工具仅适用于 Token Plan，不适用于 Coding Plan。当前仅 qwen3.7 和 qwen3.8 系列模型支持原生 Harness 工具调用（通过 Responses API）。 -## 团队管理与使用限制 +对于需要通过 MCP 扩展联网搜索的工具（如 Qwen Code、Claude Code），需使用百炼通用 API Key（`sk-xxx` 格式，非 Token Plan 专属 Key）单独开通联网搜索 MCP 服务，前 2000 次调用免费，之后按 29 元/千次计费。 + +## [多模态](../concepts/multimodal.md)生成模型接入 + +图像生成和视频生成模型使用独立接口（非标准对话接口），需通过工具的扩展机制（Skill / Slash Command / Agent）接入。 + +**图像生成接口**： +``` +POST https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation +Authorization: Bearer +``` + +**视频生成接口**（异步，流程：提交任务 → 轮询状态 → 下载）： +``` +POST https://token-plan.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis +X-DashScope-Async: enable +Authorization: Bearer +``` + +各工具的扩展机制和配置路径： + +| 工具 | 扩展机制 | 配置路径 | +|------|---------|---------| +| Claude Code | Slash Command | `.claude/commands/text-to-image.md` | +| Qoder | Skill | `~/.qoder/skills/text-to-image/SKILL.md` | +| Qwen Code | Skill | `~/.qwen/skills/text-to-image/SKILL.md` | +| OpenCode | Agent | `.opencode/agents/text-to-image.md` | + +详细配置示例见 [接入多模态生成模型](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md)。 + +## 视觉理解能力 + +部分模型（qwen3.7-plus、qwen3.6-plus、kimi-k2.5 等）原生支持视觉理解，可直接传入图片。对于不支持视觉的模型（glm-5、MiniMax-M2.5 等），可通过配置 Skill/Agent（底层委托视觉模型处理）获得视觉能力。 + +在 OpenCode 中使用视觉模型时，需在配置文件中为模型显式声明 `modalities: { input: ["text", "image"] }`，否则视觉能力不生效。 + +## 使用限制 + +1. **严禁 API 自动化调用**：Token Plan 仅限在编程工具和智能体工具中交互式使用，禁止用于自动化脚本、应用后端或批量调用。违规使用可能导致订阅暂停或 API Key 封禁。 +2. **账号专属**：API Key 仅限订阅人本人使用，不允许共享。团队版每个席位对应一个成员和一个 API Key。 +3. **地域限制**：当前仅支持华北2（北京）地域。 +4. **个人版购买限制**：同一实名认证主体限购一份；不支持退订；不支持降配。 +5. **团队版**：已有用量消耗的席位不可退订；不支持降配；续费不可更换订阅时长。 + +## 常见报错速查 -- **角色**：所有者、管理员（权限同所有者，可被移除/降级）、成员（仅使用分配的 Key 调用）。 -- **成员接入**：支持手动添加（仅供 API 调用）、SAML 2.0（SSO）、钉钉登录三种方式。 -- **席位操作**：分配后自动生成 API Key；回收后席位释放、原 Key 失效；加购/升级按剩余时长折算费用；退订按席位维度，已消耗用量的席位不可退订。 -- **使用范围**：仅限在兼容的 AI 编程和智能体工具中**交互式**使用，禁止用于自动化脚本或应用后端，违规可能导致订阅暂停或 API Key 封禁。 +| 报错 | 常见原因 | 解决方案 | +|------|---------|---------| +| 401 InvalidApiKey | 误用通用 API Key 或 Key 过期 | 使用 `sk-sp-` 开头的 Token Plan 专属 Key | +| 403 / 404 | Base URL 错误 | 检查使用正确的 Token Plan Base URL | +| 404 model 'xxx' not found | 模型名称拼写错误或不在支持列表 | 严格匹配模型 ID，区分大小写 | +| 429 Allocated quota exceeded | 5 小时/7 天/月度额度用尽 | 等待窗口重置、升级套餐或购买共享用量包 | +| hour/week/month allocated quota exceeded | 对应周期额度耗尽 | 等待对应周期自动重置 | +| Connection closed mid-response | 网络波动或本地代理中断长连接 | 关闭 VPN/代理后重试，或新建会话 | -> **注意**：Token Plan 团队版目前仅支持**华北2（北京）**地域；每个阿里云账号限购一个订阅，共享用量包需先订阅坐席套餐后才能购买、有效期 1 个月且到期清零。 +个人版和团队版的详细常见问题分别见 [常见问题（个人版）](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md) 和 [常见问题（团队版）](../../raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-faq.md)。 ## 来源文档 -- [Token Plan（团队版）概述](../../raw/model-user-guide/token-plan-guide/token-plan-overview.md) -- [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-quickstart.md) +- [Token Plan 概述](../../raw/model-user-guide/token-plan-guide/token-plan-overview.md) - [团队管理](../../raw/model-user-guide/token-plan-guide/token-plan-team.md) -- [常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-faq.md) -- [工具调用](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-tool.md) - [接入多模态生成模型](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-multimodal-gen.md) - [Coding Plan概述](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan.md) -- [联网搜索](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/web-search-for-coding-plan.md) -- [添加视觉理解能力](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/add-vision-skill.md) +- [添加视觉理解能力](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/add-vision-skill.md) - [常见问题](../../raw/model-user-guide/token-plan-guide/coding-plan-guide/coding-plan-faq.md) +- [概述](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-overview.md) +- [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-quick-start.md) +- [概述](../../raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-overview.md) +- [常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-personal/token-plan-personal-faq.md) +- [接入 Harness 工具](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/token-plan-harness-tool.md) +- [联网搜索](../../raw/model-user-guide/token-plan-guide/token-plan-best-practice/web-search-mcp.md) +- [快速开始](../../raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-quickstart.md) +- [常见问题](../../raw/model-user-guide/token-plan-guide/token-plan-team-edition/token-plan-team-faq.md) diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md b/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md index c59a6d33..ee6702bb 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/use-cases.md @@ -1,56 +1,115 @@ # use cases -本页汇总阿里云百炼平台的典型使用场景与实践指南，覆盖三大方向：Prompt 设计技巧（文生文、文生图、文生视频）、第三方/多供应商模型接入（DeepSeek、Kimi、GLM、MiniMax、MiMo、Stepfun 等），以及工程化最佳实践（RAG、限流应对、显式缓存、模型调优、端到端解决方案）。面向开发者，以下内容按主题组织，便于快速定位到对应的参数、调用方式和注意事项。 +本页汇总阿里云百炼平台的典型使用场景，涵盖 Prompt 工程、RAG 应用构建、自定义模型调优、第三方模型集成、限流与缓存优化，以及多个开箱即用的行业解决方案。面向开发者，提供关键参数、调用方式和注意事项的快速参考。 -## Prompt 设计与生成类场景 +## Prompt 工程 -针对不同模态，百炼提供了结构化的提示词方法论： +百炼提供了针对不同模态（文生文、文生图、文生视频/图生视频）的结构化 Prompt 指南，核心思路一致：用框架化结构（主体 + 场景 + 风格/运动等）替代模糊描述，描述越完整、精确，生成质量越高。 -- **文生文**：推荐使用「背景 / 目的 / 风格 / 语气 / 受众 / 输出」六要素的 Prompt 框架，任务描述越清晰具体，模型表现越贴近预期。控制台还提供 Prompt「自动优化」工具，可自动扩写和补充细节（该功能调用大模型，按推理费用计费）。详见 [文生文Prompt指南](../../raw/model-user-guide/use-cases/prompt-engineering-guide.md)。 -- **文生图**：核心参数为正向提示词 `prompt`、反向提示词 `negative_prompt`；文生图 V2 额外支持 `prompt_extend`（默认 `true`，开启大模型智能改写）。提示词公式分基础版（主体 + 场景 + 风格）与进阶版（增加镜头语言、氛围词、细节修饰），并配有景别、视角、风格、光线等提示词词典。详见 [文生图Prompt指南](../../raw/model-user-guide/use-cases/text-to-image-prompt.md)。 -- **文生视频 / 图生视频**：正向提示词描述画面内容与运动过程。基础公式为「主体 + 场景 + 运动」，进阶公式增加「美学控制 + 风格化」，图生视频则以「运动 + 运镜」为主。较新的 wan2.7 / wan2.6 还支持声音公式（人声/音效/BGM）、多镜头公式（镜头序号 + 时间戳 + 分镜内容）和参考生视频公式。详见 [文生视频/图生视频Prompt指南](../../raw/model-user-guide/use-cases/text-to-video-prompt.md)；第三方视频模型可参考 [Vidu视频生成Prompt指南](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/vidu-video-generation-prompt-guide.md)（含大动态、运镜、风格等触发关键词词典）。 +### 文生文 -> **注意**：wan2.7 模型不再支持通过 `shot_type` 指定单镜头/多镜头，改由模型结合提示词自行发挥；如需一镜到底，中文写「生成单镜头」、英文写「Generate single shot.」。 +文生文 Prompt 推荐使用"背景、目的、风格、语气、受众、输出"六要素框架，可在 [文生文Prompt指南](../../raw/model-user-guide/use-cases/prompt-engineering-guide.md) 中查看完整示例。百炼控制台提供 Prompt 一键自动优化工具（消耗 [Token](../concepts/token.md) [计费](../concepts/billing.md)），适合快速扩写和细化初稿。 -## 第三方与多供应商模型接入 +### 文生图 -多篇教程介绍了在百炼平台通过 **[OpenAI 兼容接口](../concepts/openai-compatible-interface.md)** 或 **DashScope SDK** 调用第三方模型，通用要点如下： +文生图 Prompt 分基础公式（主体 + 场景 + 风格）和进阶公式（主体描述 + 场景描述 + 定义风格 + 镜头语言 + 氛围词 + 细节修饰），V2 支持 `prompt_extend` 智能改写和 `negative_prompt` 反向提示词。详见 [文生图Prompt指南](../../raw/model-user-guide/use-cases/text-to-image-prompt.md)。 -- **前置条件**：先[获取 API Key](https://help.aliyun.com/zh/model-studio/get-api-key) 并配置到环境变量；部分模型需在控制台模型广场「立即开通」后才能调用。 -- **思考模式**：多数模型通过 `enable_thinking` 参数控制是否输出推理过程（`reasoning_content`）。注意 `enable_thinking` 非 OpenAI 标准参数——OpenAI Python SDK 需通过 `extra_body` 传入，Node.js SDK 作为顶层参数传入。 -- **地域差异**：不同地域的 Base URL 不同，部分供应商（硅基流动、快手万擎、月之暗面、智谱、MiniMax、小米、阶跃星辰）仅限特定地域（多为华北2（北京））。详见 [DeepSeek-阿里云](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/deepseek-api.md) 与 [Kimi](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api.md)。 +### 文生视频 -各供应商的默认思考模式行为并不一致，接入时需按模型区分： +视频 Prompt 在图像基础上增加"运动"维度，进阶公式为"主体描述 + 场景描述 + 运动描述 + 美学控制 + 风格化"。万相 2.7/2.6 支持多镜头连贯叙事（通过镜头序号 + 时间戳 + 分镜内容控制）和参考生视频（通过"图n"/"视频n"指代参考素材）。详见 [文生视频/图生视频Prompt指南](../../raw/model-user-guide/use-cases/text-to-video-prompt.md)。 -- **默认开启思考**：`mimo-v2.5-pro`（[MiMo-小米](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/mimo.md)）、`kimi/kimi-k2.6`/`kimi-k2.5` 默认开启，可关闭。 -- **仅思考模型**：`kimi/kimi-k2.7-code` 系列 `enable_thinking` 始终为 `true`，无法关闭；`kimi-k2.7-code-highspeed` 功能与 `kimi-k2.7-code` 一致但速度提升 5~6 倍（见 [Kimi-月之暗面](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/kimi-api-by-moonshot-ai.md)）。 -- **默认关闭思考**：`stepfun/step-3.7-flash` 默认关闭，需显式开启，并可用 `reasoning_effort`（`low`/`medium`/`high`）控制深度。 -- **供应商差异**：同为 DeepSeek，硅基流动供应商支持更长上下文；阿里云百炼供应商限流更宽松，并支持联网搜索与上下文缓存。GLM 智谱直供的 `glm-5.2` 支持 1M 上下文，并可用 `reasoning_effort`（`max`/`high`/`none`）。 +### Vidu 视频生成 -> **注意**：多篇教程标注 deepseek-v3/v3.1/v3.2/r1 系列、`MoonshotKimi-K2` 与 `kimi-k2-thinking`、`glm-4.6`/`glm-4.7`、`MiniMax-M2.1` 等模型将于 **2026年7月9日** 下架，推荐转用 `qwen3.7-plus` / `qwen3.7-max` / `qwen3.6-flash`。同时不同教程示例中出现的模型版本号存在差异（如 deepseek-v3.2 与 deepseek-v4-pro、MiniMax-M2.5 与 MiniMax-M2.7、kimi-k2.5 与 kimi-k2.7），以模型广场实际可用列表为准。 +Vidu 提供独立的提示词体系，公式为"主体/场景 + 场景描述 + 环境描述 + 艺术风格/媒介"，并通过关键词词典触发动态控制（大动态/中动态/小动态）、运镜（推/拉/左移/右移/航拍/微距等）、画面风格和特效。详见 [Vidu视频生成Prompt指南](../../raw/model-user-guide/use-cases/third-party-model-integration-tutorial/vidu-video-generation-prompt-guide.md)。 -## RAG 与知识库 +## RAG 应用构建 -[基于LlamaIndex构建RAG应用](../../raw/model-user-guide/use-cases/build-rag-applications-based-on-llamaindex.md) 演示了在 LlamaIndex 中使用百炼检索增强服务的完整链路： +百炼支持通过 LlamaIndex 集成检索增强服务。核心流程：使用 `DashScopeParse` 解析文档（支持 .doc/.docx/.pdf，单文件 ≤100M、≤1000 页）→ `DashScopeCloudIndex.from_documents()` 创建知识库 → `as_retriever()` 或 `as_query_engine()` 查询。前提条件为已获取 [API Key](../concepts/api-key.md)、开通知识库服务，并安装 `llama-index-indices-managed-dashscope` 等包（Python ≥3.8 且 ≤3.12）。详见 [基于LlamaIndex构建RAG应用](../../raw/model-user-guide/use-cases/build-rag-applications-based-on-llamaindex.md)。 -- 安装 `llama-index-core`、`llama-index-llms-dashscope`、`llama-index-indices-managed-dashscope`（Python 版本要求 >=3.8 且 <=3.12）。 -- 使用 `DashScopeParse` 在线解析 .doc/.docx/.pdf 文件（单文件 <100M、页数 <1000），再通过 `DashScopeCloudIndex.from_documents` 创建知识库，`index.as_retriever()` / `index.as_query_engine()` 获取检索器与查询引擎。 +## 自定义模型调优 -## 工程化最佳实践 +自定义模型流程分三步：**模型调优**（准备 Prompt-Completion 格式训练数据，建议至少 500 条）→ **模型部署**（部署到独占实例后方可调用）→ **模型评测**（评测已部署模型，不满意可调整训练策略重来）。训练数据需注意来源多样化、质量控制和类型平衡，并做脱敏处理。[计费](../concepts/billing.md)涵盖调优、部署和评测三个环节。详见 [自定义模型调优、部署与评测](../../raw/model-user-guide/use-cases/model-training-best-practices.md)。 -- **限流应对**：百炼 API 按 RPM/TPM（分钟级）、RPS/TPS（瞬时）、Traffic Burst（增速）三种规则限流，按主账号维度、模型独立计算，触发后通常 1 分钟恢复。方案按改动成本由低到高分为平台配置（服务端排队等待、提升额度、PTU、Batch API）、客户端流控（重试、令牌桶、平滑限速、自适应拥塞控制）、架构兜底（模型降级、MQ 削峰）。针对突发限流推荐首选在请求头添加 `X-DashScope-Wait-Timeout`（建议 3~120 秒），并相应调大客户端超时时间。详见 [限流应对最佳实践](../../raw/model-user-guide/use-cases/rate-limiting-best-practices.md)。 -- **显式缓存**：通过在请求中添加缓存标记实现 100% 确定性命中，适合高频复用相同 Prompt、长上下文 Agent 等场景。首次写入约产生标准价格 25% 的额外开销，后续命中可节省约 90% 成本。Claude Code、OpenCode、OpenClaw 等工具通过 Anthropic 兼容端点（`/apps/anthropic`）接入时原生支持。详见 [显式缓存最佳实践](../../raw/model-user-guide/use-cases/explicit-cache-guide.md)。 -- **自定义模型**：创建自定义模型分为模型调优、模型部署、模型评测三个主步骤，配套训练数据准备、评测模板设计、调整训练策略。数据需编排为「Prompt-Completion」格式，建议至少准备 500 条并做脱敏处理。注意**调优后的模型必须先部署才能调用和评测**。详见 [自定义模型调优、部署与评测](../../raw/model-user-guide/use-cases/model-training-best-practices.md)。 +## 第三方模型集成 -## 端到端解决方案 +百炼支持多家第三方模型供应商，统一通过 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)或 [DashScope SDK](../concepts/dashscope-sdk.md) 调用，`base_url` 通常为 `https://dashscope.aliyuncs.com/compatible-mode/v1`（华北2北京地域）。 -多篇实践方案展示了如何组合百炼模型能力构建完整应用，多数基于函数计算 FC、开箱即用并提供免费试用额度： +### 可用模型与供应商 -- **文档转视频**：结合大模型与多模态技术，将文档自动切片、生成演示文稿、语音字幕并合成视频，依赖 FFmpeg 与 Marp 工具，提供完整代码包。详见 [借助大模型将文档转换为视频](../../raw/model-user-guide/use-cases/use-llm-to-convert-document-to-video.md)。 -- **AI 智能体与工作流**：以 AI 电商客服为例，覆盖智能问答、RAG、自主决策 Agent、对话流四种应用形态（[高效搭建 AI 智能体与工作流应用](../../raw/model-user-guide/use-cases/build-ai-applications-based-on-alibaba-cloud-model-studio.md)）。 -- **视觉创作平台**：集成 Wan2.7 图像生成与 HappyHorse 视频生成，提供节点式编排、AI 导演与在线剪辑（[HappyHorse 打造一站式影视创作平台](../../raw/model-user-guide/use-cases/infinite-canvas.md)）。 -- **深度研究报告**：Qwen-Deep-Research 自动规划检索路径、多源交叉验证并生成结构化洞察报告（[深度研究：生成你的独家洞察报告](../../raw/model-user-guide/use-cases/deep-research.md)）。 -- **AI 解题批改**：基于 Qwen3-VL 视觉模型实现拍照解题与作业自动批改，支持 33 种语言（[AI 解题 + 批改：推动课程教学智变](../../raw/model-user-guide/use-cases/ai-homework-helper.md)）。 +| 供应商 | 模型前缀 | 最新模型示例 | 思考模式参数 | +| --- | --- | --- | --- | +| 阿里云 | `deepseek-` | `deepseek-v4-pro` | `enable_thinking` | +| 硅基流动 | `siliconflow/` | `siliconflow/deepseek-v3.2` | `enable_thinking`（`extra_body`） | +| 快手万擎 | `vanchin/` | `vanchin/deepseek-v4-pro` | `enable_thinking`（`extra_body`） | +| 月之暗面 | `kimi/` | `kimi/kimi-k3` | `reasoning_effort`（`max`/`high`/`none`） | +| 智谱 | `ZHIPU/` | `ZHIPU/GLM-5.2` | `enable_thinking` + `reasoning_effort` | +| MiniMax | `MiniMax/` | `MiniMax/MiniMax-M2.7` | 默认输出思考过程 | +| 小米 | `xiaomi/` | `xiaomi/mimo-v2.5-pro` | `enable_thinking`（默认 `true`） | +| 阶跃星辰 | `stepfun/` | `stepfun/step-3.7-flash` | `enable_thinking` + `reasoning_effort`（`low`/`medium`/`high`） | + +> **注意**：`enable_thinking` 和 `reasoning_effort` 均非 OpenAI 标准参数。Python SDK 需通过 `extra_body` 传入，Node.js SDK 可作为顶层参数传入。 + +> **注意**：多篇文档标注了模型下架时间。DeepSeek 系列（v3/v3.1/v3.2/r1 等）将于 2026年10月10日下架；Kimi-K2-Instruct、kimi-k2-thinking、glm-4.6/4.7、MiniMax-M2.1 将于 2026年7月9日下架。推荐转用 qwen3.7-plus / qwen3.7-max / qwen3.6-flash。 + +### 地域与接入地址 + +不同地域的 `base_url` 不同。华北2（北京）通用域名为 `https://dashscope.aliyuncs.com`；美国（弗吉尼亚）为 `https://dashscope-us.aliyuncs.com`；新加坡、德国（法兰克福）、日本（东京）需使用 `{WorkspaceId}..maas.aliyuncs.com` 格式域名。部分供应商（硅基流动、快手万擎、智谱直供、MiniMax 直供、小米、阶跃星辰）仅在华北2（北京）地域可用。华北2（北京）还推出了[业务空间](../concepts/workspace.md)专属域名 `https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com`，可提供更高性能和稳定性。 + +### 思考模式调用示例 + +以 DeepSeek（阿里云供应商）为例，通过 [OpenAI 兼容接口](../concepts/openai-compatible-interface.md)开启思考模式： + +```python +from openai import OpenAI +import os + +client = OpenAI( + api_key=os.getenv("DASHSCOPE_API_KEY"), + base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", +) +completion = client.chat.completions.create( + model="deepseek-v4-pro", + messages=[{"role": "user", "content": "你是谁"}], + extra_body={"enable_thinking": True}, + stream=True, +) +for chunk in completion: + delta = chunk.choices[0].delta + if hasattr(delta, "reasoning_content") and delta.reasoning_content: + print(delta.reasoning_content, end="", flush=True) + if hasattr(delta, "content") and delta.content: + print(delta.content, end="", flush=True) +``` + +## 限流与缓存优化 + +### 限流应对 + +百炼 API 按主账号、模型维度独立限流，分 RPM/TPM（分钟级配额）、RPS/TPS（瞬时频率）、Traffic Burst（增速限制）三种规则。推荐应对策略： + +- **服务端排队等待**（首选，改动最小）：请求头添加 `X-DashScope-Wait-Timeout: 30`，适用于增速/突发限流，不适用于 RPM/TPM 绝对值限流。 +- **客户端流控**：从基础重试 → 令牌桶/并发信号量 → 双重令牌桶（同时限制 RPM 和 TPM）→ 自适应拥塞控制，按复杂度递进。 +- **架构兜底**：模型降级（Fallback）、基于消息队列（MQ）削峰填谷。 + +详见 [限流应对最佳实践](../../raw/model-user-guide/use-cases/rate-limiting-best-practices.md)。 + +### 显式缓存 + +显式缓存通过在请求中添加 `cache_control` 标记，实现 100% 确定性命中缓存（不受后端调度影响）。首次写入缓存额外 25% 开销，后续命中节省 90% 成本。适用于高频复用相同 Prompt、工业级 Agent 长上下文管理等场景。Claude Code、OpenCode、OpenClaw 等工具可通过 Anthropic 兼容端点自动启用，无需额外配置。详见 [显式缓存最佳实践](../../raw/model-user-guide/use-cases/explicit-cache-guide.md)。 + +## 行业解决方案 + +百炼提供多个基于函数计算（FC）的开箱即用方案，支持快速部署： + +| 方案 | 核心能力 | 预计成本 | 参考文档 | +| --- | --- | --- | --- | +| 文档转视频 | LLM 切片 + 演示文稿生成 + 语音字幕 + 视频合成，依赖 FFmpeg 和 Marp | — | [借助大模型将文档转换为视频](../../raw/model-user-guide/use-cases/use-llm-to-convert-document-to-video.md) | +| HappyHorse 影视创作 | 节点式可视化编排 + AI 导演对话 + Wan2.7 图像/HappyHorse 视频 | 约 30 元 | [HappyHorse 打造一站式影视创作平台](../../raw/model-user-guide/use-cases/infinite-canvas.md) | +| AI 智能体与[工作流](../concepts/workflow.md) | 智能问答/RAG/Agent/对话流四种电商客服应用 | 0.3 元/小时 | [高效搭建 AI 智能体与工作流应用](../../raw/model-user-guide/use-cases/build-ai-applications-based-on-alibaba-cloud-model-studio.md) | +| 深度研究 | Qwen-Deep-Research 自动规划检索路径 + 多源交叉验证 + 结构化报告 | 约 6 元 | [深度研究：生成你的独家洞察报告](../../raw/model-user-guide/use-cases/deep-research.md) | +| AI 解题与批改 | Qwen3-VL 视觉模型，拍照解题 + 自动批改，支持 33 种语言 | 约 1 元 | [AI 解题 + 批改：推动课程教学智变](../../raw/model-user-guide/use-cases/ai-homework-helper.md) | + +> **注意**：上述成本为体验流程预估，阿里云百炼和函数计算提供免费试用额度。实际费用以控制台显示为准。 ## 来源文档 @@ -82,3 +141,7 @@ + + + + diff --git a/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md b/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md index 6f73a29b..0e06bea3 100644 --- a/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md +++ b/skills/bailian-docs-llm-wiki/wiki/guides/use-chat-client-or-development-tool.md @@ -1,65 +1,165 @@ # use chat client or development tool -阿里云百炼支持将平台上的模型接入各类第三方 AI 聊天客户端、编程工具与应用开发平台。这些工具本身不由百炼提供，接入方式统一为「填入 Base URL + API Key + 模型 ID」，通过 **OpenAI 兼容协议**或 **Anthropic 兼容协议**访问百炼网关。本文汇总不同工具的接入要点、共用的凭证规则以及常见限制。 +阿里云百炼支持将平台上的模型接入多种第三方聊天客户端和开发工具，包括终端 AI 编程工具、IDE 插件、桌面聊天客户端以及应用开发平台。所有工具均通过配置 Base URL 和 API Key 完成接入，支持 OpenAI 兼容协议或 Anthropic 兼容协议，按量计费、Coding Plan、Token Plan 个人版和 Token Plan 团队版四种计费方案均适用。 -## 支持的工具类型 +## 计费方案与 Base URL -按形态大致分为三类： +各计费方案的 Base URL 和 API Key 获取地址如下： -- **终端 / CLI 编程工具**：[Hermes Agent](../../raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md)、[Claude Code](../../raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md)、[OpenCode](../../raw/model-user-guide/use-chat-client-or-development-tool/opencode.md)、[Codex](../../raw/model-user-guide/use-chat-client-or-development-tool/codex.md)、[Qwen Code](../../raw/model-user-guide/use-chat-client-or-development-tool/qwen-code.md)、[Kilo CLI](../../raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md)、Qoder CLI。 -- **IDE / 编辑器插件**：[Cursor](../../raw/model-user-guide/use-chat-client-or-development-tool/cursor.md)、[Cline](../../raw/model-user-guide/use-chat-client-or-development-tool/cline.md)（VSCode）、Qoder（IDE / JetBrains 插件）、Qoder CN（原 Lingma）。 -- **桌面 / 跨平台聊天客户端与助手**：[Cherry Studio](../../raw/model-user-guide/use-chat-client-or-development-tool/cherry-studio.md)、[Chatbox](../../raw/model-user-guide/use-chat-client-or-development-tool/chatbox.md)、[OpenClaw](../../raw/model-user-guide/use-chat-client-or-development-tool/openclaw.md)、QwenPaw。 -- **应用开发 / 工作流平台**：[Dify](../../raw/model-user-guide/use-chat-client-or-development-tool/dify.md)。 +| 计费方案 | API 协议 | Base URL | +|---|---|---| +| Token Plan 个人版/团队版 | OpenAI 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | +| Token Plan 个人版/团队版 | Anthropic 兼容 | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | +| Coding Plan | OpenAI 兼容 | `https://coding.dashscope.aliyuncs.com/v1` | +| Coding Plan | Anthropic 兼容 | `https://coding.dashscope.aliyuncs.com/apps/anthropic` | +| 按量计费（华北2·北京） | OpenAI 兼容 | `https://dashscope.aliyuncs.com/compatible-mode/v1` | +| 按量计费（新加坡） | OpenAI 兼容 | `https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1` | +| 按量计费（美国·弗吉尼亚） | OpenAI 兼容 | `https://dashscope-us.aliyuncs.com/compatible-mode/v1` | -此外，任何兼容 OpenAI / Anthropic 协议且支持自定义服务端点的工具（如 Trae）都可参照[更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md)接入。若只想快速验证图像/视频生成 API，可用 [Postman 或 cURL](../../raw/model-user-guide/use-chat-client-or-development-tool/first-call-to-image-and-video-api.md) 直接调用。 +**不同计费方案的 API Key 互不通用**，请确保 API Key 与 Base URL 来自同一方案和地域。 -## 三种计费方案与凭证 +> **注意**：Token Plan 个人版、Token Plan 团队版和 Coding Plan **仅限在 AI 编程工具和 OpenClaw 类型 Agent 中使用**，不支持接入工作流/自动化平台（如 n8n、Coze）、API 测试工具（如 Postman）以及自定义应用程序后端代码。Dify 需使用按量计费方案接入。参见 [更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md)。 -绝大多数工具的接入差异只在「Base URL 属于哪个方案」。百炼提供三种计费方案，各自有独立的 API Key，**互不通用**： +## 终端 AI 编程工具 -| 方案 | 说明 | OpenAI 兼容 Base URL | Anthropic 兼容 Base URL | -| --- | --- | --- | --- | -| Token Plan 团队版 | 按坐席订阅，按 token 消耗抵扣 Credits | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | `https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic` | -| Coding Plan | 固定月费订阅，按模型调用次数计量 | `https://coding.dashscope.aliyuncs.com/v1` | `https://coding.dashscope.aliyuncs.com/apps/anthropic` | -| 按量计费（华北2·北京） | 按实际调用量后付费 | `https://dashscope.aliyuncs.com/compatible-mode/v1` | `https://dashscope.aliyuncs.com/apps/anthropic` | +以下工具均为命令行/终端方式运行，通过配置文件设置 Base URL 和 API Key： -按量计费还支持多地域，需保证 API Key 与 Base URL 地域一致： +### Hermes Agent -- 新加坡：`https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1`（`WorkspaceId` 替换为真实值） -- 美国（弗吉尼亚）：`https://dashscope-us.aliyuncs.com/compatible-mode/v1` +通过安装脚本安装，支持 Anthropic 兼容协议和 OpenAI 兼容协议。配置文件位于 `~/.hermes/config.yaml`，桌面版（Hermes Desktop）与命令行版共用同一配置。Windows 需在 WSL2 中运行。详见 [Hermes Agent](../../raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md)。 -> **注意**：OpenAI 协议的 Base URL 以 `/compatible-mode/v1`（或 `/v1`）结尾，Anthropic 协议以 `/apps/anthropic` 结尾。部分工具（如 OpenCode、Kilo CLI）要求在 Anthropic 端点后再追加 `/v1`。以各工具原文为准。 +```yaml +model: + default: qwen3.8-max-preview + provider: custom + base_url: https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic + api_mode: anthropic_messages + api_key: YOUR_API_KEY +``` -## 协议选择与配置形态 +### Claude Code -不同工具选用的协议和配置载体各异： +Anthropic 推出的命令行编程助手，需 Node.js v18+。配置文件为 `~/.claude/settings.json`，通过环境变量注入接入参数，Windows 需在 WSL 或 Git Bash 中使用。初次使用需编辑 `~/.claude.json` 将 `hasCompletedOnboarding` 设为 `true` 跳过官方登录。详见 [Claude Code](../../raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md)。 -- **Anthropic 协议**：[Claude Code](../../raw/model-user-guide/use-chat-client-or-development-tool/claude-code.md) 通过 `~/.claude/settings.json` 的 `ANTHROPIC_BASE_URL` / `ANTHROPIC_AUTH_TOKEN` 环境变量配置；[Hermes Agent](../../raw/model-user-guide/use-chat-client-or-development-tool/hermes-agent.md) 默认使用 Anthropic 协议（`api_mode: anthropic_messages`），也可切到 OpenAI 协议。 -- **OpenAI 协议**：[Cursor](../../raw/model-user-guide/use-chat-client-or-development-tool/cursor.md)、[Cline](../../raw/model-user-guide/use-chat-client-or-development-tool/cline.md)、Cherry Studio、Chatbox 等在 GUI 中选择「OpenAI Compatible / 兼容」并填入 Base URL、API Key、模型 ID。 -- **配置文件**：Hermes（`~/.hermes/config.yaml`）、OpenCode（`~/.config/opencode/opencode.json`）、Kilo CLI（`~/.config/kilo/config.json`）、Qwen Code（`~/.qwen/settings.json`）、Codex（`~/.codex/config.toml` + `OPENAI_API_KEY` 环境变量）。 -- **原生下拉选择**：Qoder / Qoder CN 在设置中选择「阿里云百炼 - 国内」提供商 + 计费方案「类型」，仅需填 API Key。 +```json +{ + "env": { + "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", + "ANTHROPIC_BASE_URL": "https://token-plan.cn-beijing.maas.aliyuncs.com/apps/anthropic", + "ANTHROPIC_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen3.6-flash", + "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.8-max-preview", + "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.8-max-preview", + "CLAUDE_CODE_SUBAGENT_MODEL": "qwen3.7-max", + "CLAUDE_CODE_MAX_CONTEXT_TOKENS": "983616" + } +} +``` -## 关键参数与注意事项 +### OpenCode -- **思考模式**：许多模型（如 Qwen3 思考模式、QwQ）需显式开启思考。OpenCode / Kilo CLI 用 `thinking.budgetTokens`，Qwen Code 用 `extra_body.enable_thinking: true`，Cline 需勾选 **Enable R1 messages format**。若报错 `enable_thinking parameter is restricted to True`，说明该模型仅支持思考模式运行，需在客户端开启。 -- **模型名称别名**：[Cursor](../../raw/model-user-guide/use-chat-client-or-development-tool/cursor.md) 因内置模型名冲突，需改写模型名，如 `kimi-k2.6` → `kimi-k2-6`、`glm-5` → `glm-5-0`。其他工具一般直接使用原始模型 ID。 -- **上下文窗口**：Claude Code 默认 200K，可通过 `CLAUDE_CODE_MAX_CONTEXT_TOKENS=1000000` 或模型名后缀 `[1m]` 扩展到 1M（需模型支持）。 -- **Codex 版本差异**：仅 qwen3.7-max/plus、qwen3.6-plus/flash 支持 Responses API（可用最新版 Codex）；其他模型需用 Chat/Completions API，须安装旧版本（如 `@openai/codex@0.80.0`）。 -- **401 认证失败**：几乎都是「API Key 与 Base URL 不属于同一方案」或「按量计费 Key 与地域不匹配」，逐项核对即可。 +需 Node.js v18+，通过 `npm install -g opencode-ai` 安装。配置文件位于 macOS/Linux 的 `~/.config/opencode/opencode.json` 或 Windows 的 `C:\Users\<用户名>\.config\opencode\opencode.json`。使用 `@ai-sdk/anthropic` npm 包接入 Anthropic 协议端点。详见 [OpenCode](../../raw/model-user-guide/use-chat-client-or-development-tool/opencode.md)。 -## 套餐使用范围限制 +### Codex -> **注意**：Token Plan 团队版与 Coding Plan **仅限**在 AI 编程工具和 OpenClaw 类 Agent 中使用。以下类型不支持接入，误用可能导致订阅暂停或 API Key 被封禁（详见[更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md)）： -> -> - 工作流/自动化平台：如 Dify、n8n、Coze 等； -> - API 测试工具：如 Postman、Insomnia 等； -> - 自定义应用程序：脚本或后端代码中直接调用 API。 +OpenAI 推出的终端编程助手，需 Node.js v18+，通过 `npm install -g @openai/codex` 安装。配置文件为 `~/.codex/config.toml`，通过环境变量 `OPENAI_API_KEY` 传递 API Key： -因此 [Dify](../../raw/model-user-guide/use-chat-client-or-development-tool/dify.md) 这类应用开发平台只能通过**按量计费**（`get-api-key` 获取的 API Key）接入，且在 Dify 中通过安装「通义千问」或「OpenAI-API-compatible」插件配置。免费额度仅适用于华北2（北京）地域，且各模型额度独立、不可跨模型共享。 +- 支持 Responses API 的模型（qwen3.8-max-preview、qwen3.7-max、qwen3.7-plus 等）可使用最新版，配置 `wire_api = "responses"`。 +- 其他模型需安装旧版（如 `@openai/codex@0.80.0`），配置 `wire_api = "chat"`。 +- 使用自定义模型时需额外创建 `~/.codex/model-catalog.local.json` 配置模型元数据。 -## 快速验证 +### Qwen Code -配置完成后统一用一句问候验证连通性，例如：`claude "你好"`、`hermes chat -q "你好"`，或在 GUI 客户端对话框发送「你好」。模型正常返回响应即表示接入成功。若为 RAM 子账号，需确保在业务空间中已获得目标模型的调用权限。 +阿里云自研编程工具，macOS/Linux 通过安装脚本安装，Windows 通过 `cmd`（管理员）安装。启动后执行 `/auth` 进行可视化配置，也可直接编辑 `~/.qwen/settings.json`（macOS/Linux）。使用 Qwen3 或 QwQ 思考模型时需在设置中开启 `enable_thinking: true`。 + +### Kilo CLI + +需 Node.js v18+，通过 `npm install -g @kilocode/cli` 安装。配置文件为 `~/.config/kilo/config.json`，使用 `@ai-sdk/openai-compatible` npm 包。详见 [Kilo CLI](../../raw/model-user-guide/use-chat-client-or-development-tool/kilo-cli.md)。 + +### OpenClaw + +开源个人 AI 助手平台，需 Node.js 22.19.0+。通过官方安装脚本或 `npm install -g openclaw@latest` 安装。配置文件位于 `~/.openclaw/openclaw.json`，支持 Anthropic 消息协议（`api: "anthropic-messages"`）接入百炼端点。 + +## IDE 插件与编程 IDE + +### Cursor + +AI 编程 IDE，在 **Cursor Settings** > **Models** 中开启 **OpenAI API Key** 和 **Override OpenAI Base URL**，填入对应方案的 API Key、Base URL 和模型名称。 + +> **注意**：Cursor 免费版仅支持 Auto 模式，**不支持自定义模型**，需升级至 Cursor Pro 及以上套餐。部分模型名称与 Cursor 内置名冲突需使用别名，如 `glm-5.2` 需写为 `glm-5-2`，`kimi-k2.6` 需写为 `kimi-k2-6`。 + +Cursor 还可通过接入百炼 CLI 扩展调用图像/视频生成等能力，安装时向 `~/.cursor/skills/bailian-cli/` 注册 Skill。 + +### Cline + +VSCode 智能编程插件，在扩展商店搜索安装后，选择 **OpenAI Compatible** 作为 API Provider，填入 Base URL、API Key 和 Model ID。使用 Qwen3 或 QwQ 思考模型需勾选 **Enable R1 messages format**。同样支持接入百炼 CLI（向 `~/.cline/skills/bailian-cli/` 注册 Skill）。 + +### Qoder + +面向软件开发的 Agentic 编码平台，支持桌面 IDE、CLI 和 JetBrains 插件三种形式： + +- **Qoder IDE**：在设置 > 模型 > 添加，选择提供商"阿里云百炼 - 国内"，按计费方案选择类型，填入 API Key。 +- **Qoder CLI**：通过 `curl -fsSL https://qoder.com/install | bash` 安装，执行 `/model` 后通过 Tab 切换至 Custom 添加自定义模型。非交互式环境可通过 `QODER_PERSONAL_ACCESS_TOKEN` 环境变量登录。 +- **JetBrains 插件**：在扩展市场安装后，通过插件设置 > 添加模型完成配置。 + +仅支持文本生成模型，不支持[多模态](../concepts/multimodal.md)模型。 + +### Qoder CN（原 Lingma） + +阿里云智能编码助手，提供独立 IDE，配置方式与 Qoder IDE 相同（提供商选"阿里云百炼 - 国内"）。仅个人社区版和个人专业版支持接入百炼，**企业版不支持**。 + +## 桌面聊天客户端 + +### Cherry Studio + +开源 AI 桌面客户端，在设置 > 模型 > 添加中选择 OpenAI 提供商类型，填入 API 密钥和 API 地址。 + +### Chatbox + +跨平台 AI 客户端，在模型提供方设置中选择 **OpenAI API 兼容** 模式，填入 API 密钥和 API 主机（无需填写 API 路径）。 + +### QwenPaw + +AgentScope 团队开源的个人 AI 助手，支持本地和云端部署，通过 Web Console（默认 `http://127.0.0.1:8088/`）配置。按量计费方案支持华北2（北京）、新加坡、美国（弗吉尼亚）三个地域。长对话或工具调用超限时可在提供商高级配置中调整 `max_tokens`。 + +## 应用开发平台 + +### Dify + +开源大模型应用开发平台，通过安装**通义千问插件**接入百炼。华北2（北京）地域设置"使用国际端点"为**否**，新加坡地域设置为**是**。 + +支持聊天助手、Agent、Chatflow/工作流等应用类型。万相（图像/视频生成）模型无专用插件，需通过 Chatflow 的 HTTP 节点[异步调用](../concepts/async-invocation.md)，或导入官方提供的工作流模板。 + +若插件内没有最新模型，可安装 **OpenAI-API-compatible** 插件，将 API endpoint URL 设为 `https://dashscope.aliyuncs.com/compatible-mode/v1`（北京）。详见 [Dify](../../raw/model-user-guide/use-chat-client-or-development-tool/dify.md)。 + +> **注意**：Qwen-Omni、Qwen-Audio、Qwen-OCR 等模型不支持直接在 Dify 配置，需通过 Chatflow/工作流的 HTTP 节点接入。 + +## 使用 Postman 或 cURL 调用图像/视频 API + +图像/视频生成 API 采用**[异步调用](../concepts/async-invocation.md)机制**，分两步完成： + +1. **创建任务**：POST 请求，Header 中设置 `X-DashScope-Async: enable`，返回 `task_id`（有效期 24 小时）。 +2. **查询结果**：GET `https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}`，轮询直至 `task_status` 变为 `SUCCEEDED`，获取图像/视频 URL（URL 有效期 24 小时）。 + +Postman 和 cURL 仅适用于快速测试与功能验证，生产环境建议使用官方 SDK。详见 [使用Postman或cURL调用图像/视频生成API](../../raw/model-user-guide/use-chat-client-or-development-tool/first-call-to-image-and-video-api.md)。 + +## qwen3.8-max-preview 思考模式参数说明 + +多个工具（Claude Code、Hermes Agent、OpenCode、Kilo CLI、Codex、Qwen Code 等）均需注意 qwen3.8-max-preview 的以下参数限制： + +- **thinking**：始终开启，不支持关闭。 +- **temperature**：思考模式下默认值为 0.6；传入值小于 0.6 时自动调整为 0.6。 +- **reasoning_effort**：控制推理深度，可选 `xhigh`、`high`、`low`，默认 `xhigh`。 + +## 常见问题 + +**401 Incorrect API key provided**：API Key 与 Base URL 不匹配，三种订阅计划的 Key 互不通用；按量计费的 Key 与 Base URL 需属于同一地域。 + +**Cursor 免费版无法调用自定义模型**：Cursor 免费版仅支持 Auto 模式，需升级至 Pro 及以上套餐。 + +**接入按量计费时免费额度用尽但有显示剩余**：控制台额度数据每小时更新，实际可能已耗尽；免费额度仅适用于华北2（北京）地域，且按模型独立计算。 + +**Qoder/Qoder CN 找不到模型选项**：需先完成登录，且版本需为 0.16.0 及以上。 ## 来源文档 @@ -82,4 +182,3 @@ - [更多工具](../../raw/model-user-guide/use-chat-client-or-development-tool/more-tools.md) - diff --git a/skills/bailian-docs-llm-wiki/wiki/index.md b/skills/bailian-docs-llm-wiki/wiki/index.md index f339c226..6cb70e25 100644 --- a/skills/bailian-docs-llm-wiki/wiki/index.md +++ b/skills/bailian-docs-llm-wiki/wiki/index.md @@ -8,7 +8,7 @@ - [application monitoring](guides/application-monitoring.md) — 1 篇源文档 - [application permission management](guides/application-permission-management.md) — 1 篇源文档 - [application publishing and sharing](guides/application-publishing-and-sharing.md) — 3 篇源文档 -- [application support](guides/application-support.md) — 2 篇源文档 +- [application support](guides/application-support.md) — 3 篇源文档 - [application use cases](guides/application-use-cases.md) — 5 篇源文档 - [bailian application calling](guides/bailian-application-calling.md) — 3 篇源文档 - [data connection overview](guides/data-connection-overview.md) — 1 篇源文档 @@ -20,7 +20,7 @@ - [memory library overview](guides/memory-library-overview.md) — 3 篇源文档 - [model compression](guides/model-compression.md) — 1 篇源文档 - [model context protocol](guides/model-context-protocol.md) — 5 篇源文档 -- [model data overview](guides/model-data-overview.md) — 2 篇源文档 +- [model data overview](guides/model-data-overview.md) — 3 篇源文档 - [model deployment 1](guides/model-deployment-1.md) — 4 篇源文档 - [model evaluation introduction](guides/model-evaluation-introduction.md) — 2 篇源文档 - [model experience](guides/model-experience.md) — 11 篇源文档 @@ -28,13 +28,14 @@ - [model monitoring](guides/model-monitoring.md) — 2 篇源文档 - [plug in](guides/plug-in.md) — 3 篇源文档 - [prompt](guides/prompt.md) — 5 篇源文档 +- [realtime api user guide](guides/realtime-api-user-guide.md) — 15 篇源文档 - [release notes](guides/release-notes.md) — 2 篇源文档 - [security and compliance](guides/security-and-compliance.md) — 12 篇源文档 - [skill](guides/skill.md) — 1 篇源文档 - [start using](guides/start-using.md) — 2 篇源文档 -- [support](guides/support.md) — 2 篇源文档 +- [support](guides/support.md) — 3 篇源文档 - [test 1](guides/test-1.md) — 5 篇源文档 -- [token plan guide](guides/token-plan-guide.md) — 10 篇源文档 +- [token plan guide](guides/token-plan-guide.md) — 14 篇源文档 - [use cases](guides/use-cases.md) — 24 篇源文档 - [use chat client or development tool](guides/use-chat-client-or-development-tool.md) — 17 篇源文档 @@ -42,10 +43,10 @@ - [3d generation](api/3d-generation.md) — 1 篇源文档 - [application call](api/application-call.md) — 5 篇源文档 -- [application component api reference](api/application-component-api-reference.md) — 57 篇源文档 +- [application component api reference](api/application-component-api-reference.md) — 58 篇源文档 - [file management api](api/file-management-api.md) — 1 篇源文档 - [frameworks](api/frameworks.md) — 3 篇源文档 -- [image generation](api/image-generation.md) — 26 篇源文档 +- [image generation](api/image-generation.md) — 27 篇源文档 - [knowledge](api/knowledge.md) — 1 篇源文档 - [long term memory new](api/long-term-memory-new.md) — 1 篇源文档 - [managed agents api](api/managed-agents-api.md) — 7 篇源文档 @@ -62,23 +63,22 @@ ## 横切概念 -- [API Key 鉴权](concepts/api-key.md) — 关联 6 个主题 -- [MCP 与工具扩展](concepts/mcp-and-tools.md) — 关联 5 个主题 -- [OpenAI 兼容接口](concepts/openai-compatible-interface.md) — 关联 6 个主题 -- [Token 与计费](concepts/token-and-billing.md) — 关联 6 个主题 -- [业务空间（Workspace）](concepts/workspace.md) — 关联 5 个主题 -- [函数调用（Function Calling）](concepts/function-calling.md) — 关联 4 个主题 -- [异步调用与任务轮询](concepts/async-invocation.md) — 关联 5 个主题 -- [检索增强生成（RAG）](concepts/rag.md) — 关联 6 个主题 -- [模型调优与部署](concepts/fine-tuning-and-deployment.md) — 关联 5 个主题 -- [流式输出](concepts/streaming-output.md) — 关联 3 个主题 +- [API Key 鉴权](concepts/api-key.md) — 关联 7 个主题 +- [DashScope SDK](concepts/dashscope-sdk.md) — 关联 7 个主题 +- [OpenAI 兼容接口](concepts/openai-compatible-interface.md) — 关联 8 个主题 +- [Token 与计费](concepts/token.md) — 关联 6 个主题 +- [业务空间（Workspace）](concepts/workspace.md) — 关联 6 个主题 +- [函数调用（Function Calling）](concepts/function-calling.md) — 关联 6 个主题 +- [多模态](concepts/multimodal.md) — 关联 7 个主题 +- [异步调用](concepts/async-invocation.md) — 关联 6 个主题 +- [检索增强生成（RAG）](concepts/rag.md) — 关联 7 个主题 +- [流式输出](concepts/streaming.md) — 关联 6 个主题 ## 对比分析 -- [图像、视频与 3D 生成对比](comparisons/image-vs-video-vs-3d-generation.md) — 对比 3 个主题 -- [应用评估与应用监控对比](comparisons/app-evaluation-vs-monitoring.md) — 对比 2 个主题 -- [托管智能体：指南与 API 对比](comparisons/managed-agents-guide-vs-api.md) — 对比 2 个主题 -- [模型微调、压缩与部署对比](comparisons/fine-tuning-vs-compression-vs-deployment.md) — 对比 3 个主题 -- [模型评估与模型监控对比](comparisons/model-evaluation-vs-monitoring.md) — 对比 2 个主题 -- [知识库与记忆库对比](comparisons/knowledge-base-vs-memory-library.md) — 对比 2 个主题 +- [图像、视频与 3D 生成能力对比](comparisons/image-video-3d-generation-comparison.md) — 对比 3 个主题 +- [应用评测与模型评测对比](comparisons/application-eval-vs-model-eval.md) — 对比 2 个主题 +- [托管 Agent 使用方式对比：控制台 vs API](comparisons/managed-agents-vs-api.md) — 对比 2 个主题 +- [模型微调、压缩与部署方案对比](comparisons/fine-tuning-vs-compression-vs-deployment.md) — 对比 3 个主题 +- [知识库与长期记忆方案对比](comparisons/knowledge-base-vs-memory.md) — 对比 3 个主题