多模态 Embedding

本文说明火山 doubao-embedding-vision 的文本、图片、视频多模态向量化调用方式。

一、多模态 Embedding

适用模型：

```
doubao-embedding-vision
```
doubao-embedding-vision

请求地址：

POST https://cn-shanghai-alicloud-aimesh.api.clickzetta.com/gateway/api/v3/embeddings/multimodal

该接口与 OpenAI

/embeddings

/embeddings

不同，支持文本、图片、视频等多模态输入。

文本向量化

curl -X POST "$AI_GATEWAY_VOLC_BASE_URL/embeddings/multimodal" \ -H "Authorization: Bearer $API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "doubao-embedding-vision", "input": [ { "type": "text", "text": "AI Gateway 支持统一模型调用、路由和用量统计。" } ], "encoding_format": "float", "dimensions": 1024 }'

图片向量化

视频、图片、文本混合向量化

curl -X POST "$AI_GATEWAY_VOLC_BASE_URL/embeddings/multimodal" \ -H "Authorization: Bearer $API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "doubao-embedding-vision", "input": [ { "type": "video_url", "video_url": { "url": "https://example.com/demo.mp4" } }, { "type": "image_url", "image_url": { "url": "https://example.com/product.png" } }, { "type": "text", "text": "请根据视频和图片生成统一向量。" } ], "encoding_format": "float", "dimensions": 1024 }'

Embedding 请求字段

字段	类型	必填	说明
`model` model	string	是	多模态向量模型名称，例如 `doubao-embedding-vision` doubao-embedding-vision 。
`input` input	array	是	待向量化内容数组。
`input[].type` input[].type	string	是	输入类型，例如 `text` text 、 `image_url` image_url 、 `video_url` video_url 。
`input[].text` input[].text	string	条件必填	文本内容。
`input[].image_url.url` input[].image_url.url	string	条件必填	图片 URL。
`input[].video_url.url` input[].video_url.url	string	条件必填	视频 URL。
`encoding_format` encoding_format	string	否	向量编码格式，常用 `float` float 。
`dimensions` dimensions	integer	否	输出向量维度。是否支持可变维度以模型详情页为准。

响应示例：

{ "object": "list", "data": [ { "object": "embedding", "index": 0, "embedding": [0.0123, -0.0456, 0.0789] } ], "model": "doubao-embedding-vision", "usage": { "prompt_tokens": 32, "total_tokens": 32 } }

向量库接入建议：

入库和查询必须使用同一个模型和同一个向量维度。
如果设置了
```
dimensions
```
dimensions
，建库前应固定维度，后续不要随意修改。
图片和视频 URL 需要公网可访问，且建议使用稳定对象存储地址。
批量处理时控制单次输入规模，避免请求体过大或超时。

联系我们