AWS Bedrock 操作的语义约定
状态: 开发中
当前正在使用 此文档 v1.36.0(或之前版本)的 GenAI 应用程序正在使用此文档。
- 默认情况下,不应更改他们发出的 GenAI约定的版本。约定包括但不限于属性、指标、跨度和事件名称、跨度种类和度量单位。
- 应引入一个名为
OTEL_SEMCONV_STABILITY_OPT_IN的环境变量,该变量包含一个逗号分隔的类别特定值列表。该列表包括:gen_ai_latest_experimental- 发出最新的实验性 GenAI 约定版本(由仪器支持)并停止发出旧版本(v1.36.0 或更早版本)。- 默认行为是继续发出仪器化发出的任何版本的 GenAI 约定(1.34.0 或更早版本)。
此过渡计划将在 GenAI 约定被标记为稳定版本之前进行更新,以包含稳定版本。
AWS Bedrock Span
AWS Bedrock 的语义约定扩展并覆盖了 Gen AI Span 的语义约定。
gen_ai.provider.name 必须设置为 "aws.bedrock"。
这些属性用于跟踪对 AWS Bedrock 模型请求的输入数据和元数据。这些属性包括通用的生成式 AI 属性以及 AWS Bedrock 特有的属性。
状态:
描述了一个 AWS Bedrock 操作 Span。
**Span 类型**应为 CLIENT。
**Span 状态**应遵循 记录错误文档。
Attributes
| 键 | Stability | 需求级别 | Value Type | 描述 | Example Values |
|---|---|---|---|---|---|
aws.bedrock.guardrail.id | 必需 | 字符串 | AWS Bedrock Guardrail 的唯一标识符。 Guardrail 有助于保护和防止模型响应或用户消息产生不受欢迎的行为。 | sgi5gkybzqak | |
gen_ai.operation.name | 必需 | 字符串 | 正在执行的操作的名称。[1] | chat;generate_content;text_completion | |
gen_ai.provider.name | 必需 | 字符串 | 由客户端或服务器仪器识别的生成式 AI 提供商。[2] | openai;gcp.gen_ai;gcp.vertex_ai | |
error.type | 如果操作以错误结束,则条件必需 | 字符串 | 描述操作结束的错误类别。[3] | timeout;java.net.UnknownHostException;server_certificate_invalid;500 | |
gen_ai.conversation.id | 如果可用,则条件必需 | 字符串 | 对话(会话、线程)的唯一标识符,用于在此对话中存储和关联消息。[4] | conv_5j66UpCpwteGg4YSxUnt7lPY | |
gen_ai.output.type | 有条件地必需 [5] | 字符串 | 表示客户端请求的内容类型。[6] | text;json;image | |
gen_ai.request.choice.count | 如果在请求中可用且不等于 1,则条件必需 | int | 目标候选补全数量。 | 3 | |
gen_ai.request.model | 有条件必需 如果可用。 | 字符串 | 请求的 GenAI 模型名称。[7] | gpt-4 | |
gen_ai.request.seed | 如果适用且请求包含种子,则条件必需 | int | 具有相同种子值的请求更有可能返回相同的结果。 | 100 | |
server.port | 如果设置了 server.address,则条件必需。 | int | GenAI 服务器端口。[8] | 80; 8080; 443 | |
aws.bedrock.knowledge_base.id | 推荐 | 字符串 | AWS Bedrock Knowledge base 的唯一标识符。 Knowledge base 是一个信息库,模型可以查询该库以生成更相关的响应并丰富提示。 | XFWUPB9PAW | |
gen_ai.request.frequency_penalty | 推荐 | double | GenAI 请求的频率惩罚设置。 | 0.1 | |
gen_ai.request.max_tokens | 推荐 | int | 模型为请求生成的最大令牌数。 | 100 | |
gen_ai.request.presence_penalty | 推荐 | double | GenAI 请求的存在惩罚设置。 | 0.1 | |
gen_ai.request.stop_sequences | 推荐 | string[] | 模型将用于停止生成更多令牌的序列列表。 | ["forest", "lived"] | |
gen_ai.request.temperature | 推荐 | double | GenAI 请求的温度设置。 | 0.0 | |
gen_ai.request.top_k | 推荐 | double | GenAI 请求的 top_k 采样设置。 | 1.0 | |
gen_ai.request.top_p | 推荐 | double | GenAI 请求的 top_p 采样设置。 | 1.0 | |
gen_ai.response.finish_reasons | 推荐 | string[] | 模型停止生成令牌的原因数组,对应于收到的每个生成。 | ["stop"];["stop", "length"] | |
gen_ai.response.id | 推荐 | 字符串 | 补全的唯一标识符。 | chatcmpl-123 | |
gen_ai.response.model | 推荐 | 字符串 | 生成响应的模型名称。[9] | gpt-4-0613 | |
gen_ai.usage.input_tokens | 推荐 | int | GenAI 输入(提示)使用的令牌数。 | 100 | |
gen_ai.usage.output_tokens | 推荐 | int | GenAI 响应(补全)使用的令牌数。 | 180 | |
server.address | 推荐 | 字符串 | GenAI 服务器地址。[10] | example.com;10.1.2.80;/tmp/my.sock | |
gen_ai.input.messages | 选择加入 | any | 作为输入提供给模型的聊天记录。[11] | [ { “role”: “user”, “parts”: [ { “type”: “text”, “content”: “Weather in Paris?" } ] }, { “role”: “assistant”, “parts”: [ { “type”: “tool_call”, “id”: “call_VSPygqKTWdrhaFErNvMV18Yl”, “name”: “get_weather”, “arguments”: { “location”: “Paris” } } ] }, { “role”: “tool”, “parts”: [ { “type”: “tool_call_response”, “id”: " call_VSPygqKTWdrhaFErNvMV18Yl”, “result”: “rainy, 57°F” } ] } ] | |
gen_ai.output.messages | 选择加入 | any | 模型返回的消息,每条消息代表一个特定的模型响应(choice, candidate)。[12] | [ { “role”: “assistant”, “parts”: [ { “type”: “text”, “content”: “The weather in Paris is currently rainy with a temperature of 57°F." } ], “finish_reason”: “stop” } ] | |
gen_ai.system_instructions | 选择加入 | any | 与聊天记录分开提供给 GenAI 模型或代理的系统消息或指令。[13] | [ { “type”: “text”, “content”: “You are an Agent that greet users, always use greetings tool to respond” } ]; [ { “type”: “text”, “content”: “You are a language translator." }, { “type”: “text”, “content”: “Your mission is to translate text in English to French." } ] | |
gen_ai.tool.definitions | 选择加入 | any | 可供 GenAI 代理或模型使用的源系统工具定义列表。[14] | [ { “type”: “function”, “name”: “get_current_weather”, “description”: “Get the current weather in a given location”, “parameters”: { “type”: “object”, “properties”: { “location”: { “type”: “string”, “description”: “The city and state, e.g. San Francisco, CA” }, “unit”: { “type”: “string”, “enum”: [ “celsius”, “fahrenheit” ] } }, “required”: [ “location”, “unit” ] } } ] |
[1] gen_ai.operation.name: 如果预定义值之一适用,但特定系统使用不同名称,则建议在特定 GenAI 系统的语义约定中记录它,并在仪器中使用系统特定的名称。如果未记录不同名称,仪器库应使用适用的预定义值。
[2] gen_ai.provider.name: 属性应根据仪器尽可能多的了解来设置,并且可能与实际的模型提供商不同。
通过 OpenAI REST API 和相应的客户端库可以访问包括 Azure OpenAI、Gemini 和 AI 托管平台在内的多个提供商,但它们可能会代理或托管来自不同提供商的模型。
gen_ai.request.model、gen_ai.response.model 和 server.address 属性可能有助于识别实际使用的系统。
gen_ai.provider.name 属性充当一个区分器,用于在 GenAI 语义约定中识别该提供商特定的 GenAI 遥测格式。它应与特定于提供商的属性和信号一致。例如,与 AWS Bedrock 相关的 GenAI 跨度、指标和事件应将 gen_ai.provider.name 设置为 aws.bedrock,并包含适用的 aws.bedrock.* 属性,并且不应包含 openai.* 属性。
[3] error.type: error.type 应匹配生成式 AI 提供商或客户端库返回的错误代码、发生的异常的规范名称或另一个低基数错误标识符。仪器应记录它们报告的错误列表。
[4] gen_ai.conversation.id: 仪器应在可轻松获得给定操作的对话 ID 时填充它,例如
当被仪器化的客户端框架管理对话历史时(请参阅 LlamaIndex chat store)
当仪器化维护后端会话的 GenAI 客户端库时(请参阅 AWS Bedrock agent sessions,OpenAI Assistant threads)
管理对话历史的应用程序开发人员可以添加对话 ID 到 GenAI 和其他跨度或日志,使用仪器库提供的自定义跨度或日志记录处理器或钩子。
[5] gen_ai.output.type: 适用时,如果请求包含输出格式。
[6] gen_ai.output.type: 当客户端请求特定类型的输出时,应使用此属性。模型可能会返回零个或多个此类型的输出。此属性指定输出模态,而不是实际输出格式。例如,如果请求了图像,则实际输出可能是指向图像文件的 URL。未来的输出格式详细信息可能会在 gen_ai.output.{type}.* 属性中记录。
[7] gen_ai.request.model: 请求的 GenAI 模型名称。如果模型由供应商提供,则值必须是所请求模型的准确名称。如果模型是经过微调的自定义模型,则该值应比经过微调的基础模型具有更具体的名称。
[8] server.port: 从客户端观察时,并且通过中间件通信时,server.port 应表示任何中间件(例如代理)后面的服务器端口,如果可用。
[9] gen_ai.response.model: 如果可用。提供响应的 GenAI 模型名称。如果模型由供应商提供,则值必须是实际使用的模型的准确名称。如果模型是经过微调的自定义模型,则该值应比经过微调的基础模型具有更具体的名称。
[10] server.address: 从客户端观察到时,并且在通过中介进行通信时,server.address 应表示任何中介(例如代理)后面的服务器地址,如果可用。
[11] gen_ai.input.messages: 仪器化必须遵循 输入消息 JSON schema。当属性记录在事件上时,它必须以结构化形式记录。当记录在 Span 上时,如果不支持结构化格式,则可能记录为 JSON 字符串,否则应记录为结构化格式。
消息必须按发送给模型的顺序提供。仪器可以提供一种方法供用户过滤或截断输入消息。
此属性很可能包含敏感信息,包括用户/PII 数据。
有关更多详细信息,请参阅 在属性上记录内容 部分。
[12] gen_ai.output.messages: 仪器化必须遵循 输出消息 JSON schema
每条消息代表模型生成的单个输出选择/候选。每条消息恰好对应一个生成(选择/候选),反之亦然 - 一个选择不能跨越多条消息,或者一条消息不能包含来自多个选择的部分。
当属性记录在事件上时,它必须以结构化形式记录。当记录在跨度上时,如果不支持结构化格式,它可以被记录为 JSON 字符串,否则应以结构化形式记录。
仪器可以提供一种方法供用户过滤或截断输出消息。
此属性很可能包含敏感信息,包括用户/PII 数据。
有关更多详细信息,请参阅 在属性上记录内容 部分。
[13] gen_ai.system_instructions: 当相应的提供商或 API 允许将系统指令或消息与聊天历史分开提供时,应使用此属性。
作为聊天记录一部分的指令应记录在 gen_ai.input.messages 属性中,而不是此处。
仪器必须遵循 System instructions JSON schema。
当记录在跨度上时,如果不支持结构化格式,它可以被记录为 JSON 字符串,否则应以结构化形式记录。
仪器可以提供一种方法供用户过滤或截断系统指令。
此属性可能包含敏感信息。
有关更多详细信息,请参阅 在属性上记录内容 部分。
[14] gen_ai.tool.definitions: 此属性的值匹配源系统工具定义格式。
预计它是一个对象数组,其中每个对象代表一个工具定义。如果仪器可用序列化字符串,仪器应尽最大努力将其反序列化为数组。当记录在跨度上时,如果不支持结构化格式,它可以被记录为 JSON 字符串,否则应以结构化形式记录。
由于此属性可能很大,因此不建议默认填充它。仪器可以提供一种启用填充此属性的方法。
error.type 具有以下已知值列表。如果其中一个适用,则必须使用相应的值;否则,可以使用自定义值。
| 值 | 描述 | Stability |
|---|---|---|
_OTHER | 当检测不到自定义值时使用的回退错误值。 |
gen_ai.operation.name 具有以下知名值列表。如果其中之一适用,则必须使用相应的值;否则,可以使用自定义值。
| 值 | 描述 | Stability |
|---|---|---|
chat | 聊天完成操作,例如 OpenAI Chat API | |
create_agent | 创建 GenAI 代理 | |
embeddings | 嵌入操作,例如 OpenAI 创建嵌入 API | |
execute_tool | 执行工具 | |
generate_content | 多模态内容生成操作,例如 Gemini 生成内容 | |
invoke_agent | 调用 GenAI 代理 | |
text_completion | 文本补全操作,例如 OpenAI Completions API (Legacy) |
gen_ai.output.type 具有以下知名值列表。如果其中之一适用,则必须使用相应的值;否则,可以使用自定义值。
| 值 | 描述 | Stability |
|---|---|---|
image | Image | |
json | 具有已知或未知架构的 JSON 对象 | |
speech | Speech | |
text | 纯文本 |
gen_ai.provider.name 具有以下知名值列表。如果其中之一适用,则必须使用相应的值;否则,可以使用自定义值。
| 值 | 描述 | Stability |
|---|---|---|
anthropic | Anthropic | |
aws.bedrock | AWS Bedrock | |
azure.ai.inference | Azure AI Inference | |
azure.ai.openai | Azure OpenAI | |
cohere | Cohere | |
deepseek | DeepSeek | |
gcp.gemini | Gemini [15] | |
gcp.gen_ai | 任何 Google 生成式 AI 端点 [16] | |
gcp.vertex_ai | Vertex AI [17] | |
groq | Groq | |
ibm.watsonx.ai | IBM Watsonx AI | |
mistral_ai | Mistral AI | |
openai | OpenAI | |
perplexity | Perplexity | |
x_ai | xAI |
[15]: 用于访问 ‘generativelanguage.googleapis.com’ 端点。也称为 AI Studio API。
[16]: 当后端未知时可能使用。
[17]: 用于访问 ‘aiplatform.googleapis.com’ 端点。