TAG
可观测性
这个标签下的全部内容。
共 3 篇01文章
LLM 请求可观测性：日志只统计 messages，原生 tools schema 的开销不在任何日志里2026-11-07原生 function calling 的工具定义放在 tools 参数里，不在 messages 里；只统计消息长度的日志看不到它，流式请求默认也不返回 usage。Autarkia 每轮带了 82 个工具、47,898 字符的 schema，prompt 日志只有两千多字，API 记的是 21k 到 23k token。#LLM#Python#可观测性#Autarkia前缀缓存的命中率去哪了2026-10-27命中率掉了，光看总数找不到原因。按 128 token 一块去看，问题出在一段被放错位置的资料，以及两家供应商完全不同的缓存规则。#LLM#成本#可观测性子类重写请求体时的一行 pop：max_tokens 在发出前被删掉，调用方、日志和测试都看不到2026-10-21父类把参数组进请求体，子类在返回前 pop 掉，调用方传什么都没用，也不会报错。Autarkia 的 MiniMax 客户端从第一个提交起就删掉了所有调用方的 max_tokens，推理模型的输出没有上限，而这件事在记录里被提到三次都没改。#Python#LLM#可观测性