TAG
LLM
这个标签下的全部内容。
共 10 篇01文章
用 inspect.signature 过滤关键字参数：接受 **kwargs 的函数被当成什么都不收，重试丢了 model_path2026-11-08inspect.signature(f).parameters 只列声明过的形参，**kwargs 在里面是一个叫 kwargs 的条目。按名字检查「对方收不收这个参数」，最宽松的函数反而什么都过不去。Autarkia 的空回复重试因此丢了 model_path，换成默认模型去请求，返回的 400 混在上游过载的 503 里，同一天的错误分诊把它判成了网关误报。#Python#LLM#调试生成器的异常在第一次 next() 时才抛：try 包住 create_chat_completion(stream=True) 接不到超窗口错误2026-11-08调用生成器函数只会造出生成器，函数体要等第一次 next() 才运行，里面的 raise 也一样。llama-cpp-python 的超窗口检查就在这样的函数体里，所以流式调用外面那层 try 和它的自动收缩重试在真实库下走不到；测试替身在调用时就抛错，测试全绿、覆盖率 100%。#Python#LLM#错误处理#测试#AutarkiaLLM 请求可观测性：日志只统计 messages，原生 tools schema 的开销不在任何日志里2026-11-07原生 function calling 的工具定义放在 tools 参数里，不在 messages 里；只统计消息长度的日志看不到它，流式请求默认也不返回 usage。Autarkia 每轮带了 82 个工具、47,898 字符的 schema，prompt 日志只有两千多字，API 记的是 21k 到 23k token。#LLM#Python#可观测性#Autarkia改掉的那句话，还在记忆里2026-11-01对话分叉以后，原文按分支过滤很容易，摘要和事实却还记着被放弃的那条线。给 Mem0 只喂当前分支的原文，泄漏率从 60.8% 只降到 50.0%。#记忆#评测#实验方法#LLM合成集选了 C，44 道真题选了 B2026-10-27记忆该存成什么粒度，合成评测集给了一个很干净的答案。换成真实聊天出的题，答案变了，过程中还查出了三个测量上的问题。#记忆#评测#实验方法#LLM前缀缓存的命中率去哪了2026-10-27命中率掉了，光看总数找不到原因。按 128 token 一块去看，问题出在一段被放错位置的资料，以及两家供应商完全不同的缓存规则。#LLM#成本#可观测性给 AI 角色写人设，为什么越写越不像人2026-10-21人设从八百字写到八千字，回复反而越来越像在演设定。查下来，大部分问题出在拼 prompt 的代码里，不在人设文字本身。#Prompt#人设#LLM子类重写请求体时的一行 pop：max_tokens 在发出前被删掉，调用方、日志和测试都看不到2026-10-21父类把参数组进请求体，子类在返回前 pop 掉，调用方传什么都没用，也不会报错。Autarkia 的 MiniMax 客户端从第一个提交起就删掉了所有调用方的 max_tokens，推理模型的输出没有上限，而这件事在记录里被提到三次都没改。#Python#LLM#可观测性把 LLM 当不可信外部服务2026-10-18它更像一个远程服务：会超时，会返回空，会把推理过程混进正文，也会凭手感补一个数字。#LLM#工程