← 笔记

降级链第一次被使用,往往是模型下线那天

约 1 分钟#LLM

一个具体型号的免费模型下线,一条定时消息的生成直接失败,因为回退分支从来没被跑过。

降级链写好之后一直没被用过。直到那个免费模型下线,定时消息的生成直接失败,回退分支第一次真正跑起来就出了错。

现在我会定期演练:把主模型的地址改成一个不存在的位置,看请求能不能自己落到备选模型上。

相关阅读