PinnedPinnedPrivate

本地大模型驱动代码审计:能力边界在上下文,不在模型大小

想用本地模型省订阅钱:在 LM Studio 里跑通义千问(Qwen),驱动一套白盒代码审计的自动化流程。结论是,走 Claude 能跑通并产出真实问题,而本地 Qwen 的瓶颈不在智力,在上下文(context)。

真实模式下,一个子任务 agent 去读 37 个文件的服务,输出直接撑爆约 131k 上下文,很早就崩。这和仓库总大小无关,拆分也救不了——单个子任务本身就装不下。而且上下文一大就慢。

配置上倒是全都能调通:思考模式(thinking)必须关(否则输出空、或格式不合规)、供应商走 lm_studio、上下文拉到 131k、温度 0.2。调通之后,经 LiteLLM(统一各家 API 的中间层)转发,能正确吐出 Anthropic 的工具调用(tool_use)结构。

过程里有两个错是判断上的失误,值得记一下:一是统计工具调用次数的正则写错了,一度误判「Qwen 根本不记录工具调用」,其实它调了 9 次;二是在第 111 轮就手动停掉、下了结论,后来发现连 Claude 也要到 100~150 轮才开始记录——停早了。两个都是「带着预期去看数据」的典型翻车。

本地大模型驱动代码审计:能力边界在上下文,不在模型大小