AI 工程

把大模型(LLM)接进真实流水线时的架构判断、本地推理与调参。

5 threads

PinnedPinnedPrivate

从一个戏仿项目里薅出一份「去 AI 腔」系统提示词

缘起

有人发我一个 GitHub 项目 claudish,功能是把普通英文翻译成"Claude 腔"(Claudish),再翻回来。第一个问题很自然:它核心起作用的是提示词,还是别的什么?

拆开看,这个项目本质上是个广告。仓库里的 translate.py 只有十几行,调一个叫 ProgramAsWeights(PAW)的库、传两个哈希 ID,没有模型、没有训练代码。PAW 宣称"用英文定义函数,编译成权重,下载后本地跑",但怎么从规范变成权重、底模是什么,官网和仓库都没说。你调用的是两个不可审计的远程产物——这个平台我的态度是观望。

Continue →
从一个戏仿项目里薅出一份「去 AI 腔」系统提示词


PinnedPinnedPrivate

怎样让多智能体决策接受检验:miropoly 的可观测架构

miropoly 一句话说清:一个大模型多智能体(multi-agent)编排系统,决策链全程可观测,用 Polymarket(加密预测市场)作为验证它能跑通真实问题的应用场景。

主体是编排和可观测性,预测市场只是用来证明「这套编排真能解决真问题」的试金石。5 个 Agent 集群协同做决策(新闻政策、技术面、风险、决策、群体推演),前端用原生 SVG 实时把每个 Agent 的输入输出、状态、耗时画出来——决策不是黑箱,而是能一步步看着它长出来。

比较特别的是它内建的诚实机制:

  • 路线图分 6 个阶段,顺序硬锁死,不允许跳级。切真钱包之前,必须先有数据证明命中率(hit rate)显著高于最优基线(高至少 5 个百分点、p < 0.05)。

  • 对每个信号按聚类粒度评估它和真实结果的相关性:显著正相关的加重;不相关的保留可视化骨架、但显式标注「非因果 · 仅作演示」;显著负相关的要么反向用、要么砍掉。

换句话说,一个炫酷的 Agent 网络图,如果背后的信号没有预测力,那它就只是个动画。所以这些没通过验证的信号,宁可在界面上标成「仅作演示」,也不留着让它看起来像在工作。

怎样让多智能体决策接受检验:miropoly 的可观测架构

PinnedPinnedPrivate

在 LM Studio 里跑 Qwen3.6:那个必须关掉的开关

本机用 LM Studio(一个本地跑大模型的桌面工具)跑通义千问 Qwen3.6-35B-A3B,把全部旋钮摸了一遍。最关键的一条值得单独拎出来:

「启用思考」(Enable Thinking)必须关掉。 开着的时候,模型经常输出空内容、或者格式不合规,尤其是想让它吐结构化的工具调用(tool_use)时。关掉之后,经过 LiteLLM(统一各家 API 的中间层)转发,就能正确产出 Anthropic 风格的 tool_use 结构。

其余调参速查:上下文长度最大能拉到 262144,按需给;闪存注意力(Flash Attention)打开;温度(temperature)0.2,要它稳定可复现。

本地模型的价值是可控、不花钱,但前提是先把这些藏得不显眼的开关调对——不然很容易把配置问题错怪到模型头上。

在 LM Studio 里跑 Qwen3.6:那个必须关掉的开关

PinnedPinnedPrivate

本地大模型驱动代码审计:能力边界在上下文,不在模型大小

想用本地模型省订阅钱:在 LM Studio 里跑通义千问(Qwen),驱动一套白盒代码审计的自动化流程。结论是,走 Claude 能跑通并产出真实问题,而本地 Qwen 的瓶颈不在智力,在上下文(context)。

真实模式下,一个子任务 agent 去读 37 个文件的服务,输出直接撑爆约 131k 上下文,很早就崩。这和仓库总大小无关,拆分也救不了——单个子任务本身就装不下。而且上下文一大就慢。

配置上倒是全都能调通:思考模式(thinking)必须关(否则输出空、或格式不合规)、供应商走 lm_studio、上下文拉到 131k、温度 0.2。调通之后,经 LiteLLM(统一各家 API 的中间层)转发,能正确吐出 Anthropic 的工具调用(tool_use)结构。

过程里有两个错是判断上的失误,值得记一下:一是统计工具调用次数的正则写错了,一度误判「Qwen 根本不记录工具调用」,其实它调了 9 次;二是在第 111 轮就手动停掉、下了结论,后来发现连 Claude 也要到 100~150 轮才开始记录——停早了。两个都是「带着预期去看数据」的典型翻车。

本地大模型驱动代码审计:能力边界在上下文,不在模型大小