blob: 77b5d45fd4d03c28540bf8c0229d4c91e8c74a44 [file] [view]
# Maka Computer Use Foundation Contract
状态:Accepted
适用范围:Desktop foundationCLI 仅实验性 opt-in`@maka/headless` 暂不纳入
目的:定义 stacked PR 不可破坏的合同与验证门。
外部证据参考(不属于本仓库):
- `codex-computer-use-lab/docs/08-wrapper-policy-and-toctou.md`canonical app approvalpre-await snapshotapproval action freshness 分离;
- `codex-computer-use-lab/docs/13-policy-error-state-machine.md`policy approval fresh observation action,以及 intervention/lock/blocked URL 状态;
- `codex-computer-use-lab/docs/16-service-process-lifecycle-and-retention.md`exact executable ownershipclient/idle lifecycleconnection-loss cleanup
- `codex-computer-use-lab/docs/19-electron-presentation-and-mcp-event-contract.md`presentation native action transport 分离。
上述文件位于独立逆向实验仓库。本文只记录由 Maka 测试锁定的合同,
不把外部路径声明为本仓库内链接。
## Contract
1. Observation authority
- 每个可执行 observation 具有唯一 `frameId + epoch`、截图尺寸、`pid + windowId`capture-local 坐标信息,以及适用时的 Electron page identity
- 坐标只能在产生它的截图/窗口 frame 内解释。dispatch 禁止重新选择当前全局坐标下的最高 z-order 窗口。
- observationturn/session 结束、abortuser stopservice loss 和明确 intervention 使旧 action claim keyboard ownership 失效。
2. Action binding
- mutation 在第一次异步边界前完成参数快照、规范化、fingerprintclaim,并绑定 active observation
- 有顺序依赖的动作按 Computer Use session 串行;不同 session 不全局串行。
- stalereplayunclaimedmalformedtargetless action fail closed,不得回退到裸 pixelforeground activation 或当前系统焦点。
3. Exact target validation
- coordinate action dispatch 前验证同一 window identitygeometryscreenshot scalepage identity occlusion
- semantic action 优先按稳定 token refetch;否则仅允许唯一且 identity-preserving 的匹配。缺失、歧义、越界、遮挡或 page 变化必须失败。
- 无关 AX/DOM 内容变化不能合成 `user_intervened`。物理介入和 terminal host state 必须来自明确事件。
- drag/zoom 两端必须属于同一个 bound window
4. Execution ownership
- maka-cu 是唯一 native executorwindow/page discoverysemantic preparationinput dispatch effect readback 均留在该边界内。
- agent 不得移动真实鼠标、抢前台焦点、临时 activate 窗口或执行 windowless desktop input
- keyboard ownership 绑定 `session + turn + generation + pid + windowId + page/frame`,并在失败、stale、新 observationinterventionservice generation 变化、turn/session 结束时撤销。
- child process 在未知 action outcome 下退出时必须 re-observe,禁止自动重放。
5. Postcondition
- mutation 成功后旧 observation 被消费并返回 fresh full observation;可获得视觉状态时向模型返回新截图。
- transport success 不等于 business success`verified:true` 必须由 action-specific effect/readback 支撑。
- `supported:true, ok:false` 为本次 terminal failure;仅 side-effect-free `supported:false` 可进行一次显式允许的 fallback
- retry 基于 fresh observation 和新 claim,禁止重试旧 coordinate/fingerprint
6. Service lifecycle
- executableversionhashrole generation 必须 runtime-observabledead/mismatched child 不得复用。
- startuprequestshutdownrestart 均有界;成功恢复后重置连续失败预算。
- process exit 清理 pending requestobservationkeyboard ownershippresentation 和受影响 session lease
- capability 反映实时 `healthy / degraded / unavailable`,不能只检查 binary path
7. Approval and privacy
- approval app capability gate,不是 active observation action freshness 证明。
- Maka 采用分级短 leasemetadata readscreenshot readpointer mutationkeyboard mutationsemantic mutation 分离;目标、action classobservation session generation 变化时重新授权。
- approval 至少标明 action class 与目标 app/window;敏感应用、secure/password field 和不支持的目的地 fail closed
- screenshottyped textcoordinateraw AX label/valuewindow titlesecret raw page content 默认不进入持久 session logtelemetry evaluation report
- 上传截图前验证 model vision capability,并满足对应用户/provider consent policy
8. Presentation isolation
- cursor/PiP 位于 targeting 下游,不能选择、转换、授权或改变执行坐标。
- `readyForInteraction` 只能通过有界 fail-open 策略影响 dispatch 时机;`finished` 不阻塞 native dispatch postcondition
- completion 使用 executor-resolved point;失败、abortteardownsupersede 或缺少 completion point 时必须 cancel
- acknowledgement session + action identity 绑定,stale ack 必须忽略。
## Validation Matrix
`PASS`:当前证据直接覆盖;`PARTIAL`:组件证据存在但 production 闭环不足;`FAIL`:当前实现违反合同;`UNKNOWN`:缺少足够证据。
本矩阵记录 #857 拆分链建立时的基线状态,用于界定各 stacked PR 的验证责任。拆分链合入后,各领域当前状态以源码与合同测试为准。
| Contract area | 状态 | 当前证据 | 拆分链需要的证据 |
|---|---|---|---|
| Frame/window bindingduplicate rejection | PASS | frame statebound-actionstale/duplicate tests | Runtime slice 保留 focused tests |
| Capture-local coordinate authority | PASS | window-local transformscale/geometryRetina/negative-origin tests | decoy window 下的 cumulative Desktop E2E |
| Page identitydriver-only executor | PARTIAL | PID-owned CDP/page resolution,无 direct executor bypass | document replacement test;填充 `documentFingerprint` |
| Semantic identity refetch | PARTIAL | unique refetchmissing/ambiguous rejection | token mismatch 不得接受 replacement control |
| Occlusionno foreground/pixel fallback | PASS | coordinate/semantic occlusion fail-closed tests | real-window safety sentinel |
| Fresh postconditioneffect verification | PARTIAL | mutation 后要求 fresh observation,部分 readback | 所有 advertised mutation cross-layer tests |
| Per-session queuegeneration lease | PARTIAL | session queue/frame claimlease 修复尚在本地 | concurrent-session intervention-before-dispatch tests |
| Physical interventionlockstop | FAIL | 有状态机原型,无 Desktop production event producer | 真实 host wiring transition tests |
| Service recoveryunknown outcome | PARTIAL | 本地 service abstraction unit tests | restart resetattestationchild-crashcleanup E2E |
| Approval semantics | FAIL | 旧实现是整 turn scope | 分级 lease、脱敏 permission eventsensitive-target tests |
| Privacytelemetry | FAIL | observation/tool args 可含敏感内容 | persistence/redaction testsallowlist report schema |
| Presentation lifecycle | PARTIAL | 本地 candidate 存在;远端 #777 与 #699 相同 | 重建 presentation-only PR 与 cumulative E2E |
| Provider/model compatibility | PARTIAL | Desktop 默认走统一 function harness | vision gate;每个准入 model real-runtime evidence |
| Binary provenance | PASS | source/archive/binary/license pinning | 独立 supply-chain verifier |
| Signed packaged app | UNKNOWN | `.app` signing/notarization/Gatekeeper 证据 | nested helperTCC chaincold-start package smoke |
## Split Gate
每个 stacked PR 必须写清:负责的 contract 条款、non-goalsexported interfacefocused verifier cumulative verifier。重建从最终已验证 tree 按目标文件/hunk 提取,不机械重放旧 73-commit 历史。
## 两个执行器留下的教训
Maka 在两个 native executor 上做过真机实测:cua-drivertrycuaRustMCP)和一个
自有的 Swift executor(协议 `maka.cu/2`)。下面每一条都由真机实测得出,写在这里是
因为它们是设计层面的,换执行器不会自动消失。
### 协议要封闭,而不是宽容
cua-driver MCP 面是开放字符串:dispatch tier 要从 path 字符串猜,猜错的每一次
都落到 `coordinate-background`;错误消息可能带应用文本,于是宿主必须整体脱敏,
结果是**模型永远只看到错误码**,看不到那句可操作的话。`maka.cu/2` 把这些收成闭
集(§1.1 的双错误层、§1.2 的固定句子、§6.3 tier/path 配对),宿主才敢把执行器
的句子直接给模型看。
教训:能让模型自救的信息,往往正是"看起来可能不安全所以被丢掉"的那部分。解法是
让它在协议层就不可能不安全,而不是在宿主层一刀切。
### 两端各写一份的东西,一定会分叉
坐标动作 100% 不可用,藏了整个开发期。根因:快照侧 `hostWalkTree` 与校验侧
`HostAXBindingProbe` 各自实现了同一份"摘要输入"字段表,根节点的 `ancestors` 一个
读活链、一个硬编码空数组。65 个元素差 1 个,窗口摘要就不符,而窗口摘要是坐标动作
**唯一**的锚。元素动作因为只校验自身,24/24 一直是绿的,完全遮住了它。
修法不是让两份拷贝再对齐一次(那已经试过一次并且正是这次分叉的来源),而是收敛成
一条代码路径、规则放在里面。
教训:凡是"记录时算一遍、校验时再算一遍"的结构,必须共用一个函数。绿灯不覆盖的
那条路,就是它会坏掉的地方。
### 缓存不是查询
`NSWorkspace.shared.runningApplications` `frontmostApplication` 在没有 AppKit
run loop 的进程里**永不刷新**。执行器因此看不见任何在它之后启动的应用,而
`foregroundTaken` 恒为启动时刻的那个值——一个抢了用户前台的启动会如实报告"没抢"
所有真机测试之所以一直是绿的,只是因为目标应用碰巧早就在跑。
教训:在无 run loop 的进程里,AppKit 的任何"当前状态"访问器都要按缓存对待,改用
`proc_listpids` / 窗口服务这类每次真查的接口。
### 上限要有时钟,截断要说出来
`maxElements` 挡不住慢:由另一个进程托管的 open/save 面板走 1500 个元素花了 35 秒,
撞穿宿主 20 秒死线被杀,而宿主报的是"执行器已退出"——把排查引向了错的一侧。而且
截断只进了 trace,模型读到一棵残树会得出"这个控件不存在"
教训:任何遍历都要同时有数量上限和时间上限;任何截断都必须出现在**模型读得到的
地方**,并且要说出它的含义("可能存在但没列出"),而不只是一个 `truncated=true`
### 不变量要请求,而不是假设
`apps.launch` 的类型注释写着"启动的应用不得抢焦点",而实现用的是
`NSWorkspace.OpenConfiguration()` 默认值——`activates` 默认为 `true`,从来没有请求
过后台启动。诚实上报那一半是对的(应用自激活时如实报 `foregroundTaken: true`),
缺的是先去请求。
教训:一条不变量如果只写在注释里、没有对应的一行代码去请求它,它就不是不变量。
### 剪枝要有回退路径才付得起
Codex 剪得很狠(13 层深的通用容器全收),因为它有 `click{x,y}` 兜底:藏错了元素,
模型还能按坐标点。Maka 的坐标路径默认关闭,藏掉的元素就是**够不到**的元素。跨 10
个应用 9129 个元素实测,朴素的"无 label 就剪"会藏掉 3428 个,其中 1023
(占全树 17%)是可操作的。
教训:能不能剪,取决于剪错了有没有第二条路。没有回退的实现必须比有回退的保守。
### 省 token 的地方常常不在编码上
JSON/YAML 不比"一元素一行 + 缩进"省:实测分别是它的 3.5 倍和 2.1 倍,因为后者把
包含关系编码成缩进、把默认状态编码成"不写"。真正的浪费在别处——`list_apps` 无条件
返回 133 个应用(12,933 字节,约 3,600 token,占一个三步回合的 85%),而其中 118
个根本没有窗口、模型碰都碰不到。
教训:先量一次真实回合的 token 分布再动手。最大的一笔开销往往不在你正在优化的那
个字段上。
### 措辞补不上不存在的能力
一条真实任务上的三轮迭代,每轮都把拒绝语句写得更准,模型的调用次数是 32 46 57
任务是「把窗口挪到左边」。移动窗口只能拖标题栏,拖标题栏只能用坐标动作,而坐标动作
要求目标像素属于目标窗口——Computer Use 驱动的是用户没在看的窗口,后台启动的窗口
必然压在 z-order 底部,于是必然被遮挡。**这个任务没有解**:协议里没有窗口管理动词,
而「移动窗口」也不是任何控件的 AX 动作。
把拒绝语句写清楚之后,模型确实读懂了「这条路不通」,于是去试别的路——而别的路也不
通,所以试得更多。同一批改动对「导出 PDF」是有效的:那里存在一个正确答案(「做不
到,因为菜单快捷键到不了后台应用」),模型说出这句话就停了。
分界线:
- 存在正确答案(包括「做不到」本身就是正确答案)→ 措辞能把模型引到那里,值得改。
- 不存在正确答案 措辞只会让模型更快地把所有错路试一遍。要补的是能力,不是句子。
判断方法:先问「一个熟练的人拿着同样这套动作面,能不能做成」。答不上来就先别改文案。