WhatCanJevDo
返回
agentsproductivity开源

typesafe-computer-use

把本地 OCR、辅助功能数据和 Jev 的受限动作选择组合成原生 macOS Computer Use。

Jev 决定什么

下一步使用哪个电脑动作、可见元素、网站或屏幕外辅助功能控件。

项目用确定性方式读取当前 Mac 窗口,再让 Jev 从已知动作与目标中选择下一步;只有确实需要自由文本时才调用单独的写作模型。

CHOICENOUL
Jev 的职责
根据确定性的屏幕观测,从受限动作和目标中选择下一步。
输入
用户目标、OCR 文本块、辅助功能控件、焦点输入框、应用、URL、时间和近期动作。
输出
动作与目标的 Choice 分布,以及输入生成文本后的 Noul 检查。
决策频率
每个 Computer Use 步骤一次。
兜底方式
低置信度、连续空操作、达到步数上限或缺少权限时停止;自由文本交给单独的写作模型。
作者自报 · 已核对来源

运行方式

输入
用户目标、OCR 文本块、辅助功能控件、焦点输入框、应用、URL、时间和近期动作。
Jev
CHOICE + NOUL
输出
动作与目标的 Choice 分布,以及输入生成文本后的 Noul 检查。

公开性能数据

Reported model cost per decision

0.0002 USD

Select one computer-use action from the same screenshot and goal.

作者自报 · 已核对来源

采集于 2026年9月21日

Reported model latency

0.13–0.38 s

One computer-use action decision.

作者自报 · 已核对来源

采集于 2026年9月21日

项目概览

typesafe-computer-use 组合了 ScreenCaptureKit、Apple Vision OCR、macOS 辅助功能和确定性的动作处理器。Jev 面对的是显式动作和可见或可访问的目标,而不是接收截图后生成一整套计划。

仓库中的成本与延迟来自作者对同一屏幕任务的测试,并非本站独立 benchmark。项目也明确记录了纯图标控件、辅助功能覆盖率、焦点争用和仅支持主显示器等限制。

开发语言
Python
许可证
MIT
作者
awlevin
来源核对于 2026年9月21日

信息来源

相关项目