截图找图点选 · 视觉定位键鼠执行【律令·本地零联网】
屏幕点击与鼠标模拟:GDI 截图存 BMP 供视觉模型定位坐标,用键盘模拟与鼠标模拟执行自动点击、输入与快捷键。
免费 · 开源许可 BUSL-1.1 · 本地执行,安装后不产生任何外部网络请求
去安装 →这个技能做什么
本地运行,零网络、免 API Key、数据不出电脑。 四项诚实承诺:① 算不出就说算不出,绝不编造数字;② 高危动作强制人工确认;③ 幂等断点,绝不重复副作用;④ 全程留痕可审计。
screen-click — 屏幕截图点选自动化 · 鼠标键盘模拟
说明
本地运行,零网络、免 API Key、数据不出电脑。视觉定位执行器:GDI 截图存 BMP 交给视觉模型找图定位目标坐标,再用 SendInput 前台键鼠执行点击/输入/快捷键。'看'靠多模态、'动'靠本包,天然适配自绘控件界面(Qt/Electron/DirectUI)。纯标准库 ctypes 实现,零第三方依赖,零网络。核心能力:截图点选、屏幕截图、坐标点击、鼠标模拟、键盘模拟、文字输入、桌面截图。适用场景:点不了 Win32 控件的自绘界面、网页/客户端混合界面、任何'看到就能点'的桌面场景。触发词:截图点选、截个图、截图、点一下、帮我点、点击坐标、模拟鼠标、模拟键盘、输入这段文字、按 ctrl+s、看屏幕、看一眼界面。
与相邻技能的关系
本包只做自己职责范围内的事,遇到下列情形直接转给兄弟技能:
| 用户要做的事 | 转交给 | 转交话术 |
|---|---|---|
| 需要先拿到控件树/窗口句柄 | win-ui-automation | 「控件级定位交给 win-ui-automation,我直接按坐标执行」 |
| 要多步骤串起来跑 | rpa-flow | 「多步编排交给 rpa-flow」 |
| 动作涉及删除/发送/支付等高危 | computer-use | 「高危动作先过 computer-use 的风险门禁」 |
反向边界:只做截图与键鼠执行,不做流程编排、不判断风险级别。用户要连续操作时转 rpa-flow。
标签
屏幕点击鼠标模拟键盘模拟自动点击截图
安装方式
- 打开 SkillHub 上的技能页,点击安装;
- 技能文件落在本机技能目录,SKILL.md 全文可在安装前预览;
- 在你的 Agent 里直接说出使用场景即可触发,例如「截图点选、截个图、截图」。
network: none,运行过程中不发起任何外部网络请求,也不上传你的文件与数据。你可以断网运行来验证这一点。同类技能
常见问题
按真实会被问到的顺序排。每条答案都给得出可核对的依据——触发词、文件名、路径、源码,全部来自技能包里的真实内容,不是宣传话术。
截图找图点选 · 视觉定位键鼠执行 能帮我做什么?
屏幕点击与鼠标模拟:GDI 截图存 BMP 供视觉模型定位坐标,用键盘模拟与鼠标模拟执行自动点击、输入与快捷键。
常见的触发场景有:截图点选、截个图、截图。
完整说明、版本记录和安装方式在 SkillHub 上的「截图找图点选 · 视觉定位键鼠执行」页面。
具体能做哪几件事?
按包内文档「核心能力」,它做这几件事:
- shot:全屏或指定区域截图,存 BMP 32bpp 到 ~/.screen-click/shots/,交给视觉模型分析
- click / move:坐标点击(左/右/中键、双击)、鼠标移动(绝对坐标,DPI 感知)
- type:Unicode 方式输入文本(--text 或 stdin;换行转回车)
- key:组合键(ctrl+s / alt+tab / f5 等,完整 VK 表内置)
- screen:分辨率查询(坐标计算基准)
它明确不做什么?什么情况该转给别的技能?
本包只做职责范围内的事。下面这些情况它会明确转给兄弟技能,而不是硬做:
- 需要先拿到控件树/窗口句柄 → 转给 win-ui-automation
- 要多步骤串起来跑 → 转给 rpa-flow
- 动作涉及删除/发送/支付等高危 → 转给 computer-use
反向边界:只做截图与键鼠执行,不做流程编排、不判断风险级别。用户要连续操作时转 rpa-flow。
用之前得注意什么?有什么红线?
写死在包里的红线,一条都不能碰:
- SendInput 前台输入:对管理员权限窗口被 UIPI 拦截时直接报错——绝不提权绕过
- 坐标来自视觉判断:本包不做模板匹配/OCR/内存读取,不碰游戏进程
- 审计日志:每个动作(截图/点击/输入)落盘留痕;type 只记长度和前 20 字符预览
- 游戏自动化/外挂、验证码对抗:一律拒绝
装上之后怎么用?
安装后,在支持 SkillHub 的 AI 客户端(如 WorkBuddy)里直接使用即可。
触发方式:对话里提到「截图点选、截个图、截图」等场景,或把相关文件发给 AI,它就会自动响应。
也可以直接跑脚本,典型用法:python scripts/screen_click.py shot # 全屏截图(完整参数见包内说明)。
或从客户端的「已安装技能」列表里手动唤起。
怎么验证它真的没有联网?
不发一个网络包——包的 frontmatter 声明 network: none,不声明就没有联网能力。三条验证路径任选:
① 安装后把网断掉再跑一遍,功能照常——它本来就没打算联网;
② 用抓包工具(Wireshark / Fiddler)观察该技能进程,零外部连接;
③ 直接翻源码:screen_click.py、win32_native.py 等源码全部公开可预览,没有一行网络代码。这是能逐行核对的技术事实,不是宣传口号。
要付费吗?要 API Key 吗?
不需要 API Key,全部技能免费安装。
许可为 BUSL-1.1:BUSL-1.1 源码可见,个人及企业内部可自由使用(含内部生产环境);发布满 4 年自动转为 Apache-2.0。详见随包 LICENSE.md。
什么环境能跑?需要装依赖吗?
面向 Windows 环境(桌面能力走 Win32 系统接口)。
依赖情况以包内「环境准备」一节为准,SkillHub 安装页可直接预览 SKILL.md 全文。
唯一前置是本机装了 Python 3;客户端(如 WorkBuddy)会替你调用,一般不用手动敲命令。
它会不会乱动我的电脑?高危操作怎么办?
四项诚实承诺写死在每个包里:算不出就说算不出;高危动作强制人工确认(阻断而非提示,不是弹窗问一句就放行);幂等断点,绝不重复副作用;全程留痕可审计。
本包只做可逆、低风险的桌面操作(屏幕点击与鼠标模拟:GDI 截图存 BMP 供视觉模型定位坐标,用键盘模拟与鼠标模拟执行自动点击、输),动作会写入审计日志(~/.screen-click/shots);删除、发送类能力它根本没有。
遇到问题怎么反馈?
执行 · 门禁 · 账单 · 可靠 —— 四块拼图,覆盖 Agent 落地全链路
去企业页 →