律令科技数据不出电脑 · 本地零联网 AI 技能
首页 / 技能目录 / 截图找图点选 · 视觉定位键鼠执行
执行 · 电脑自动化 / RPA →

截图找图点选 · 视觉定位键鼠执行【律令·本地零联网】

屏幕点击与鼠标模拟:GDI 截图存 BMP 供视觉模型定位坐标,用键盘模拟与鼠标模拟执行自动点击、输入与快捷键。

30SkillHub 下载
0.2.2版本
0网络请求
BUSL-1.1许可
screen-click标识符
在 SkillHub 安装「截图找图点选 · 视觉定位键鼠执行」

免费 · 开源许可 BUSL-1.1 · 本地执行,安装后不产生任何外部网络请求

去安装 →

这个技能做什么

本地运行,零网络、免 API Key、数据不出电脑。 四项诚实承诺:① 算不出就说算不出,绝不编造数字;② 高危动作强制人工确认;③ 幂等断点,绝不重复副作用;④ 全程留痕可审计。

screen-click — 屏幕截图点选自动化 · 鼠标键盘模拟

说明

本地运行,零网络、免 API Key、数据不出电脑。视觉定位执行器:GDI 截图存 BMP 交给视觉模型找图定位目标坐标,再用 SendInput 前台键鼠执行点击/输入/快捷键。'看'靠多模态、'动'靠本包,天然适配自绘控件界面(Qt/Electron/DirectUI)。纯标准库 ctypes 实现,零第三方依赖,零网络。核心能力:截图点选、屏幕截图、坐标点击、鼠标模拟、键盘模拟、文字输入、桌面截图。适用场景:点不了 Win32 控件的自绘界面、网页/客户端混合界面、任何'看到就能点'的桌面场景。触发词:截图点选、截个图、截图、点一下、帮我点、点击坐标、模拟鼠标、模拟键盘、输入这段文字、按 ctrl+s、看屏幕、看一眼界面。

与相邻技能的关系

本包只做自己职责范围内的事,遇到下列情形直接转给兄弟技能:

用户要做的事转交给转交话术
需要先拿到控件树/窗口句柄win-ui-automation「控件级定位交给 win-ui-automation,我直接按坐标执行」
要多步骤串起来跑rpa-flow「多步编排交给 rpa-flow」
动作涉及删除/发送/支付等高危computer-use「高危动作先过 computer-use 的风险门禁」

反向边界:只做截图与键鼠执行,不做流程编排、不判断风险级别。用户要连续操作时转 rpa-flow。

标签

屏幕点击鼠标模拟键盘模拟自动点击截图

安装方式

  1. 打开 SkillHub 上的技能页,点击安装;
  2. 技能文件落在本机技能目录,SKILL.md 全文可在安装前预览;
  3. 在你的 Agent 里直接说出使用场景即可触发,例如「截图点选、截个图、截图」。
零联网说明:该技能 frontmatter 声明 network: none,运行过程中不发起任何外部网络请求,也不上传你的文件与数据。你可以断网运行来验证这一点。

同类技能

常见问题

按真实会被问到的顺序排。每条答案都给得出可核对的依据——触发词、文件名、路径、源码,全部来自技能包里的真实内容,不是宣传话术。

截图找图点选 · 视觉定位键鼠执行 能帮我做什么?

屏幕点击与鼠标模拟:GDI 截图存 BMP 供视觉模型定位坐标,用键盘模拟与鼠标模拟执行自动点击、输入与快捷键。

常见的触发场景有:截图点选、截个图、截图。

完整说明、版本记录和安装方式在 SkillHub 上的「截图找图点选 · 视觉定位键鼠执行」页面。

具体能做哪几件事?

按包内文档「核心能力」,它做这几件事:

  1. shot:全屏或指定区域截图,存 BMP 32bpp 到 ~/.screen-click/shots/,交给视觉模型分析
  2. click / move:坐标点击(左/右/中键、双击)、鼠标移动(绝对坐标,DPI 感知)
  3. type:Unicode 方式输入文本(--text 或 stdin;换行转回车)
  4. key:组合键(ctrl+s / alt+tab / f5 等,完整 VK 表内置)
  5. screen:分辨率查询(坐标计算基准)
它明确不做什么?什么情况该转给别的技能?

本包只做职责范围内的事。下面这些情况它会明确转给兄弟技能,而不是硬做:

反向边界:只做截图与键鼠执行,不做流程编排、不判断风险级别。用户要连续操作时转 rpa-flow。

用之前得注意什么?有什么红线?

写死在包里的红线,一条都不能碰:

  • SendInput 前台输入:对管理员权限窗口被 UIPI 拦截时直接报错——绝不提权绕过
  • 坐标来自视觉判断:本包不做模板匹配/OCR/内存读取,不碰游戏进程
  • 审计日志:每个动作(截图/点击/输入)落盘留痕;type 只记长度和前 20 字符预览
  • 游戏自动化/外挂、验证码对抗:一律拒绝
装上之后怎么用?

安装后,在支持 SkillHub 的 AI 客户端(如 WorkBuddy)里直接使用即可。

触发方式:对话里提到「截图点选、截个图、截图」等场景,或把相关文件发给 AI,它就会自动响应。

也可以直接跑脚本,典型用法:python scripts/screen_click.py shot # 全屏截图(完整参数见包内说明)。

或从客户端的「已安装技能」列表里手动唤起。

怎么验证它真的没有联网?

不发一个网络包——包的 frontmatter 声明 network: none,不声明就没有联网能力。三条验证路径任选:

① 安装后把网断掉再跑一遍,功能照常——它本来就没打算联网;

② 用抓包工具(Wireshark / Fiddler)观察该技能进程,零外部连接;

③ 直接翻源码:screen_click.py、win32_native.py 等源码全部公开可预览,没有一行网络代码。这是能逐行核对的技术事实,不是宣传口号。

要付费吗?要 API Key 吗?

不需要 API Key,全部技能免费安装。

许可为 BUSL-1.1:BUSL-1.1 源码可见,个人及企业内部可自由使用(含内部生产环境);发布满 4 年自动转为 Apache-2.0。详见随包 LICENSE.md。

什么环境能跑?需要装依赖吗?

面向 Windows 环境(桌面能力走 Win32 系统接口)。

依赖情况以包内「环境准备」一节为准,SkillHub 安装页可直接预览 SKILL.md 全文。

唯一前置是本机装了 Python 3;客户端(如 WorkBuddy)会替你调用,一般不用手动敲命令。

它会不会乱动我的电脑?高危操作怎么办?

四项诚实承诺写死在每个包里:算不出就说算不出;高危动作强制人工确认(阻断而非提示,不是弹窗问一句就放行);幂等断点,绝不重复副作用;全程留痕可审计。

本包只做可逆、低风险的桌面操作(屏幕点击与鼠标模拟:GDI 截图存 BMP 供视觉模型定位坐标,用键盘模拟与鼠标模拟执行自动点击、输),动作会写入审计日志(~/.screen-click/shots);删除、发送类能力它根本没有。

遇到问题怎么反馈?

两个出口:

① 微信公众号「AI技能工具箱」——每周更新实测与安装步骤,后台留言即可;

② 首页底部有公众号二维码(点此直达);每个技能包内附完整 SKILL.md 与版本记录,多数问题翻文档就能解决。

浏览律令科技全部 40+ 个本地零联网技能

执行 · 门禁 · 账单 · 可靠 —— 四块拼图,覆盖 Agent 落地全链路

去企业页 →