Windows 窗口自动化 · UI 控件控制【律令·本地零联网】
Windows自动化与UI自动化:Win32 窗口枚举、UI控件(类名/标题/矩形)子控件枚举、窗口等待、前台切换、组合键。
免费 · 开源许可 BUSL-1.1 · 本地执行,安装后不产生任何外部网络请求
去安装 →这个技能做什么
本地运行,零网络、免 API Key、数据不出电脑。 四项诚实承诺:① 算不出就说算不出,绝不编造数字;② 高危动作强制人工确认;③ 幂等断点,绝不重复副作用;④ 全程留痕可审计。
win-ui-automation — Windows 窗口自动化 · UI 控件控制
说明
本地运行,零网络、免 API Key、数据不出电脑。Windows UI 自动化执行器(Win32 层):顶层窗口枚举、子控件树查询(类名/标题/矩形)、窗口就绪等待、前台切换、组合键发送。纯 ctypes 实现,零第三方依赖,零网络。UIA 控件树为可选增强(pywinauto),本包不隐式下载。核心能力:Windows UI 自动化、控件树、子窗口枚举、窗口等待、焦点切换、Win32 自动化、句柄操作。适用场景:标准 Win32 程序的自动化、等待窗口加载完成、按类名精确找到控件、桌面客户端的菜单和按钮操作。触发词:Windows UI 自动化、控件、控件树、子窗口、win32、句柄、窗口等待、聚焦窗口、UIA、自动化控件、找按钮、窗口句柄。
与相邻技能的关系
本包只做自己职责范围内的事,遇到下列情形直接转给兄弟技能:
| 用户要做的事 | 转交给 | 转交话术 |
|---|---|---|
| 需要点击/输入/快捷键 | screen-click | 「键鼠动作交给 screen-click,我只负责枚举和定位控件」 |
| 要多步骤串起来跑 | rpa-flow | 「多步编排交给 rpa-flow」 |
| 动作涉及删除/发送/支付等高危 | computer-use | 「高危动作先过 computer-use 的风险门禁」 |
| 目标是 Word/Excel/PPT 窗口 | office-automation | 「办公窗口交给 office-automation」 |
反向边界:只做控件树枚举与窗口状态,不做视觉定位、不做流程编排、不判断该不该做。用户只要点一下时直接转 screen-click,不要拦在中间。
标签
窗口自动化UI控件Windows自动化窗口枚举UI自动化
安装方式
- 打开 SkillHub 上的技能页,点击安装;
- 技能文件落在本机技能目录,SKILL.md 全文可在安装前预览;
- 在你的 Agent 里直接说出使用场景即可触发,例如「Windows UI 自动化、控件、控件树」。
network: none,运行过程中不发起任何外部网络请求,也不上传你的文件与数据。你可以断网运行来验证这一点。同类技能
常见问题
按真实会被问到的顺序排。每条答案都给得出可核对的依据——触发词、文件名、路径、源码,全部来自技能包里的真实内容,不是宣传话术。
Windows 窗口自动化 · UI 控件控制 能帮我做什么?
Windows自动化与UI自动化:Win32 窗口枚举、UI控件(类名/标题/矩形)子控件枚举、窗口等待、前台切换、组合键。
常见的触发场景有:Windows UI 自动化、控件、控件树。
完整说明、版本记录和安装方式在 SkillHub 上的「Windows 窗口自动化 · UI 控件控制」页面。
具体能做哪几件事?
按包内文档「核心能力」,它做这几件事:
- windows:枚举窗口,按标题/类名精确过滤(返回 hwnd、类名、进程、矩形)
- children:枚举某窗口的子控件树(类名/标题/矩形)——定位按钮/输入框的坐标依据
- focus:聚焦指定窗口到前台
- wait:轮询等待标题匹配的窗口出现(自动化同步神器,默认 15s 超时)
- keys:向当前前台发送组合键
- ui-hint:层次说明(Win32 摸不到的自绘控件 → 引导改用 screen-click)
它明确不做什么?什么情况该转给别的技能?
本包只做职责范围内的事。下面这些情况它会明确转给兄弟技能,而不是硬做:
- 需要点击/输入/快捷键 → 转给 screen-click
- 要多步骤串起来跑 → 转给 rpa-flow
- 动作涉及删除/发送/支付等高危 → 转给 computer-use
- 目标是 Word/Excel/PPT 窗口 → 转给 office-automation
反向边界:只做控件树枚举与窗口状态,不做视觉定位、不做流程编排、不判断该不该做。用户只要点一下时直接转 screen-click,不要拦在中间。
用之前得注意什么?有什么红线?
写死在包里的红线,一条都不能碰:
- 进程注入、全局钩子、内存读取(本包代码也不含这些能力)
- 对管理员权限窗口绕过 UIPI
- 游戏客户端自动化
装上之后怎么用?
安装后,在支持 SkillHub 的 AI 客户端(如 WorkBuddy)里直接使用即可。
触发方式:对话里提到「Windows UI 自动化、控件、控件树」等场景,或把相关文件发给 AI,它就会自动响应。
也可以直接跑脚本,典型用法:python scripts/win_ui.py windows --class Notepad(完整参数见包内说明)。
或从客户端的「已安装技能」列表里手动唤起。
怎么验证它真的没有联网?
不发一个网络包——包的 frontmatter 声明 network: none,不声明就没有联网能力。三条验证路径任选:
① 安装后把网断掉再跑一遍,功能照常——它本来就没打算联网;
② 用抓包工具(Wireshark / Fiddler)观察该技能进程,零外部连接;
③ 直接翻源码:win32_native.py、win_ui.py 等源码全部公开可预览,没有一行网络代码。这是能逐行核对的技术事实,不是宣传口号。
要付费吗?要 API Key 吗?
不需要 API Key,全部技能免费安装。
许可为 BUSL-1.1:BUSL-1.1 源码可见,个人及企业内部可自由使用(含内部生产环境);发布满 4 年自动转为 Apache-2.0。详见随包 LICENSE.md。
什么环境能跑?需要装依赖吗?
面向 Windows 环境(桌面能力走 Win32 系统接口)。
依赖情况以包内「环境准备」一节为准,SkillHub 安装页可直接预览 SKILL.md 全文。
唯一前置是本机装了 Python 3;客户端(如 WorkBuddy)会替你调用,一般不用手动敲命令。
它会不会乱动我的电脑?高危操作怎么办?
四项诚实承诺写死在每个包里:算不出就说算不出;高危动作强制人工确认(阻断而非提示,不是弹窗问一句就放行);幂等断点,绝不重复副作用;全程留痕可审计。
本包只做可逆、低风险的桌面操作(Windows自动化与UI自动化:Win32 窗口枚举、UI控件(类名/标题/矩形)子控件枚举、窗口),动作会写入审计日志(~/.win-ui/actions.log);删除、发送类能力它根本没有。
遇到问题怎么反馈?
执行 · 门禁 · 账单 · 可靠 —— 四块拼图,覆盖 Agent 落地全链路
去企业页 →