律令科技数据不出电脑 · 本地零联网 AI 技能
首页 / 技能目录 / Windows 窗口自动化 · UI 控件控制
执行 · 电脑自动化 / RPA →

Windows 窗口自动化 · UI 控件控制【律令·本地零联网】

Windows自动化与UI自动化:Win32 窗口枚举、UI控件(类名/标题/矩形)子控件枚举、窗口等待、前台切换、组合键。

27SkillHub 下载
0.1.3版本
0网络请求
BUSL-1.1许可
win-ui-automation标识符
在 SkillHub 安装「Windows 窗口自动化 · UI 控件控制」

免费 · 开源许可 BUSL-1.1 · 本地执行,安装后不产生任何外部网络请求

去安装 →

这个技能做什么

本地运行,零网络、免 API Key、数据不出电脑。 四项诚实承诺:① 算不出就说算不出,绝不编造数字;② 高危动作强制人工确认;③ 幂等断点,绝不重复副作用;④ 全程留痕可审计。

win-ui-automation — Windows 窗口自动化 · UI 控件控制

说明

本地运行,零网络、免 API Key、数据不出电脑。Windows UI 自动化执行器(Win32 层):顶层窗口枚举、子控件树查询(类名/标题/矩形)、窗口就绪等待、前台切换、组合键发送。纯 ctypes 实现,零第三方依赖,零网络。UIA 控件树为可选增强(pywinauto),本包不隐式下载。核心能力:Windows UI 自动化、控件树、子窗口枚举、窗口等待、焦点切换、Win32 自动化、句柄操作。适用场景:标准 Win32 程序的自动化、等待窗口加载完成、按类名精确找到控件、桌面客户端的菜单和按钮操作。触发词:Windows UI 自动化、控件、控件树、子窗口、win32、句柄、窗口等待、聚焦窗口、UIA、自动化控件、找按钮、窗口句柄。

与相邻技能的关系

本包只做自己职责范围内的事,遇到下列情形直接转给兄弟技能:

用户要做的事转交给转交话术
需要点击/输入/快捷键screen-click「键鼠动作交给 screen-click,我只负责枚举和定位控件」
要多步骤串起来跑rpa-flow「多步编排交给 rpa-flow」
动作涉及删除/发送/支付等高危computer-use「高危动作先过 computer-use 的风险门禁」
目标是 Word/Excel/PPT 窗口office-automation「办公窗口交给 office-automation」

反向边界:只做控件树枚举与窗口状态,不做视觉定位、不做流程编排、不判断该不该做。用户只要点一下时直接转 screen-click,不要拦在中间。

标签

窗口自动化UI控件Windows自动化窗口枚举UI自动化

安装方式

  1. 打开 SkillHub 上的技能页,点击安装;
  2. 技能文件落在本机技能目录,SKILL.md 全文可在安装前预览;
  3. 在你的 Agent 里直接说出使用场景即可触发,例如「Windows UI 自动化、控件、控件树」。
零联网说明:该技能 frontmatter 声明 network: none,运行过程中不发起任何外部网络请求,也不上传你的文件与数据。你可以断网运行来验证这一点。

同类技能

常见问题

按真实会被问到的顺序排。每条答案都给得出可核对的依据——触发词、文件名、路径、源码,全部来自技能包里的真实内容,不是宣传话术。

Windows 窗口自动化 · UI 控件控制 能帮我做什么?

Windows自动化与UI自动化:Win32 窗口枚举、UI控件(类名/标题/矩形)子控件枚举、窗口等待、前台切换、组合键。

常见的触发场景有:Windows UI 自动化、控件、控件树。

完整说明、版本记录和安装方式在 SkillHub 上的「Windows 窗口自动化 · UI 控件控制」页面。

具体能做哪几件事?

按包内文档「核心能力」,它做这几件事:

  1. windows:枚举窗口,按标题/类名精确过滤(返回 hwnd、类名、进程、矩形)
  2. children:枚举某窗口的子控件树(类名/标题/矩形)——定位按钮/输入框的坐标依据
  3. focus:聚焦指定窗口到前台
  4. wait:轮询等待标题匹配的窗口出现(自动化同步神器,默认 15s 超时)
  5. keys:向当前前台发送组合键
  6. ui-hint:层次说明(Win32 摸不到的自绘控件 → 引导改用 screen-click)
它明确不做什么?什么情况该转给别的技能?

本包只做职责范围内的事。下面这些情况它会明确转给兄弟技能,而不是硬做:

反向边界:只做控件树枚举与窗口状态,不做视觉定位、不做流程编排、不判断该不该做。用户只要点一下时直接转 screen-click,不要拦在中间。

用之前得注意什么?有什么红线?

写死在包里的红线,一条都不能碰:

  • 进程注入、全局钩子、内存读取(本包代码也不含这些能力)
  • 对管理员权限窗口绕过 UIPI
  • 游戏客户端自动化
装上之后怎么用?

安装后,在支持 SkillHub 的 AI 客户端(如 WorkBuddy)里直接使用即可。

触发方式:对话里提到「Windows UI 自动化、控件、控件树」等场景,或把相关文件发给 AI,它就会自动响应。

也可以直接跑脚本,典型用法:python scripts/win_ui.py windows --class Notepad(完整参数见包内说明)。

或从客户端的「已安装技能」列表里手动唤起。

怎么验证它真的没有联网?

不发一个网络包——包的 frontmatter 声明 network: none,不声明就没有联网能力。三条验证路径任选:

① 安装后把网断掉再跑一遍,功能照常——它本来就没打算联网;

② 用抓包工具(Wireshark / Fiddler)观察该技能进程,零外部连接;

③ 直接翻源码:win32_native.py、win_ui.py 等源码全部公开可预览,没有一行网络代码。这是能逐行核对的技术事实,不是宣传口号。

要付费吗?要 API Key 吗?

不需要 API Key,全部技能免费安装。

许可为 BUSL-1.1:BUSL-1.1 源码可见,个人及企业内部可自由使用(含内部生产环境);发布满 4 年自动转为 Apache-2.0。详见随包 LICENSE.md。

什么环境能跑?需要装依赖吗?

面向 Windows 环境(桌面能力走 Win32 系统接口)。

依赖情况以包内「环境准备」一节为准,SkillHub 安装页可直接预览 SKILL.md 全文。

唯一前置是本机装了 Python 3;客户端(如 WorkBuddy)会替你调用,一般不用手动敲命令。

它会不会乱动我的电脑?高危操作怎么办?

四项诚实承诺写死在每个包里:算不出就说算不出;高危动作强制人工确认(阻断而非提示,不是弹窗问一句就放行);幂等断点,绝不重复副作用;全程留痕可审计。

本包只做可逆、低风险的桌面操作(Windows自动化与UI自动化:Win32 窗口枚举、UI控件(类名/标题/矩形)子控件枚举、窗口),动作会写入审计日志(~/.win-ui/actions.log);删除、发送类能力它根本没有。

遇到问题怎么反馈?

两个出口:

① 微信公众号「AI技能工具箱」——每周更新实测与安装步骤,后台留言即可;

② 首页底部有公众号二维码(点此直达);每个技能包内附完整 SKILL.md 与版本记录,多数问题翻文档就能解决。

浏览律令科技全部 40+ 个本地零联网技能

执行 · 门禁 · 账单 · 可靠 —— 四块拼图,覆盖 Agent 落地全链路

去企业页 →