pyautogui是一个非常流行的库,用于模拟鼠标和键盘的操作。
这里介绍如何在mac m1平台使用pyautogui实现鼠标和键盘的自动化控制。
所用示例和代码参考和修改自网络资料。
1 安装pyautogui
1.1 安装pyautogui
pyautogui非常简单,安装指令如下
pip install pyautogui
1.2 iterm arch设置
如果此时直接运行pyautogui工具,会报如下错误
AttributeError: dlsym(0x477d926b8, objc_msgSendSuper_stret): symbol not found
这时因为本地是mac m1,所以安装的是arm64版本pyautogui。
然而在iterm启动pyautogui时,iterm可能有采用的还是x86的设置。
比如在iterm输入arch,有可能输出如下
# arch
i386 # 这里为arch命令的输出。
这时需要讲arch切换到arm64,命令如下
arch -arm64 zsh
在此运行arch时,输出的就是arm64了。
# arch
arm64 # arch的输出。
此时,就可以正常运行pyautogui了。
详细操作可参考如下文档
https://www.meaoo.cn/mac_arch.html
2 测试pyautogui
2.1 移动鼠标
将鼠标移动到 (100, 200) 坐标,持续 1 秒
import pyautogui # 将鼠标移动到 (100, 200) 坐标,持续 1 秒 pyautogui.moveTo(100, 200, duration=1)2.2 单击鼠标
模拟左键单击鼠标,右键单击鼠标。
# 左键单击 pyautogui.click() # 右键单击 pyautogui.click(button='right')2.3 拖到鼠标
模拟从当前位置拖动到 (300, 400),持续 2 秒。
# 从当前位置拖动到 (300, 400),持续 2 秒 pyautogui.dragTo(300, 400, duration=2)代码报错,原因未知。
AssertionError: button argument not in ('left', 'middle', 'right')
2.4 模拟按键
模拟按下回车键,模拟Ctrl+C组合键。
# 按下回车键 pyautogui.press('enter') # 模拟 Ctrl + C 组合键 pyautogui.press(['ctrl', 'c'])2.5 模拟键盘输入
模拟键盘输入 'Hello, World!'。
# 输入 'Hello, World!',每个字符间隔 0.1 秒 pyautogui.write('Hello, World!', interval=0.1)然后在jupyter-lab的下一个框中会输入自动输入Hello,World!
2.6 模拟操作Excel
操作Excel的代码示例如下
import pyautogui import time # 打开 Excel 软件 pyautogui.press('winleft') # 按下 Windows 键打开开始菜单 pyautogui.write('Excel') # 输入 'Excel' 搜索 Excel pyautogui.press('enter') # 按下回车键打开 Excel # 等待 Excel 打开 time.sleep(5) # 自动填写表格 # 输入第一列 '姓名' pyautogui.write('姓名') pyautogui.press('tab') # 切换到下一列 pyautogui.write('张三') # 填写第二列 '年龄' pyautogui.press('tab') pyautogui.write('25') # 填写完成后保存文件并关闭 pyautogui.press(['ctrl', 's']) # 按下 Ctrl+S 保存 pyautogui.press(['alt', 'f4']) # 按下 Alt+F4 关闭 Excel这个需要在windows环境下实现,在mac m1环境下,智能模拟出其中的键盘输入部分。
2.7 延时等待
模拟延时等待5s
time.sleep(5) # 等待 5 秒钟3 总结pyautogui
需要注意的是,pyautogui库在 Windows、macOS 和 Linux 上都可以运行,但不同平台的热键或鼠标操作略有差异。在使用过程中,应根据具体平台的特点进行适当的调整。
reference
---
能控制计算机桌面的多模态AI agent框架
https://blog.csdn.net/liliang199/article/details/156018145
使用Python实现鼠标与键盘自动化操作:从基础到实战应用
https://zhuanlan.zhihu.com/p/23356032557
M1 Silicon Mac shows i386 as architecture even though /bin/zsh is the shell
https://apple.stackexchange.com/questions/467361/m1-silicon-mac-shows-i386-as-architecture-even-though-bin-zsh-is-the-shell
Mac arch切换x86_64
https://www.meaoo.cn/mac_arch.html
MAC M1 symbol not found: can not run #772
https://github.com/asweigart/pyautogui/issues/772