news 2026/4/3 6:06:48

yolov5实现游戏图像识别与后续辅助功能

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
yolov5实现游戏图像识别与后续辅助功能

YOLOv5 是基于深度学习的目标检测算法,优势是实时性强、能识别多目标、抗光影干扰,适合 FPS 游戏中敌人、武器、爆头点等复杂目标识别。整体流程:​

二、第一步:YOLOv5 游戏目标训练(关键前提)​需先训练适配游戏场景的 YOLOv5 模型,识别敌人、爆头点等目标:​

1. 数据准备​

  • 截图采集:在游戏中截取 100-500 张包含目标(如敌人头部、身体)的图片(窗口化 / 无边框模式),覆盖不同距离、光影、姿势。​
  • 标注数据:用 LabelImg 工具标注目标,格式选择 YOLO(txt 文件),标签定义如 0:enemy_head(敌人头部)、1:enemy_body(敌人身体)。​
  • 数据集划分:按 8:1:1 拆分训练集、验证集、测试集,放入 YOLOv5 的 datasets/游戏名/ 目录。​

2. 配置 YOLOv5 训练参数​

  • 下载 YOLOv5 源码(GitHub 地址),安装依赖:pip install -r requirements.txt。​
  • 复制 models/yolov5s.yaml 为 yolov5_game.yaml,修改 nc: 2(目标类别数,如敌人头部 + 身体 = 2 类)。​
  • 复制 data/coco128.yaml 为 data/game.yaml,修改:​

3. 训练模型​

运行训练命令(按需调整 epochs 和 batch-size):​

​训练完成后,在 runs/train/exp/weights/ 中获取最佳模型 best.pt。​

4. 模型推理测试​

编写 Python 脚本测试识别效果,输出目标的屏幕坐标(x,y)、置信度:​

# detect_game.py import cv2 import torch import numpy as np # 加载YOLOv5模型 model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt') # 替换为你的模型路径 model.conf = 0.5 # 置信度阈值(只保留置信度≥0.5的目标) def detect_enemy(screen_img): """ 输入:屏幕捕获的图像(numpy数组) 输出:识别到的目标列表 [{'x':中心x, 'y':中心y, 'conf':置信度, 'cls':类别}] """ results = model(screen_img) targets = [] # 解析识别结果 for *box, conf, cls in results.xyxy[0]: x1, y1, x2, y2 = map(int, box) center_x = (x1 + x2) // 2 # 目标中心x坐标 center_y = (y1 + y2) // 2 # 目标中心y坐标 targets.append({ 'x': center_x, 'y': center_y, 'conf': float(conf), 'cls': int(cls) }) # 按置信度排序(优先锁定最清晰的目标) targets.sort(key=lambda t: t['conf'], reverse=True) return targets # 测试:捕获屏幕并识别(需安装mss用于屏幕捕获) from mss import mss sct = mss() monitor = {"top": 0, "left": 0, "width": 1920, "height": 1080} # 游戏窗口坐标范围 while True: # 捕获屏幕画面 img = np.array(sct.grab(monitor)) img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR) # 转换颜色空间 # 识别目标 targets = detect_enemy(img) if targets: print("识别到目标:", targets[0]) # 输出最优先目标 # 按q退出 if cv2.waitKey(1) & 0xFF == ord('q'): break cv2.destroyAllWindows()

三、第二步:易语言调用 YOLOv5 识别结果​

易语言无法直接运行 PyTorch 模型,需通过 进程通信 让 Python(YOLOv5)将识别结果传递给易语言,推荐两种方式:​

方式 1:共享内存(高效实时,推荐)​

Python 将目标坐标写入 Windows 共享内存,易语言读取共享内存数据,延迟<10ms,适合 FPS 实时瞄准。​

(1)Python 端:写入共享内存​

安装依赖:pip install pywin32​ ​while True:​ img = np.array(sct.grab(monitor))​ img = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)​ targets = detect_enemy(img) # 调用第一步的识别函数​ write_target_to_mem(targets[0] if targets else None)​ if cv2.waitKey(1) & 0xFF == ord('q'):​ break​ ​ # 关闭资源​ win32file.UnmapViewOfFile(p_buf)​ win32file.CloseHandle(h_map_file)​ ​

(2)易语言端:读取共享内存​

通过 Windows API 读取共享内存数据,核心代码:​

​.支持库 spec​

​// 声明共享内存相关API​

.DLL命令 CreateFileMappingA, 整数型, "kernel32.dll", "CreateFileMappingA"​

.参数 hFile, 整数型​

.参数 lpFileMappingAttributes, 整数型​

.参数 flProtect, 整数型​

.参数 dwMaximumSizeHigh, 整数型​

.参数 dwMaximumSizeLow, 整数型​

.参数 lpName, 文本型​

​.DLL命令 MapViewOfFile, 整数型, "kernel32.dll", "MapViewOfFile"​

.参数 hFileMappingObject, 整数型​

.参数 dwDesiredAccess, 整数型​

.参数 dwFileOffsetHigh, 整数型​

.参数 dwFileOffsetLow, 整数型​

.参数 dwNumberOfBytesToMap, 整数型​

​.DLL命令 CopyMemory, 整数型, "kernel32.dll", "RtlMoveMemory"​

.参数 Destination, 整数型​

.参数 Source, 整数型​

.参数 Length, 整数型​

​.DLL命令 UnmapViewOfFile, 逻辑型, "kernel32.dll", "UnmapViewOfFile"​

.参数 lpBaseAddress, 整数型​

​方式 2:Socket 网络通信(跨设备 / 调试方便)​

Python 作为服务端,易语言作为客户端,通过 TCP 发送识别结果,适合调试或非实时场景,核心代码简化:​

  • Python 端(TCP 服务端):用 socket 库监听端口,持续发送目标 JSON 数据。​
  • 易语言端(TCP 客户端):用 网络通讯支持库 连接服务端,接收并解析 JSON。​

四、第三步:易语言衔接自动化操作(瞄准 / 射击)​

结合 YOLOv5 识别到的目标坐标,实现平滑瞄准和射击,核心代码:​

​.版本 2​

.支持库 eAPI​

​// 声明鼠标操作API(同之前代码)​

.DLL命令 SetCursorPos, 逻辑型, "user32.dll", "SetCursorPos"​

.参数 X, 整数型​

.参数 Y, 整数型​

​.DLL命令 mouse_event, 逻辑型, "user32.dll", "mouse_event"​

.参数 dwFlags, 整数型​

.参数 dx, 整数型​

.参数 dy, 整数型​

.参数 cButtons, 整数型​

.参数 dwExtraInfo, 整数型​

​.常量 MOUSEEVENTF_LEFTDOWN, "2"​

.常量 MOUSEEVENTF_LEFTUP, "4"​

​// 全局变量​

.全局变量 脚本开关, 逻辑型, , "假"​

.全局变量 游戏窗口偏移X, 整数型 // 游戏窗口左上角X坐标(避免全屏偏移)​

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/1 20:00:09

AI对投资领域的核心影响与实践落地

AI对投资领域的核心影响与实践落地 AI技术已从辅助工具升级为投资领域的核心生产力,其影响贯穿投研、交易、风控、服务全链条,既重塑了机构的投资逻辑,也改变了普通投资者的参与方式,同时催生了新的风险与挑战。(一&am…

作者头像 李华
网站建设 2026/4/2 15:55:24

风控体系重构:从“事后处置”到“事前预警”

风控体系重构:从“事后处置”到“事前预警” AI将风控从传统的“静态阈值管理”升级为“动态风险防御体系”,通过实时数据整合与预测模型,实现风险的早识别、早干预。在实盘配资领域,采用AI风控的平台用户资金安全率比传统平台高出…

作者头像 李华
网站建设 2026/4/2 21:19:13

AutoGPT平台架构解析与实战指南

AutoGPT:当大语言模型开始“自己做事” 你有没有想过,一个AI不仅能回答问题,还能主动帮你把事情做完?比如你只说一句:“帮我写一篇关于AI教育的文章”,它就能自己上网查资料、整理观点、撰写成文&#xff0…

作者头像 李华
网站建设 2026/4/3 4:28:51

ros2 订阅与发布-cpp

基础ros2 run turtlesim turtlesim_node //运行乌龟节点 ros2 node list //查询所有运行的节点 ros2 node info /turtlesim //查询乌龟节点的信息 //可发现 乌龟节点订阅了 /turtle1/cmd_vel //话题 消息接口是 geometry_msgs/msg/Twist //同…

作者头像 李华