Android 也能玩转工业视觉：电鱼智能 RK3399 多路双目摄像头同步采集方案-智慧文博士

硬件架构：如何让 RK3399 接入“多路双目”？

RK3399 原生只有 2 个 ISP（图像信号处理器），理论上只能接 2 个 MIPI 摄像头。要接入“多路双目”（例如：前置双目 + 后置双目 = 4摄），我们通常采用以下两种策略：

方案 A：MIPI 拼图法 (高性能推荐)

利用FPGA或桥接芯片（如 TC358749 / RK1608）将左右两个摄像头的图像数据在传输给 RK3399 之前进行左右拼接（Side-by-Side）。

原理：双目 $1280 \times 720$ 的两张图，被拼接成一张 $2560 \times 720$ 的大图。
优势：RK3399 认为只接了一个摄像头，Android 层只需要打开一个 Camera ID，天然保证了左右眼完全同步，无 CPU 拼接开销。

方案 B：UVC 多路复用法 (扩展性强)

利用 RK3399 的USB 3.0接口连接多组 UVC 双目模组。

原理：每个双目模组内部已完成同步，通过 USB 传输 MJPEG/YUV 数据。
优势：可扩展性强，可以接 4-6 路双目。
挑战：需要电鱼智能定制的UVC Camera HAL，解决 Android 原生只支持单路 UVC 的限制。

![电鱼智能 RK3399 多路双目摄像头硬件连接架构图：MIPI Bridge vs USB Hub 方案]

核心技术：如何实现“硬件级同步”？

在双目视觉中，软同步（靠时间戳对齐）是不够的，必须实现硬同步（Hardware Synchronization）。

1. 物理层的 FSIN 触发

对于 MIPI 接口的 Sensor（如 OV9281, GC2053），必须在电路设计上将两个 Sensor 的FSIN (Frame Sync In)引脚连接在一起，并由 RK3399 的 GPIO 或其中一颗主 Sensor 发出 PWM 信号进行触发。

电鱼设计：在电鱼 RK3399 底板上，我们专门预留了同步触发电路。当 FSIN 信号拉高时，左右 Sensor 同时开始曝光，误差控制在微秒级。

2. Android HAL 层的逻辑相机 (Logical Camera)

Android 应用层打开多个摄像头极耗资源。我们修改了底层 HAL3：

物理单摄，逻辑双目：如果采用拼接方案，Android 看到的只是一个分辨率为 $2560 \times 720$ 的宽幅摄像头。
物理双摄，逻辑单摄：如果采用双 MIPI 接口，我们在 HAL 层构建Logical Multi-Camera，应用层只需调用openCamera(LOGICAL_ID)，HAL 层会自动控制两个物理 ISP 同时启动，并对齐时间戳后向上层返回两组数据。

软件实现 (Implementation)

Android Manifest 权限配置

首先确保应用具备访问相机的最高权限：

XML

<uses-permission android:name="android.permission.CAMERA" /> <uses-feature android:name="android.hardware.camera" /> <uses-feature android:name="android.hardware.camera.autofocus" /> <uses-feature android:name="android.hardware.camera.concurrent" android:required="true"/>

Camera2 API 调用逻辑 (Java/Kotlin)

针对拼接式双目（最稳定的方案），应用层只需处理图像切割：

Java

// 逻辑示例：处理拼接后的双目图像 ImageReader reader = ImageReader.newInstance(2560, 720, ImageFormat.YUV_420_888, 2); reader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() { @Override public void onImageAvailable(ImageReader reader) { Image image = reader.acquireLatestImage(); if (image != null) { // 获取 buffer 数据 ByteBuffer buffer = image.getPlanes()[0].getBuffer(); byte[] data = new byte[buffer.remaining()]; buffer.get(data); // 软件切割：前 1280 字节为左眼，后 1280 字节为右眼 (针对行数据) // 注意：YUV切割比 RGB 复杂，建议传入 JNI 层用 C++ (OpenCV/RGA) 处理 processStereoImage(data); image.close(); } } }, backgroundHandler);

底层 RGA 硬件加速切割

在 Android 上用 CPU 切割 $2560 \times 720$ 的图像会造成卡顿。电鱼智能 RK3399 提供RGA (2D 硬件加速)库：

操作：直接操作图形显存（Graphic Buffer），将一张大图Crop为两张小图，耗时< 5ms，且不占用 CPU。

性能表现 (实测数据)

基于电鱼智能 RK3399运行 Android 10 系统：

指标	方案 A (MIPI FPGA 拼接)	方案 B (原生双 MIPI)	方案 C (USB 3.0 UVC)
分辨率	双 $1280 \times 720$	双 $1280 \times 720$	双 $1280 \times 720$
帧率	60 FPS	30 FPS	30 - 60 FPS
同步误差	0 μs(物理同源)	< 1 ms (驱动同步)	取决于模组内部
CPU 占用	低(视为单路)	中 (双路 ISP)	高 (USB 中断)
适用场景	高速避障、VSLAM	人脸识别	监控、低速导航