任意软件投屏与操作 — 调研结论 v2

用户的核心场景是「代码由 AI 写，用户在 Web 端点一点、测一测 iOS App」。 这不需要通用桌面 KVM——iOS Simulator 有专用的自动化接口，比像素级鼠标注入更精准、更可控。

三层架构

① 模拟器生命周期：xcrun simctl

# 列出设备
xcrun simctl list devices

# 启动模拟器
xcrun simctl boot <udid>

# 安装 & 运行 App
xcrun simctl install <udid> /path/to/MyApp.app
xcrun simctl launch <udid> com.example.MyApp

# 截图 & 录屏
xcrun simctl io <udid> screenshot out.png
xcrun simctl io <udid> recordVideo out.mp4

# 清理
xcrun simctl terminate <udid> com.example.MyApp
xcrun simctl erase <udid>

② 输入注入：Appium XCUITest / WebDriverAgent

Appium XCUITest Driver 基于 Apple 官方 XCTest 框架，通过 WebDriverAgent (WDA) 执行操作：

• 点击：Web 坐标 → Simulator 坐标 → WDA tap
• 滑动：W3C Pointer Actions → WDA swipe
• 键盘输入：WDA sendKeys
• 获取 UI 树：WDA 可返回 accessibility tree，AI 可用于智能测试
• 元素定位：比坐标点击更稳定，不受分辨率/DPI 变化影响

比 OS 级鼠标注入（CGEvent）更稳定——WDA 直接走 XCTest 框架，不受 TCC 权限限制。

③ 实时画面：渐进式升级

被控端跑平台原生 VNC server，Go 后端把 RFB 协议翻译成现有 WS 协议送给前端。定位：内部 demo/PoC，验证 Web UI 坐标映射、缩放、键鼠事件、会话生命周期等产品链路。

Apache Guacamole 是协议转换网关，不是抓屏 agent。架构：浏览器 → Guacamole Web App (Java) → guacd (C) → 连接目标机上已有的 RDP/VNC/SSH server。

注意：noVNC 和 Guacamole 是两个独立方案，不应混为一谈：

• noVNC：纯浏览器端 VNC client，WebSocket → RFB/VNC，只讲 VNC 协议
• Guacamole：多协议网关（RDP/VNC/SSH/Telnet），有自己的 Guacamole protocol，前后端一体

写轻量 Go / Rust agent，每平台用各自 OS API 抓屏/注入，编码后走 WebRTC 发到浏览器。建议先跑通单平台（macOS 或 Windows），再扩展。

价值：最成熟的 WebRTC-to-Browser 方案。虽然捕获的是 Docker 虚拟桌面而非物理桌面，但如果目标是"在 Docker 里跑应用然后远程操作"，可以直接用。Go + Pion 架构与本项目技术栈高度一致，Web 客户端代码可直接参考。

局限：不适合控制用户物理桌面或 macOS/Windows 应用。

价值：架构最干净的 WebRTC 桌面投屏方案。Web 客户端可嵌入、编码器选择最丰富、MPL-2.0 许可友好。如果只做 Linux 桌面投屏，可以直接集成。

局限：Linux only，Python 技术栈与本项目不一致，社区较小。

价值：唯一跨三平台且有 Web 客户端的方案。轻量 RustDesk 替代品。

局限：非标准 WebRTC（MiniRTC），C++ 技术栈，社区相对小。

价值：捕获 + 编码部分是开源界的标杆，三平台所有 GPU 厂商的硬编全覆盖。如果自研 Agent，应以 Sunshine 为技术参照。
最实用的组合方案：Sunshine 负责原生捕获和硬编 → moonlight-web-stream 桥接到 WebRTC → 浏览器显示和输入。代价是 GPL 许可 + 两个进程的集成复杂度。

价值：社区最大、平台最全的远程桌面。子 crate（scrap、hwcodec）可独立使用做抓屏/编码。

局限：AGPL 许可、Web 客户端体验差、不适合深度嵌入。