· 机器人 / 多模态交互 / 开发记录

给 SO-101 装上眼睛和耳朵:一个桌面机器人交互原型的开发记录

摘要: 我想做一台能与人长期共处的桌面机器人:它能看到我、听到我,在合适的时候回应,也能用身体表达注意。本文记录我如何围绕 SO-101 机械臂,把摄像头、视觉模型、语音识别、OmniJev、VLM 和基础人脸跟踪接成一个原型,也记录过程中遇到的误识别、服务崩溃、显存占用和架构返工。

项目状态:实验原型。本文中的效果来自不同阶段的开发与测试,不能理解为所有能力已经稳定地同时运行,更不代表机械臂已实现自主抓取。

文章目录 · 10 个章节与参考资料
  1. 01 想做一个会和人共处的机器人
  2. 02 第一版架构:让模型持续看、听、判断
  3. 03 视觉:检测、跟踪与腕部相机的麻烦
  4. 04 语音:先让机器人能听懂中文
  5. 05 从 Jev 到 OmniJev:决定什么时候回应
  6. 06 重新设计“世界状态”
  7. 07 让 SO-101 看向人:从 IK 退回底座比例控制
  8. 08 工程问题:程序为什么总是崩
  9. 09 我们已经做到哪里
  10. 10 下一步:从“演示动作”转向“共处数据”
  11. 项目与参考资料

01 想做一个会和人共处的机器人

最初的想法很朴素:桌面上有一只机械臂。当我在工作时,它能看到桌面、听到我说话;当我向它发出请求时,它知道我是在和它说话,必要时回答,或者把胶带递给我。

和固定任务的机器人相比,这里面最难的问题也许不是“如何抓起一卷胶带”,而是:机器人什么时候应该介入,又什么时候应该安静? 我在桌面上伸手、说话、看向某个方向,绝大多数时候都不一定是在给它发命令。

硬件选用了 SO-101 机械臂,末端安装了摄像头。开发在 Windows + WSL2 环境中进行,感知模型主要跑在本机 GPU 上,机械臂侧使用 LeRobot 相关环境。

机械臂腕部摄像头的早期画面:画面下方可以看到夹爪

图 1:早期腕部摄像头画面。夹爪也出现在画面中,后来的视觉跟踪需要考虑这一点。

02 第一版架构:让模型持续看、听、判断

最初设想是一条完整的响应链:

摄像头 / 麦克风
       ↓
连续视觉感知 + ASR
       ↓
世界状态 + 快速介入判断
       ↓
需要解释或对话时调用 VLM
       ↓
已录制技能 / 未来的操作策略
       ↓
机械臂控制与安全约束

我先尝试过 StreamingVLM,希望它能持续观看画面并直接输出场景描述。但实际测试中,输出距离稳定的结构化状态还有差距:它会漏掉、误读,也不总能按预期回答。这并不说明流式视觉语言模型没有价值,只是当时的模型、提示方式和运行环境没有达到项目需要。

于是我改成组合多种模型:MediaPipe 负责脸和手,YOLOE 识别物体,CoTracker 提供运动点,语音识别独立运行,再把关键信息交给上层决策。

这条路的好处是每一部分都可以单独观察;代价是模型越多,状态越复杂,误差也会层层传递。后来我意识到,增加感知模块,并不自动等于机器人理解了正在发生的事情。

03 视觉:检测、跟踪与腕部相机的麻烦

MediaPipe:脸、手与注意力线索

MediaPipe 的 Face Landmarker 和 Hand Landmarker 给了我比较直接的反馈:摄像头能标出人脸与手部关键点,也能据此估计人脸中心、头部朝向和眼部方向。

这些结果适合用作注视跟踪、界面反馈和上层判断的证据。但“人脸朝向摄像头”不等于“用户想和机器人说话”;眼睛方向也会受到相机角度、遮挡和校准影响。我做过注视分数和阈值实验,但它们仍是启发式估计,而不是对用户意图的可靠测量。

YOLOE:只找指定的东西

我不希望检测器把桌上所有东西都当作机器人应该处理的目标,所以加入过文字类别配置,例如输入 glue,让 YOLOE 聚焦指定类别。开放词表模型有灵活性,但文字命名、物体外观和视角仍会影响结果:输入一个词,并不保证桌上的目标就能被准确检出。

YOLOE 早期视觉提示实验结果

图 2:早期 YOLOE 视觉提示实验。蓝色区域是当时的模型输出,并不代表物体语义已经被准确理解。

CoTracker 和 SAM:追踪并不等于理解

CoTracker 可以跟踪画面中的点,但点跟着运动,并不意味着系统知道它属于哪件物体。腕部相机移动时,画面里的背景、用户和夹爪都会一起运动,情况尤其复杂。

跟踪点覆盖腕部相机画面

图 3:早期视觉实验中的跟踪点。跟踪点落在画面不同位置,包括背景;它们本身没有物体身份。

我也试过 SAM 2.1 的点击分割和视频状态传播,想通过手动指定目标获得稳定追踪。实际体验中,分割可能锁到人身上,摄像头运动和遮挡也使跟踪变得困难,同时 GPU 负载明显增加。最终我没有把 SAM 留在核心交互链里。

这一阶段最大的收获是:检测框、分割 mask 和跟踪点各自解决的是不同问题。拥有其中一个,并不自动拥有稳定的物体身份或可靠的交互理解。

04 语音:先让机器人能听懂中文

为了让机器人不仅“看见”,还可以听到用户,我接入了麦克风、VAD 和 SenseVoiceSmall:

麦克风音频
   ↓
语音活动检测(VAD)
   ↓
SenseVoiceSmall 转写
   ↓
语音文本 + 是否说话 + 时间信息

界面里加入了音量显示,以及主人声音的录制、保存和删除。主人录音保存在本地 WAV 文件中。

需要特别说明:保存了主人声音,不等于已经完成可靠的声纹身份识别。 当前原型有注册录音和相关状态字段,但身份匹配能力仍需单独接入和评估。

音频模块独立运行,也减少了语音依赖与视觉推理依赖之间的冲突。实际使用时,识别延迟还来自 VAD 断句、音频传输和模型推理等多个环节,不能把整条链的慢都归因于某一个模型。

05 从 Jev 到 OmniJev:决定什么时候回应

最早我尝试把 Jev 作为快速判断层:它读取结构化状态,决定忽略、观察、回应或给出候选动作。后来接入本地 OmniJev,把决策收缩为三个选项:

界面展示了三个选项的输出,并允许编辑提示词。RESPOND 可以触发 Kimi 等 VLM 结合画面和语音文本作答。最初我对“给我胶带”的设想是候选请求还需经过后续确认;候选动作并不等于真实机械臂已经执行。

当前实现里,OmniJev 接收的也不是无限长的实时视频,而是一个短时间窗口。以下为源码中采样逻辑的节选:

# app/live_perception.py,节选
now_ms = int(time.time() * 1000)
if now_ms - self.omni_last_frame_ms >= 300:
    self.omni_frames.append(raw_frame.copy())
    self.omni_last_frame_ms = now_ms

omni_frames 最多保存四帧。推理时程序将最近的帧缩放、横向拼接,再把 JPEG 和问题发送给本地 OmniJev worker:

# app/live_perception.py,节选
for index, item in enumerate(sequence[-4:]):
    tile = cv2.resize(item, (320, 240), interpolation=cv2.INTER_AREA)
    cv2.putText(tile, f"t-{(len(sequence)-1-index)*0.3:.1f}s",
                (8, 22), cv2.FONT_HERSHEY_SIMPLEX,
                0.55, (0, 255, 255), 1, cv2.LINE_AA)
    tiles.append(tile)
frame = cv2.hconcat(tiles)

这是一种短窗口多帧输入的实验:它给模型提供一点时间线索,但不能声称模型拥有长期连续记忆,也不能把它等同于流式视频世界模型。实际多帧间隔仍受帧到达和系统负载影响。

06 重新设计“世界状态”

我曾经想把所有东西都做成结构化实体和关系:hand_1 靠近 tape_1、物体被遮挡、进入交接区、用户是否注视机器人……看起来很完整,实际却要解决大量前置问题:ID 是否稳定?腕部相机动了怎么办?二维接近是否真的代表接触?

最后我把送给 OmniJev 的状态收缩为语音、机器人内部状态、时间与命名区域等信息,让它直接从短图像序列判断视觉内容;MediaPipe、YOLOE 和 CoTracker 仍可以为界面或快速控制提供信息。

简化后的数据大致是:

{
  "speech": {"active": false, "transcript": ""},
  "robot": {"mode": "DISCONNECTED"},
  "context": {"scene_id": "camera_001"},
  "zones": {}
}

这只是展示结构的精简示例,具体字段以程序运行状态为准。它不是放弃结构化状态,而是重新区分:哪些事实由传感器直接测量,哪些判断需要时序模型参与,哪些属于机器人自身的内部状态。

07 让 SO-101 看向人:从 IK 退回底座比例控制

让我最兴奋的一刻,是机械臂终于能够跟随人脸转动底座。

在这之前,我尝试过把人脸目标接入末端位姿、IK 和全关节控制。但系统曾在检测到人脸后卡住、断开,机械臂末端也出现过不希望的旋转。由于当时同时改动了人脸、IK、worker 和串口逻辑,不能把崩溃简单归因于某一个模型。

为了把问题范围缩小,我移除了这条全关节控制链,先只控制 shoulder_pan。底座跟踪使用图像水平误差的比例控制:

底座人脸跟踪的比例控制代码摘录

图 4:根据现有源码排版生成的代码摘录图;下方保留可复制文本。

# app/soarm101_base_follow_worker.py,节选
error_x = max(-0.5, min(0.5, float(target.get("x", 0.5)) - 0.5))
deadband = 0.06
if abs(error_x) <= deadband:
    return

step = max(-1.5, min(1.5, error_x * 5.0))
goal = max(home - 55.0, min(home + 55.0, position + step))
self.bus.write("Goal_Position", BASE, goal)

这里的死区减少中心附近的来回抖动;每次目标变化受限,并限制相对启用姿态的范围。目标太久未更新时不继续追踪,通信异常或负载/电流超过代码阈值时会释放底座扭矩。参数来自当时的设备实验,不能直接视作其他机械臂的通用安全参数。

我还根据真实测试反转过方向、调整过幅度。它是一个简单的视觉伺服实验,不包含全关节 IK、可靠的碰撞检测或完整的人机安全系统。

08 工程问题:程序为什么总是崩

把感知链跑起来之后,问题从“模型能不能运行”变成了“整个系统能不能一直运行”。

遇到过的实际问题包括:

后面我把网页装进 PySide6 + QtWebEngine,做了 Windows EXE,同时保留 WSL 中的 Python 后端。它改善了启动方式,但依然是“Qt 桌面窗口 + 本地网页界面 + WSL 后端”的组合,并不是完全用 Qt 重写的原生界面。

为了避免后台意外占用设备,后来移除了 WSL 自动启动服务和 Windows 保活计划任务。项目文件、模型和轨迹仍保留。这个过程也提醒我:对机器人项目来说,服务生命周期、设备所有权和控制器之间的边界,与模型本身一样重要。

09 我们已经做到哪里

在不同阶段,我分别跑通过:

还没有完成的是:可靠的主人身份验证、稳定的长期物体身份、自主抓取与交接、完整的碰撞安全层,以及在长期共处中学习用户习惯。技能轨迹已经保存,但这不意味着它们已经完整接入当前的端到端交互流程。

10 下一步:从“演示动作”转向“共处数据”

研究 Apple 的 ELEGNT 后,我很喜欢它对机器人动作的思考:机器人在完成任务时,还可以通过运动传达注意、意图和态度。但论文中的演示动作由研究人员和动画师设计,使用预录制轨迹完成;它不是一个可以直接下载的万能动作模型。

这个启发让我重新审视项目:如果希望机器人有更自然的互动反应,仅靠规定一组“看到挥手就点头”的规则,可能远远不够。更值得投入的是记录真实共处:

用户行为、语音和场景变化
              ↓
机器人是否注意、如何回应
              ↓
用户接受、忽略、重复或纠正
              ↓
形成可回放、可标注的互动片段

下一阶段我想先实现本地 episode recorder:同步保存视频、语音事件、机器人状态、决策和用户反馈;先学习“什么时候该回应”,再考虑时序理解与互动动作策略。录制和保存应当由用户控制,并考虑在场其他人的同意与隐私。

V-JEPA 之类的视频表征可能成为后续时序理解的候选;Interaction Policy 负责注视、等待和确认;ACT/VLA 等操作策略则负责抓取和递交。它们目前都是后续探索方向,还不是这个原型已经具备的能力。

一开始我以为,给机械臂加上足够多的模型,就能得到一个有生命感的机器人。做完这一轮后,我更愿意把它看作一个起点:机器人已经有了观察和回应的雏形,接下来要学习的是如何在人的生活中理解上下文,以及什么时候行动才恰到好处。

项目与参考资料