-
日期: 2025-02-27 | 来源: 新智元 | 有0人参与评论 | 字体: 小 中 大
为此,系统必须能够:
确定抓取移动物体的最佳时机和方法,并重新调整每个包裹的朝向使标签可见
跟踪持续移动的传送带上众多包裹的动态流动,并保持高吞吐量
实现自我调整,因为环境无法被完全预测
而这些,在仿真环境中是很难进行复刻的。
值得注意的是,解决这些挑战不仅是Figure业务的关键应用,它还为Helix系统1带来了全新的通用改进,从而使所有其他用例都从中受益。
对Helix视觉-运动策略(系统1)的架构改进
视觉表征
此前的系统1依赖于单目视觉输入,而现在的新系统采用了立体视觉主干网络,结合多尺度特征提取网络来捕捉丰富的空间层次结构。
新系统不再单独处理每个摄像头的图像特征token,而是会在token化之前将两个摄像头的特征在多尺度立体网络中合并,这样保持了输入到交叉注意力Transformer的视觉token总数不变,同时避免了额外的计算开销。
多尺度特征使系统能够同时识别精细细节和更广泛的上下文信息,共同提升了基于视觉的控制可靠性。
跨机器人迁移
在多个机器人上部署同一策略时,需要解决因个体机器人硬件细微差异导致的观测和动作空间分布偏移问题。
这些差异主要包括传感器校准差异(影响输入观测)和关节响应特性(影响动作执行),若不进行适当补偿,将会显著影响策略性能。- 新闻来源于其它媒体,内容不代表本站立场!
-
原文链接
原文链接:
目前还没有人发表评论, 大家都在期待您的高见