该系统采用2D手部姿态估计+深度相机的技术方案来实现手部的6D位姿估计。首先，通过2D手部关键点检测获取手部像素坐标，并结合深度相机数据完成像素坐标系到世界坐标系的转换，实现三维定位。然后，系统计算手掌法向量的朝向，以确定机械臂末端的姿态，从而获取完整的6D位姿信息。接下来，利用逆运动学（IK）算法求解机械臂各个关节角度，确保机械臂能够精准跟随操作者的手部动作。在控制层面，系统采用数据透传与路径规划相结合的方式，实现高效、平滑的硬件执行，使机械臂能够自然流畅地完成抓取操作。
第二套系统采用Apple Vision Pro进行6D位姿估计。借助Vision Pro强大的硬件性能与高精度手部追踪算法，该系统能够精准估计手部关键点的3D位置及腕关节的6D位姿。随后，通过局域网通信将数据回传至机械臂控制主机。系统进一步采用转换算法计算灵巧手的关节弯曲角度，并结合逆运动学（IK）求解机械臂的关节旋转角度，从而实现高精度的遥操作抓取任务，为用户带来更加沉浸式的远程控制体验。两套系统方案均可有效提升仓储物流作业的智能化水平，同时也可作为具身智能模型数据采集的有力工具，为机器人学习与自主操作提供高质量训练数据，推动智能机器人在实际应用中的落地与发展。