智能底盘域控平台除了应用在汽车领域,是否还有可能进一步拓展?机器人,低空飞行器等等下一代热点产业是否有机会和域控产品深度融合?今天我们把脑洞打开,放飞思维,就域控产品在人形机器人方面的应用展开畅想。应对人形机器人的产业化应用需求,提升其电子信息与控制系统的性价比,提高电子系统的集成度、减少线束成本,形成针对人形机器人系统高效、优化的电子电气架构,借助汽车域控制器的概念,结合每个电子子系统的功能特点和工作模式,我们尝试对人形机器人的电子电气架构EEA也做了类似的划分。
如下图所示,整个系统分为了四个域,分别由各自的主控芯片或是芯片组完成对应的计算与控制,他们是:大脑域 — 视听域 — 行动域 -- 工作域。这个四个域发挥各自的功能、协同工作,为人形机器人设备提供了运动工作、环境感知、人及交互、推理思考的能力。
大脑域
大脑域为机器人提供深度推理、理解和思考能力,以及信息的存储和检索功能,类似于人类大脑的功能。结合强大的人工智能推理算法和大规模信息存储资源,大脑域接收来自视听领域的多样信息(视频、图像、音频、文字等),利用多模态大型模型进行推理计算,实现工作目标的指令输出和协调不同功能模块,完成任务。
通过智能计算和人工智能训练成果,大脑域实现了多方面的认知能力,包括语义理解、手势分析和肢体语言,使机器人更自然地与人类互动,提高了在协助人类生活和工作方面的实用性,并增强了适用于不同应用的普适性。
大脑域利用大量信息和存储资源构建专家系统和专业领域知识体系,提供不同领域、不同水平的知识,使机器人获得专业人士的知识水平,无论其教育背景或智能水平如何。
此外,大脑域还可提供强化学习能力,支持机器人适应工作环境与任务,不断提升熟练度和理解准确性。通过获取物理工作环境的有效视听信息,如视频、图像、音频、文字等,利用强化学习增强机器人在各种环境中的适用性和熟练度,进而提高工作准确性,形成针对不同环境和服务对象的熟练工效应。
作为唯一一个可选择本地部署或远程云端部署的功能域。云端部署可通过连接云端的GPT大模型推理中心实现远程推理计算,降低了本地部署的成本、难度,也获得了云端大脑的持续升级和海量信息资讯能力。然而,云端部署可能引发思维及时性、网络可靠性和数据安全性方面的隐患。随着支持GPT大模型的嵌入式大算力芯片技术的发展,预计将有越来越多的人形机器人配备本地大脑,以提高数据处理效率和安全性。
视听域
视听域作为机器人的环境感知功能域,承担着采集和预处理物理世界环境信息的重要职责。这些信息源自多个方面,包括三维视频和图像信息的图像传感器、深度感知数据的超声波和雷达传感器,以及音频和语音输入信息来自多个麦克风。此外,视听域还能合成语音和声音输出,用于向外部环境传递反馈信息,以支持语音交互。
经过处理,环境感知信息主要有两个用途:一是用于空间移动相关的路径规划和自主巡航。这包括控制双腿每步的轨迹及双臂空间位置和运行路径等,视听域还需负责完成路径规划、轨迹计算和自主巡航所需的空间计算。另一用途是将有效信息输出给大脑域,支持对现实物理环境的感知,完成多模态大模型的深度推理计算。
类似于汽车的自动驾驶系统,视听域不仅输出对行动域和工作域协调运动的具体控制命令,同时还需根据视觉感知信息实时调整各运动域的执行路径,以适应不同环境的状态和变化情况。举例来说,双足运动协调需要适应非平面环境、主动避障和调整速度;在双臂和双手搬运或抓取物体时,则需要根据目标的相对位置和状态进行上肢关节的路径规划和调整。
视听域作为机器人“具身智能”的核心组成部分之一,主要计算资源用于音视频处理、机器视觉、机器听觉、空间计算和路径规划。这些处理不需要高算力和大存储资源支持大模型的推理计算,但由于涉及大量的音视频处理和视觉计算,需要进行本地部署。
行动域
行动域赋予人形机器人类似人类双足直立行走的能力,使得机器人能够在人类工作和生活环境中自由移动,扩大了其活动范围,实现更高效、自然的工作任务。该领域控制着机器人下肢关节的协同运动,包括腰关节、髋关节、膝关节、踝关节和脚趾关节。
行动域通过多种运动状态和姿态传感器以及多个力矩电机的工作状态信息,实时调整每个关节电机的控制策略,实现多关节的协同运动控制,优化双足与双腿的步态,确保机器人移动的稳定性、可靠性和节能。此外,行动域可以根据视听领域的需求设计合适的身体姿态,以配合双臂工作域的工作要求。
行动域关键在于其协同控制计算能力。与视听域的视觉计算和大脑域的深度AI推理计算不同,行动域需要处理多个关节的全矢量和运动矢量计算,以制定适当的控制策略和目标,协调多个执行器工作,确保机器人在各种静态和动态条件下保持稳定平衡。这种协同计算需要具备高实时性和高安全性。为支持不同运动模式的步态生成和协同控制算法,行动域需要进行大量的矩阵和矢量计算,远超传统MCU控制器的计算能力。
行动域控制器的重要特征包括集成度、实时性和功能安全。该功能域的执行器负责机器人的移动,其关节受承受整个机器人的重量,甚至包括工作域中的物理负荷。因此,关节电机需有极大的力矩输出能力。控制器主控芯片的高集成度可实现设备的小型化和成本优化,同时降低线束成本。关节电机需要快速、实时、连续地调整运动策略,对于控制策略输出的实时性要求高,这同样要求其具备强大的处理能力和对传感器信息的闭环控制。此外,该功能域着重于机器人的防摔能力。为防止机器人由于系统失效而摔倒,行动域必须支持较高级别的功能安全标准。
工作域
工作领域提供了人形机器人具备类似人类双手的工作能力,可以帮助人类完成体力劳动或代替人类进行工作,这正是工作型人形机器人的核心优势。该领域通过控制相关执行机构,如手臂和手掌/指关节,协调它们的运动,从而完成所需的工作任务。
这一功能领域可能会包含机械臂和灵巧手两种功能区。根据具体的工作需求,一些机器人在设计时可能会减弱灵巧手的功能,将重点放在机械臂上。因此,根据机器人工作需要的精确程度,该领域可能由一个(统一的工作领域控制器)、两个(左右独立的机械臂)或四个(左右独立的机械臂和灵巧手)领域控制器组成。
与之前提到的动作领域类似,工作领域的领域控制器必须协调控制多个与上肢工作运动相关的执行器关节,包括颈部、肩膀、肘部、腕部、手掌和手指等关节。因此,协同控制计算能力、集成度、实时性、功能安全以及强化学习能力同样是工作领域控制器的重要特点。此外,还需强调手眼协调的视觉计算能力,在机器手和目标物体相对位置的基础上进行实时计算,以完成空间轨迹的更新和协同控制。
工作域和行动域都利用先进算法控制多组关节电机的协同运动,以及在视觉引导和监督下的视觉协同控制,确保组合动作连贯、协调、安全和稳定。它们在运动控制方面有许多相似之处。
随着数据驱动的机器学习技术的不断进步,强化学习在多关节协同控制算法方面备受关注。通过人机协同训练和基础运动姿态库,行动域和工作域能够通过强化学习获取适应不同环境和需求的运动技能,不断提升对多个关节协同控制算法的效果,从而实现更为自然、高效和协调的运动和工作能力。
总体而言,大脑域提供深度理解和推理计算,视听域实现环境感知和自主行动控制,行动域拓展机器人的行动能力,而工作域则展现机器人的实际价值。这四个功能域各自承担任务,相互协同合作,使人形机器人成为一个具备运动工作能力的智能综合体,能够完成复杂工作任务,并具备不同层次的知识结构和智能水平。这势必将极大推动人形机器人在各领域广泛应用。
哈哈,再回到域控,突然发现我们的智能平台可以适配太多未来科技,我们的努力好像真的撬开了一条通往广阔未来的大道,尽管只是门缝,但群策群力,砥砺前行,行则将至,不是吗?