无人机“进群聊” 西工大在机器交互方面取得创新进展

在线群聊极大地方便了人们的沟通方式，能否把机器也拉进群，让它们组团商量着干活，并和人类无障碍地沟通和交流，更好地服务于生产生活？

近日，西北工业大学李学龙教授和同事们在机器交互方面取得创新进展：基于国产大模型，研发了 “群聊式”无人机控制框架，给每架无人机装上了大脑，让无人机集群在语言沟通中动态协同，实现了开放环境下“人机”和“多机”的对话交互，打破人类和机器的交互壁垒，进一步拓展了临地安防的应用场景。

团队提出“群聊式”对话交互方法，将声音、图像和无人机自身状态等多种信息，通过大模型转换为自然语言的对话形式，实现了用户与无人机，以及无人机与无人机之间自主和直观的交互方式。同时设计了任务引导的主动感知机制，提出了多传感器融合的低空搜索、动态避障和视觉定位算法。在实际任务执行中，根据感知信息和任务目标，动态调整无人机飞行路径和观测位姿，逐渐降低环境中的不确定性，实现高效的信息采集和任务执行。此外，团队还依托无人机平台设计了夹爪等末端执行器，将传统无人机拓展为具备抓取能力的“飞行机器人”，构建了异构无人机集群协同控制机制，结合环境感知反馈，实时调整无人机编队的飞行状态，使集群分工执行区域搜索、目标定位和抓取等任务。

据介绍，大模型自主无人机集群是团队将生物智能 “思维计算—实体控制—环境感知”的三元交互模式应用于自主智能体的一次成功尝试，依托大语言模型、无人机平台和多种传感器，实现对话交互、主动感知和自主控制，对安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义。