编者按：

一支在人机协作研发领域深耕多年、专业精湛的团队，以精益求精的态度，致力于机器人智能化作业场景专业产品与技术方案供给，为企业智能制造产业技术升级与效能提升助力。

智能制造人机协作研发中心（以下简称“人机协作中心”）是上海市智能制造研发与转化功能型平台（以下简称“平台”）共性技术事业部的重要组成部分，以提高制造装备的智能化水平为目标，致力于3D立体视觉引导、力位混合控制、智能引导的研发。团队把3D立体视觉技术的感知、辨识与位姿估计能力与机器人的运动规划能力进行结合，开发出了应对非结构场景的作业系统。

人机协作中心团队核心人员来自上海交通大学，研发人员硕博比例高达80%。团队技术负责人多年致力于机器视觉与力控感知技术理论与应用研发，在机器人三维智能感知与自主操作技术产业化方面具有丰富的工程经验。此外，团队还有在软件开发、电气自动化、视觉和机器人等领域深耕多年、专业精湛、经验丰富的专业人员。

一、团队研发方向

人机协作中心聚焦3D立体视觉引导、力位混合控制、智能引导系统三个方向的研发，开发立体视觉引导算法、软件平台迭代与优化，开发力控感知与柔顺装配和功能迭代。研究机器人与作业环境的自然交互、自主适应复杂动态环境并协同作业，开发探索散乱堆叠零件三维智能感知与自主操作的深度学习方法与关键技术。

1、3D立体视觉引导方向: 

通过视觉传感+算法，识别堆叠工件，引导机器人执行,针对无序堆叠的场景的研发,应用于分拣、上下料、物流等等场景和领域。

2、力位混合控制方向: 

赋能机器人感知接触力，提供防碰撞、恒力控制功能的研发,接触力感知，应用于力控打磨、力控装配、拖动示教、碰撞检测等领域。

3、智能引导系统方向:  

多传感融合智能引导系统，赋能机器人执行，更加智能化、自动化,定位、引导、操控功能的研发,应用于焊接、装配等复杂协同场景下单/多机器人的智能操作引导。

研究开发智能工业3D机器人引导技术，建立了完善了AI+3D+工业机器人解决方案，提升了面对复杂环境的处理能力，算法的高效性和泛化性提升了整体方案的性价比，同时拓展该技术的应用领域。

二、团队研究成果

1、3D立体视觉散乱分拣

基于RGBD与深度信息融合的低纹理工业零件位姿估计、基于三维传感的点云输入的散乱堆叠数据语义实例分割与位姿估计。利用深度学习在图像领域的细粒化分割表现且结合深度特征，实现低分辨率成像条件下高度可靠的工业零件位姿估计，开发出了3D立体视觉引导工件的分拣上下料系统，散乱堆叠来料，识别的多种工件，区分不同的位姿并实施抓取，引导机器人准确抓取并放置到对应传输带工装上，随后由机械手进行自动化下料，通过立体视觉识别堆叠工件，并准确将其放置到指定地点的需求；其放置精度达到1mm，通过提升模型精度和调整参数，整体系统精度还可提高。

2、力位混合控制协作精密装配

可应用于高精密装配、打磨、抛光等领域的智能化自动化应用,开发双机器人协作力控柔顺装配机器人控制系统，曲面接触恒力稳定至2N左右。

基于工业打磨领域叶片曲面打磨的场景，基于强化学习增强力觉感知精度和实时性，同时基于电流信号实时解算机器人运动姿态，从而实现高频高精度的恒力打磨，辨识精度从90%提升至95%。

三、技术成果服务案例

1、国家电网浙江省计量中心——智能电表及互感器检定流水线柔性上料&下料自动化项目

电表及互感器完成检定后需进行后续的上下料动作。电表和互感器的来料方式是纸箱纸膜中，存在纸膜受损导致电表或互感器歪斜、机器人无法上下料等情况。检定流水线柔性上料&下料自动化项目，通过扫描获取电表或互感器的点云数据，通过算法准确计算工件的抓取姿态，引导机器人自主动作，实现对偏斜状态下工件的抓放处理。

原人工处理时，3人值班，每日进场处理40余次，出错率达到5-7%。升级后，现场仅需1人值班，检出后处理率下降至1-1.5%，每日人工介入的次数降低到3-5次。

2、新能源汽车电池车间视力混合智能引导锁付工作站项目

汽车电池高压上盖，通过AGV进站运送到锁付工位时，有18个点位的螺栓等待锁付，位置跨度大，人工拧紧扭力差异大，不可靠，效率低。通过视力混合智能引导锁付系统，视觉精准定位螺栓位置后，引导机器人70S内完成18个螺栓的拧紧与确认，拧紧的每个螺栓扭力无差异，精准可靠、效率高，大大降低了用人成本。

日台套平均至少处理250台/套，目前至少完成3万台/套智能锁付动作，完成近50余万次螺栓锁付动作，实现了良好的经济和社会效益。

3、派密佳机床多工位上下料项目

机器人夹爪进入毛坯料框上方，视觉系统识别料框里的毛料位姿，引导机器人依次放入机床加工工装台内，然后拧紧，拧紧确认后，机床加工毛坯，毛坯加工完成后，机器人进机床拧松加工好的成品工件，视觉系统识别成品料框里的放料位，引导机器人放入到成品料框里面。

原来人工上下料时间长、效率低：工人体力负荷大，拧紧扭力差异大，上下料位置不精准。改用视觉引导机器人上下料后用时少，效率高：省去了人工上下料，上下料位置精准，拧紧扭力无差异。原人工上下一框35个料需要140分钟左右，机器人加视觉上下料将时间缩短至105分钟，且成品工件质量稳定可靠。

截至目前，人机协作中心已为上汽、中铁集团、国家电网、南昌江铃、意大利派密佳、华域汽车等知名企业提供了多项核心单元或整体产线技术解决方案，同时在部分企业也结合中心的核心关键技术进行了具体的落地交付。在核心技术层面，人机协作中心为客户提供了定制化、精确且高效的技术方案；在服务层面，从技术的沟通与交流、方案的设计与调整、落地的集成与执行等多个维度为客户提供了细致、完善、长效的专业服务，赢得了客户的高度评价。与此同时，团队还取得多项技术专利。

在未来，人机协作中心团队将继续聚焦机器人作业的视觉与力觉感知技术，将结合更多的应用领域与典型应用场景，发挥团队在算法、软件以及工业机器人集成落地应用方面的技术积累与实战经验，在机器人智能引导、多机器人协同作业、多场景切换快速部署等方面为汽车、航空航天、工程机械、3C等领域中机器人智能化作业场景提供更专业的产品与技术方案，助力企业的智能制造产业技术升级与效能提升，为实现数字化、智能化、自动化转型提供助力。

联系团队

联系人：袁鑫

电话：18516580424

邮箱：xin_y@spsm.net.cn