针对具有非线性干扰以及多变环境的机械臂轨迹跟踪问题，提出了一种结合行为克隆（behavior cloning，BC）的多智能体深度强化学习（multi-agent deep reinforcement learning，MDRL）控制方法。多智能体控制算法中包含了以孪生延迟深度确定性策略梯度算法（twin delayed deep deterministic policy gradient algorithm，TD3）为基底算法的比例积分微分智能体（proportional-integral-derivative agent，PID agent）和直接用深度强化学习策略输出扭矩的智能体（direct deep reinforcement learning agent，DDR agent），并采用两个奖励函数来优化两个agent的策略网络。PID agent用于输出PID控制器的参数，再由PID控制器输出力矩控制机械臂以增加控制器的跟踪泛性，DDR agent则直接输出扭矩增加控制器的抗干扰性。为了克服多智能体训练难度高的问题，在训练中引入行为克隆技术，利用PID控制器的专家经验对PID agent进行预训练，形成预策略在训练初期就可以输出较合适的PID参数，增加有效经验来加速训练过程的奖励收敛。为了验证方法的有效性，通过欧拉拉格朗日建模二自由度机械臂，并在具有干扰的多种环境下进行仿真实验对比。实验结果表明，所提算法在具有随机干扰环境以及与训练轨迹不同的跟踪轨迹中都具有最好的跟踪效果，验证了所提算法的有效性。