金融界2024年1月19日消息,据国家知识产权局公告,华为技术有限公司申请一项名为“一种模型训练方法以及训练设备“,公开号CN117422131A,申请日期为2023年9月。
专利摘要显示,提供了一种模型训练方法训练设备。该方法包括:将第二输入数据输入第一模型,确定第一输出数据,以及将所述第二输入数据输入第二模型,确定第二输出数据,其中,所述第二模型至少基于第一输入数据训练获得,所述第二输入数据基于所述第一输入数据进行处理得到;根据所述第一输出数据和所述第二输出数据确定所述第一模型的第一蒸馏损失值:根据所述第一蒸馏损失值更新所述第一模型的参数。该方法中,将基于第一输入数据得到的第二输入数据作为第一模型和第二模型的输入,根据两个模型的输出更新第一模型的参数,可以使第一模型充分学习第二模型的先验知识,提升第一模型的性能。
来源:金融界