金融界2024年3月22日消息,据国家知识产权局公告,华为技术有限公司申请一项名为“一种多模态模型的训练方法、训练装置以及训练设备“,公开号CN117744730A,申请日期为2023年11月。
专利摘要显示,提供了一种多模态模型的训练方法、训练装置以及训练设备,涉及人工智能技术领域。该多模态模型包括分别用于处理不同模态的数据的第一网络和第二网络,第一网络包括多个第一中间层,第二网络包括多个第二中间层。该方法包括:将第一数据和第二数据分别输入第一网络和第二网络;将多个第一中间层输出的一个或多个第一特征、和多个第二中间层输出的一个或多个第二特征进行融合得到融合特征;至少基于融合特征确定用于拉近所述多模态模型的预测值和真实值之间的偏差的第三损失值;根据第三损失值对多模态模型的参数进行更新。该方案通过融合两个网络的中间层特征得到的融合特征更新多模态模型的参数,可以提升多模态模型的性能。
来源:金融界