上海科技大学知识管理系统

本说明书实施例提供一种句法语言模型的无监督训练方法及装置，在训练方法中，首先将输入文本输入组合模型进行句法推导，得到最佳句法树。之后，可以对该最佳句法树进行全部层级的遍历，得到文本片段序列。接着可以将文本片段序列中各文本片段的内部表征一起输入生成模型，得到针对各文本片段预测的各动作类别。最后，可以分别基于生成模型输出的动作类别和基于组合模型确定的各文本片段的外部表征，计算第一预测损失和第二预测损失，并基于第一预测损失和第二预测损失的综合损失，调整组合模型和生成模型的参数。