baidu/ERNIE-4.5-21B-A3B-PT · self.loss_function = ErniePretrainingCriterion(config)没生效

在modeling_ernie4_5_moe.py 1323行，对loss_function的设置没生效，导致loss计算时报错

如图所示，执行完self.loss_function = ErniePretrainingCriterion(config)后loss function仍然是<function ForCausalLMLoss at 0x7fe9cbfbf250>。
我们发现原因是执行setattr时调用的是nn.Module的setattr，没有执行https://github.com/huggingface/transformers/blob/v4.53.0/src/transformers/modeling_utils.py#L5621 PretrainedModel的setter。进一步原因是ErniePretrainingCriterion是一个nn.Module，会优先执行到nn.Module的setattr将ErniePretrainingCriterion设置为一个模型。

最好的解决方案是将ErniePretrainingCriterion写成一个函数，因为所有的Module都会被注册到nn.Module的成员里。

其次，https://huggingface.co/baidu/ERNIE-4.5-21B-A3B-PT/blob/main/modeling_ernie4_5_moe.py#L962 ErniePretrainingCriterion中调用了self.config.get，而config是一个Ernie4_5_MoeConfig，没有get函数