loss好像和paper不一样
#2
by
GamaDog
- opened
hi 大佬，想请教一下，flow_loss.py#L32的这个部分，看起来和paper的公式(8)不一样
1、这里算的是(predict_v-target)**2，看paper应该是(predict_v-(target-noise))**2吧？
2、比paper多出了一个weight，这个weight的意图是什么呢？
https://huggingface.co/thuml/sundial-base-128m/blob/main/flow_loss.py#L32
此外，flow_loss.py#L49这部分在推理时，每次都增加(pred - noise) * dt，但从paper的Algorithm 1来看，每次应该是增加pred * dt吧？
https://huggingface.co/thuml/sundial-base-128m/blob/main/flow_loss.py#L49
有时间求解惑，感谢！🙏
- 你把 predict_v + noise 看成新的 predict_v，也就是把加 noise 这步放到模型内部了，所以推理的时候要用 pred - noise，本质上是一样的，两种不同的写法，代码中的这种训练会更稳定一点
- 越前面的点可预测性越高，权重更大一些能够更好适应不同长度的下游预测场景
明白了，感谢