TinyLLM训练总是出现Nan

[JerryZ01]

按照TinyLLM的readme教程，对模型进行训练，到20000多steps就出现了nan，修改了lr好像还是有问题

[KMnO4-zx]

可以试下 Happy-LLM 第五章代码：
https://github.com/datawhalechina/happy-llm/blob/main/docs/chapter5/%E7%AC%AC%E4%BA%94%E7%AB%A0%20%E5%8A%A8%E6%89%8B%E6%90%AD%E5%BB%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B.md

[Hongru0306]

可以试下 Happy-LLM 第五章代码： https://github.com/datawhalechina/happy-llm/blob/main/docs/chapter5/%E7%AC%AC%E4%BA%94%E7%AB%A0%20%E5%8A%A8%E6%89%8B%E6%90%AD%E5%BB%BA%E5%A4%A7%E6%A8%A1%E5%9E%8B.md

555, Dr. KMnO4, our tiny-universe wants to be updated, too!