InternVL2_5-4B-MPO lora微调

[ChenJian7578]

在目录下没有看到MPO lora的微调，请问是目前不支持吗，还是说MPO的lora微调用的是2_5的lora微调脚本？

[JackeyHRan]

你好，我尝试用2.5的lora微调脚本来进行MPO的lora微调，但我遇到了warning: shape mismatch: value tensor of shape [4608, 4096] cannot be broadcast to indexing result of shape [1098, 4096], i
nput_embeds[selected].shape=torch.Size([1098, 4096]), vit_embeds.shape=torch.Size([4608, 4096])这样的问题，请问你遇到了吗，或者你成功使用lora微调了吗，感谢

[ChenJian7578]

没有试过，应该是还没支持吧 ---- 回复的原邮件 ---- 发件人haoran ***@***.***>发送日期2025年01月10日 20:34 ***@***.***> ***@***.***>, ***@***.***>主题Re: [OpenGVLab/InternVL] InternVL2_5-4B-MPO lora微调 (Issue #839) 你好，我尝试用2.5的lora微调脚本来进行MPO的lora微调，但我遇到了warning: shape mismatch: value tensor of shape [4608, 4096] cannot be broadcast to indexing result of shape [1098, 4096], i nput_embeds[selected].shape=torch.Size([1098, 4096]), vit_embeds.shape=torch.Size([4608, 4096])这样的问题，请问你遇到了吗，或者你成功使用lora微调了吗，感谢 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[zwang-datascience]

同问，MPO训练是否支持lora方式