ASR相关问题

[Caihongwei0807]

您好，我对您的研究十分感兴趣，但我有一个地方有一些不解，您在训练的过程中第一二阶段分别训练了模型的非流式、流式asr能力，第三阶段仅lora微调，还有asr的"T"监督，按理说asr能力不会损失太多，但为什么您在实际测试中采用了paraformer、sensevoice作为推理的教师模型，是因为asr的结果不理想么，但是据我观察paraformer、sensevoice的参数量其实相对于glm-tokenizer和llm_model并不大。所以我为了快速观察直接用ai写了一版test_cer.py，采用https://modelscope.cn/models/Soul-AILab/SoulX-Duplug-0.6B/files 的模型权重，以及本库的代码进行复用，在aishell_2的测试集进行了测试，我发现cer基本在50%，这个您知道是什么原因导致的cer效果很差吗？
必要的话我可以提供我的test_cer.py

[LauraGPT]

从 ASR 评测侧补充几个排查点，供参考。

AISHELL-2 上 CER 到 50% 通常不太像“模型参数量小所以 teacher 不够强”这一类问题，更常见的是评测链路里有不一致：

1. 文本归一化：确认 ref / hyp 都做了同一套中文 CER normalization，例如去标点、去空格、全角半角、大小写、特殊符号、繁简或数字读法是否一致。可以先贴一两条 ref / hyp，很多时候一眼能看出是不是 normalization 问题。
2. 音频前处理：确认 AISHELL-2 音频进入模型前是 16k、mono，并且没有被二次切分/拼接导致 transcript 对不上音频。
3. 解码模式：如果 SoulX-Duplug 的 ASR “T” 监督主要是为了中间语音理解/对齐，而不是作为 standalone ASR benchmark 目标，直接拿生成式输出算 CER 可能会很吃 prompt、EOS、语言 token、beam/sampling 设置。建议先用 greedy / deterministic decoding，关闭采样，再看是否仍然 50%。
4. teacher baseline：可以先用 Paraformer 或 SenseVoice 在同一份 test_cer.py 数据加载和 CER 代码上跑一个 sanity check。如果 teacher 在同一脚本里也异常偏高，那优先排查数据读取/normalization；如果 teacher 正常而 SoulX 输出异常，再看模型侧 prompt/decoding/训练目标。

如果方便贴 test_cer.py，以及 3-5 条 (utt_id, ref, hyp) 样例，我可以帮你从 FunASR/SenseVoice 评测链路角度一起看一下到底卡在数据、归一化还是解码设置。

[Ruiqi-Yan]

您好，我对您的研究十分感兴趣，但我有一个地方有一些不解，您在训练的过程中第一二阶段分别训练了模型的非流式、流式asr能力，第三阶段仅lora微调，还有asr的"T"监督，按理说asr能力不会损失太多，但为什么您在实际测试中采用了paraformer、sensevoice作为推理的教师模型，是因为asr的结果不理想么，但是据我观察paraformer、sensevoice的参数量其实相对于glm-tokenizer和llm_model并不大。所以我为了快速观察直接用ai写了一版test_cer.py，采用https://modelscope.cn/models/Soul-AILab/SoulX-Duplug-0.6B/files 的模型权重，以及本库的代码进行复用，在aishell_2的测试集进行了测试，我发现cer基本在50%，这个您知道是什么原因导致的cer效果很差吗？ 必要的话我可以提供我的test_cer.py

hello您好，感谢关注和测试！

是的，目前模型自身的 ASR 效果确实还不太理想。我们在实际推理和评测中使用 Paraformer / SenseVoice 作为教师模型，也主要是希望获得更稳定的转写结果。

我们目前认为 ASR 效果不理想的一个重要原因是 streaming setting 本身比较困难，尤其是在很小 chunk（160ms）的情况下，字或词很容易被chunk在中间切开，导致识别错误。同时，由于缺少未来context，模型也更容易出现错别字的问题。因此即使前两阶段有 ASR 相关训练，到了这种小 chunk、低延迟的流式设置下，CER 仍然可能明显变差。

这也是我们希望有改进办法的方向之一，如果您对 streaming ASR 或 chunk-level 训练有更好的想法，也非常欢迎一起交流。

[Caihongwei0807]

我们目前认为 ASR 效果不理想的一个重要原因是 streaming setting 本身比较困难，尤其是在很小 chunk（160ms）的情况下，字或词很容易被chunk在中间切开，导致识别错误。同时，由于缺少未来context，模型也更容易出现错别字的问题。因此即使前两阶段有 ASR 相关训练，到了这种小 chunk、低延迟的流式设置下，CER 仍然可能明显变差。

首先，感谢您的回复。
然后，我们在尝试流式识别时，4s-chunk但aishell2数据集指标大约CER:6%，400ms-chunk大约CER:8%，160ms-chunk大约CER:10%，这会带来损失，但我感觉损失其实是在合理范围内的。
我本人也在尝试去实现您的路线，但是再第一二阶段的连续上我可以发现二阶段可以继承一部分一阶段的能力，但是最后三阶段的时候我发现模型初始并没有保留流式识别能力，这个我怀疑是我从二阶段的end_token转到了state_token而导致的模型上文差异使得流式能力丧失，所以我认为根因是前两阶段的训练对模型能力没有太大帮助，我觉得可能需要更大的双工训练集，来提升识别准确率。
最后，训练过程中我发现statetoken收敛很快，但是text_token收敛较慢，会不会是您这边训练的step略少导致。

[Caihongwei0807]

您好，还有我在查看您实际部署流程的时候我产生了一个问题，就是说在教师模型识别的时候对齐的时候，比方出现了history是”他如何求“，上一个是”求“，这一次是”如何求I“，此时不会进入对齐模块：
if len(norm_full_text) >= 5 and len(norm_history_text) >= 5:
backup_norm_full_text = norm_full_text.copy()
backup_norm_history_text = norm_history_text.copy()
norm_full_text, norm_history_text = get_lcs_substrings(
norm_full_text, norm_history_text
)
之后会进入elif len(norm_full_text) == len(norm_history_text):，如此历史就变成了”他如何I“
不知道我的理解是不是有问题

[Ruiqi-Yan]

您好，还有我在查看您实际部署流程的时候我产生了一个问题，就是说在教师模型识别的时候对齐的时候，比方出现了history是”他如何求“，上一个是”求“，这一次是”如何求I“，此时不会进入对齐模块： if len(norm_full_text) >= 5 and len(norm_history_text) >= 5: backup_norm_full_text = norm_full_text.copy() backup_norm_history_text = norm_history_text.copy() norm_full_text, norm_history_text = get_lcs_substrings( norm_full_text, norm_history_text ) 之后会进入elif len(norm_full_text) == len(norm_history_text):，如此历史就变成了”他如何I“ 不知道我的理解是不是有问题

hello您好，这个理解基本是对的：如果这个 case 没有进入前面的 LCS 对齐逻辑，而是直接进入 elif len(norm_full_text) == len(norm_history_text):，确实会出现 history 被更新成“他如何I”

不过按照本来写法的预期，这里主要依赖后面的 buffer 更新逻辑来处理：
https://github.com/Soul-AILab/SoulX-Duplug/blob/main/service/model.py#L655

update_text = "".join(
    [(s + " ") if check_en(s) else s for s in keep_tokens]
).strip()

也就是说，如果本次结果是“如何求I”，“他”应该已经不在当前 buffer 里了，因此更新 history 时正常只会保留“如何求”，而不会把“他”继续带进去。当然，这部分流式 ASR 的增量对齐和 history 更新逻辑确实比较 tricky，主要是在处理重复、回退和局部修正。如果在某些边界情况下没有按预期进入对应分支，就可能出现您提到的问题。如果您有更好的对齐方案也非常欢迎交流，另外，如果模型本身能提供更稳定的 ASR 结果也可以减少这类处理带来的影响