7B模型训练数据污染（疑似？）

[shifop]

看仓库说明：
使用的训练数据是：
https://huggingface.co/datasets/shibing624/chinese_text_correction
测试数据是：
SIGHAN-2015(sighan2015_test.tsv)
EC-LAW(ec_law_test.tsv)
MCSC(mcsc_test.tsv)

检查发现，EC-LAW和MCSC数据和训练数据是有重叠的，这和三个测试集的效果一致，EC-LAW，MCSC接近1，SIGHAN-2015奇怪的只有0.4917

想问一下，训练的时候有去除在测试集中的数据吗？

[shibing624]

训练的时候包括了测试集中的数据。

[TW-NLP]

可以看一下，https://github.com/TW-NLP/ChineseErrorCorrector 在训练过程中，是将训练和测试集分开的，有7B和32B规模的纠错大模型，希望可以帮助你。