关于benchmark的构建过程

[acmisxuyutian]

请问一下，你们benchmark的这部分数据是如何构造的？有什么统一的处理方式或者脚本吗？因为，我想用一些额外的数据集测试一下DS-Agent。

[guosyjlu]

这些文件需要手工构造。
（1） train.csv/test.csv对应的是训练集和测试集，可以自行分割数据集进行测试；
（2）submission.py记录的是你想要使用的评测指标，可以自行实现或者重用目前已有的指标；
（3）train.py是初始脚本，需要自行仿照现有的格式，实现基本的数据的加载、训练、测试的过程；
（4）prepared为标记文件，直接复制到新的文件夹里就可以了；
（5）research_problem.txt为当前需要解决的任务描述，可以按照现有的格式进行修改。