您好，咨询几个问题。

[Ant0082]

您好：

1. PrefixLM、LM训练的相关代码目前已经开源了吗？是pretrain_yuan_13B.sh这个脚本吗？
2. 你们提供的API中的dialog是基于那个结构训练的？
3. 我们的卡没有那么多，只有4台8卡 32G显存的V100，想复现你们的dialog模型，32张卡的话是不是只会影响Global BS这个大小，不知道如果降低这个参数的大小会不会对最后模型的效果有较大的影响，不知道你们有没有跑过类似的实验。
4. 智源他们开源的openBMB可以支持在卡不多的情况下跑一些大模型，如果Follow你们论文中的方式，切换成openBMB架构不知道对效果会不会产生较大影响。
5. 阅读你们开源仓库中的issue看到，你们推荐在单张卡上用deepspeed的zero-offload的方式，这种方式是不是可以用几十张卡复现你们的工作（dialog模型），效果不会差太多。
6. 还在issue中看到，你们可以提供数据处理代码的部分开源，但是需要申请，请问这个在哪里申请？

谢谢。

[zhaoxudong01-ieisystem]

1. prefixlm和lm预训练和下游任务微调的代码已经开源，可以在src目录下找到相关的代码。
2. API中的dialog模型是我们基于LM结构模型训练得到的。
3. 32卡不会影响global_batch_size的大小，只会影响micro_batch_size的大小，训练过程会使用累积梯度更新的技术。global_batch_size如果设置的过小，会对收敛效果有较大影响。
4. 我们目前没有对openBMB兼容性的测试，欢迎您测试之后将相关的问题反馈给我们。
5. 之前关于建议使用zero-offload的方法是针对ASC大学生竞赛的。我们的代码中没有该方法的模块。
6. 数据前处理的代码我们已经开源了，代码路径 src/tools/preprocess_data_cn.py

[Ant0082]

感谢您的回复。

[Ant0082]

@zhaoxudong-inspur 您好，API中的dialog参数量级是多少？

[Shawn-IEITSystems]

@Ant0082 13B

[dengguohuai]

如何运行

[lifengss]

您好，安装和使用方式可查看repo首页，或者登录源的官方网站查看用户手册。用户手册