苹果新开源了一个7B模型:DCLM-7B
1、完全开源了权重、训练代码和数据集
2、7B参数,在2.5T的开放数据集上训练
3、主要使用英语数据,支持2048个上下文窗口
4、MMLU得分0.6372,高于Mistral低于Llama3
5、性能与Mistral等闭源数据集模型相当
转载请注明:拈花古佛 » 苹果新开源了一个7B模型:DCLM-7B
苹果新开源了一个7B模型:DCLM-7B
1、完全开源了权重、训练代码和数据集
2、7B参数,在2.5T的开放数据集上训练
3、主要使用英语数据,支持2048个上下文窗口
4、MMLU得分0.6372,高于Mistral低于Llama3
5、性能与Mistral等闭源数据集模型相当
转载请注明:拈花古佛 » 苹果新开源了一个7B模型:DCLM-7B