面向大模型训练与应用的高质量语料库及数据处理能力体系建设

项目总投资约1.2亿元，投资建设面向大模型训练与应用的高质量语料库及数据处理能力体系，包括各类服务器等设备115台, 研发业界领先的基础语料处理技术、数据增强技术，建立安全对齐机制，实现异构数据清洗与跨模态融合方法，构建长链推理数据；形成覆盖语料处理全流程的高效中文语料处理工具链; 建设总规模不低于1PB的高质量中文语料库，涵盖通用文本、指令微调和多模态等数据集，服务不少于5款主流大模型研发,实现...