大模型端侧高效推理的AI SoC芯片研发及人工智能+的多场景应用赋能

审批广东珠海更新：2024-04-26 07:00:28

项目介绍

大模型端侧高效推理的AI SoC芯片研发及人工智能+的多场景应用赋能位于广东珠海，属于服务业类项目[信息化]，该项目是新建，企事业类；已到立项阶段，在全国工程立项情报平台建强金项上发布后，目前最新标记状态是备案，项目计划投资金额为7280-8800万元。

该项目研发一款大语言模型端侧高效推理的AI SoC主控芯片。支持7B（70亿参数）大语言模型流畅运行，支持fp16, int8和 int4精度类型，单芯片int8峰值算力≤50 TOPS,芯片峰值运算功耗≤20W，DDR内存≤8 GB，内存带宽≤50 GB/s,配套工具链支持Mindspore,Tensorflow,Pytorch 等国内外主流深度学习架构，Gpt-J推理性能≧12Samples/...