3月17日,联想宣布旗下首款AMD AI大模型训练服务器联想问天WA7785a G3在单机部署671B(满血版)DeepSeek大模型时,可实现极限吞吐量6708token/s,将单台服务器运行大模型的性能推向了新高,充分展现了联想在AI基础设施领域技术的深厚积淀与研发的快速响应能力。
依托联想万全异构智算平台,联想通过访存优化、显存优化、PCIe 5.0全互联架构创新以及精选SGLang框架中性能最优算子等诸多创新方式,对大模型从预训练、后训练到推理的全流程进行持续优化,在单台部署DeepSeek 671B大模型的联想问天WA7785a G3上实测最高吞吐量达6708 token/s。
在模拟问题对线K)时,最高可支持并发数158,TPOT 93毫秒, TTFT 2.01秒;而在模拟代码生成(上下文序列长度512/4K )时,并发数可达140,TPOT 100毫秒, TTFT 5.53秒。
这一成绩意味着单台联想问天WA7785a G3可以支撑1500人规模企业的正常使用,是继联想问天WA7780 G3服务器单机部署满血版DeepSeek 大模型总吞吐量突破2500 token/s之后,单机部署该大模型推理性能的又一次突破。
此次突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD联合设计、协同调优、共同实现的。此结果也并非最终结果, 联想与AMD 还在持续尝试深度调优新方法。实现更高调优突破。
联想问天 WA7785a G3服务器是联想与AMD双方深度合作的智慧结晶,正是双方通力合作带来的技术创新、软硬协同能力与架构突破为DeepSeek-R1满血版大模型插上性能腾飞的翅膀。
强大算力引擎:联想问天WA7785a G3搭载了2颗AMD处理器和8颗AMD新一代Instinct OAM GPU,它们为大模型训练、推理等场景提供了强大的算力引擎。
超大显存优势:WA7785a G3拥有超大的显存容量,单颗GPU的HBM3e显存容量高达192GB,总计达1.5TB。超大显存使得单机支持全量模型推理情况下,仍保留充足的KV缓存空间。而其显存带宽达到了惊人的5.3TB/s,GPU聚合带宽达896GB/s,节点间网络带宽3.2TB/s,更高的带宽可为推理解码实现极致加速,充分满足了大模型并行计算时对跨节点通信的高带宽需求,使其成为用户首选大模型推理服务器。
特有创新架构:联想问天WA7785a G3的独特架构设计也为最大程度地释放算力潜能、突破带宽限制发挥了关键作用,其三重独立风道设计分别针对CPU节点、GPU节点和交换机节点进行精准散热控制,提高了散热效率,为服务器的稳定性和可靠性提供了有力保障。
未来,联想将持续深化与产业伙伴的技术协作,通过架构创新、算法优化与硬件技术创新,不断突破性能边界,为各行业提供更高密度、更低能耗、更易部署的AI算力基础设施,推动AI算力向更高效、更普惠、更可持续的方向演进,助力中国智算产业的持续发展。(科文)
邓宏章对此形象地比喻:“传统LNP像‘硬闯城门’的士兵,难免伤及无辜;而TNP则是‘和平访问’的来客,以最小代价达成使命。”
加强统筹协调,健全部际协同、央地协作、区域合作的工作机制,创新体制机制,加大政策支持,加强统计监测,深化开放合作,着力提升科技服务业发展环境。
以“矢志创新发展,建设科技强国”为主题的第九个全国科技工作者日系列活动将于近期陆续开展。
这一发现对恒星演化理论、致密星吸积物理和双星并合引力波源研究具有重要意义。
若不采取紧急行动,到2030年,全球至少半数青少年(超10亿人)将生活在健康风险高发的“多重负担国家”,面临HIV感染、早孕、抑郁、营养不良等多重威胁。
中国科学技术大学生命科学与医学部薛天、马玉乾团队与国内外科研机构合作,制备出高透明、高转化效率的上转换隐形眼镜,可实现人类近红外时空色彩图像视觉能力。相关研究成果5月22日在线发表在国际期刊《细胞》上。
近年来,中国坚定走生态优先、绿色发展之路,着力完善生物多样性保护空间格局、强化生物多样性监督管理、织密生物多样性保护制度网,生物多样性保护水平稳步提升。
这是进入空间站应用与发展阶段以来,航天员首次通过天和核心舱节点舱出舱,航天员出舱与货物出舱任务首次关联耦合实施。
在5月30日第九个全国科技工作者日到来之际,中国科协22日举行新闻发布会介绍今年的全国科技工作者日系列活动:中国科协层面将举办1个主场活动,省级科协层面将推出2300余项特色活动,百余家全国学会将开展各类活动,50余个高校科协及企业科协等基层组织将开展200余项活动。
5月22日,小米15周年战略新品发布会在北京召开,小米正式发布首款3nm旗舰处理器“玄戒O1”。
联合国秘书长古特雷斯指出,生物多样性是生命网络的经纬,更是人类文明的基石,而今这张网络正被快速撕裂。联合国也呼吁各国迅速编制与KMGBF目标一致的国家生物多样性战略和行动计划,并纳入国家可持续发展战略中。
自然界中,鱼类能在水流复杂多变的水下灵活游动、避开障碍,主要得益于身体两侧能感知水流变化的侧线
自然资源是人类生存发展的重要基础,人与自然和谐共生离不开对自然资源的高水平保护和高效率利用。保护和利用好自然资源的奋斗路上,有哪些难忘的故事?
与大科学装置近距离接触,聆听院士专家讲解科学前沿,沉浸式感受神奇的科学现象……近日,中国科学院第二十一届公众科学日活动举办,所属135个单位“开门迎客”,
从闽北山乡到广袤神州,科技特派员制度历经20余载深耕厚植,已成为全面推进乡村振兴、加快农业农村现代化建设的重要力量。
(解读人:王挺,系中国科普作家协会副理事长、中国科学技术大学研究员,本文原载于《科普时报》)
基于全基因组SNP的种群基因组学研究揭示,全球雪豹可划分为两大遗传支系:北部支系和南部支系。基因组水平评估发现,相比雪豹南部支系,北部支系的基因组杂合度和种群遗传多样性较低,这些特征与其演化历史及较小的有效种群大小相吻合。
我国的甘肃皋兰什川古梨园系统、浙江德清淡水珍珠复合养殖系统、福建福鼎白茶文化系统三项遗产系统顺利通过专家评审,正式被联合国粮农组织认定为全球重要农业文化遗产。
科学家发现,在线一类的大语言模型(LLM)如能根据对手的个性化信息调整论据,其说服力将比人类高64.4%。瑞士洛桑联邦理工学院的Francesco Salvi和同事分别将900名美国人与另一个人或GPT-4配对,使双方辩论各种社会政治议题。