开云(中国)KY体育官方网站-2024kaiyuntiyu全站

kaiyun混元大模子已从单个稀薄密度模子改为多大家MoE模子-开云(中国)KY体育官方网站-2024kaiyuntiyu全站

发布日期:2024-06-26 04:19    点击次数:90

kaiyun混元大模子已从单个稀薄密度模子改为多大家MoE模子-开云(中国)KY体育官方网站-2024kaiyuntiyu全站

大模子开源阵营再添一员。5月17日的腾讯云生成式AI产业应用峰会上kaiyun,腾讯集团副总裁蒋杰暗示,腾讯瞻望将在本年第三季度开源文生文模子,包括Hunyuan-S、Hunyuan-M和Hunyuan-L,辨别用于手机端、PC端、云或数据中心部署。

蒋杰暗示,在C端,5B(50亿参数)的MoE(羼杂大家)版块可在PC上快速跑起来,混元将对云和企业开发者开源的则是30B MoE模子。5月14日,混元已开源了文生图模子Hunyuan-DiT。

对于混元徐徐开源的原因,腾讯混元模子应用认真东谈见识锋告诉第一财经记者,大模子应用许多场景需要特有化,这种情况下只提供API(接口)不太能满足需求。腾讯混元文生图认真东谈主芦清林则告诉记者,若业界不绽开大体量的FounDiTion model(DiT基础模子),因数据及资源老本问题,零丁商议东谈主员乃至大型实验室齐难以作念出来,许多优化责任无法进行。

国内科技大厂中,华为、百度均未推出开源模子,其中百度坚捏走闭源道路。而腾讯和阿里的大模子齐走开源和闭源并行旅途。以百度CEO李彦宏为代表,他以为有生意花式的闭源模子才调臆测东谈主力和财力。有支捏大模子开源的业内东谈主士则告诉记者,开源对于鼓励大模子生态发展十分贫瘠,服从好的开源模子还能给相干厂商的闭源模子打告白。

此外,记者了解到,混元大模子资格迭代,混元大模子已从单个稀薄密度模子改为多大家MoE模子,参数超万亿。蒋杰暗示,混元大讲话模子部分中语才略追平GPT4。混元文生图模子基础架构则由U-Net升级为DiT(Diffusion Models with Transformers),与视频生成模子Sora的架构换取。

混元在腾讯里面有不同尺寸的模子在应用,包括1B、3B、7B、13B的Dense(应承)和MoE模子,现在大部分支捏的是70亿参数。现在,腾讯里面有600多个业务接入混元大模子,包括微信、QQ。腾讯后续还策动发布基于混元大模子的面向C端的App腾讯元宝。

视频生成方面,蒋杰暗示,混元最新一代基于DiT架构的视频生成模子可生成16秒视频,瞻望本年第三季度将推出的下一代文生视频模子可生成30秒以上视频。此外,蒋杰表现,大模子推理算力老本也有所裁减,针对低端卡算力低、显存小的不及,腾讯使用自研Angel庄重推理平台,养息异构卡集群,万亿大模子推理老本比开源减少70%。

近期多个大模子厂商裁减大模子使用价钱,激勉业内对大模子算力老本下跌的柔软。

5月13日,OpenAI发布GPT-4o,价钱仅为GPT-4 Turbo的一半,输入、输出每百万 tokens(文本单元)收费5好意思元、15好意思元。5月13日,智谱大模子绽开平台上线新的价钱体系,初学级居品 GLM-3 Turbo 模子调用价钱下调80%,为1元/百万tokens。5月15日,字节高开拔布豆包大模子,其主力模子在企业商场的订价为0.0008元/千tokens,较行业平均价钱低廉99.3%。火山引擎总裁谭待暗示,字节通过优化模子结构、将单机推理改为漫衍式推理、羼杂养息云筹合算力等裁减老本。

腾讯云副总裁、腾讯云智能认真东谈主吴运声则告诉记者,腾讯算力集群用自研星脉高性能策动收集,老本低于外购的相干收集开拓,重叠使用Angel庄重推理平台,使庄重和推理经由中资源可更高效应用。从OpenAI和谷歌近期的发布会上看,两家厂商也作念了优化,使推理老本大大裁减。裁减推理老本对鼓励大模子等闲使用十分贫瘠。

举报 第一财经告白相助,请点击这里此试验为第一财经原创,文章权归第一财经悉数。未经第一财经籍面授权,不得以任何边幅加以使用,包括转载、摘编、复制或成就镜像。第一财经保留根究侵权者法律包袱的职权。 如需获取授权请相干第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。 文章作家

郑栩彤

相干阅读 东谈主工智能撞上“功耗墙”,终极贬责决策是什么?

“基本不错细则地说,新策动机架构的颠覆不会在两三年、三五年内出现,这将是一个永劫候的探索。”

05-15 11:05 甘肃要害节点算力达新高 特殊于350万台PC电脑同期责任

刻下水平下,不错撑捏AI超等应用的模子庄重及推理,自动驾驶、灵巧医疗、智能数字联想与建造、语音识别等应用场景将被缓慢驾御。

05-14 14:04 敲开芯片厂大门,大模子厂商运转把应用装进手机里

从App应用走向大模子应用生态,大模子应用厂商到了要向芯片要算力的阶段。

05-10 09:16 临港打造大家影响力算力高地,2025年智算占比80%

到2025年,新片区造成以智能算力为主、基础算力和超等算力协同的多元算力体系。力图总算力杰出5EFLOPS,智算占比达到80%,PUE放手在1.25以内,算力产业总体边界擢升至100亿元。

05-07 16:11 解码AI|开启大模子“安卓”工夫,Meta刚刚干了一件大事

OpenAI如何粗莽竞争将是下一步看点kaiyun。

04-19 15:06 一财最热 点击关闭

热点资讯
相关资讯