出于这个原因,行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4、马斯克旗下xAI公司的Grok等大模型都使用了 MoE。...而行业共识是模型达到50到60B参数门槛,大模型才能“智能涌现”,生态亟需“大”模型时,元象率先开源了XVERSE-...
智东西编辑|香草智东西9月13日报道,今日,大模型创企元象XVERSE发布国内最大MoE开源模型XVERSE-MoE-A36B,其总参数.
出于这个原因,行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4、马斯克旗下xAI公司的Grok等大模型都使用了 MoE。...而行业共识是模型达到50到60B参数门槛,大模型才能“智能涌现”,生态亟需“大”模型时,元象率先开源了XVERSE-...
这次奋战的结果很理想:在评价人工智能模型性能的第三方 Lmsys Chatbot Arena 排行榜更新中,Grok-2 主模型在 6686 次投票中获得了 1293 分...具体来说,这是一种用于执行复杂的语言模型程序的开源(Apache 2.0 授权)高效系统。...
8月20日,马斯克在创作者“dvorahfr”的评论区留言:“AI娱乐产业正在加速变革”,盛赞了一条用Grok和可灵AI制作的短片。过去半年,AI...前两周,大模型厂商智谱AI也发布了旗下的AI视频工具“清影”,并将模型“CogVideoX”开源。...
9月13日,国内开源大模型厂商元象发布最新MoE开源大模型—XVERSE-MoE-A36B,该模型总参数255B,激活参数...目前,国外的谷歌Gemini-1.5、OpenAIGPT-4、马斯克旗下xAI公司的Grok,国内的腾讯混元、通义千问等大模型都使用了 MoE。...
出于这个原因,行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4、马斯克旗下xAI公司的Grok等大模型都使用了MoE。...而行业共识是模型达到50到60B参数门槛,大模型才能「智能涌现」,生态亟需「大」模型时,元象率先开源了XVERSE-...
谷歌 Gemini-1.5、OpenAI 的 GPT-4、马斯克旗下 xAI 公司的 Grok 等大模型都使用了 MoE。...元象 MoE 超过多个同类模型,包括国内千亿 MoE 模型 Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B 以及 3140 亿参数的 MoE 开源模型 Grok-...
8月24日,马斯克旗下xAI公司宣布,Grok-2-mini刚刚进行了速度升级,“在过去几天里,我们大幅改进了推理堆栈”。...据介绍,该系列模型具有聊天、编码和推理等功能,包括Grok-2和Grok-2mini两个版本,目前正在X平台上进行测试,并...
她提到,该法案对开源社区将造成毁灭性影响。“每个AI开发者(尤其是初出茅庐的开发者和企业家)都无法预知模型的...也有人提出疑问,“xAI自研的Grok大模型无疑也在监管范围内,如果该法案得到通过,xAI不也捞不到什么好处么?...