零时古怪 - 中国第一时事资讯综合门户

零时古怪资讯网
提供最新的热点新闻资讯
首页 > 科技

猎户星空大模型发布,仅需千元级显卡即可运行

在日前举行的开年AI大课暨猎户星空企业应用大模型发布会上,猎豹移动董事长兼CEO、猎户星空董事长傅盛进行了题为《AI大潮下企业如何创新?从技术狂欢到企业落地-私有化大模型是王道》的主题分享,并正式发布猎户星空大模型(Orion-14B)。

据悉,猎户星空大模型是由猎户星空研发的预训练多语言大语言模型,专为企业应用而生,且通过140亿参数实现了千亿参数大模型才能实现的效果。同时猎户星空大模型还支持私有化部署,大模型服务器可安置于企业内网,且所有数据无需连接公网。

据了解,作为百亿参数大模型,猎户星空大模型的基座能力在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上,均为同级别的SOTA(最佳模型)。并且在700亿参数以下的基座模型中,猎户星空大模型在中文数据集的表现上总分位列榜首。对此猎户星空方面表示,Orion-14B没有提前刷基准测试里面的真题,成绩绝对真实。

据悉,猎户星空大模型最长可支持320K token超长文本。而且在针对大模型“记忆力”的权威测试“大海捞针(Needle in A Haystack)”中,Orion-14B对200k Token的召回率是100%。同时通过AWQ Q4量化技术,猎户星空大模型的大小减少70%,推理速度提升30%,性能几乎无损(损失小于1%),在千元级显卡即可流畅运行。

值得一提的是,针对不同的需求,猎户星空进一步扩展了猎户星空大模型的功能和实用性,并着重打磨检索增强生成(RAG)和Agent两个方向。其中,RAG能力微调模型(Orion-14B-RAG)对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力,进行了专项微调,让其能更好配合企业整合自身知识库,构建定制化的应用。

为辅助企业构建AI Agent,猎户星空还推出了插件能力微调模型(Orion-14B-Plugin),该插件能通过Orion-14B-RAG更好理解用户需求,并调用相关的工具解决问题。

此外,猎户星空方面还推出了大模型深度应用“聚言”,面向企业客户提供大模型咨询与服务一站式解决方案。据悉,基于“聚言”打造的“数字老板”,可帮助企业负责人全面掌握经营细节、不留遗漏,包括人力资产、云资产、数字资产等。

【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】

 

延伸阅读:

  • 猎豹移动宣布控股猎户星空
  • 猎户星空送餐机器人上线!一“人”解决餐饮行业痛点

 

未经允许不得转载:零时古怪 - 中国第一时事资讯综合门户 » 猎户星空大模型发布,仅需千元级显卡即可运行

分享到:更多 ()
来源: 编辑:cxr4186

评论

留言/评论 共有条点评
昵称:
验证码:
匿名发表