复旦大学MOSS团队:MOSS参数规模约是ChatGPT的1/10,或于3月底开源

日期:2023-03-02 阅读:548
核心提示:据悉,由美国OpenAI公司开发的ChatGPT模型在全球点燃了新一轮AI革命,海内外关注度陡增。前不久,复旦大学计算机科学技术学院邱锡鹏团队发布类ChatGPT模型MOSS,新闻迅速登上微博热搜。3月2日,复旦大学发布复旦MOSS团队深度访谈。
据悉,由美国OpenAI公司开发的ChatGPT模型在全球点燃了新一轮AI革命,海内外关注度陡增。前不久,复旦大学计算机科学技术学院邱锡鹏团队发布类ChatGPT模型MOSS,新闻迅速登上微博热搜。3月2日,复旦大学发布复旦MOSS团队深度访谈。
 
关于MOSS与ChatGPT相比,有哪些主要差异?复旦大学计算机科学技术学院邱锡鹏团队表示,最大差异还是参数规模。ChatGPT的参数量多达1750亿个,而MOSS的参数量比其小一个数量级,大约是前者的1/10左右。我们选择百亿规模这样级别的参数,是因为学术界主要是做一些探索性的技术,这个规模也在财力物力承受范围之内。我们认为在这个参数级别上,这些模型也能涌现出一定的智能能力,我们也能赋予它们对话的能力。实验结果证实了我们的猜想,MOSS模型可以非常顺利地与人类进行聊天互动。
 
邱锡鹏在访谈中表示,近期的目标,是希望MOSS成为国内技术比较领先的对话式语言模型。我们希望能坚持做一个不为利润所驱使的研究机构,把研究成果无偿地分享给学术界,也在合法合规的前提下把研究成果开放给业界,让他们去做定制化或者在特殊领域的应用。下一步进行顺利的话,我们会于3月底左右开源。 
打赏
联系客服 投诉反馈  顶部