英伟达推出AI编程开放大模型StarCoder2系列

据了解，该系列模型包括一个由ServiceNow训练的3B参数模型、一个由Hugging Face训练的7B亿参数模型，以及一个由英伟达构建、并在其加速基础设施上训练的15B亿参数模型，旨在成为代码生成领域的新标准，并具备性能、透明度和成本效益等诸多优势。

 

据了解，StarCoder2的基础是一个名为Stack v2的新代码数据集，其规模比Stack v1大7倍多。除了先进的数据集之外，其所采用的新训练技术也有助于StarCoder2理解低资源编程语言（如COBOL等）、数学和程序源代码讨论等。

StarCoder2经过619门编程语言培训，可执行源代码生成、工作流生成、文本摘要等专业任务。对此英伟达方面表示，开发者可以利用StarCoder2进行代码补全、高级代码总结、代码片段检索等工作，从而提高效率。而在性能方面，据悉StarCoder2 3B进一步精简和筛选了优质参数，性能相当于初版StarCoder 15B。而且StarCoder2 15B在HumanEval上表现出色，可达到46%的准确率，并在多项评估中能与33B+规模的模型匹敌。

对此英伟达应用研究副总裁Jonathan Cohen表示， “由于每个软件生态系统都有专门的编程语言，编程大模型可以推动各行业效率和创新方面的突破。英伟达与ServiceNow和Hugging Face的合作带来了安全且负责任的模型，让更多人能够用上负责任的生成式AI，我们相信这将使全球社区受益”。

ServiceNow的StarCoder2开发团队负责人Harm de Vries则表示，“StarCoder2证明了将开放式科学协作和负责任的AI实践与道德数据供应链相结合所产生的力量，这一极其先进的开放获取模型将提高已有生成式AI的性能和开发者的生产力，为开发者提供平等的机会、获得代码生成式AI的优势，这也使得任何规模的企业都能更轻松地激发其全部业务潜力”。