模型共221篇 第5页
离职创业一年,我才发现训练大模型有这么多坑-开放智能

离职创业一年,我才发现训练大模型有这么多坑

 如何在不到一年的时间里创办一家公司、筹集资金、购买芯片,并搭建出追赶 Gemini pro/GPT 3.5 的 LLM?很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇,但真正走完「从零开始」...
micro的头像-开放智能micro4个月前
01738
ChatGPT搜索吊打传统搜索和用 “LLM 进行总结 ”包装器-开放智能

ChatGPT搜索吊打传统搜索和用 “LLM 进行总结 ”包装器

 贾扬清说新的 ChatGPT 搜索功能正在扼杀 '简单调用传统搜索并用 LLM 进行总结 '的封装‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍据多方消息,OpenAI已经创建了search. chatgpt. com子域名(目前无法访...
micro的头像-开放智能micro4个月前
015014
Meta新模型推理加速3倍,编程任务提高17%-开放智能

Meta新模型推理加速3倍,编程任务提高17%

“预测下一个token”被认为是大模型的基本范式,一次预测多个tokens又会怎样?Meta AI法国团队推出“基于多token预测的更快&更好大模型”。打开网易新闻 查看更多图片 多token预测模型,在...
micro的头像-开放智能micro4个月前
017810
如何从头开始编写LoRA代码,这有一份教程-开放智能

如何从头开始编写LoRA代码,这有一份教程

LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大语言模型)的流行技术,最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。不同于其他技...
micro的头像-开放智能micro4个月前
016712
微调Mistral-7B实现86.81%准确率-开放智能

微调Mistral-7B实现86.81%准确率

 小模型也能解锁数学能力,无需多模型集成,7B模型在GSM 8 k数据集上性能超越70B!对于小型语言模型(SLM)来说,数学应用题求解是一项很复杂的任务。比如之前有研究结果显示,在GSM 8K基准测...
micro的头像-开放智能micro5个月前
017613
LLM上下文窗口突破200万!无需架构变化+复杂微调-开放智能

LLM上下文窗口突破200万!无需架构变化+复杂微调

 LongRoPE方法首次将LLM的窗口扩展到了2048k个token,只是简单微调的情况下,就能实现与短上下文窗口相近的性能!大型语言模型(LLM)往往会追求更长的「上下文窗口」,但由于微调成本高、长文...
micro的头像-开放智能micro5个月前
01636
全面走向“人工智能+”,国内首个汽车大模型标准发布-开放智能

全面走向“人工智能+”,国内首个汽车大模型标准发布

全面走向“人工智能+”,国内首个汽车大模型标准发布标准主要涵盖三个能力域,其中场景丰富度侧重评估汽车大模型对智能座舱和自动驾驶等细分场景的支持情况,能力支持度重点关注汽车大模型在感...
micro的头像-开放智能micro5个月前
01747
拜登召集奥特曼和李飞飞等入AI安全委员会-开放智能

拜登召集奥特曼和李飞飞等入AI安全委员会

 美国总统拜登最近成立了一个新的人工智能安全委员会,目的是解决人工智能技术可能对电网、机场等关键基础设施带来的潜在威胁。国土安全部部长Alejandro Mayorkas是委员会的主席,他强调:“如...
micro的头像-开放智能micro5个月前
016211
国产“Sora”火了!长度可达16秒-开放智能

国产“Sora”火了!长度可达16秒

Sora席卷世界,也掀起了全球竞逐AI视频生成的热潮。就在今天,国内又有一支短片引发关注。视频来自生数科技联合清华大学最新发布的视频大模型「Vidu」。从官宣消息看,「Vidu」支持一键生成长达...
micro的头像-开放智能micro5个月前
015414
苹果一次性开源了8个大模型!-开放智能

苹果一次性开源了8个大模型!

 不以开放性著称的苹果居然同时开源了大模型的权重、训练和评估框架,涵盖训练日志、多个保存点和预训练设置。同时升级计算机视觉工具包 CVNets 为 CoreNet!支持 OpenELM! ▲图1.由Stable D...
micro的头像-开放智能micro5个月前
01655