排序
离职创业一年,我才发现训练大模型有这么多坑
如何在不到一年的时间里创办一家公司、筹集资金、购买芯片,并搭建出追赶 Gemini pro/GPT 3.5 的 LLM?很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇,但真正走完「从零开始」...
ChatGPT搜索吊打传统搜索和用 “LLM 进行总结 ”包装器
贾扬清说新的 ChatGPT 搜索功能正在扼杀 '简单调用传统搜索并用 LLM 进行总结 '的封装据多方消息,OpenAI已经创建了search. chatgpt. com子域名(目前无法访...
Meta新模型推理加速3倍,编程任务提高17%
“预测下一个token”被认为是大模型的基本范式,一次预测多个tokens又会怎样?Meta AI法国团队推出“基于多token预测的更快&更好大模型”。打开网易新闻 查看更多图片 多token预测模型,在...
如何从头开始编写LoRA代码,这有一份教程
LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大语言模型)的流行技术,最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。不同于其他技...
微调Mistral-7B实现86.81%准确率
小模型也能解锁数学能力,无需多模型集成,7B模型在GSM 8 k数据集上性能超越70B!对于小型语言模型(SLM)来说,数学应用题求解是一项很复杂的任务。比如之前有研究结果显示,在GSM 8K基准测...
LLM上下文窗口突破200万!无需架构变化+复杂微调
LongRoPE方法首次将LLM的窗口扩展到了2048k个token,只是简单微调的情况下,就能实现与短上下文窗口相近的性能!大型语言模型(LLM)往往会追求更长的「上下文窗口」,但由于微调成本高、长文...
谷歌宣布7500万美元人工智能“机会基金”和培训100万人
谷歌宣布了两项新的人工智能劳动力发展计划,旨在帮助所有员工和学习者学习和使用新技术。谷歌公司的慈善机构google.org通过7500万美元的人工智能“机会基金”,为劳动力发展和教育机构提供资助...
全面走向“人工智能+”,国内首个汽车大模型标准发布
全面走向“人工智能+”,国内首个汽车大模型标准发布标准主要涵盖三个能力域,其中场景丰富度侧重评估汽车大模型对智能座舱和自动驾驶等细分场景的支持情况,能力支持度重点关注汽车大模型在感...
拜登召集奥特曼和李飞飞等入AI安全委员会
美国总统拜登最近成立了一个新的人工智能安全委员会,目的是解决人工智能技术可能对电网、机场等关键基础设施带来的潜在威胁。国土安全部部长Alejandro Mayorkas是委员会的主席,他强调:“如...
国产“Sora”火了!长度可达16秒
Sora席卷世界,也掀起了全球竞逐AI视频生成的热潮。就在今天,国内又有一支短片引发关注。视频来自生数科技联合清华大学最新发布的视频大模型「Vidu」。从官宣消息看,「Vidu」支持一键生成长达...