Meta无限长文本大模型来了：参数仅7B，已开源
Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练效率和下游任务准确性方面表现不...
当前大模型技术超全总结！
本文分为三个章节，深入浅出地解读大模型的技术，具体如下三个部分：1、GPT、LLaMA、ChatGLM、Falcon等大语言模型的技术细节比较在深入研究LLaMA、ChatGLM和Falcon等大语言模型时，我们不难发现...
Mamba架构第一次做大！混合Transformer，打败Transformer
精彩精彩，第一个把爆火Mamba架构真正扩展到足够大的工作来了。520亿参数，还是Mamba+Transformer混合架构。它的名字叫Jamba。打开网易新闻 查看更多图片 取两种架构之长，模型质量和效率兼得...
OpenAI 创始成员用 1000行手搓了一个大模型，Mac 即可运行
徒手用 1000 行 C 语言实现，不依赖庞大的外部库，Mac 即可运行。如今这年头，徒手写神经网络代码已经不算事儿了，现在流行手搓大模型训练代码了！这不，今天，特斯拉前 AI 总监、OpenAI 创始团...
Llama3，凭什么价值百亿美金？
4月19日，Facebook母公司Meta重磅推出了Llama3。即便大家现在对于大厂和巨头频繁迭代AI模型的行为已经见怪不怪，Meta的Llama3仍旧显得与众不同，因为这是迄今最强大的开源AI模型。Meta推出了重...
开源版AI程序员来了：GPT-4加持，能力比肩Devin
最近，有很多人在为 AI 代替自己的工作而担忧。上个月火遍 AI 圈的「首位 AI 程序员」Devin，利用大模型能力已经掌握了全栈技能，仅需要人类给出自然语言指令，就可以自动完成复杂的代码任务...
455亿！刚刚，他又一次成为中国芯片首富！
年初，因王树国的加入，曹德旺斥资百亿筹建的福耀科技大学，再次火出圈。然而，企业家办学并不是个例。在宁波甬江北岸，有一处工地机械轰鸣、钢架林立，一所民办大学正如火如荼地在建设推进中...
OpenAI将允许公司个性化其最强大模型GPT-4o
美东时间8月20日（周二），OpenAI宣布将面向企业客户推出“个性化定制服务”，允许使用各自的公司数据来“微调”（Fine-tuning）其目前最强大的AI模型GPT-4o。有分析称，对于OpenAI当前的旗舰模...
国内NLP创业团队白熊AI首曝光：大模型训练和智能体开发平台齐发
钛媒体App独家获悉，一支来自国内外顶尖NLP实验室的创业团队——白熊AI（ICEBEAR AI），已完成千万级人民币天使轮融资，并正式推出自主研发的Polar Agent智能体开发平台和Arctic Lab大模型训...
LLM上下文窗口突破200万！无需架构变化+复杂微调
LongRoPE方法首次将LLM的窗口扩展到了2048k个token，只是简单微调的情况下，就能实现与短上下文窗口相近的性能！大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文...