经验共229篇 第4页
前谷歌科学家离职创业1年,自述训练LLM卡在算力上!-开放智能

前谷歌科学家离职创业1年,自述训练LLM卡在算力上!

前谷歌大脑科学家Yi Tay去年3月离职后,创办了一家初创公司。创业一年,他发文表示「痛并快乐着」。 在这篇博文中,我讨论了: 1. 在不同计算提供商中采购计算和差异的经验。我们最大的发现/惊...
micro的头像-开放智能micro10个月前
07513
Mamba架构第一次做大!混合Transformer,打败Transformer-开放智能

Mamba架构第一次做大!混合Transformer,打败Transformer

 精彩精彩,第一个把爆火Mamba架构真正扩展到足够大的工作来了。520亿参数,还是Mamba+Transformer混合架构。它的名字叫Jamba。打开网易新闻 查看更多图片 取两种架构之长,模型质量和效率兼得...
micro的头像-开放智能micro9个月前
01719
2024年全球生成式AI行业市场现状分析-开放智能

2024年全球生成式AI行业市场现状分析

 行业主要上市公司:百度(BIDU.O);科大讯飞(002230);腾讯(0700.HK);阿里巴巴(BABA.N);商汤科技(0020.HK);拓尔思(300229);出门问问(2438.HK)等。本文核心数据:全球生成式AI产品应用需求调查;全...
micro的头像-开放智能micro9个月前
020214
揭秘HuggingFace规模最大、质量最高预训练数据集-开放智能

揭秘HuggingFace规模最大、质量最高预训练数据集

 从大规模网络爬取、精细过滤到去重技术,通过FineWeb的技术报告探索如何打造高质量数据集,为大型语言模型(LLM)预训练提供更优质的性能。大型语言模型(LLMs)的性能在很大程度上取决于它的...
micro的头像-开放智能micro7个月前
01615
GitHub官宣接入Claude+Gemini-开放智能

GitHub官宣接入Claude+Gemini

OpenAI再也不是微软的唯一解。第十届GitHub开发者大会上,微软官宣GitHub Copilot同时接入Claude 3.5 Sonnet和Gemini 1.5 Pro两大模型。同时,还发布了0代码开发应用的「魔法」平台。AI代码生成...
micro的头像-开放智能micro3个月前
0133213
田渊栋给OpenAI神秘Q*项目泼冷水:合成数据不是AGI救星-开放智能

田渊栋给OpenAI神秘Q*项目泼冷水:合成数据不是AGI救星

大佬们关于Q猜想的讨论仍在继续,今天,AI大牛田渊栋公开表示,Q*只能解决入门级数学题,AGI也大概率无法通过合成数据实现。Q*猜想,持续在AI社区火爆。大家都在猜测,Q*是否就是「Q-learning +...
micro的头像-开放智能micro2年前
0817
LLM只是开胃菜,GPT助手才是AGI的正餐-开放智能

LLM只是开胃菜,GPT助手才是AGI的正餐

 去年11月,在OpenAI发布由GPT-3提供支持的ChatGPT之后,AGI(通用人工智能)的历史齿轮自此转动。业内一时热度空前,随后GPT-4、谷歌的Bard、Meta的Llama等大模型相继问世,展现出AGI的无限潜...
micro的头像-开放智能micro2年前
010010
虚拟和现实世界已分不清!OpenAI首个AI视频模型-开放智能

虚拟和现实世界已分不清!OpenAI首个AI视频模型

OpenAI Sora宣传视频(00:59)“一名时尚女子走在充满霓虹灯和广告牌的标志性东京街头,她穿着黑色皮夹克、红长裙和黑靴子,拎着黑色手袋,戴着太阳镜,涂着红色口红,走路自信又随意。街道潮湿且...
micro的头像-开放智能micro11个月前
014413
最新模型MVDiffusion++:无需相机姿态,即可实现高清3D模型重建-开放智能

最新模型MVDiffusion++:无需相机姿态,即可实现高清3D模型重建

 受人类视觉系统的启发,MVDiffusion++结合计算方法高保真和人类视觉系统灵活性,可以根据任意数量的无位姿图片, 生成密集、高分辨率的有位姿图像,实现了高质量的3D模型重建。人类的视觉展现...
micro的头像-开放智能micro10个月前
01887
斯坦福与伯克利联手打造下一代智能大脑,OpenAI红杉资本抢先投资-开放智能

斯坦福与伯克利联手打造下一代智能大脑,OpenAI红杉资本抢先投资

 打开网易新闻 查看更多图片 在科技领域,创新的步伐从未停歇。最近,斯坦福大学和加州大学伯克利分校的顶尖教授们联手创业,为机器人打造智能大脑,这一创举吸引了OpenAI和红杉资本等知名投资...
micro的头像-开放智能micro9个月前
01769