GPT-4 信息遭到泄露,2200 亿个参数的专家模型,斥资6300万美元

2025-05-01 来源|AI图库吧

AI奇点网7月12日报道丨7月11日,OpenAI 旗下的 GPT-4 大量模型架构、训练成本、数据集等大量信息被泄露。SemiAnalysis 发布了一篇付费订阅的内容,揭秘了有关 GPT-4 的更多信息。文章称,他们从许多来源收集了大量有关 GPT-4 的信息,包括模型架构、训练基础设施、推理基础设施、参数量、训练数据集组成、token 量、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实现技术以及如何减轻与巨型模型推理有关的瓶颈等。

一直以来,大家都对 GPT-4 的信息非常好奇。奈何 OpenAI 嘴太严,很长时间以来,大家也都只是猜测这些数据。而在不久之前,天才黑客乔治・霍兹(George Hotz)在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息,称 GPT-4 是由 8 个混合专家模型组成的集成系统,每个专家模型都有 2200 亿个参数(比 GPT-3 的 1750 亿参数量略多一些),并且这些模型经过了针对不同数据和任务分布的训练。

AI奇点网注意到他的发言向我们透露出一个重要信息:GPT-4架构他们的构建的信息是可复制的,Google、Meta、Anthropic、Inflection、Character、腾讯、字节跳动、百度等在短期内都将拥有与GPT-4一样强大的模型。

不过这并非官方确认的数据,准确性有待考量。AI奇点网会为大家持续关注报道。

最新
更多

GPT-4 信息遭到泄露,2200 亿个参数的专家模型,斥资6300万美元

7月11日,OpenAI 旗下的 GPT-4 大量模型架构、训练成本、数据集等大量信息被泄露。其信息量惊人,光是专家模型都有 2200 亿个参数,斥资高达6300万美元 。

美元基金扎堆抢投这家AI编程公司 系月之暗面前产品经理创业项目

又一家明星独角兽企业离职高管创业项目获得美元基金“扎堆抢投”。 近日,由月之暗面前海外产品负责人明超平创立的AI Coding项目新言意码宣布,其已完成两轮融资,五源资本、高榕资本、真格基金、高瓴创投和IDG

三星苹果穿戴设备大战从手腕干到手指

三星和苹果都有在穿戴设备开发新产品的准备动作,将在智能戒指产品上迎来正面交锋。

中信建投:看好AI应用作为新一代生产力工具在B端商业化落地

每经AI快讯,中信建投研报指出,海外云计算厂商资本开支持续增加,AI产业链趋势有望持续向上。看好AI应用作为新一代生产力工具在B端商业化落地,OA ERP作为入口级平台将率先受益;看多政府支持下,底层AI算力产业

OpenAI员工离职创办公司打造AI聊天机器人,对抗GhatGPT

7月11日,OpenAI员工离职创办公司Anthropic推出了新版人工智能聊天机器人:Claude 2,能够一次性处理大约7 5万个单词的文本,远远超越ChatGPT,成为ChatGPT强劲竞争对手。

AI语音厂商思必驰完成5亿元融资

《科创板日报》14日讯,AI语音厂商思必驰在近日完成了5亿元融资,本轮资方包括知名产业基金、国资平台、私募基金等多家机构。本轮融资后,思必驰将持续加速垂域大模型(DFM-2)与全链路对话技术在汽车、IoT等智能

网站地图