AI奇点网7月12日报道丨7月11日，OpenAI 旗下的 GPT-4 大量模型架构、训练成本、数据集等大量信息被泄露。SemiAnalysis 发布了一篇付费订阅的内容，揭秘了有关 GPT-4 的更多信息。文章称，他们从许多来源收集了大量有关 GPT-4 的信息，包括模型架构、训练基础设施、推理基础设施、参数量、训练数据集组成、token 量、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实现技术以及如何减轻与巨型模型推理有关的瓶颈等。
一直以来，大家都对 GPT-4 的信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。而在不久之前，天才黑客乔治・霍兹（George Hotz）在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息，称 GPT-4 是由 8 个混合专家模型组成的集成系统，每个专家模型都有 2200 亿个参数（比 GPT-3 的 1750 亿参数量略多一些），并且这些模型经过了针对不同数据和任务分布的训练。
AI奇点网注意到他的发言向我们透露出一个重要信息：GPT-4架构他们的构建的信息是可复制的，Google、Meta、Anthropic、Inflection、Character、腾讯、字节跳动、百度等在短期内都将拥有与GPT-4一样强大的模型。
不过这并非官方确认的数据，准确性有待考量。AI奇点网会为大家持续关注报道。
上一篇：美元基金扎堆抢投这家AI编程公司 系月之暗面前产品经理创业项目
下一篇：头部高校纷纷开设AI大课：重塑教育范式，淘汰老旧课程将成常态
聚焦智能天文光学系统，打造人类“天眼”。
一家机器人公司如何穿越行业“死亡谷”？
教师职业三重变革：从编制铁饭碗到流量新战场，谁在定义未来教育者？
苹果发布超薄iPhoneAir，评价两极，或为折叠屏预热。
你是不是也经常遇到“AI配音”的视频？
苹果还没有熟透。
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
AI小聚
ZeroGPT
网站地图
GPT-4 信息遭到泄露，2200 亿个参数的专家模型，斥资6300万美元
AI奇点网7月12日报道丨7月11日，OpenAI 旗下的 GPT-4 大量模型架构、训练成本、数据集等大量信息被泄露。SemiAnalysis 发布了一篇付费订阅的内容，揭秘了有关 GPT-4 的更多信息。文章称，他们从许多来源收集了大量有关 GPT-4 的信息，包括模型架构、训练基础设施、推理基础设施、参数量、训练数据集组成、token 量、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实现技术以及如何减轻与巨型模型推理有关的瓶颈等。
一直以来，大家都对 GPT-4 的信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。而在不久之前，天才黑客乔治・霍兹（George Hotz）在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息，称 GPT-4 是由 8 个混合专家模型组成的集成系统，每个专家模型都有 2200 亿个参数（比 GPT-3 的 1750 亿参数量略多一些），并且这些模型经过了针对不同数据和任务分布的训练。
AI奇点网注意到他的发言向我们透露出一个重要信息：GPT-4架构他们的构建的信息是可复制的，Google、Meta、Anthropic、Inflection、Character、腾讯、字节跳动、百度等在短期内都将拥有与GPT-4一样强大的模型。
不过这并非官方确认的数据，准确性有待考量。AI奇点网会为大家持续关注报道。
上一篇：美元基金扎堆抢投这家AI编程公司 系月之暗面前产品经理创业项目
下一篇：头部高校纷纷开设AI大课：重塑教育范式，淘汰老旧课程将成常态
追觅「上天」，官宣成立天文BU｜最前线
聚焦智能天文光学系统，打造人类“天眼”。
三临绝境，三度翻盘：一家机器人公司的15年“极限求生”
一家机器人公司如何穿越行业“死亡谷”？
招生锐减、硕博下沉、AI创业——教师职业的破与立
教师职业三重变革：从编制铁饭碗到流量新战场，谁在定义未来教育者？
OpenAI CEO奥特曼点赞iPhone Air，分析师直呼：它只是苹果的试验品
苹果发布超薄iPhoneAir，评价两极，或为折叠屏预热。
偷走全红婵声音，在网上卖鸡蛋？你看的明星带货直播，可能是AI偷来的……
你是不是也经常遇到“AI配音”的视频？
库克不再「挤牙膏」：iPhone薄了，AI缺席
苹果还没有熟透。
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
AI小聚
ZeroGPT