ChatGPT真实参数只有200亿，首次被微软曝光！网友惊：要自由软件了？

白交 发自 凹非观音寺

光子位 | 公众号 QbitAI

突然间，整个大数学模型圈都在谈谈同一件事情。

微软专著里一张「乍一看；也」的统计图，泄露了“好不容易”。

引领世界各地风暴的ChatGPT，却是大数学模型常量竟只有200亿？？？

专著一经释出，就吸引了国内外极多关心。

不少网友还不相信：确切不是拼写疑了？

有网友坚称：难怪OpenAI对Apache这么紧张。又或者，这毫无疑问是为OpenAIApache好好立即。

无独有偶，就在以前几天有网友在GitHub Copilot的API中的发现了疑似GPT-4新型号：copilot-gpt-4-2，所拥有的经验修正到了2023年3月。

除了泄露机密，这篇专著本身也值得一看：业内首个用蔓延数学模型好好示例作用于。

学术研究团队早先了这样一个场景：

如果开发人员只能改写先前动身示例，那么并不需要多少次从头开始编写一个线性才能完成呢？

用形式化作用于示例的自回归数学模型也有类似的局限性：不太容易重新考虑以前作用于的tokens。

微软学术研究员明确提出了有别于编码-音频架构的CODEFUSION，主要有数播放器、音频器、去则否器以及Classification Head，将形式化匹配编码为近十年坚称，然后将其亦然匹配Diffusion数学模型中的用达朗贝尔则否声进行正则表达式去则否。

为了作用于语法正确的示例，去则否后匹配音频器中的获得示例tokens，通过针对示例的近十年段落去则否(CPD)目标预基础训练CODEFUSION。

在Python、Bash和Excel条件存储设备（CF）规则三个母语目标上评估了CODEFUSION。

结果显示其7500万常量规模CODEFUSION性能，同200亿常量的GPT-3.5-turbo接近，而且还作用于越发多种不同的示例。

与纯重构作用于的diffusion数学模型远比，CODEFUSION作用于非常多语法正确的示例；与系统会回归数学模型远比，作用于越发多种不同的候选示例。

与最先进的自回归的系统（350M-175B 常量）远比，在以前 1 名的权重多方面乏善可陈非常，而在以前 3 名和以前 5 名的权重多方面，由于其在多样性与精确度之间赢得了非常多的平衡，其乏善可陈强于自回归的系统。

结果这原本只是一次再进一步正常不过的性能更为，居然引起非议。

也有人开始了谣言，或许这是OpenAIApache的“以前菜”，蓄意而为之——

因为不少大数学模型仍然追上上来了，而且早在月份5月，美联社就曾爆料OpenAI立即Apache新大母语数学模型。

值得一提的是，早在月份2月份福布斯一则新闻报道里，就曾声称过ChatGPT只有200亿常量。

以前标题是「越大越远吗？为什么 ChatGPT VS GPT-3 VS GPT-4 的 “战斗 “只是一次家庭交谈？」

只是以前很难太多人在意。

参考绑定：[1]_red_panda/status/1718916631512949248[2][3]_paper_claims_chatgpt_35_has_20_billion/[4][5]_leaks_about_upcoming_developments_with_openai/?share_id=txV27HR0zw0TjV8dLXf4l[6]

— 完 —

光子位 QbitAI · 太阳报号签