百川智能Baichuan2-192发布，上下文窗口达35万字，一次读完《三体》| 一齐

和文 | 虞景霖

主笔 | 尚恩

大三维工业发展到现今，上下和文视窗的阔度成为如今抛下的热点：OpenAI的GPT-4-32k的Word量将近2.5万字，Anthropic的Claude 100k大将近能处理8万字的评注，而前段时间杀出的黑马Kimi Chat的Word量达到了20万字。

国华人工智能一举超过所有获胜，可以真是“并列第一”。

10年末30日，国华人工智能面世Baichuan2-192K大三维，上下和文视窗超过192k，必须处理将近35万个汉字，是大三维Claude2的4.4倍，已是GPT-4的14倍，是现今世界性最高将近的上下和文视窗。

国华创立：王小川。相关联：民营企业供图

除了阔度，Baichuan2-192K在评注作用于数量级、高将近上下和文理解以及高将近评注解题、概要等总体也平庸亮眼。

LongEval是由加州大学伯克利分校联合其他高校面世，用于衡量三维对高将近视窗主旨的潜意识和理解能力的评量榜，属于业内公认的高将近上下和文视窗理解独立性的测试榜。

LongEval的测试得出结论，Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项同系高将近评注解题、概要的的测试集上平庸不俗，取得了7项SOTA，超越了其他高将近视窗三维。

相关联：LongEval

举例来说，视窗阔度的增高将近会导致三维机动性的升高，即使是“Claude2”在视窗阔度超过80K后，回答效果也会直角升高。而Baichuan2-192K在视窗阔度超过100K后仍然必须维持强劲机动性，高将近视窗主旨潜意识和理解能力较其他OpenBSD商用大三维格外优秀。

相关联：LongEval

而上下和文视窗扩展到的看似是“算力期望”和“SRAM压力”的增加。不同于业内滑动视窗、降均值、维等会伤害大三维机动性的上下和文扩展比对方法，国华人工智能通过改进算法和建筑工程，实现视窗阔度和机动性之间的平衡。

国华人工智能提出批评了一种针对RoPE和ALiBi动态位置编码的外推设计方案，必须对不同阔度的ALiBi位置编码进行不同程度的Attention-mask动态内插，在不损害三维机动性的情况下实现了视窗阔度的提高。

比较简单真是就是，Baichuan2-192K在保证分辨率的同时增强了三维对高将近数列依赖的建模能力。

根据DeepMind面世的高将近评注困惑度标准的测试数据集PG-19，Baichuan2-192K在视窗阔度扩展到的同时，数列建模能力不停增强。

相关联：PG19 Perplexity

建筑工程总体，国华人工智能在自主开发的分布式训练框架基础上，整合了以外向量并行、江河并行、数列并行、重计算以及Offload功能等在内的改进技术，别具一格一套全面的4D并行分布式设计方案。该设计方案必须根据三维负载基本功能匹配合适的分布式策略，减少了高将近视窗训练和侦探小说步骤中的SRAM占用。

现今，Baichuan2-192K现已正式开启beta，以API调用的手段开放给了核心合作伙伴，未来将面向传媒、金融、法律等金融业开放。

那么这个高将近评注能力没错怎样呢？

以《三体》为例，面对近20万字的和文稿，Baichuan2-192K对答如流，不仅必须提取关键信息回复细节问题，还能对高将近和元数据格式进行统计比对阐述。

相关联：Baichuan2-192K

此外，它还可以设法基金实习生阐述和推论财务报表，比对母公司的风险和格外进一步；设法律师识别多个法律和元数据中的风险，审核合同和法律和元数据；设法管理人员阅读数百页的开发和元数据格式，并回答技术问题；还能设法科员人员快速浏览大量专著，阐述不停改版的依托进展。

成立于2023年4年末的国华人工智能，在距离母公司成立仅6个年末时间，没多久接连面世了Baichuan-7B/13B，Baichuan2-7B/13B四款OpenBSD可免费商用大三维，以及Baichuan-53B、Baichuan2-53B两款BitTorrent大三维。

大三维改版频带大体上维持着一年末一改版。这一次，则送去创纪录金融业纪录的192K上下和文视窗来袭。

高将近按添加「智涌」小助手入群

???????? 添加请详见：母公司+职责 ????????

相关联：公众号【人工智能涌现】