Hoffmann J, Borgeaud S, Mensch A, et al. Training compute-optimal large language models[J]. arXiv preprint arXiv:2203.15556, 2022. 进一步研究表明，像 GPT-3(175B) 这么大规模的参数里，用这三种计算方式进行拟合的话，会发现 GPT-3 并没有充分得到训练。 因此，我们需要考虑真正落地应用在垂直领域时，千亿级别参数规模的庞大模型所消耗的巨大成本，以避免参数的浪费。 Hoffmann J, Borgeaud S, Mensch A, et al. Training compute-optimal large language models[J]. arXiv preprint arXiv:2203.15556, 2022.
三、Open and Efficient
Touvron H, Lavril T, Izacard G, et al. LLaMA: Open and Efficient Foundation Language Models[J]. arXiv preprint arXiv:2302.13971, 2023. Meta 受到 DeepMind 理论的启发，在 2023 年推出了百亿模型 LLaMA，经过 1.4 万亿 Token（近 4.7 倍于 GPT-3 ）的训练数据，在很多下游实验任务当中效果明显好于 GPT3 千亿规模的参数。因此，即便你的参数规模可能没那么大，增加训练 Token 量依然能够看到效果。 Touvron H, Lavril T, Izacard G, et al. LLaMA: Open and Efficient Foundation Language Models[J]. arXiv preprint arXiv:2302.13971, 2023. 在训练过程中，无论是 65B、33B、17B，甚至 7B 的小模型，在训练数据接近超过万亿 Token 之后，下游任务的效果仍在提升，也就是说这些参数的潜力可以通过更多 Token 训练进一步激发出来。故此可推测，百亿模型的潜力仍有待深入挖掘，尤其在算力资源受限的情况下，存在性价比更高的优化空间。
四、数据规模存在瓶颈 ：开放数据即将耗尽
Villalobos P, Sevilla J, Heim L, et al. Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning[J]. arXiv preprint arXiv:2211.04325, 2022. 在我们做更大参数规模的模型训练时，数据已经逐步开始显现出力不从心的地方。上图是结合历史数据增长率和数据使用率做出的推测，有研究预计互联网上可用的数据资源很有可能会被耗尽。
高质量的语言数据按照目前的发展速度，预计 2026 年可能就要耗尽
低质量的语言数据（如日常聊天等）到 2025 年就耗尽；
多模态的数据（比如视觉图像）到 2060 年要耗尽；
五、通用大模型的预训练数据集研究
大规模语言模型的预训练数据规模不断增加，但即使使用的是开放数据，也少有团队公开所使用的数据集和其包含的详细信息。通过 Pile 数据集提供的为数不多的 “Datasheet for Datasets” 信息可以看到，Wiki 百科、书籍、学术期刊等高质量语料数据起到关键性作用。
大模型预训练数据可视化Alan D. Thompson. What’s in my AI? A Comprehensive Analysis of Datasets used to Train GPT-1, GPT-2, GPT-3, GPT-NeoX-20B, Megatron-11B, MT-NLG, and Gopher. https://lifearchitect.ai/whats-in-my-ai. 2022
六、通用预训练之对数据多样性的分析
The Pile v1数据集的构成（800GB）Gao L, Biderman S, Black S, et al. The pile: An 800gb dataset of diverse text for language modeling[J]. arXiv preprint arXiv:2101.00027, 2020.
Blevins T, Zettlemoyer L. Language Contamination Helps Explains the Cross-lingual Capabilities of English Pretrained Models[C]//Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. 2022: 3563-3574. 今天我们看到多语种数据训练和能力迁移非常有异议。研究表明，大规模单语种（英语）预训练中，即使混入的不足 0.1% 其他语种，也会让模型拥有显著的跨语种能力。语言之间存在某种共性，且底层的知识和认知能力是跨语言的，因此混合训练可以起到一定的增强作用。 单语种中其他语种 token 数量与占比 Blevins T, Zettlemoyer L. Language Contamination Helps Explains the Cross-lingual Capabilities of English Pretrained Models[C]//Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. 2022: 3563-3574. 单语种下其他语种词性标注任务性能Blevins T, Zettlemoyer L. Language Contamination Helps Explains the Cross-lingual Capabilities of English Pretrained Models[C]//Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. 2022: 3563-3574. 语种越接近，能力迁移作用越明显。如上图，汉语虽然语料占比非常低，但是效果不错。因此，在训练语料和语料集合构成中，不同语言的语料相互影响。
八、选择最合适的训练数据
Madaan A, Zhou S, Alon U, et al. Language models of code are few-shot commonsense learners[J]. arXiv preprint arXiv:2210.07128, 2022.
在复杂任务如事件和图推理上的实验表明，代码训练显著增强大模型的常识推理能力，且仅使用有限的代码训练量就 能取得比 fine-turned T5 模型明显得多的效果提升。 Madaan A, Zhou S, Alon U, et al. Language models of code are few-shot commonsense learners[J]. arXiv preprint arXiv:2210.07128, 2022. 正确的训练数据对提升某些能力有重要效果，“对症下药”很关键，未来在垂直领域任务中可能存在优化空间。
九、探索预训练的数据过滤和提纯方法
现在常用的模型数据提纯方法有两类，一类是上图这个，它用到传统的文本分类技术，将高质量的文本作为正面的样本集合，一部分如大量带有互联网上的垃圾广告或者低质量评论等数据做负面样本。标注以后送到分类器里分类，再把高质量的文本提取出来。这是一种常规方法，但严重依赖文本分类、数据标注等，费时费力。 Xie S M, Santurkar S, Ma T, et al. Data Selection for Language Models via Importance Resampling[J]. arXiv preprint arXiv:2302.03169, 2023. 另一类是基于重要性采样的数据提纯方法。我们在目标样本集里人为的挑出一些我们认可的高质量的数据，对这个高质量的数据做一个 KL reduction，并且做相应分布计算。得出的目标样本的集合越接近，重要性越高，这种方式相对更容易提纯出优质语料用来做模型训练。
垂直领域适应预训练
DATAGRAND
探索垂直领域大模型预训练的三种思路：
先用大规模通用语料预训练，再用小规模领域语料二次训练
直接进行大规模领域语料预训练
通用语料比例混合领域语料同时训练
一、探索路线一：自适应预训练
先大规模通用语料预训练，再用小规模领域语料预训练。
Gururangan S, Marasović A, Swayamdipta S, et al. Don’t stop pretraining: Adapt language models to domains and tasks[J]. arXiv preprint arXiv:2004.10964, 2020. 这里有两种不同的处理方法，一种是领域自适应的预训练，叫 “DAPT”，DAPT 后在领域任务上相比通用模型效果提升，但是 DAPT 后的领域模型在其它领域上效果比通用模型效果差。 Gururangan S, Marasović A, Swayamdipta S, et al. Don’t stop pretraining: Adapt language models to domains and tasks[J]. arXiv preprint arXiv:2004.10964, 2020. 另外一种叫任务自适应预训练，它是在任务的数据集进行训练，叫 “TAPT”。 TAPT 相比通用模型也更好，DAPT +TAPT 效果最佳 。
二、预微调
预微调（Pre-Finetuning）技术也是路线一当中可以尝试的一个方法。在预微调的过程中不同任务的 loss 进行缩放后再累加，而且对预微调工作不进行数据采样，维持它的自然分布效果最佳。
Aghajanyan A, Gupta A, Shrivastava A, et al. Muppet: Massive multi-task representations with pre-finetuning[J]. arXiv preprint arXiv:2101.11038, 2021. 如图，多任务的数据集对它进行 Pre-Finetuning，不同的任务集合越多，最终得到的预微调的模型效果就越好。 Aghajanyan A, Gupta A, Shrivastava A, et al. Muppet: Massive multi-task representations with pre-finetuning[J]. arXiv preprint arXiv:2101.11038, 2021. 预微调模型的效果比原始模型的效果在上面几个经典的大语言模型上都取得了不错的效果。
三、能力对比
“Codex comments tend to reproduce similar biases to GPT-3, albeit with less diversity in the outputs.” “when the model is used to produce comments in an out-of-distribution fashion, it tends to act like GPT-3.”
—— OpenAI《Evaluating large language models trained on code》
Chen M, Tworek J, Jun H, et al. Evaluating large language models trained on code[J]. arXiv preprint arXiv:2107.03374, 2021. OpenAI 有一篇论文里提到小规模语料预训练后对通用文本的生成能力并没有负面影响。当涉及与 Code 领域无关的文本生成时，Codex 的生成和 GPT-3 的生成差异不大，体现在两者有很多共现的词，区别是 GPT-3 表述更多样性。由此猜想小规模领域语料预训练后的大模型在自身领域内相比通用大模型增强，而在通用生成上表现与通用大模型相当。这是我们值得未来探索的。
四、探索路线二：效果分析
直接进行大规模领域语料预训练工作。
BioMedLM: a Domain-Specific Large Language Model for Biomedical Text（https://www.mosaicml.com/blog/introducing-pubmed-gpt) 一个医学领域的代表模型 PubMedGPT 2.7 B。一个是金融领域 BBT-FinT5 模型。它们的参数规模都不大，但是这些用垂直领域的数据做的专用训练，它的效果比参数规模更小一点的小模型来说有非常明显的提升。另外，和相同规模通用大规模的 Finetune 相比，垂直领域大模型的效果仍然是领先的。 因此，路线二是一个性价比非常高的方案，它用到的参数规模并不大，但在垂直领域的效果不错。同时，垂直领域大模型所用资源会比通用大模型少很多，并且和超大规模模型在垂直领域的效果是接近的，这种方式也给我们开启了一些尝试的空间。 五、知识增强
知识增强是专业领域的知识增强，可以较好的探索路线二时提升它的专业模型训练效果。
Lu D, Liang J, Xu Y, et al. BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark[J]. arXiv preprint arXiv:2302.09432, 2023. 在这个知识三元组（ head、relation、tail ）里，把一部分内容做了一个掩码，进行预训练。 Lu D, Liang J, Xu Y, et al. BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark[J]. arXiv preprint arXiv:2302.09432, 2023. 应用了知识增强技术的领域大模型在领域任务上的效果， 好于领域小模型和通用大模型。所以这可能是一条值得去探索的中间道路，是一种垂直领域比大模型要略小一点，但比小模型要大的中间态的模型。
与微调进行的实验对比Ding N, Qin Y, Yang G, et al. Delta tuning: A comprehensive study of parameter efficient methods for pre-trained language models[J]. arXiv preprint arXiv:2203.06904, 2022. 结果显示，delta tuning 和 fine tuning 之间的差距并非不可逾越，这证明了参数有效自适应的大规模应用的潜力。上图列了不同研究者提出的增量微调的技术，比如有的是在 PLM 层之间加入一层适配器模块，还有通过更新预先插入的参数来调整 PLM 等等。这些都是在局部来做模型参数的调整，能够把这些理论知识加进去，同时又不影响整个模型大规模应用的潜力。 二、多任务提示/指令微调
Muennighoff N, Wang T, Sutawika L, et al. Crosslingual generalization through multitask finetuning[J]. arXiv preprint arXiv:2211.01786, 2022. 指令微调的目标是提升语言模型在多任务中的零样本推理能力。微调后的语言模型具有很强的零任务概括能力。 Muennighoff N, Wang T, Sutawika L, et al. Crosslingual generalization through multitask finetuning[J]. arXiv preprint arXiv:2211.01786, 2022. 上图是其中一个研究结果，像 BLOOMZ、Flan-T5、mT0 这些模型上面，通过使用多任务的提示微调或者指令微调技术，效果有不错的提升。
三、COT（Chain-of-Thought）微调
Magister L C, Mallinson J, Adamek J, et al. Teaching small language models to reason[J]. arXiv preprint arXiv:2212.08410, 2022. Ho N, Schmid L, Yun S Y. Large Language Models Are Reasoning Teachers[J]. arXiv preprint arXiv:2212.10071, 2022. Fu Y, Peng H, Ou L, et al. Specializing Smaller Language Models towards Multi-Step Reasoning[J]. arXiv preprint arXiv:2301.12726, 2023. COT 的微调也是一个很不错的技术，将文本 (questions + prompt) 输入给大模型，用大模型输出含有思维链且正确的文本作为 label 。再用上述数据组成的数据对（Reasoning samples），直接对小模型进行微调。使小语言模型获得思维链能力。
Automatic Prompt Engineer (APE) Zhou Y, Muresanu A I, Han Z, et al. Large language models are human-level prompt engineers[J]. arXiv preprint arXiv:2211.01910, 2022. Directional Stimulus Prompting（DSP）Li Z, Peng B, He P, et al. Guiding Large Language Models via Directional Stimulus Prompting[J]. arXiv preprint arXiv:2302.11520, 2023.
这里有两种不同的技术路线，一种叫 APE 的技术，一种叫 DSP 的技术，它们基本思想都是让大语言模型加入到 Prompt 过程当中。另外，我们可以训练一个小的 LLM，它能够对 Prompt 进行有效提示，未来都可以在很多垂直领域里得到创新和应用。
Yang K, Peng N, Tian Y, et al. Re3: Generating longer stories with recursive reprompting and revision[J]. arXiv preprint arXiv:2210.06774, 2022. 由上往下，当计算机做一个长文档的规划协作生成的内容，我们让相应的其他模型做一个生成后，引入分类模型，判断生成段落的上下文和相关性，把其他的模型的结果串连在当前的模型当中，能够进行迭代和顺序的循环调用，这样就能够突破现有当前大语言模型在特别长的文本当中生成的短板，能够提升它的写作效能。 三、使用垂直知识库
Izacard G, Lewis P, Lomeli M, et al. Few-shot learning with retrieval augmented language models[J]. arXiv preprint arXiv:2208.03299, 2022. 上图是使用外部语料库相应的一些算法研究出的成果。可以看到，小模型如果用外部语料库、专用语料库的模式，在有些任务上可以和大模型相媲美。而且应用场景广泛，实际落地中也探索了语言模型和知识图谱的交互。 四、使用搜索引擎
Thoppilan R, De Freitas D, Hall J, et al. Lamda: Language models for dialog applications[J]. arXiv preprint arXiv:2201.08239, 2022. 搜索引擎在传统意义上知识严重受限于语料库的实现，所以如果我们使用特定 token 激活或提示的方式生成查询语言，去请求搜索引擎的结果，并融合到当前模型的训练和输出当中，是可以很好的来弥补语料库更新不及时导致的很多信息滞后等问题。尤其是基于搜索引擎提供事实性的文档，使用外部搜索引擎来补充相关的语料资源，可以增强回答问题的可解释性，和用户的习惯对齐。 五、内容转换
Gao L, Madaan A, Zhou S, et al. PAL: Program-aided Language Models[J]. arXiv preprint arXiv:2211.10435, 2022. 我们发现，在涉及数学领域的运算，今天的语言模型因为没有实质理解数学运算背后的含义，所以往往这个结果会做错。因此，我们可以利用 CoT 将复杂问题分解为若干个简单问题并生成可执行代码，然后利用代码解释器获得最终结果以辅助语言模型解决复杂推理问题。
