[TOC]

1. Prompt Tuning含义

• 以GPT-3、PET为首提出一种基于预训练语言模型的新的微调范式——Prompt-Tuning ，其旨在通过添加模板的方法来避免引入额外的参数，从而让语言模型可以在小样本（Few-shot）或零样本（Zero-shot）场景下达到理想的效果。Prompt-Tuning又可以称为Prompt、Prompting、Prompt-based Fine-tuning等。

1.1 解决问题

• 降低语义差异（Bridge the gap between Pre-training and Fine-tuning） ：预训练任务主要以Masked Language Modeling（MLM）为主，而下游任务则重新引入新的训练参数，因此两个阶段的目标通常有较大差异。因此需要解决如何缩小Pre-training和Fine-tuning两个阶段目标差距过大的问题；
• 避免过拟合（Overfitting of the head） ：由于在Fine-tuning阶段需要新引入额外的参数以适配相应的任务需要，因此在样本数量有限的情况容易发生过拟合，降低了模型的泛化能力。因此需要面对预训练语言模型的过拟合问题。

1.2 语言模型分类

• 单向 ：以GPT为首，强调 从左向右 的编码顺序，适用于Encoder-Decoder模式的自回归（Auto-regressive）模型；
• 双向 ：以ELMO为首，强调从左向右和从右向左 双向编码 ，但ELMO的主体是LSTM，由于其是串形地进行编码，导致其运行速度较慢，因此最近BERT则以Transformer为主体结构作为双向语言模型的基准。
• 目前的大模型都是以TRansformer为计算推理技术.

Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务.

• 构建模板（Template Construction） ：通过人工定义、自动搜索、文本生成等方法，生成与给定句子相关的一个含有[MASK]标记的模板。例如It was [MASK].，并拼接到原始的文本中，获得Prompt-Tuning的输入：[CLS] I like the Disney films very much. [SEP] It was [MASK]. [SEP]。将其喂入BERT模型中，并复用预训练好的MLM分类器（在huggingface中为BertForMaskedLM），即可直接得到[MASK]预测的各个token的概率分布；
• 标签词映射（Label Word Verbalizer） ：因为[MASK]部分我们只对部分词感兴趣，因此需要建立一个映射关系。例如如果[MASK]预测的词是“great”，则认为是positive类，如果是“terrible”，则认为是negative类。

1.3 Prompt-Tuning的研究进展

Prompt-Tuning起源于GPT-3的提出《Language Models are Few-Shot Learners》（NIPS2020）[3]，其认为超大规模的模型只要配合好合适的模板就可以极大化地发挥其推理和理解能力。 其开创性提出 in-context learning 概念，即无须修改模型即可实现few-shot/zero-shot learning。同时引入了demonstrate learning，即让模型知道与标签相似的语义描述，提升推理能力。

• In-context Learning ：是Prompt的前身。其通过从训练集中挑选一些样本作为任务的提示提示（Natural Language Prompt），来实现免参数更新的模型预测；
• Demonstration Learning ：添加一些新的文本作为提示。例如在对“I like the Disney film. It was [MASK]”进行情感分析时，可以拼接一些相似场景的ground-truth文本“I like the book, it was great.”、“The music is boring. It is terrible for me.”等。此时模型在根据新添加的两个样例句子就可以“照葫芦画瓢”式地预测结果了。

1.4 如何挑选合适的Pattern?

• 人工构建（Manual Template） ：在前文已经描述过，不再详细说明；
• 启发式法（Heuristic-based Template） ：通过规则、启发式搜索等方法构建合适的模板；