生成式预训练Transfomer模型
用手机看条目
出自 MBA智库百科(https://wiki.mbalib.com/)
生成式预训练Transfomer模型,又叫基于转换器的生成式预训练模型，生成式预训练转换模型（Generative Pre-trained Transformer）
目录 |
[编辑]
生成式预训练Transfomer模型是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。
它可以进行微调以完成各种自然语言处理任务，例如文本生成、代码生成、视频生成、文本问答、图像生成、论文写作、影视创作、科学实验设计等。基于大量语料数据的训练，以生成类似于人类自然语言的文本。
2018年6月11日，OpenAI发表了一篇名为《通过生成式预训练提高语言理解能力》（Improving Language Understanding by Generative Pre-Training）的论文[1]，在其中介绍了“基于转换器的生成式预训练模型”。当时，表现最好的自然语言生成模型主要依靠大量手动标注数据的监督学习。这种依赖于人类监督学习的开发途径限制了模型在未经精细标注的数据集上的应用；许多语言（例如斯瓦希里语或海地克里奥尔语）也因缺乏能创建起语料库的文本资料而造成实际应用（如翻译和解释）上的困难[2]；此外，训练超大模型相当耗时且开支非常昂贵。[1][2]相比之下，GPT提出了一种“半监督（semi-supervised）”（后来普遍改称为“自监督”）的方法——先在没有标号的数据上面训练一个预训练模型，再在少量标号数据上面训练一个分辨的微调模型。[1]
[编辑]
