亲爱的MBA智库百科用户:


过去的17年,百科频道一直以免费公益的形式为大家提供知识服务,这是我们团队的荣幸和骄傲。 然而,在目前越来越严峻的经营挑战下,单纯依靠不断增加广告位来维持网站运营支出,必然会越来越影响您的使用体验,这也与我们的初衷背道而驰。 因此,经过审慎地考虑,我们决定推出VIP会员收费制度,以便为您提供更好的服务和更优质的内容。


MBA智库百科VIP会员,您的权益将包括: 1、无广告阅读; 2、免验证复制。


当然,更重要的是长期以来您对百科频道的支持。诚邀您加入MBA智库百科VIP会员,共渡难关,共同见证彼此的成长和进步!



MBA智库百科项目组
2023年8月10日
百科VIP
未登录
无广告阅读
免验证复制
支付方式:
微信支付
支付宝
PayPal
购买数量:
1
应付金额:
10
汇率换算:
10
美元(USD)

按当月汇率换算,

包含手续费

打开手机微信 扫一扫继续付款
立即开通
PayPal支付后,可能会遇到VIP权益未及时开通的情况,请您耐心等待,或者联系百科微信客服:mbalib888。
温馨提示:当无法进去支付页面时,可刷新后重试或更换浏览器
开通百科会员即视为同意《MBA智库·百科会员服务规则》

支付成功

全球专业中文经管百科,由121,994位网友共同编写而成,共计436,064个条目

生成式預訓練Transfomer模型

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

生成式預訓練Transfomer模型,又叫基於轉換器的生成式預訓練模型,生成式預訓練轉換模型(Generative Pre-trained Transformer)

目錄

[隱藏]

什麼是生成式預訓練Transfomer模型

  生成式預訓練Transfomer模型是一種基於互聯網的、可用數據來訓練的、文本生成的深度學習模型。

  它可以進行微調以完成各種自然語言處理任務,例如文本生成、代碼生成、視頻生成、文本問答、圖像生成、論文寫作、影視創作、科學實驗設計等。基於大量語料數據的訓練,以生成類似於人類自然語言的文本。

  2018年6月11日,OpenAI發表了一篇名為《通過生成式預訓練提高語言理解能力》(Improving Language Understanding by Generative Pre-Training)的論文[1],在其中介紹了“基於轉換器的生成式預訓練模型”。當時,表現最好的自然語言生成模型主要依靠大量手動標註數據的監督學習。這種依賴於人類監督學習的開發途徑限制了模型在未經精細標註的數據集上的應用;許多語言(例如斯瓦希里語或海地克裡奧爾語)也因缺乏能創建起語料庫的文本資料而造成實際應用(如翻譯和解釋)上的困難[2];此外,訓練超大模型相當耗時且開支非常昂貴。[1][2]相比之下,GPT提出了一種“半監督(semi-supervised)”(後來普遍改稱為“自監督”)的方法——先在沒有標號的數據上面訓練一個預訓練模型,再在少量標號數據上面訓練一個分辨的微調模型。[1]

參考文獻

本條目對我有幫助0
MBA智库APP

扫一扫,下载MBA智库APP

分享到:
  如果您認為本條目還有待完善,需要補充新內容或修改錯誤內容,請編輯條目投訴舉報

本条目由以下用户参与贡献

苦行者,陈cc,Dan.

評論(共0條)

提示:評論內容為網友針對條目"生成式預訓練Transfomer模型"展開的討論,與本站觀點立場無關。

發表評論請文明上網,理性發言並遵守有關規定。

打开APP

以上内容根据网友推荐自动排序生成

官方社群
下载APP
告MBA智库百科用户的一封信
亲爱的MBA智库百科用户: 过去的17年,百科频道一直以免费公益的形式为大家提供知识服务,这是我们团队的荣幸和骄傲。 然而,在目前越来越严峻的经营挑战下,单纯依靠不断增加广告位来维持网站运营支出,必然会越来越影响您的使用体验,这也与我们的初衷背道而驰。 因此,经过审慎地考虑,我们决定推出VIP会员收费制度,以便为您提供更好的服务和更优质的内容。 MBA智库百科VIP会员(9.9元 / 年,点击开通),您的权益将包括: 1、无广告阅读; 2、免验证复制。 当然,更重要的是长期以来您对百科频道的支持。诚邀您加入MBA智库百科VIP会员,共渡难关,共同见证彼此的成长和进步!
MBA智库百科项目组
2023年8月10日

闽公网安备 35020302032707号

添加收藏

    新建收藏夹

    编辑收藏夹

    20