1. 原理
| 模型 | 发布时间 | 层数 | 头数 | 词向量长度 | 参数量 | 预训练数据量 |
| GPT-1 | 2018 年 6 月 | 12 | 12 | 768 | 1.17 亿 | 约 5GB |
| GPT-2 | 2019 年 2 月 | 48 | – | 1600 | 15 亿 | 40GB |
| GPT-3 | 2020 年 5 月 | 96 | 96 | 12888 | 1,750 亿 | 45TB |
2. 行业冲击：搜索和个人助理
3. 国外国内的发展现状
Podcast: Play in new window | Download
金算生第10期-chatgpt
金融，计算机，生物医学