GPT-3模型：数据驱动的人工智能应用级

坐马桶上就能看完的简单科普:

第一步:什么是transformer

翻译需要提取关键信息(self-attention)，并根据这些信息生成一段文本。

第二步:什么是自回归模型

我们来做句子补充

小明走出了学校，感觉像是被导师的怒吼所唤醒，他发誓要摆脱这种舒适的生活，追求更高的目标。

第一句,小明走出了学校,碰到了______. 好,补充了第一个词,下一个

第二句,小明走出了学校,碰到了小王,______. 好,补充了第二个词,下一个

第三句,小明走出了学校,碰到了小王,然后被小王_____. 好,补充了第三个词,下一个

第四句,小明走出了学校,碰到了小王,然后被小王狠狠打了一顿. 好,句子完整了

自回归模型是一种用于预测连续变量的机器学习模型。在训练过程中，该模型使用上一个的输出作为下一个的输入，并循环迭代，由此往复。在实际应用中，自回归模型可以帮助人们预测未来的连续变量，从而帮助人们做出决策。为了更好地理解自回归模型，我们可以举一个简单的例子。假设我们想要预测明天的天气晴朗。在训练过程中，我们可以使用过去的天气数据作为输入，并得到天气晴朗的输出。然后，我们可以将这个输出作为下一次预测天气晴朗的输入，并使用相同的方法进行预测，直到训练完成。在实际应用中，我们可以使用自回归模型来预测未来的连续变量，如股票价格、销售额等。通过使用自回归模型，我们可以获得更准确的预测结果，并帮助人们做出更明智的决策。

文章写作高手的改写示例如下：阅读足够多的文章，就像写作诗歌一样，我们可以从中学习并提高自己的写作能力。正如俗语所说：“熟读唐诗三百首，不会作诗也会吟。”这句话表达的就是这个意思。通过阅读大量的文章，我们可以从中获取灵感和素材，并学会如何运用这些知识来写作。因此，只要有足够的阅读和学习，我们就可以提高自己的写作能力。

第三步:什么是GPT模型

GPT(Generative Pre-Training) 预训练模型,本质上还是transformer.所以可以四舍五入一下:

GPT-1 非常大的transformer模型

GPT-2 非常非常大的transformer模型,划重点(zero-shot)

GPT-3 超级无敌大的transformer模型,划重点(one/few-shot)

shot是啥,说白点叫提示

比如说,

输入—-你走在大街上,突然被一个人甩了一巴掌,你怎么办?

提示—-揍他啊.

上面就是一个问题-答案的处理模板

下次通过语义类似的比对:

输入—你走在大街上,突然被一个人揍了一拳,你怎么办?

因为之前有了类似的提示,所以模型会输出—-当然是揍他啊.

如果我们收集无比多的方案,我们可能会得到下面的统计结果:

输出可选项

1.揍他啊.(80%的人选择)

2.忍了.(19%的人的选择)

3.给他100块钱(1%的人的选择)

为了避免每次回答都像是揍他，我们需要给模型设置一个随机数，让回答更加多样化，更具有人性。根据随机数的不同，模型的回答可能会有所不同，有些回答可能会揍他，有些回答可能会忍他，而有些回答可能会给他带来一些奖励。

当然,这个参数可以设置,比如:

temperature(越大回答越离谱)

top k,top p(为了封印模型自我放飞的灵魂,让回答不至于太离谱设置的参数)

第四步:啥是ChatGPT

这款应用级语言对话模型是基于GPT-3模型制作的，砸了非常非常多的钱收集了无比多样本，集成了几乎夸张的参数量，可以说这款模型非常大。如果家里没有矿，连训练的电费都付不起。不过，这款模型的应用价值却非常高，可以用于自然语言处理的各种场景，如人机对话、文本生成、语音识别等。

你可能会问了,就这?大力出奇迹?没别的了?

是的,毕竟机器学习的白皮书,又叫<<money is all you need>>