CHATGPT是什么？GPT-3是如何工作的？

自从 OpenAI在2023 年2月推出 ChatGPT-3 出现在中国以来，似乎每个人都在谈论 ChatGPT。国外某博主很早以前就域名主题采访过ChatGPT，许多投资者正在该AI领域注册域名，很多人也在收购二手域名，并且点名需要域名中带AI的字母，其中一些已经出售。

在本文中，我将更深入地了解 GPT-3 是什么，GPT-3是如何工作的，以及它不能做什么。

目录

一、ChatGPT 和 OpenAI的关系

二、 什么是 GPT-3？

三、GPT-3 的训练内容是什么？

四、GPT-3 是如何工作的？

六、它不能做什么？

一、ChatGPT 和 OpenAI的关系

ChatGPT 是OpenAI的一款产品. 根据SimilarWeb ，由于对 ChatGPT 的兴趣，OpenAI 已飙升至全球第 98 位顶级网站。

OpenAI 最初是一项利润上限计划，但已转变为两部分，即非营利性 OpenAI Incorporated 和营利性 OpenAI Limited Partnership。

OpenAI 成立于 2015 年，由一些投资者认捐了 10 亿美元的启动资金。您可以在此处阅读有关OpenAI 历史的更多信息，以及他们在OpenAI Charter上的章程。

Sam Altman是 OpenAI 的首席执行官。他早些时候曾担任Y Combinator的总裁。

2023 年 1 月 23 日，Microsoft 和 OpenAI 宣布延长合作伙伴关系. 这包括一些 AI 计划，并有望将 ChatGPT 集成到微软产品 Bing、Word 和 PowerPoint 中。

ChatGPT 是作为免费开放产品推出的，但您需要注册一个 OpenAI 帐户。他们现在推出了每月 20 美元的ChatGPT Plus ，并且仍然提供受限免费版本。

二、什么是 GPT-3？

GPT 是自然语言处理 (NLP)的一个示例，该领域自 1950 年代以来一直很活跃。自然语言处理的关键思想是系统学会解释对话提示，并以模仿人类反应方式的方式进行回复。 在过去十年中，NLP 的大部分发展都使用神经网络进行机器学习。GPT-3 直到 2022 年 11 月 30 日由 OpenAI 发布 ChatGPT 才为公众所熟知，但它早在 2020 年 7 月就处于 Beta 测试阶段。

三、GPT-3 的训练内容是什么？

GPT-3在大量材料上进行了预训练。当你问它一个问题时，它不是在寻找答案，也不是传统意义上的编码。相反，它模仿了一个几乎阅读了所有内容、学习并内化了信息并开发了生成文本输出的能力的人可能会如何回应。

那么GPT-3 是在什么基础上进行预训练的呢？这基本上包括所有维基百科，但只占其培训的 3%。大约 6%来自两大套数字化图书内容。不过，最大的部分来自在线网络的过滤爬网Common Crawl，占GPT-3 培训材料的 60%。

四、GPT-3 是如何工作的？

在机器学习领域不断发展的同时，该软件非常擅长了解哪些术语以何种顺序出现，因为它从“阅读”中学到了很多，从统计学上讲，最常见的单词序列以及含义不同的安置。

这就是为什么它写得如此流利——高效的作家通常阅读很多，而且它已经“阅读”了几乎所有的数字化世界。以简化的方式，生成意味着它在提示后生成文本方面做得很好。

它已经学会了按提示进行输入，学会了处理语言，而不是仅仅知道每个单词在上下文之外的意思。它学习语言和反应的方式很像婴儿和儿童，或者你学习第二语言的方式。它注意到模式，并在训练期间通过反复试验，以“正确”的方式做出更好的响应。

五、GPT-3不能做什么？

事实上，它是预先训练的，并且没有主动连接到互联网，这意味着，至少当前的 OpenAI ChatGPT 公式，在任何需要近乎实时信息的地方都失败了。

它会出错，在任何关键错误任务中都不应在没有人工监督的情况下使用。当被要求撰写带有参考文献的研究论文时，它不仅犯了一些错误，而且更糟糕的是有时似乎只是简单地编造论文参考文献。它可能所做的是报告参考资料，指出在线世界的某个地方被错误地报告了。同样，当被问及某个类别的顶级域名销售额时，它给出了一些不在 NameBio 中且显然无效的结果。

但要了解 Chat GPT-3 最关键的局限性，有必要再次强调它是通过查看大量文本集合来学习的。在此过程中，它开发了在该文本中键入模式的能力，并将其应用于生成流畅的响应文本。小孩子也是这样学习语言的。