|
Post by account_disabled on Dec 26, 2023 5:49:35 GMT
如果您想了解更多信息,这当然值得花时间。 值得注意的是,这些模型太大,无法在普通用户的 PC 上运行,并且在云上运行它们可能会非常昂贵。我们需要透明地了解为什么这些模型与以前的模型不同,以及如果我们想在不支付昂贵的计算资源的情况下使用这些人工智能工具,为什么我们将依赖 API 调用。不管我们是否感到失望,这就是现实。 有关ChatGPT 的历史和技术细节的更多详细信息,我建议查看“深度学习自然语言处理 CS224N/Ling284”,这是由计算机科学博士Jesse Mu 开发的演示文稿。斯坦福 NLP 小组和斯坦福 AI 实验室的学生。和 GPT-3 有什么区别?它们是一样的吗?他们有什么相同点和不同点? GPT-3 和 开发的两个最强大的大型语言模型(LLM)。这些 NLG 模型非常擅长生成看起来自然的文本和代码,因为它们已经过大量文本数据集的训练。 这使得他们非常擅长许多自然语言任务,例如回答问题、撰写文本和进行整体对话。两种模 手机号码数据 型都尝试根据周围文本的一些示例和较大的上下文窗口大小来预测句子中的下一个单词或短语。GPT-3 的上下文窗口大小为 2048 个令牌,而 ChatGPT3 的上下文窗口大小约为 4000 个令牌。 尽管 GPT-3 是第三代生成式预训练模型,但它对于聊天机器人应用程序的功能不如 ChatGPT,因为后者专门为此目的进行了调整。然而,GPT-3 比 更通用,可用于更广泛的任务。 考虑到预测序列中下一个单词所需执行的数学运算数量(简单解释),该团队仅需要花费至少 400 万美元来训练模型。如果我们在此过程中包括实验阶段和游戏测试,这个数字将增加 100 倍,相当于 5 亿美元!每一次互动和微调过程都很重要。这就是为什么这两个模型不能免费使用。 也是为什么我们还处于模型即服务时代的表面,在这个时代,我们可以通过 API 调用来使用强大的 AGI 模型。 如何工作? 人类注释者参与微调模型以完善模型。他们为收到的不同类型的查询编写响应并定义模板,以便模型可以提供准确的答案。OpenAI在此过程中聘请了众多评论员,人工评论超过10万轮。所以这个阶段背后有大量的人力工作; 第三阶段是公开培训,从在线用户收集数据。这就是该模型的真正优势所在。如果人们不使用它并且实际花钱购买它,那么该模型本身就没有任何意义。目前,付费版本已在多个国家/地区提供。 最重要的发展之一是其成功的货币化以及从评价其回答的用户那里接收免费注释数据的能力。这一过程被称为人类反馈强化学习 (RLHF),使该公司能够不断提高其模型的准确性和质量。 此外,UI网站左侧提供了强大的问题总结流程,将每个问题压缩成三四个字。
|
|