当ChatGPT于2022年11月问世时，它使生成式人工智能(AI)可以被公司和消费者用于自动化任务，帮助实现创意，甚至编写软件的想法成为主流。
如果你需要将一封电子邮件或一个聊天线程浓缩成一个简洁的摘要，OpenAI的ChatGPT或谷歌的Bard之类的聊天机器人可以做到这一点。如果你需要用更雄辩的语言和令人印象深刻的要点来修饰你的简历，人工智能可以帮助你。想要一些新的营销或广告活动的想法吗?生成人工智能来拯救我们。
ChatGPT代表聊天机器人生成预训练变压器。聊天机器人的基础是GPT大型语言模型(LLM)，这是一种计算机算法，可以处理自然语言输入，并根据已经看到的内容预测下一个单词。然后它预测下一个单词，再预测下一个单词，以此类推，直到它的答案完成。
用最简单的术语来说，法学硕士是下一个单词的预测引擎。
除了OpenAI的GPT-3和4 LLM，流行的LLM包括开放模型，如谷歌的LaMDA和PaLM LLM (Bard的基础)，hug Face的BLOOM和XLM-RoBERTa，英伟达的NeMO LLM, XLNet, Co:here和GLM-130B。
特别是，开源法学硕士正在获得牵引力，使开发人员骨干能够以更低的成本创建更可定制的模型。meta在2月份发布的LLaMA(大型语言模型元人工智能)在寻求在开源llm之上构建的开发人员中掀起了一场热潮。
法学硕士是一种人工智能，目前通过大量文章、维基百科条目、书籍、基于互联网的资源和其他输入进行训练，以对自然语言查询产生类似人类的响应。这是一个巨大的数据量。但llm的规模将会缩小，而不是增长，因为供应商寻求为特定用途定制llm，而不需要当今最流行的模型所使用的海量数据集。
例如，谷歌本月早些时候宣布的新PaLM 2 LLM使用的训练数据几乎是一年前的前一代的五倍——据一份报告称，它使用了3.6万亿个令牌或字串。额外的数据集允许PaLM 2执行更高级的编码、数学和创造性写作任务。
什么是法学硕士?
LLM是通过数据输入/输出集训练的机器学习神经网络;通常，文本是未标记或未分类的，并且模型使用自监督或半监督学习方法。将信息或内容输入到LLM中，输出是该算法预测的下一个单词。输入的数据可以是公司的专有数据，也可以是ChatGPT直接从互联网上获取的任何数据。
培训法学硕士使用正确的数据需要使用大量昂贵的服务器群，这些服务器群就像超级计算机一样。
llm是由参数控制的，如数百万、数十亿甚至数万亿的llm。(可以把参数看作是帮助法学硕士在不同的答案选择之间做出决定的东西。)OpenAI的GPT-3 LLM有1750亿个参数，而该公司最新的GPT-4据称有1万亿个参数。
例如，您可以在LLM提示窗口中输入“For lunch today I eat ....”。法学硕士可能会用“麦片”、“米饭”或“鞑靼牛排”来回答。没有100%的正确答案，但有一个基于模型中已经摄取的数据的概率。根据现有数据，答案“麦片”可能是最可能的答案，因此LLM可以用这个词来完成句子。但是，因为LLM是一个概率引擎，它为每个可能的答案分配一个百分比。谷类食品可能有50%的几率出现，“米饭”可能有20%的几率出现，鞑靼牛排可能有0.005%的几率出现。
“关键是它学会了这样做，”麻省理工学院研究机器学习、自然语言处理和深度学习的助理教授Yoon Kim说。“它不像人类——一个足够大的训练集会分配这些概率。”
但要注意——垃圾进，垃圾出。换句话说，如果法学硕士摄取的信息是有偏见的、不完整的或不受欢迎的，那么它给出的回答可能同样不可靠、奇怪，甚至令人反感。当回应偏离轨道时，数据分析师将其称为“幻觉”，因为它们可能偏离轨道太远。
图灵是一家位于加州帕洛阿尔托(Palo Alto)的公司，该公司利用人工智能远程寻找、招聘和聘用软件工程师。该公司首席执行官乔纳森•西达思(Jonathan Siddharth)表示:“之所以会出现幻觉，是因为法学硕士在最普通的形式下，没有对世界的内部状态表示。”“没有事实的概念。他们根据目前为止看到的内容预测下一个单词——这是一种统计估计。”
由于一些法学硕士也在进行基于互联网的数据培训，他们可以远远超出最初开发人员让他们做的事情。例如，微软的必应使用GPT-3作为其基础，但它也查询搜索引擎并分析前20个结果左右。它同时使用法学硕士和互联网来提供回应。
Siddharth说:“我们看到一个模型用一种编程语言进行训练，然后这些模型自动生成另一种它从未见过的编程语言的代码。”“即使是自然语言;它没有接受过法语训练，但它能够用法语生成句子。”
“这几乎就像有一些突发行为。我们不太清楚这些神经网络是如何工作的，”他补充道。“这既可怕又令人兴奋。”
法学硕士及其参数的另一个问题是，法学硕士开发人员和从互联网上收集的自我监督数据可能会引入意想不到的偏差。
法学硕士有偏见吗?
例如，普林斯顿大学信息技术政策中心的博士候选人Sayash Kapoor说，像ChatGPT这样的系统很可能根据他们从互联网和程序员那里获取的数据提供带有性别偏见的答案。
卡普尔说:“我们测试了ChatGPT的隐性偏见，也就是说，没有明显提到人的性别，只是作为他们代词的信息。”“也就是说，如果我们把句子中的“she”换成“he”，ChatGPT出错的可能性会降低三倍。”
卡普尔说，如果语言模型被用于相应的现实环境中，先天偏见可能是危险的。例如，如果在招聘过程中使用有偏见的语言模型，它们可能会导致现实世界的性别偏见。
这种偏差并不是开发人员故意将他们的模型编程为有偏差的结果。但最终，纠正偏见的责任在于开发者，因为他们是发布AI模型并从中获利的人，Kapoor认为。
什么是舞会pt工程?
虽然大多数法学硕士(如OpenAI的GPT-4)都预先填充了大量信息，但用户的快速工程也可以训练模型用于特定行业甚至组织使用。
麻省理工学院的Kim说:“即时工程就是决定我们给这个算法提供什么，这样它就会说我们想让它说的话。”“法学硕士是一个没有任何文本背景的系统。从某种意义上说，法学硕士已经是一个聊天机器人了。”
提示工程是为法学硕士制作和优化文本提示以实现预期结果的过程。也许对用户同样重要的是，快速工程正准备成为IT和业务专业人员的一项重要技能。
由于即时工程是一门新兴的学科，企业依靠小册子和即时指南来确保人工智能应用程序的最佳响应。甚至出现了提示市场，例如ChatGPT的100个最佳提示。
拥抱脸(hugs Face)的机器学习工程师伊诺•雷耶斯(Eno Reyes)表示，也许对用户来说同样重要的是，快速工程正成为IT和商业专业人士的一项重要技能。拥抱脸是一个社区驱动的平台，创建和主持法学硕士课程。prompt工程师将负责为企业创建定制的llm。
法学硕士将如何变得更小、更快、更便宜?
今天，基于法学硕士的聊天机器人最常用的是“开箱即用”的基于文本的网络聊天界面。它们被用于搜索引擎，如谷歌的巴德和微软的必应(基于ChatGPT)，以及自动在线客户协助。公司可以吸收自己的数据集，使聊天机器人更适合自己的特定业务，但由于已经吸收了大量数据，准确性可能会受到影响。
拥抱脸公司的联合创始人兼首席战略官托马斯•沃尔夫在本月早些时候参加麻省理工学院的一次会议时表示:“我们越来越发现，通过对更多数据进行更长时间训练的小型模型，它们可以做大型模型过去能做的事情。”“我认为我们对那里发生的事情的理解正在逐渐成熟。
沃尔夫说:“第一步，你要尽一切努力让第一部分工作起来，然后你就进入了一个阶段，你要努力提高效率，降低运行成本。”“只是清理整个网络是不够的，每个人都在这么做。拥有高质量的数据更为重要。”
法学硕士的培训费用从几百万美元到1000万美元不等，具体取决于它们的规模和目的。
然而，当llm将其人工智能和计算能力集中在较小的数据集上时，它们的表现与依赖于大量无定形数据集的大型llm一样好，甚至更好。他们还可以更准确地创建用户需要的内容，而且培训他们的成本要低得多。
微软人工智能平台副总裁埃里克•博伊德(Eric Boyd)最近在麻省理工学院(MIT) EmTech会议上发表讲话，他表示，四年前微软首次与OpenAI合作开发人工智能图像模型时，随着数据集规模的增长，性能将趋于平稳。然而，语言模型有更大的容量来摄取数据而不会降低性能。
微软是OpenAI和ChatGPT最大的资金支持者，投资了基础设施，以建立更大的法学硕士。博伊德说:“所以，我们现在正在研究如何在不需要这么大的模型的情况下获得类似的性能。”“考虑到更多的数据、计算和训练时间，你仍然可以找到更好的性能，但我们现在也在学习许多技术，以便我们不必使它们变得如此庞大，并能够更有效地管理它们。
“这非常重要，因为这些东西非常昂贵。博伊德说:“如果我们想让他们得到广泛的采用，我们就必须计算培训他们和为他们服务的成本。”
例如，当用户向GPT-3提交一个提示时，它必须访问所有1750亿个参数才能给出答案。一种创建小型llm的方法，被称为稀疏专家模型，有望减少llm的训练和计算成本，“导致大规模模型比密集模型具有更好的准确性，”他说。
来自meta平台(以前是Facebook)的研究人员认为，稀疏模型可以使用“一小部分计算”实现与ChatGPT和其他大型llm类似的性能。
meta在2022年10月的一篇研究论文中表示:“对于计算预算相对适中的模型，稀疏模型的性能可以与密集模型相当，而密集模型需要的计算量几乎是前者的四倍。”
Aleph Alpha、Databricks、fix、LightOn、Stability AI甚至Open AI等公司已经发布了较小的模型。更灵活的llm有几十亿到1000亿个参数。
隐私和安全问题仍然存在
网络安全公司Surfshark的隐私顾问加布里埃尔•卡韦凯特(Gabriele Kaveckyte)表示，尽管许多用户惊叹于基于法学硕士的聊天机器人的卓越功能，但政府和消费者不能对其潜在的隐私问题视而不见。
例如，今年早些时候，意大利因隐私问题成为第一个禁止进一步开发ChatGPT的西方国家。该公司后来推翻了这一决定，但最初的禁令是在这款自然语言处理应用遭遇涉及用户对话和支付信息的数据泄露之后发生的。
“虽然ChatGPT在意大利的临时禁令之后做出了一些改进，但仍有改进的空间，”Kaveckyte说。“解决这些潜在的隐私问题对于确保在人工智能交互中负责任和合乎道德地使用数据、培养信任和保护用户隐私至关重要。”
例如，Kaveckyte分析了ChatGPT的数据收集实践，并列出了一系列潜在的缺陷:它收集了大量的个人数据来训练其模型，但这样做可能没有法律依据;它没有通知所有数据被用来训练人工智能模型的人;它并不总是准确的;而且它缺乏有效的年龄验证工具来防止13岁以下的儿童使用它。
除了这些问题，其他专家担心法学硕士还需要克服更多的基本问题，即人工智能收集和存储数据的安全性、知识产权盗窃和数据机密性。
