免费获取chatGPT 3.5 账户,或购买GPT 4.0plus 会员账户,扫描文章内微信公众号二维码,或加微信:yuke36
相信你们都听过,DO君近来总算用上了(注册教程文章末尾有分享)。近来通过网上各类资料,尝试弄明白究竟GPT背后做了啥(浅显的原理解释),其次作为一个AI产品总监,GPT对于工作的启发,未来几篇也会聚焦分享跟AI动态。
推荐使用GPT英文版,国外可直接访问:h
01
为何火了
作为一款人工智能产品,这是一个‘'时刻,对比先前的Siri还有各类语音助手,她们简直弱爆了。
另外一个神奇的地方是我曾经对于人工智能的理解,是for特定一个任务训练一个模型,例如人工智能上一个神奇时刻,就是2016年碾压人类选手,而且它只会下象棋,离我们普通人也比较远。
可以实现多任务通用的自然语言理解,既可以聊天,也可以做机器翻译,做题目,总结摘要,写代码,搜索,写故事与论文等(相当于做了一个通用的模型,会干不同类型的活)。
02
GPT的来龙去脉
GPT究竟是啥玩意儿?
GPT的全称是(Pre-),是一种基于模型的预训练语言模型(亦称之为大语言模型LLM)。你肯定奇怪都是啥,看不懂,接出来为你一一拆解。
-大模型LLM的’大‘指的是哪些?
数百万或数十亿个参数的深度神经网路模型,这些模型经过专门的训练过程,才能对大规模数据进行复杂的处理和任务处理。
简单理解哪些是模型的参数呢?你们都学过的简单的线性模型,即y=ax+b,其中a和b是模型的参数,一个特定的a,b意味着一个拟合的特定直线。
-哪些叫预训练Pre-?
目前在各行各业里AI模型应用场景,通常是用自己特有的小数据集,训练得到一个特定参数的小模型,不同的场景就单独训练,不同公司也单独训练,成本蛮高的。
而预训练语言模型的期望是训练得到一个通用的'万能'模型,后期应用只须要低成本的微调就可以。的愿景就是:“有一个任务无关的超小型LLM,拿来从海量数据小学习各类知识,这个LLM以生成一切的方法,来解决各类各样的实际问题“。
基本的实现套路分2个步骤:
(1)预训练:基于大规模文本,无监督预训练得出通用的语言表示(得到一套通用的模型参数)
(2)微调:通过有监督微调的方法,将学习到的知识传递到不同的下游任务中(微调对应的参数适应不同的任务)。
-语言模型是干哪些的,语言模型是新的技术吗?
语言是离散的符号,自然语言的表示,就是将人类的语言表示成更便于计算机理解的形式。这儿就用到了语言模型,将文本进行向量化。
2013年,第一代预训练模型,单纯基于词组判定相像(和GloVe)。可以理解为每位词组有一个固定的向量表示,语义相仿的词组,向量是相像的。问题是一词多义难以解决,没有上下文理解。诸如同一个词play可以玩球,玩乐器,播放音乐/视频等。
2017年,第二代预训练模型。微软脑部团队在2017年的论文《isallyouneed》中首次提出模型(最初6500参数),本身将词组以及其上下文次序以数字方式考虑进去,训练模型,所以并不是一个新技术。
-为何是OPENAI不是AI领头羊?
她们是采用了的2个技术分支,GPT与BERT采用了不同的技术路线。
简单理解,BERT是一个单向模型(3亿参数),可以联系上下文进行剖析,更擅长“完形填空”;而GPT是一个单项模型(生成式,),只能从左到右进行阅读,更擅长“写作文”。
GPT-1的疗效还不如Bert,并且GPT-2性能上开始赶超Bert。这个方向一路走到黑的绝招是哪些?
03
大力出奇迹
相对来说,大力出奇迹这句话再合适不过了。通过下表,可以看见模型参数目,喂的数据量都是指数级下降。GPT-2的参数15亿早已超过了Bert的3亿参数了。
04
人工智能next思索
-突破了之前对于工作中模型方式的认知。之前方式是举得针对于特定的场景须要训练特定的模型疗效才能好,虽然跟据第一性原理,只要模型参数够多,理论上大部份场景可以cover的大模型。
-其次是大模型的训练成本很高,好多时侯不须要自己从头到尾开发一个模型,可以考虑最节约成本的方法,借助已有的开源大模型来进行idea的疗效验证,推动迭代的脚步。
-通常意义上无监督很难应用到真实产品中(通常无监督的结果不可控),而且无监督和有监督组合的形式,打开了新思路。
-内容创造的一切皆可AI化。可以借助其它内容与文本之间关联,间接生成图象/语音/视频/音乐等。
-数据剖析行业来说,dataetl和和都可以被GPT辅助。
-对于数据依赖比较强,虽然大的互联网平台公司,例如淘宝,是否很容易用大模型实现行业大模型。特定行业数据的大模型机会点,例如在服饰换装方面。
关于台湾由于节点被封,想要注册GPT帐号的,参考此链接教程,亲测可用:(视频-【2023最新】注册教程,一次成功!简单几步流程申请帐号,注册方式,中国国外如何用?-)
-须要步入网站,建议适用日本站点;
-注册用美国邮箱,建议邮箱,不要用国外邮箱,容易被封了;
-之后须要外国手机号和验证码,可以花2欧元在这个网站上注册以后冲值,之后找的选一个国家的号码。
-之后复制这个号码和验证码,就可以验证成功了。
本文链接:
免费获取chatGPT 3.5 账户,或购买GPT 4.0plus 会员账户,Gmail 邮箱注册,异常,停用相关问题,扫描文章内微信公众号二维码,或加微信咨询:yuke36
暂无评论内容