lora、prompt…学这几个ai新词,在ai圈风生水起
清元宇宙 元宇宙应用 2023-03-15 10:51:50 · 热度999

如果说2023年什么最火,ai是当仁不让的第一。和ai有关的一切:ai聊天、语音、绘画、视频…刷爆了所有我们能接触到的社交媒体和新闻渠道。

*chatgpt虽然很有武德,把其他热点也总结了出来,但还是悄咪咪地把人工智能放到了第一位。

但对非程序员群体来说,ai是有门槛的,至少现阶段是。即便不去使用,只是想和朋友同事聊聊这ai盛世,但好像只聊抖音上ai生成的小姐姐,也略显不上档次,格调不足。

那么如何在聊天中脱颖而出、引领话题,既能彰显学识渊博,又能点到即止,深藏功与名?很简单,学会这几个ai圈最火的单词,快速让你成为人群中最亮的那颗星。

lora、prompt…学这几个ai新词,在ai圈风生水起-尊龙凯时ag旗舰厅

lora,直译为大语言模型的低阶适应(敲黑板,重点)。是微软的研究人员为了解决大语言模型微调而开发的一项技术。

大语言模型一般拥有巨大参数量,如gpt-3有1750亿参数,如果这时需要让gpt学习某个特定领域的内容,就需要对大语言模型做微调,但如果直接对gpt-3做微调,因其巨大的参数量,每项微调都会产生巨大的成本和工作量。

lora的作用在此时显现,lora冻结了预训练模型的权重,并在每个 transformer 块中注入可训练层,因为不需要大多数模型参与计算,所以大大降低了需要训练的参数量和对gpu硬件的要求。

简单来说,为了避免所有对大语言模型的训练都要调用所有参数,lora剥离出需要参与训练的部分,并只对这部分进行修改,大语言模型中的其他部分保持不动,从而降低了工程量和成本。

尽管 lora 最初是为大模型提出的,但该技术也可以应用于其他地方,比如近期大火的ai绘画中。

stable diffusion,一款以文本生成图像的 ai 工具,也是唯一一款能部署在家用电脑上的 ai 绘图工具。用户在使用它时,面临着与我们上述提到的大语言模型类似的问题,即因参数量过大导致微调成本极高。原本要对stable diffusion进行微调,需要破解 diffusers的源代码,显然,这是一项很容易翻车的工作。

而lora的加入使对stable diffusion微调工作变得简单且安全,并带来了这些好处:

·更快的训练速度

·计算要求较低。可以在具有 11 gb vram 的 2080 ti 中创建一个全微调模型!

·小了很多的训练模型。

结果是,现在任何人都可以到c站,即https://civitai.com/,下载一个lora模型,生成自己想要的小姐姐。

checkpoint指主版本关键点模型,与lora类似,也是生成ai绘画的模型,由于checkpoint生成模型很消耗算力,所以运算到某个关键位置就建立一个关键点保存已经运算部分,以后方便回滚和继续计算。这个主模型在ai绘画中就对应整体风格。

依靠checkpoint可以直接生成图片,lora不行。按贴吧网友“英国地图”的说法:“checkpoint是基础模型,lora是特殊订(定)制的画风插件。二次元checkpoint配合海绵宝宝,lora就是二次元海绵宝宝,三次元checkpoint配合海绵宝宝,lora就是三次元海绵宝宝。”

*可以说是非常形象了

prompt源自自然语言处理领域,直译“提示”,按字面理解,它能告诉、指导模型接下来你应当要做什么任务,是一个提示。或者换一种说法,就是它能够将下游任务改造成预训练模型期望的样子。

与此对应,我们将prompt之前的pre-train称作“第三范式”,它当时的原理是,将自己改造成下游任务期望的样子,“迁就”各种下游任务。

如果把范式们比作提供服务的乙方,那么“第三范式”pre-train选择牺牲自己,按甲方要求勤勤恳恳改造自己,而到了“第四范式”prompt,选择活出自己,改造甲方!

*温馨提示:只有箭头方向相反,字都是一样的。

这种方式大大地提升了预训练模型的使用效率:

传统的 model tuning (模式调整)的范式:对于不同的任务,都需要将整个预训练语言模型进行精调,每个任务都有自己的一整套参数。

而prompt tuning(提示调整),对于不同的任务,每个任务都单独训练prompt 参数,不训练预训练语言模型,这样子可以大大缩短训练时间,也极大地提升了模型的使用率。

希望这次分享的lora、checkpoint、prompt三个ai圈热词能让大家对ai圈正在聊什么有个简单的认识。

参考文章:

nlp新宠——浅谈prompt的前世今生 https://zhuanlan.zhihu.com/p/399295895

近代自然语言处理技术发展的“第四范式” https://zhuanlan.zhihu.com/p/395115779

【nlp】prompt learning 超强入门程 https://zhuanlan.zhihu.com/p/442486331

使用 lora 进行 stable diffusion 的高效参数微调https://huggingface.co/datasets/huggingface-cn-community/translation/blob/main/lora_cn.md

作者:鹤山 排版:骆伟玲

清元宇宙
0
0
网站地图