shopify analytics ecommerce
tracking
请选择 进入手机版 | 继续访问电脑版

加拿大新闻网

VANCOUVER
加拿大新闻网 首页 新闻 科技 查看内容

斯坦福“草泥马”火了:100美元就能比肩GPT3.5

加新网CACnews.ca| 2023-3-17 12:27 |来自: 量子位

64

一夜之间,大模型界又炸出个big news!


斯坦福发布Alpaca(羊驼,网友口中的“草泥马”):


只花100美元,人人都可微调Meta家70亿参数的LLaMA大模型,效果竟可比肩1750亿参数的GPT-3.5(text-davinci-003)。


而且还是单卡就能运行的那种,甚至树莓派、手机都能hold住!



还有一个更绝的“骚操作”。


研究所涉及到的数据集,是斯坦福团队花了不到500美元用OpenAI的API来生成的。


所以整个过程下来,就等同于GPT-3.5自己教出了个旗鼓相当的对手AI




(薅羊毛高手……)


然后团队还说,用大多数云计算平台去微调训练好的模型,成本也不到100美元:


复制一个GPT-3.5效果的AI,很便宜,很容易,还很小。


而且团队还把数据集(秒省500刀)、代码统统都给开源了,这下子人人都能去微调个效果炸裂的对话AI:



项目在GitHub发布才半天时间,便已经狂揽1800+星,火爆程度可见一斑。


Django联合开发者甚至对斯坦福的新研究用“惊天大事”来形容:



不仅如此,斯坦福团队还搞了个demo,在线可玩的那种。


话不多说,我们现在就来看看这个“草泥马”的效果。


比肩davinci-003的草泥马Aplaca


在斯坦福官方的演示中,他们先小试牛刀地提了一个问题:


什么是羊驼?它和美洲驼的区别是什么?



草泥马Aplaca给出的答案较为干练:


羊驼是一种小型骆驼科动物,原产于秘鲁、玻利维亚、厄瓜多尔和智利;它比美洲驼小,羊毛更细,也没有驼峰。


而后又简单的介绍了二者群居生活的不同。


同样的问题若是交给ChatGPT(GPT3.5-turbo),则答案就不会像草泥马Aplaca那般简洁:



对此,团队给出的解释是:


Alpaca的答案通常比ChatGPT短,反映出text-davinci-003的输出较短。


而后团队演示了让草泥马Alpaca写邮件:


写一封e-mail祝贺被斯坦福大学录取的新生,并提到你很高兴能亲自见到他们。


草泥马Alpaca对于这个任务也是信手拈来,直接给出了一个像模像样的邮件模板:



难度再次进阶,团队这次提出了让草泥马Alpaca写论文摘要的需求:


写一篇经过深思熟虑的机器学习论文摘要,证明42是训练神经网络的最优seed。


草泥马Alpaca给出的答案从内容上来看,非常符合大多数论文的摘要形式:试图回答什么问题、用了什么方法、结果如何,以及未来展望。



当然,也有迫不及待的网友亲自下场试验,发现草泥马Alpaca写代码也是不在话下。



不过即便草泥马Alpaca能够hold住大部分问题,但这并不意味着它没有缺陷。


例如团队便演示了一个例子,在回答“坦桑尼亚的首都是哪里”的问题时,草泥马Alpaca给出的答案是“达累斯萨拉姆”。


但实际上早在1975年便被“多多马”取代了。



除此之外,若是亲自体验过草泥马Alpaca就会发现,它……巨慢:



对此,有网友认为可能是使用的人太多的原因。



笔记本、手机、树莓派都能跑


Meta开源的LLaMA大模型,刚发布几周就被大家安排明白了,单卡就能运行。


所以理论上,基于LLaMA微调的Alpaca同样可以轻松在本地部署。


没有显卡也没关系,苹果笔记本甚至树莓派、手机都可以玩。


在苹果笔记本部署LLaMA的方法来自GitHub项目llama.cpp,使用纯C/C++做推理,还专门对ARM芯片做了优化。



作者实测,M1芯片的MacBook Pro上即可运行,另外也支持Windows和Linux系统。



还是这个C++移植版本,有人成功在4GB内存的树莓派4上成功运行了LLaMA的 70亿参数版本。


虽然速度非常慢,大约10秒生成一个token(也就是一分钟蹦出4.5个单词)。



更离谱的是仅仅2天之后,有人把LLaMA模型量化压缩(权重转换成更低精度的数据格式)后成功在Pixel 6安卓手机上运行(26秒一个token)。


Pixel 6使用谷歌自研处理器Google Tensor,跑分成绩在骁龙865+到888之间,也就是说新一点的手机理论上都能胜任。



微调数据集也开源


斯坦福团队微调LLaMA的方法,来自华盛顿大学Yizhong Wang等去年底提出的Self-Instruct。



以175个问题作为种子任务,让AI自己从中组合出新的问题以及生成配套答案实例,人工过滤掉低质量的,再把新任务添加到任务池里。


所有这些任务,之后可以采用InstructGPT的方法让AI学会如何遵循人类指令。


套娃几圈下来,相当于让AI自己指导自己。



斯坦福版Alpaca,就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例搞出来的。


这些数据同样开源了出来,并且比原论文的数据多样性更高。



同时还给出了生成这些数据的代码,也就是说如果有人还嫌不够,可以再去自行扩充微调数据,继续提高模型的表现。



微调代码也会在HuggingFace官方支持LLaMA后放出。



不过Alpaca最终的模型权重需要Meta许可才能发布,并且继承了LLaMA的非商用开源协议,禁止任何商业用途。


并且由于微调数据使用了OpenAI的API,根据使用条款也禁止用来开发与OpenAI形成竞争的模型。


One More Thing


还记得AI绘画的发展历程吗?


2022年上半年还只是话题热度高,8月份Stable Diffusion的开源让成本下降到可用,并由此产生爆炸式的工具创新,让AI绘画真正进入各类工作流程。


语言模型的成本,如今也下降到了个人电子设备可用的程度。


最后还是由Django框架创始人Simon Willison喊出:


大语言模型的Stable Diffusion时刻到了。

免责声明:本网转载的文章仅为传播更多信息之目的,本网未独立核实其内容真实性,文章也不代表本网立场。如文章侵犯了你的权利,请联系我们修改或删除。本网提供的内容,包括并不限于财经、房产类信息,仅供参考,不构成投资建议;本网内容,包括并不限于健康、保健信息,亦非专业意见、医疗建议,请另行咨询专业意见。本网联系邮箱:contact@cacnews.ca

64

最新评论

今日推荐

被中国释放的两个Michael今晚将出席杜鲁多招待拜登晚宴

加拿大 4 小时前

孕妈超预产期两周 在家水中分娩 生下11.4斤巨婴

国际 4 小时前

最强龙卷风袭击LA 华人区大片屋顶被掀翻 场面震撼

美国 4 小时前

巴黎如战场 140场火灾 457人被捕 英王不敢来了

国际 4 小时前

既然TikTok在美国被欺负了 应该像大熊猫一样接回国

国际 4 小时前

男顶流被曝厕所约炮 高冷人设翻车 和女粉多次啪啪啪

娱乐 4 小时前

加拿大移民部再次EE抽分:484!仅隔一周!下降6分!

移民 8 小时前

47岁佘诗曼再度爆红背后:去他的中年危机

娱乐 8 小时前

炸了! 大批加拿大人被CRA扣钱! 牛奶金被扣 家长崩溃!

加拿大 昨天 16:24

震惊全国! 度假天堂精英1家5口诡异跳楼! 富人区名校出身! 精心排练过 他活下来失忆

国际 昨天 16:23

曝光! 列治文甜品店白人歧视店员“是中国人就滚回去”! 网友炸了

温哥华 昨天 16:23

视频震撼! 公车乘客被捅33刀致死 曾拍门求救血流成河 司机不敢停车 嫌犯前科累累

美国 昨天 16:23

离谱! 2罪犯密谋牙刷挖墙越狱 徒步11公里只为一顿饭 刚吃就被捕

美国 昨天 16:22

多伦多女子急诊等到吐血昏迷死亡; 留学生被索$33万医疗费 医疗令人惊心

加拿大 昨天 16:22

走出戏外的AV女优 也能成为女团偶像吗?

娱乐 昨天 12:11

为什么有人一天只睡4小时也很精神 你睡8小时还困?

健康 昨天 12:10

  • 24小时新闻排行
  • 7天新闻排行

今日焦点

旗下公众号

关注获得及时、准确、全方位的新闻消息

Copyright © 2012-2020 CACnews.ca All Rights Reserved 版权所有

返回顶部