您现在的位置是:时尚 >>正文
高质量数据荒下,“弱智吧”为AI开悟?
时尚13人已围观
简介自ChatGPT发布以来,用户就热衷于利用不寻常的问题挑战每一个AI产品的能力边界。其中一种测试方法是找到类似“为什么孙悟空是中国猴子却叫美猴王,不应该叫中猴王吗”、“生鱼片就是死鱼片”这种类似冷笑话 ...
自ChatGPT发布以来,弱智吧用户就热衷于利用不寻常的高质问题挑战每一个AI产品的能力边界。
其中一种测试方法是量数找到类似“为什么孙悟空是中国猴子却叫美猴王,不应该叫中猴王吗”、据荒“生鱼片就是开悟死鱼片”这种类似冷笑话的句子,看人工智能能否如人类一样破解其真正含义。弱智吧
这类荒谬却似乎又有一丝合理性的高质发言,往往来自于百度贴吧“弱智吧”。量数
近日,据荒弱智吧数据在AI领域又多做了一份贡献。开悟
由中科院深圳先进技术研究院、弱智吧中科院自动化研究所,高质滑铁卢大学等高校、量数研究机构联合发布了一份高质量中文指令微调数据集。据荒值得注意的开悟是,在研究过程中,学者们发现,来自“弱智吧”的数据在其中有亮眼表现。
弱智吧表现优异
该团队发布的论文《COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning》详细介绍了其研究过程和成果。
这项研究的目的在于解决当下中文大模型训练面临的几大难题:中文数据集很多是直接翻译自英文翻译,没有很好地契合中文的语言习惯和文化背景、不少数据集是用AI生成的,可能出现事实性错误、目前大部分人工标注的数据集,很多时候数据量小、覆盖领域不全面。
基于此,团队从中文互联网的各处搜集数据,经过一系列清洗和人工审核后,打造出了高质量、多样化的中文指令微调数据集COIG-CQIA。
具体而言,研究的数据来源包括知乎、思否、豆瓣、小红书、弱智吧、百科全书、四个特定领域知识(医学、经济、农学、电子)、考试材料(中考、高考、考研等)、COIG-PC 等语料库。而用以训练的模型是零一万物Yi系列开源大模型。
结果,在各个方面表现优秀的版本竟然是弱智吧版。
弱智吧这一数据集由500个点赞最高的帖子标题+人工或GPT-4的回复组成, 经过人工审核后,最终留下了240组指令-回复数据对。
在规模较小的Yi-6B模型上,纯弱智吧版本总分排名第二。
在Yi-34B模型上,弱智吧版本总分第一。
综合各项结果,弱智吧在所有子集中平均排名第二。
弱智吧为何能够有这么优秀的发挥?
研究者认为,可能是弱智吧问题增强了AI的逻辑推理能力,有利于完成指令遵循任务( instruct-following tasks)。“这种语料有点脑筋急转弯的感觉,所以其使用提升了模型的推理能力。”一位技术人员这样告诉21记者。
企业“各显神通”
弱智吧成为优秀训练素材引发关注的背后,是人工智能发展一直绕不开的训练数据隐忧。
数据是生成式人工智能的“粮食和血液”,其重要性不言而喻。以OpenAI的GPT模型为例,GPT-1预训练数据量仅有5GB,GPT-2则增加至40GB,GPT-3更是达到了惊人的45TB。
“大模型时代,得数据者得天下。”对外经济贸易大学数字经济与法律创新研究中心执行主任张欣在此前接受21世纪经济报道记者采访时表示,当前技术领域的研究显示,各家大模型在算法层区别并不大,并且具有同质化的趋势。在此背景下,训练数据就成了真正区分且影响大模型性能的重要因素之一。
数据需求水涨船高,高质量数据供给却面临稀缺之困。去年,一项来自Epoch Al Research团队的研究就表明,高质量的语言数据存量将在2026年耗尽。
面对这一困境,大模型厂商“各显神通”发掘可用资源。
据媒体报道,谷歌正在考虑利用谷歌文档、表格和幻灯片中提供的消费者数据来支撑其旗下AI产品的训练。公开消息显示,OpenAI旗下模型的训练数据则有相当一部分来自维基百科、书籍、期刊等公共互联网内容。
社交媒体上活跃而多元的数据也被认为是大模型训练的好材料。
2023年12月,有知情人士向媒体表示,苹果拿出5000万美元尝试Condé Nast(《Vogue》和《纽约客》的出版商)、NBC和IAC等新闻机构交涉以获得新闻文章的授权,用以其生成式AI产品开发。
OpenAI在1月与数十家出版商洽谈签署文章授权协议,以获取数据训练其AI模型。同样在今年,刚刚上市的社交媒体Reddit也被传成交了一笔年价值约6000万美元的大生意——允许一家大型人工智能公司访问平台内容用以训练模型。
中文数据荒何解?
数据从何而来,事实上是个国际难题。
在人工智能领域,我国可以称得上是活跃的先行者。科技部新一代人工智能发展研究中心去年发布的《中国人工智能大模型地图研究报告》显示,从全球已发布的大模型数量来看,中国和美国大幅领先,占全球总数的80%以上。
然而,一面是潮水涌起,玩家纷纷入场,另一面是行业狂飙,“燃料”却面临枯竭。
中文大模型面临的情况可能更加严峻。以ChatGPT为例,公开数据显示,在GPT-3训练数据集的语言占比中,中文语料在总语料中占比不足0.1%,且其中包含繁体中文。
中国工程院院士高文曾在演讲中提到,全球通用的50亿大模型数据集中,中文语料仅占1.3%。一些主流数据集如Common Crawl、BooksCorpus、WiKipedia、ROOT等都以英文为主,最流行的Common Crawl中的中文语料也只占4.8%。
可以说,目前世界上主流的大模型都是靠英文语料库来训练和生成大模型。
要研发可靠实用的中文大模型,就必须有严谨可信的中文数据库。这对中国的人工智能的进一步发展无疑是个挑战。
知乎创始人、CEO周源在今年两会时就表示,我国大模型发展当前面临的最显著的问题之一是高质量中文语料资源的短缺。
因此,加快高质量中文数据集的挖掘开发、补齐优质中文语料数据短板必不可少。
《生成式人工智能服务管理暂行办法》就提到,要推动生成式人工智能基础设施和公共训练数据资源平台建设;推动公共数据分类分级有序开放,扩展高质量的公共训练数据资源。
我国多地也都曾发布相关政策以求推动建立高质量数据集。去年起,北京、深圳等地先后发布相关文件,指出要提升高质量数据要素供给能力、归集高质量基础训练数据集、建立多模态公共数据集,打造高质量中文语料数据等。《北京市促进通用人工智能创新发展的若干措施(2023-2025年)(征求意见稿)》《深圳市加快推动人工智能高质量发展高水平应用行动方案(2023—2024年)》等就提到过目前大模型训练高质量中文语料占比过少,要打造高质量中文语料数据库。
Tags:
转载:欢迎各位朋友分享到网络,但转载请说明文章出处“将心比心网”。http://www.bpssyz.com/news/13c371296274.html
相关文章
儿童家具安全隐患重重 买家具需看准两个认证
时尚【建材网】六一国际儿童节前夕,人们再次将目光集中到儿童身上。去年6月1日,本报曾对儿童家具存在的隐患进行调查采访。同年8月,我国较早的儿童家具国标《儿童家具通用技术条件》正式实施,但在随后的几个月中, ...
【时尚】
阅读更多两部委联合发布关于鼓励技术出口若干意见
时尚摘要:两部委联合发布关于鼓励技术出口若干意见 商务部与科技部日前联合发布了《关于鼓励技术出口的若干意见》,从政策扶持、加强国际合 ...
【时尚】
阅读更多玩家打赌,《300英雄》能火就吃“翔”
时尚早在《300英雄》刚刚进行测试的时候,就有大量的DOTA类游戏玩家入驻并发表了各自的看法,在那个时代,多数玩家都对《300英雄》的前途并不看好,更有一位玩家在《300英雄》的百度贴吧发出了如下的豪言壮 ...
【时尚】
阅读更多
热门文章
最新文章
友情链接
- 枞阳海螺公司5#窑计划检修工作全面展开
- 叱咤战场风云! 《二战OL》经典坦克集锦
- 亲历龙临之役 《寻龙》橙武世界任务介绍
- 《神武》子女养成记 快乐变得如此简单
- 圆牛郎织女梦 七夕闯《修魔》迷宫救织女
- 《圆梦枞阳》省运会纪念邮册发行
- 人人都爱羊驼驼《RO前传》草泥马坐骑欢乐多
- 李冰冰霸气加盟 《新大话西游2》9月革新来袭
- 《无限世界》魔法物语 法师学徒战斗指南
- 《撒农大陆》新版首曝 全新界面个性选择
- 建功立业正当时 且看《坦克世界》领土战新格局
- 努力实现目标任务和先进位次“两个确保”
- 市农机检查组到枞阳检查工作
- 心心相印 壮游《奇迹世界SUN》与您共度七夕
- 枞阳海螺公司5#窑计划检修工作全面展开
- 省十三运青少年部篮球赛在枞阳圆满收官
- 圆梦枞阳共铸辉煌:绿色枞阳
- 激情进行曲!《新征途》16日新区预建角色抢好礼
- 枞阳海螺制造一分厂开展防高温高压应急演练
- 圆牛郎织女梦 七夕闯《修魔》迷宫救织女
- 网易Q2财报:丁磊表示《新大话3》表现坚实
- 枞阳海螺制造一分厂开展煤粉仓高温自燃事故应急演练
- 激情进行曲!《新征途》16日新区预建角色抢好礼
- 省十三运枞阳赛区8月25日比赛结果
- 国资委:国有企业税负为私营企业平均值五倍多
- 省十三运青少年部篮球赛在枞阳圆满收官
- 最强囍事 《新破天》万人集体婚礼进行时
- 《天龙群侠OL》西夏选婿活动 节操君频现
- 独特战斗系统 《大宋》诠释民族武魂
- 《圆梦枞阳》省运会纪念邮册发行