您现在的位置是: 中国新车经济 > 资讯 > 正文

为什么所有国产大模型都不能分析微博热搜?

时间:2024-06-05 13:29   来源:投资界  阅读量:15561    

“hey siri,告诉我昨晚有哪些新闻”。

你有没有梦想过这样的场景:

清晨刚睡醒,洗漱更衣同时听一下人工智能为您播报昨夜发生的大事,快速掌握世界的最新动态。

但很可惜,现在几乎所有AI都做不到。

换种说法,现在几乎所有聊天机器人,基本都无法回答“最新发生”的事件。

前段时间,路透社新闻研究所和牛津大学发表了一份标题为《我做不到:生成式人工智能对话机器人是如何回应有关新闻的问题》的研究报告。

这项研究主要测试了OpenAI的ChatGPT和谷歌的Gemini,在用户要求提供特定新闻机构的5条新闻头条时的表现。

随后分析ChatGPT和Gemini的回答,共有4500个输入和900个输出结果,其中包含了10个国家的新闻网站。

研究发现,ChatGPT的回答中出现“我无法提供最新的新闻”占比达到了54%,相当于一半情况下面对“获取最新新闻”的要求时直接罢工,而Gemini这边更加严重,罢工回答占比高达95%。

在不同国家,大模型罢工情况也有所区别,美国、德国和印度是重灾区。

罢工的原因一般都是无法读取网页,遇到了付费墙,要登陆等。

罢工回答示例

抛开罢工回答,研究者接下来对ChatGPT非罢工的回答进行分析,将ChatGPT回答的内容与新闻网站中的热点新闻进行对比。

结果发现,ChatGPT所有的成功回答内容中,只有10%是真正的热点新闻,30%是旧闻。

该研究还发现,以同样的问题输入给ChatGPT,在不同时间段的回答有较大的变化,具体原因不明。

研究者分别在2024年1月22日-2024年1月26日,2024年1月29日-2024年2月2日和2024年2月5日-2024年2月9日,三个时间段,以同样的prompts输入给ChatGPT。

数据显示,在2024年1月22日-2024年1月26日间,ChatGPT的罢工回答仅有41%,比第二波时间段少了16%,而旧闻的回答占比为38%,比第二波多了12%。

硅基君猜测,可能是OpenAI偷偷换了个ChatGPT的模型版本?

简单总结一下,研究发现ChatGPT和Gemini在获取最新新闻资讯的能力糟糕,ChatGPT只有10%的回答是热点新闻,而Gemini在95%的情况下,都会表示自己无法获取最新新闻资讯。

也就是说,假设今天俄乌战争突然结束了,但如果问这些AI,他们还会告诉你双方打的不可开交。

那国产大模型在这方面做得怎么样?

硅基君选取了秘塔、Kimi、豆包、文心一言4个目前比较流行的国产大模型,模仿路透社的研究方法,把“读取 lt;新闻网页gt;,前5条内容是什么”作为prompts。

新闻网页分别选取了腾讯科技新闻、微博热搜、B站综合热榜、百度新闻以及澎湃科技新闻。

直接上结论:豆包表现的*,能识别腾讯新闻科技频道、百度新闻和澎湃新闻科技频道的热门新闻。

秘塔AI和文心一言表现相当,能识别出网页的内容。Kimi在识别最新网页内容的能力上有所欠缺,基本上每个测试网站都失败了。

测试结果都存在哪些问题呢?

首先是,错误识别网页内容,比如秘塔AI和文心一言,把腾讯视频科技频道的视频精选当作热门新闻。

其次是,大模型回答陈旧新闻。比如文心一言在澎湃新闻测试中,回答了几条2-3天前的内容。

再次,在回答微博热搜时四个大模型全军覆没。

微博对自己数据的保护非常严格,如果研究过爬虫的小伙伴应该明白,采集微博的内容,是不是就会跳出来一个验证码。

大模型估计也被微博屏蔽了。

最后是回答的内容与问题毫不相干,比如Kimi的几个回答都挺莫名其妙的,像是在读取数据库。

每个AI的详细测试情况放在下面,感兴趣的读者可以自行查看。测试时间为2024年6月3日,大模型回答应与新闻页面内容一致才代表合格

腾讯新闻测试:

左右滑动查看

百度新闻测试:

左右滑动查看

澎湃新闻测试:

左右滑动查看

微博热搜测试:

左右滑动查看

B站综合热榜测试:

左右滑动查看

为什么号称“变革生产力”的大模型也无法*的获取新闻?最可能的理由是:新闻网站屏蔽大模型。

随着ChatGPT等大模型的兴起,它们所依赖的网络爬虫正面临来自全球新闻机构的大规模封锁。在路透社的一篇研究报告《How many news websites block AI crawlers?》中表明:

“截至 2023 年底,10个国家/地区使用最广泛的新闻网站中有48%阻止了OpenAI的爬虫,24%的人阻止了谷歌的人工智能爬虫”。

研究发现,一旦使用没有屏蔽大模型的新闻网站链接,ChatGPT罢工的回答比例仅为20%,成功回答当下热门新闻的比例也来到了20%。

这样也从侧面说明了OpenAI每年花上百上千万向新闻网站买版权的重要性。

但即便是网站没有屏蔽,ChatGPT的回答中仍然有接近一半的回答是旧闻,并不是promtps要求的最新新闻。

这一点很难解释,以ChatGPT的能力,应该是可以读懂网页内容。研究者表示,这可能与大模型幻觉有关,它会通过搜索引擎搜索相关内容后进行综合回答。

仅从目前的实验结果来看,想让大模型成为一个合格的热点新闻资讯助手,靠简单的prompts完全做不到。大模型的幻觉,新闻网站的屏蔽措施,都限制了大模型搜索最新新闻资讯的能力。

如何才能解决这个问题,这就不能从技术角度出发,而是应该基于商业角度来看。

大模型本质上是一个数据模型,只有输入优质数据才能输出优质数据。

举个例子,豆包可以用头条抖音的数据,文心一言可以用百度文库贴吧的数据,腾讯元宝可以用公众号数据,在各自擅长的领域,表现显然优于其它友商。

可想让他们互相开源,估计比用户在淘宝打开拼多多链接还难。

数据是大模型关键,也是科技公司的护城河,以前在百度搜不到公众号内容,现在的AI也一样。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

相关
高研发投入加剧亏损迪哲医药涨势可持续吗

6月4日,创新药板块走强,其中迪哲医药领涨,盘中一度涨逾13%。股价大涨背后,迪哲医药手握舒沃哲(舒沃替尼)、戈利昔替尼两大重磅创新药,前者亮相2024年度美国临床肿瘤学会(ASC...

发表于:2024-06-05 10:43

《从能耗大户到低碳先锋——智能互联照明赋能建筑节能降碳》白皮书:采用节能

为积极应对气候变化,以创新照明技术点亮绿色未来,全球照明领导者昕诺飞16日联合合作伙伴气候组织(ClimateGroup)发布《从能耗大户到低碳先锋——智能互联照明赋能建筑节能降碳...

发表于:2024-06-05 03:16

老子铁匠、儿子土木——写给应届和未来高考生的一段记忆

人,虽然低入尘埃,但刻于基因的、这个民族与生俱来的聪明与才华,总会穿透无奈,在难以想见的地方,生长出来。 ——题记 对古镇上的匠人,无论是木匠、泥瓦匠、裁缝、铁匠、修车匠、锁匠...

发表于:2024-06-04 22:21

突发巨震!刚刚,官媒发声

市场全天震荡调整,创业板指、深成指双双跌超1%。 盘面上,电力、电网产业链继续逆势拉升,其中绿电、智能电网方向领涨,郴电国际、明星电力、晋控电力、华银电力、电科院等多股涨停。芯片...

发表于:2024-06-04 16:09

昌江举办新能源汽车下乡促消费车展

原题:昌江举办新能源汽车下乡促消费车展 市民群众可以一站式选车、看车 5月31日至6月2日,“文明有礼”昌江黎族自治县新能源汽车下乡促消费车展在该县文化公园举行。此次活动通过集...

发表于:2024-06-04 09:50

闵行·淮南非遗交流展举行本月还将开展30余场非遗活动

东方网记者熊芳雨6月3日报道:2024年6月8日是中国第19个“文化和自然遗产日”。为营造非遗保护良好氛围,加强闵淮两地交流合作,6月1日“传世芳华——闵行·淮南非物质文化遗产交流...

发表于:2024-06-04 05:18

天平道合08403拟溢价约20.48%发行400万股净筹约395万港元

拟溢价约20.48%发行400万股净筹约395万港元) 智通财经APP讯,天平道合发布公告,于2024年6月3日,公司拟向认购人(李文杰先生)配发及发行400万股,相当于经扩大的...

发表于:2024-06-04 01:29

以戏剧启发儿童想象力,国寿股份举办“乐享人生”艺术沙龙系列活动

6月2日,“乐享人生”艺术沙龙系列活动在国家大剧院成功举办。本次艺术沙龙活动由中国人寿保险股份有限公司携手国家大剧院联袂推出。活动以“给孩子插上想象的翅膀——走进戏剧表演”为主题,...

发表于:2024-06-03 19:35

联系我们| 投稿合作| 法律声明| 网站地图

版权所有© 2017- 中国新车经济 备案号:苏ICP备2022018343号

所载文章、数据仅供参考,不作为买卖依据,使用前务请仔细阅读网站声明。本站不作任何非法律允许范围内服务!