热门搜索
-
田刚院士：阿里巴巴全球数学竞赛对推动数学教育作用重大
【网易科技6月7日报道】2023阿里巴巴全球数学竞赛公布决赛名单，全球5万多报名者仅有685人入围决赛。决赛将于6月17日在线进行...
智能设备 2023-06-07 13:43:24 -
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
最新数码相机销量排名：索尼α7IV斩获第一
快科技5月13日消息，THE MAP TIMES公布了2023年4月的地图相机数码相机销量排行榜，索尼与佳能夺得前三。据介绍，索尼α7 IV时隔七个月重回榜首，主要原因是索尼的活动接近尾声，消费者对于新产品的需求有所增加...
手机互联 2023-05-14 10:23:18 -
必应聊天改进报告：正确显示数学公式，减少非正常结束对话情况
IT之家4月22日消息，微软必应（Bing）官方博客更新动态，分享了自4月7日至21日的必应聊天（BingChat）改进报告，其中最大的亮点在于引入了LaTeX标记，可以正确显示数学公式。IT之家附该博文主要内容如下：支持LaTeX：在添加对LaTeXmarkup的支持之后，允许必应聊天正确显示复杂的数学表达式...
智能设备 2023-04-22 10:40:28 -
「数学天才」陶哲轩：GPT-4无法攻克一个未解决的数学问题，但对工作有帮助
新智元报道编辑：桃子【新智元导读】数学天才陶哲轩的研究也用上了AI工具GPT-4。有了GPT-4，你想做的，只需复制、粘贴、一键完成！当红炸子鸡ChatGPT，也成为数学天才陶哲轩的研究工具了...
智能设备 2023-04-09 13:52:58 -
柏睿数据升级未来数智战略发布全新数据智能产品矩阵
3月17日消息，3月16日，柏睿数据升级了未来数据智能战略，发布了全新数据智能产品矩阵，针对五大行业全面数智化转型提出场景解决方案。当前，“Data+AI”已成为企业数字化转型的重要技术趋势和驱动力，能够充分激活数据要素潜能...
互联网 2023-03-17 10:22:12 -
快讯｜阿里巴巴全球数学竞赛启动鼓励年轻人挑战难题
【网易科技3月14日报道】今天是国际数学日，2023阿里巴巴全球数学竞赛正式启动，全球数学爱好者可通过阿里达摩院官网报名。据悉，今年赛制和去年一致，总奖金依然为400多万人民币...
智能设备 2023-03-14 11:43:20 -
陶哲轩：ChatGPT已加入我的数学工作流
Pine梦晨发自凹非寺量子位|公众号QbitAIChatGPT，已经成为天才数学家陶哲轩的研究助手了！不止ChatGPT，他还直接在网上宣布：多种AI工具都会纳入自己的工作流。最近这些日子，陶哲轩对AI可是青眼有加，甚至在网上只谈论一个话题：AI，特别是大语言模型在数学研究中的应用...
智能设备 2023-03-11 19:35:28 -
《霍格沃茨》发布最新数据：玩家累计消灭22亿黑巫师
今日（3月11日），《霍格沃茨之遗》发布了最新玩家数据统计。其中，所有玩家累计游玩时长共达到4.06亿小时；共养殖了6.74亿颗魔法植物；共制作了4.05亿魔药；累计消灭了22.5亿名黑巫师...
游戏资讯 2023-03-11 12:13:29 -
民生银行：创新数字人民币应用场景助推小微企业发展
来源：封面新闻近日，中国民生银行结合数字人民币特性，抢抓数字人民币试点机遇，将数字人民币应用于小微金融产品“增值贷”支用场景。小微企业通过民生小微APP或民生手机银行APP在线申请小微贷款时，可选择提款到本人任意一家运营机构的数字人民币钱包，资金实时到账，全流程线上操作，简单快捷...
区块链 2023-01-31 12:35:36 -
提出全新数据安全治理理念《数据安全治理实践指南（2.0）》正式发布
2023年1月5日，在第二届数据安全治理峰会上，《数据安全治理实践指南（2.0）》正式发布，由中国信息通信研究院云计算与大数据研究所副所长魏凯进行解读。《数据安全治理实践指南》是数据安全推进计划在数据安全治理领域的系列研究报告，旨在梳理数据安全治理的概念内涵，探讨企业数据安全建设路线，并于2021年7月发布《数据安全治理实践指南（1.0）》版本...
智能设备 2023-01-05 15:43:30 -
最新数据出炉！生产不出5G手机的华为，国内5G手机占有率竟超小米
由于在2019年遭到软件和硬件两方面的双重打压，华为手机业务一度陷入了非常危险的境地，好在凭借华为足够强的风险意识储备，和顽强的拼搏精神，总算是在艰难的环境下活了过来，同时手机业务不仅得以保留，还在继续前行。今年更推出Mate50旗舰系列但华为手机目前最大的问题，还是新机基本都无法使用5G网络，即便是要和苹果iPhone14系列对标的Mate50系列，也无法使用5G网络，使用的骁龙8芯片明明支持5G，但却人为阉割从一个5G技术的引领者，到自家手机连5G网络都不支持，因为这点华为常常遭到不少网友的嘲讽...
手机互联 2022-11-21 09:37:42
