-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
腾讯任天堂Switch推出延长保修计划限时优惠，售109元
IT之家 5 月 27 日消息，腾讯发文宣布，自 6 月 1 日-30 日，腾讯任天堂 Switch 延长保修计划推出限时优惠，原价 159 元 / 年的延长保修服务计划只需 109 元。IT之家注：腾讯任天堂 Switch 延长保修计划首次发布于 2022 年 12 月下旬，该计划适用于新购机或目前仍然在保修期内的“任天堂 Switch”、“任天堂 Switch（OLED 版）”，用户可付费参与计划延长 1 年的保修时间...
手机互联 2023-05-27 15:23:29 -
AITO问界最快完成10万辆下线！余总现场都说了什么？
【CNMO新闻】仅用15个月，AITO问界第10万台量产车正式下线，成为最快达成这一里程碑的新能源品牌。而今天华为常务董事、终端BG CEO、智能汽车解决方案BU CEO余承东也出席了下线仪式，外界非常关注这次余总都说了些什么？ 首先，华为常务董事、终端BG CEO、智能汽车解决方案BU CEO余承东表示：“AITO问界15个月达成十万辆下线，标志着用户对我们的认可与信赖，也标志着华为智选车模式完成了从0到1的突破...
手机互联 2023-05-27 15:23:19 -
余承东：友商新能源车单月能卖20万台我们以后能卖10万台
【CNMO新闻】5月27日，在AITO问界第10万辆汽车下线仪式过后，余承东接受采访时再次谈到了造车问题，他说华为不单独造车，而是和合作伙伴一起造车。这看似是一套新说法，其实余承东还是在重申：华为不造车...
手机互联 2023-05-27 15:23:11 -
OpenAI捐款10万美元，推动治理人工智能、引导其健康发展
IT之家 5 月 26 日消息，根据路透社报道，OpenAI 将从现有基金中抽出 100 万美元，分别等额的 10 份，用于推动 ChatGPT 的民主进程，制定有效措施，管理人工智能，遏制偏见等其它负面因素，引导其健康发展。OpenAI 在今天的博文中表示，其中划分的 10 万美元（IT之家备注：当前约 70.8 万元人民币），将捐给那些提出相关框架的个人和组织，希望有治理人工智能的方案出炉，让其健康发展。OpenAI 的首席执行官 Sam Altman 告诉路透社：“人工智能系统应该造福全人类，并具有更大的包容性。我们正在启动这个资助计划，朝着这个方向迈出第一步”。OpenAI 表示 10 万美元的投入可能会迸发出治理人工智能的诸多看法，即便是这些建议没有任何“约束力”。 ...
智能设备 2023-05-26 11:18:41 -
5G网速起飞！小米13Ultra双卡上网来了：下载速度猛增30%
快科技5月25日消息，MIUI官方今日宣布，小米13 Ultra上线"双卡并发""双卡竞速"功能，网速直接起飞。由于Android现有框架并不支持双卡同时上网，为实现这一功能，小米直接对Android的通信框架进行改造，加入了整套双链路的创建、释放、消息通知等架构改造，实现双卡同时上网...
手机互联 2023-05-25 23:49:47 -
美的发布人因智能系统万千情境因人而异
5月23日，美的于中国深圳发布人因智能系统及用户共创平台，同步推出3类全屋智能新品和7款人感科技家电新品。针对美的此次新品及全屋智能整体战略，网易家电专访了美的集团中国区域全屋智能负责人尚喆博士，就美的最新的行业洞察以及产品策略进行深入解读...
智能设备 2023-05-25 12:31:20 -
微软发布Win1122621.1778更新KB5026446，支持蓝牙低功耗音频
IT之家 5 月 25 日消息，微软今天为 Win11 用户推送了 KB5026446 (操作系统内部版本 22621.1778) 非安全预览更新，也就是“Moment 3”更新，并且还向 DEV 渠道推送了 Build 23466 版本更新，我们现在先来看一下 22621...
智能设备 2023-05-25 11:03:26 -
一招教你看懂iPhone序列号的含义，快速分辨机器好坏
用过苹果手机的朋友们都知道序列号代表着该机器的特有身份信息，但是你真的懂序列号吗？今天就来给大家讲讲吧~一般可以通过外包装查看到相关序列号，或者打开手机-设置—通用—关于本机，查看到本机的序列号。以下面序列号为例，拆分成为五个部分，依次代表代工厂、产线、年份周数、识别码、型号内存颜色...
手机互联 2023-05-25 08:22:34 -
全系标配超光影长焦OPPOReno10系列发布售价2499元起
5月24日消息，OPPO今日正式发布Reno十代里程碑之作Reno10系列新品。全系标配超光影长焦，配合OPPO独有的超光影算法；OPPO Reno10系列新品共有Reno10 Pro+、Reno10 Pro与Reno10三个版本可选，售价2499元起。OPPO Reno10系列标准版和Pro版搭载了同一颗2倍超光影长焦摄像头； Reno10 Pro+ 则是Reno系列十代以来首个采用大底潜望长焦的机型，超光影潜望长焦采用旗舰级的1/2英寸超大感光元件，6400万超高像素，f/2.5超大光圈，以及悬浮棱镜防抖等诸多技术组合。OPPO Reno10系列搭载了OPPO Find X6系列的同款动态光影屏并支持 ProXDR显示功能。Reno10系列通过光子矩阵显示技术，可以记录高达1200万个光子点矩阵信息，实现最高8倍的亮度激发。1400nit的峰值亮度、2772 x 1240分辨率、120Hz 智能动态刷新率等诸多技术。搭载大底潜望长焦的OPPO Reno10 Pro+ 的厚度仅为8...
电信通讯 2023-05-24 15:53:40 -
AIGC创新社沙龙｜国海证券姚蕾：AI正在重塑传媒行业内容生产方式
【网易科技5月24日报道】近日，网易科技《AIGC创新社》沙龙活动正式举行，本场活动以《AIGC重塑内容生产力》为主题，汇聚了知名创业者、投资人以及证券分析师。其中，国海证券传媒行业首席分析师姚蕾带来现场分享，主题为《AIGC重塑传媒行业生态》，现场反响热烈。算法变化影响流量获取 AI扩大内容业商业化空间在姚蕾看来，首先，AI的训练方法发生了重大变化。在AI 1.0时代，许多专用AI系统都是通过标注数据进行训练，其底层任务是受限的。这就好比给一个人设定了未来要成为老师或画家，从一开始就对其进行了预设。然而，AI 2...
智能设备 2023-05-24 11:21:55 -
微软公布Win11新功能：任务栏取消合并、原生RGB灯光控制等
IT之家 5 月 24 日消息，微软在 Build 2023 开发者大会上宣布了一系列即将推出的 Windows 11 新功能和改进，其中最受关注的是任务栏标签和取消合并功能的回归，这是 Windows 11 用户最期待的功能之一。另一个与任务栏相关的改进是可以隐藏通知区域的时间和日期...
智能设备 2023-05-24 10:54:52
