-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
索尼展示多款游戏，预告片播放量显示《马拉松》最受玩家期待
IT之家 5 月 27 日消息，索尼于 5 月 24 日举办了 PlayStation Showcase 活动，携手多家工作室，推出了多款游戏，各位IT之家网友，你最期待哪款游戏呢？独立视频游戏分析师 Benji-Sales 追踪游戏预告片上传 24 小时的播放量。这里统计的数据不仅包括索尼 PlayStation 频道和游戏工作室官方频道发布的预告片，还计算了用户“重新上传”的视频播放数量...
手机互联 2023-05-27 15:23:25 -
AIGC创新社沙龙｜国海证券姚蕾：AI正在重塑传媒行业内容生产方式
【网易科技5月24日报道】近日，网易科技《AIGC创新社》沙龙活动正式举行，本场活动以《AIGC重塑内容生产力》为主题，汇聚了知名创业者、投资人以及证券分析师。其中，国海证券传媒行业首席分析师姚蕾带来现场分享，主题为《AIGC重塑传媒行业生态》，现场反响热烈。算法变化影响流量获取 AI扩大内容业商业化空间在姚蕾看来，首先，AI的训练方法发生了重大变化。在AI 1.0时代，许多专用AI系统都是通过标注数据进行训练，其底层任务是受限的。这就好比给一个人设定了未来要成为老师或画家，从一开始就对其进行了预设。然而，AI 2...
智能设备 2023-05-24 11:21:55 -
西数推出闪迪1TBmicroSD存储卡，适用于任天堂Switch游戏机
IT之家 5 月 23 日消息，西部数据推出了迄今为止容量最大的任天堂认证存储卡，即适用于任天堂 Switch 的 1 TB 闪迪 microSD 卡。这款 1 TB 卡带有 Hylian Crest 标识（海拉尔皇室纹章），灵感来自《塞尔达传说》，并且已经过测试并批准用于所有 Nintendo Switch 系统。西数全球战略合作伙伴副总裁 Susan Park 表示：作为一款拥有 30 多年历史的热门游戏，《塞尔达传说》系列再一次俘获了全球玩家的心。我们很高兴能把这款最新的产品带给粉丝，通过我们与任天堂的紧密合作，我们很自豪能继续提供新品，帮助玩家充分利用他们的任天堂 Switch。”这款 1TB SanDisk microSD 卡目前在美国的定价为 129.99 美元（IT之家备注：当前约 915 元人民币），预计国行版本后续上市。 ...
智能设备 2023-05-23 10:28:43 -
智能手机避坑指南|哪些手机型号千万不要买？主流品牌全汇总
文 | 小伊评科技马上就要到618了，很多博主包括笔者自己也都出了不少购机攻略，推荐了很多比较值得购买的机型。那么本文就来给大家汇总一下目前手机市场中千万不要入手的手机，帮助大家合理避坑，本文会根据手机品牌来进行罗列。「 小米篇 」入围机型：红米Note12R Pro、小米13Pro、红米Note12Pro极速版、红米Note12Pro+、红米K60Pro1、红米Note12R Pro当前售价：1799元 12+256G。不推荐理由：1799元起步买一台配备骁龙4系处理器的红米手机，这价格买红米Note11Tpro它不香吗？这款机器甚至在小米自家商场都没上架，完全是一款专为电信运营商推出的产品，可以理解为定制机。2、小米13Pro：当前售价：4999起不推荐理由：小米13Pro和小米13Ultra同配置下的差价只有200，虽然其在很多方面并不次于小米13Ultra，但是考虑到其外观差异化，影像等方面相比小米13Ultra差距巨大，未来一定会进入到降价空间，大家可以持币观望。3、红米Note12Pro极速版当前售价：1699元起不推荐理由：本质上也是一款专为线下市场打造的机型，都没有发布会，悄无声息的就上市了，这款机型配备的处理器是骁龙778G，一亿像素的Sensor，5000毫安时的电池，售价1699元起，12+256G的价格是1899元，这价格买红米Note12Turbo不香吗？4、红米Note12Pro+当前售价：1899元起不推荐理由：接近两千块钱的价格，买一款配备天玑1080处理器且在外观毫无亮点的机器，想想都觉得冤大头，210W快充虽然很快但是很难成为核心卖点。5、红米K60Pro当前售价：3299元起不推荐理由：一款在6128必然降价到2500元档的机型，现在谁买谁是冤大头，外观质感塑造过于拉垮。「 荣耀篇 」入围机型：荣耀Play7T，荣耀X40GT，荣耀X50I，荣耀80SE，荣耀60 SE，荣耀Play7TPro，荣耀Magic3Pro，荣耀80Pro，荣耀Play6，荣耀Magic4Pro1、荣耀的千元机除了荣耀X40，荣耀X40GT，荣耀X30之外，其他所有千元荣耀手机诸如什么荣耀Play系列，荣耀X数字I系列等全部都不值得购买，综合竞争力非常弱，而且大多都是ODM（贴牌机）的产物。2、荣耀数字SE系列（荣耀60SE，70SE，80SE）等也都是智商机，在所处价位的性价比非常一般，大家在购买之前一定要擦亮双眼，包括即将发布的荣耀90SE。3、荣耀X40GT，虽然配置尚可，但是由于配备了骁龙888处理器，这款处理器的能效比表现非常拉跨，个人不建议购买，这个价位有一大票天玑8200，骁龙7 Gen 2机型可选。4、荣耀80Pro本身的产品力就很一般，被后来的荣耀80GT暴打，而在荣耀90Pro即将发布的前夕，荣耀80Pro的综合产品力就更拉跨了，不推荐大家入手，真准备购买荣耀机型的小伙伴不妨考虑一下荣耀90Pro。5、荣耀Magic3，Magic4系列，本身价格并不低但是由于配备的都是骁龙888，骁龙8 Gen 1处理器，价格也不算太有竞争力，综合表现比较一般，不推荐购买。「 OPPO篇 」含一加和Realme入围机型：OPPO A96、OPPO A97、OPPO Reno8Pro、OPPO Find X6、OPPO Reno9Pro1、OPPO A系列一直以来都是OPPO旗下主打下沉市场的机型，是OPPO赖以维生的利润奶牛型号（A系列一直都是OPPO的主力出货产品），但是A系列的性价比表现大家也有目共睹非常的拉跨。目前还在销售的A系列机型分别由A36、A55S，A56S，A96以及最新发布的A97，其中主打超低端价位的A3和A5系列的产品力还是可以的，譬如A56配备的是天玑810处理器，售价千元出头，也是目前最便宜的5G手机之一。而最新发布的A96和A97尤其是A97那可就是实打实的“圾皇”了，能不买就不要买。2、OPPO Reno8Pro和OPPO Reno9Pro：OPPO Reno 8Pro搭载第一代骁龙7处理器，嗯，狗都不要。OPPO Reno 9pro搭载的则是天玑8100处理器，然后价格达到了3500块钱，有这钱买个一加ACE2或者添点钱买个小米13不香吗？3、OPPO Find X6标准版：搭载天玑9200处理器的绿厂旗舰，这种机型到双十一折价到3000元档是必然的，谁原价买谁就是冤大头。「 VIVO篇 」含iQOO入围机型：VIVO Y78+，VIVO Y78，VIVO Y73，VIVO S16E，iQOO 11Pro，VIVO S16Pro，VIVO X90Pro1、VIVO Y系列也是和OPPO A系列一样都是主打线下市场利润奶牛机型，而且相比于OPPO A系列偶尔还有几款“良心产品”不同的是，VIVO Y系列所有机型的表现都非常拉跨。举个例子，VIVO Y77配备的处理器还是天玑930，到VIVO Y78+竟然退化成了骁龙695，倒挤牙膏的做法还真是少见，总之Y系列能不碰就不要碰。2、VIVO S数字E系列：和荣耀SE系列一样都是绿叶机，综合产品力非常弱不说，价格还不低，大家遇到这类机型一概不要碰。3、iQOO 11Pro：不支持IP68，后置主摄仅为IMX866，你很难想象这样一款手机竟然卖的几乎快和小米13Ultra同价....
手机互联 2023-05-22 07:42:46 -
【点石成金】监管人工智能应该着眼于人与人工智能的主体性关系
《点石成金》汇集每周财讯商情，邀请专家深度点评，与您一起探索经济社会底层逻辑。 本周热点 负电价有望带来正效益 物联网助力中国“银发族”探索自由年轻式“享老” 面向Web3.0的区块链SIM卡问世 严格监管ChatGPT，全球首个AI法案立法在欧盟内部迈出第一步 反转！美国债务上限协议要成？ 负电价有望带来正效益 据经济日报报道，近日负电价备受关注。事实上，这表明电力市场化改革迈出了一大步。“五一”期间，山东电力现货市场实时交易电价大幅波动，多次出现负电价。对于负电价，很多人不理解，甚至认为是市场机制失灵了。实际上，通过竞价产生的负电价给出了有效的市场信号，对中国推动能源绿色低碳转型，如期实现“双碳”目标具有重要意义。负电价是指市场中的电力价格低于零。它意味着，发电企业在销售电力时，不仅赚不到钱，反而要给电网企业或者电力用户支付一定费用，吸引他们将多余的电力消纳掉。 点评：负电价不是什么新鲜事，但也不是常见的事；而且它的发生往往在短时间之内。不言而喻，市场交易以正价格为主。从微观角度看，谁也不愿意以负价格做赔本的买卖。从宏观角度看，在经济总量上，市场供给大于需求，可能发生经济衰退，而不是出现负价格。从市场角度看，负价格是一个信号。某种商品的市场在短时间内出现了供给与需求失衡，因此出现了价格偏离。在这个意义上，负电价有望带来正效益。但是，为了促进经济发展，力求供给与需求平衡，我们并不希望在市场交易中出现负价格。负电价可能会刺激用电需求。但是，用户端的用电设备也有特定的性能和使用寿命，过度用电或者不合理用电，会影响设备的效率和安全，因此负电价不是解决电力供需平衡的有效办法。如果出现了负价格，需要在供给端或需求端采取纠正价格偏离的措施。正如上期《点石成金》所说，解决这个问题的根本办法是把电力储存起来，即储能。这样才能解决电力生产与消费的匹配问题，更好地平衡供给与需求的关系。 物联网助力中国“银发族”探索自由年轻式“享老” 据中国新闻网报道，近日，记者在位于江苏无锡的中国物联网国际创新园，探寻中国“银发族”养老的更多可能与选择。在这里，从算法到应用，从软件到硬件，物联网技术让“服务老人”这件事变得更可触可感。据专业人士介绍，目前正基于数据底座研究AI管理服务模型，以实现数字驱动的养老管理服务智慧模式，相关成果已推广到全国42个城市。硬件的创新应用，让关爱老人有了更多智能抓手。例如，将毫米波雷达技术集合在轻便的黑匣子里，将其安装在房间内，达到非接触感知、不侵犯隐私、精准防控老人摔跤的效果。对养老机构中需24小时监护的失能老人，设计了基于物联网技术的智能床垫，监护他们的呼吸、心率，一有异常，护工手机会接到报警。 点评：目前，运用物联网管理养老院成为一种潮流。护理和监测是其中的主要工作内容。利用可穿戴技术，可以监测患者的健康状态，如心率、血压、血糖、血氧饱和度等，提前知晓老人的健康隐患，为护理提供了信息保障，优化了对老年人的护理方法。再如，可以在老年居室里的用品，如水壶、炊具、床、桌椅等物品上放置环境传感器，监测老人的生活变化，防止发生事故。例如，如果有人跌倒，监测器就会立即发出警报。在大数据时代，物联网可以提供实时的老人状态数据。一方面，利用个性化数据可以实现个性化的老人护理。更重要的是把这些数据集合起来，实现有关产业和部门的数据共享，能为科学养老提供新方法。 面向Web3...
区块链 2023-05-19 20:20:22 -
StableDiffusion动画版上线！支持文本图像视频多种输入方式
西风 发自 凹非寺量子位 | 公众号 QbitAIStable Diffusion也能生成视频了！你没听错，Stability AI推出了一款新的文本生成动画工具包Stable Animation SDK，可支持文本、文本+初始图像、文本+视频多种输入方式。使用者可以调用包括Stable Diffusion 2.0、Stable Diffusion XL在内的所有Stable Diffusion模型，来生成动画。Stable Animation SDK的强大功能一经展现，网友惊呼：哇哦，等不及想试试了！目前，Stability AI疑似还在对这个新工具进行技术优化，不久后将公开驱动动画API的组件源代码。3D漫画摄影风，不限时长自动生成Stable Animation SDK可支持三种创建动画的方式：1、文本转动画：用户输入文prompt并调整各种参数以生成动画（与Stable Diffusion相似）。2、文本输入+初始图像输入：用户提供一个初始图像，该图像作为动画的起点。图像与文本prompt结合，生成最终的输出动画。3、视频输入+文本输入：用户提供一个初始视频作为动画的基础。通过调整各种参数，根据文本prompt生成最终的输出动画。除此之外，Stable Animation SDK对生成视频的时长没有限制，但是长视频将需要更长的时间来生成。Stability AI发布了Stable Animation SDK后，有很多网友分享了自己测试效果，让我们一起看下吧：Stable Animation SDK可以设置许多参数，例如steps、sampler、scale、seed。还有下面这么多的预设风格可选择：3D模型、仿真胶片、动漫、电影、漫画书、数码艺术、增强幻想艺术、等距投影、线稿、低多边形、造型胶土、霓虹朋克、折纸、摄影、像素艺术。目前，动画功能API的使用是以积分计费的，10美元可抵1000积分。使用Stable Diffusion v1...
智能设备 2023-05-19 11:52:26 -
Vivaldi浏览器上架微软商城，为Win10/Win11用户提供新安装方式
IT之家 5 月 16 日消息，Vivaldi 浏览器近日上架 Microsoft Store，为 Win10 / Win11 用户提供了安装该浏览器的新方式。Vivaldi 浏览器基于 Chromium，可以安装 Chrome 扩展程序，主打隐私保护，公司强调会妥善保护用户隐私，尽可能不让网站使用你的数据...
智能设备 2023-05-16 10:09:22 -
手机每天重启好还是不好？行内人告诉你需要这样做
小伙伴们！今天我们来聊聊一个有趣的话题：手机每天重启好还是不好？首先，我们需要明确一点，即手机的系统和硬件是由很多复杂的部件组成的，这些部件在长时间运行后可能会出现一些小问题，比如内存泄漏、应用程序卡顿等等。因此，有些人普遍认为，每天重启手机可以清理这些问题，让手机更加流畅。但是，我们需要注意的是，每次重启手机都会导致系统的重新加载和初始化，这会消耗一定的电量和时间，同时也会对手机的寿命造成一定的影响。因此，如果你频繁地重启手机，可能会导致电池寿命缩短、系统崩溃等问题。那么，到底应该每天重启手机还是不重启呢？其实，这个问题并没有标准答案，因为它取决于你的使用习惯和手机的具体情况。以下是一些情况和建议，供大家参考：1.如果你的手机出现了一些奇怪的问题，比如应用程序闪退、系统卡顿等，那么重启手机可能是一个不错的解决方法。这样可以清理一些缓存，让系统重新初始化，有助于解决一些小问题。2...
手机互联 2023-05-16 07:10:15 -
MIUI升级Android14！小米13抢先刷机：不是毛坯走心了！
快科技5月12日讯，本周，基于Android 14 Beta1的MIUI 14开发预览版上线，首批支持小米13、小米13 Pro和小米平板6三款机型，目前刷机包和刷机教程已公布。有国内网友体验后发现，今年的公测版不再是原生安卓，而是MIUI ROM，不过，毕竟是开发者预览，很多本地化并未到位，另外，系统流畅度不高。其它变化还有，扩展内存功能无法使用，返回手势预览不可用、已用内存显示不正确等。此次小米13的版本号为MIUI 14 23.5...
手机互联 2023-05-13 09:34:49 -
泄密严重！苹果用钓鱼执法的方式抓住了内鬼
近日，据报道，一名被称为“analyst941”的内部爆料人士因泄露苹果iOS17的消息被苹果公司查处，该爆料人士已被解雇并将面临法律诉讼。据悉，这位消息人士此前曾爆料关于iOS17的多个重大改进，包括控制中心的大改、苹果地图锁屏细节、Wallet和Health应用UI的改进等...
手机互联 2023-05-13 09:34:18 -
SQL Server的彻底卸载与再次安装方式
目录SQL Server的彻底卸载与再次安装1、控制面板删除名字带有“SQL”的程序2、删除磁盘里的安装文件（一般数据库默认安装在C盘）3、删除注册表（删除有三步 )SQL Server完全卸载删除操作手册总结SQL Server的彻底卸载与再次安装可能大家已经有深刻体会，SQL Server的卸载十分繁琐。最让人头疼的是，出了问题的SQL Server未卸载完全就再次安装将会频频出错...
数据库操作教程 2023-05-12 12:13:17
