热门搜索
-
微软论文一张截图，曝出GPT-3.5仅有200亿参数？AI圈巨震，网友大呼太离谱！
新智元报道编辑：编辑部【新智元导读】微软最近一篇论文爆料，GPT-3.5的参数量只有20B，远远小于之前GPT-3公布175B。网友表示，ChatGPT能力似乎「配得上」这个体量？GPT-3.5只有200亿参数？今天，大模型圈都被微软论文中的一纸截图刷爆了，究竟是怎么回事？就在前几天，微软发表了篇论文并挂在了arXiv上，该论文提出了一个参数量只有75M的小规模扩散模型——CodeFusion...
智能设备 2023-10-31 14:09:59 -
奇富科技机器人团队语音论文入选INTERSPEECH2023
6月1日消息，近日，奇富科技机器人团队论文《Eden-TTS：一种简单高效的非自回归“端到端可微分”神经网络的语音合成架构》（Eden-TTS: A Simple and Efficient Parallel Text-to-speech Architecture with Collaborative Duration-alignment Learning）被全球语音与声学顶级会议INTERSPEECH 2023接收。据悉，INTERSPEECH是由国际语音通讯协会（International Speech Communication Association, ISCA）创办的语音信号处理领域顶级旗舰国际会议，是全球最大的综合性语音信号处理盛会，在国际上享有盛誉并具有广泛的学术影响力。奇富科技的论文研究成果为需要文本转语音的应用场景提供了创新的解决方案，提出了一种端到端可微的非自回归神经网络语音合成模型架构。基于文本音素时长与alignment的密切关系，论文提出了一种简单高效的alignment学习方式：首先采用一种新的energy-modulated注意力机制得到guided alignment，然后利用guided alignment计算音素的时长信息，最后通过音素的时长信息构建monotonic alignment。本方法无需外部的alignment信息，无需引入额外的alignment损失函数。对业务提效而言，这种端到端可微的方法使得各个模块可以方便地替换为各种类型的神经网络模块，从而具有良好的扩展性和稳定性。相比于主流的自回归模型，推理速度提升了10倍以上，能够满足实时语音合成的需求。根据进行的多人MOS评测，该方法的MOS分值达到了4.32分（满分为5分），合成语音的自然流畅程度接近于目前最优的自回归模型，显著优于同类型的非自回归模型。此外，与同类型方法相比，该方法可以节约50%以上的训练时间，显著提升模型训练效率。奇富科技在对话机器人领域一直坚持投入、坚持自研。就在两个月前，奇富科技另一篇音频论文《基于多粒度Transformer的多模态情绪识别》（Multilevel Transformer for Multimodal Emotion Recognition）被第48届IEEE声学、语音与信号处理国际会议(IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2023)接收。“我们很高兴在理解用户、优化表达方面取得了关键性的成果。随着奇富GPT对于公司各业务层的重构，我们已经极大提升了对于用户在文本上的理解能力，从语音到文本，再从文本回到语音，更好的识别是为了更好的表达和输出，我们将持续投入，用前沿技术重塑用户体验。”奇富科技首席算法科学家费浩峻表示。（一橙） ...
业界动态 2023-06-01 12:40:34 -
用算力与时间赛跑医学人工智能守护生命之光
“时间就是生命”，没有哪个时刻会比抢救过程更能印证这句话。分秒必争、先行一步……在救护过程中缩短时间、提高诊治效率，有些人的命运或许就会被改变。45岁的王大成是一名社区工作人员。一天，他出现左手活动不灵的症状并逐渐加重，但是他没有在意，依然坚守岗位。在夜班执勤过程中突发瘫痪，被交接班的同事发现，紧急送到吉林大学第一医院，进入脑卒中绿色通道救治。初步查体后，医生判断王大成发病时间较长，需要尽快救治。在这个过程中，人工智能参与进来，辅助医生3分钟内完成影像数据分析，多学科一体化得出治疗方案对病人进行机械取栓手术，用最大努力把患者从终身瘫痪和死亡边缘拉了回来。依靠绿色通道、平台技术的支撑，他们打赢了这场“生命争夺战”。3分钟！与时间赛跑，人工智能参与“生命借力”脑卒中的救治，是一场与时间的赛跑，脑卒中患者救治每延误一分钟，就会有190万个脑细胞受损，因此，脑卒中的救治有非常严格的时间窗。要在窗口期之内必须做出一个治疗方案，这对相当一部分医生来说，并非易事。特别是患者发病6小时以后，其脑组织大部分区域遭到破坏，而基层医生诊断能力不足，加上临床缺乏可靠准确的自动化评估工具，无法精准识别患者的核心梗死区以及无法判断出还可以挽救的脑组织区域，很多脑卒中的病例诊断时间可能达到100分钟，导致治疗率迟迟无法提高。从2015年至今，我国急性脑梗死再灌注治疗率远低于欧美国家水平，发病4.5小时内且没有禁忌证的急性脑梗死患者静脉溶栓的实际执行率只有22...
智能设备 2023-05-27 17:11:28 -
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
阿里达摩院：GPT-4替代年薪60万数据分析师只要几千块，论文已发
梦晨 发自 凹非寺量子位 | 公众号 QbitAIGPT-4替代初级数据分析师的成本只有0.71%，换成高级数据分析师则是0...
智能设备 2023-05-27 16:02:14 -
图灵奖得主LeCun：我赞成用LLM写论文！科研老将更恨ChatGPT？
新智元报道编辑：LRS【新智元导读】最近康奈尔大学的一位副教授调研了业界用ChatGPT写论文的态度，支持与反对者大致相同，但混迹科研圈越久的人，越反对ChatGPT。ChatGPT发布后，「用语言模型辅助论文写作」到底算作弊剽窃，还是合理使用写作工具，目前各高校、论文会议中仍然没有统一标准，甚至不同的科研人员对ChatGPT都持有不同的态度...
智能设备 2023-05-08 13:15:58 -
马斯克等人呼吁暂停AI研究公开信遭质疑被指加剧炒作、歪曲论文
3月31日消息，特斯拉首席执行官埃隆·马斯克（ElonMusk）、苹果联合创始人史蒂夫·沃兹尼亚克（SteveWozniak）以及其他上千名AI研究人员日前签署公开信，呼吁暂停研究更先进的AI技术。然而，此信遭到许多专家甚至签名者的质疑，被指加剧AI炒作、签名造假以及歪曲论文等...
业界动态 2023-03-31 09:35:44 -
GPT-4论文竟有隐藏线索：GPT-5或完成训练、OpenAI两年内接近AGI
金磊发自凹非寺量子位|公众号QbitAIGPT-4，火爆，非常火爆。不过家人们，在铺天盖地的叫好声中，有件事可能你是“万万没想到”——在OpenAI公布的技术论文里，竟然藏着九大隐秘的线索！这些线索是由国外博主AIExplained发现并整理...
智能设备 2023-03-17 10:30:19 -
应对学生通过ChatGPT生成论文，斯坦福大学推出DetectGPT
IT之家1月29日消息，大型语言模型（LLM）的使用正在激增，尤其是ChatGPT最近非常火爆，然而由于其太过强大，甚至可以为学生生成论文。正因为如此，现在需要有检测机器生成的文本的系统...
智能设备 2023-01-29 09:49:40 -
论文作弊、网络勒索，智能AI被滥用了吗？
自ChatGPT开放至今，在逻辑与创作能力不断强化升级的同时，也被别有用心之人用于其他用途，就例如“代写学术论文”和“涉嫌网络勒索”——弗曼大学哲学助理教授DarrenHick，就抓获了一个ChatGPT写论文的作弊者，并强调ChatGPT或许会在学生之间引发滥用；英国开放大学荣誉教师MikeSharples在用ChatGPT生成了一段关于“学习风格”的论文，表示这篇文章已经到达了研究生的水平，并担忧用AI作弊的可能性……同时，纽约市教育部门已经禁止在学校设备和网络上访问ChatGPT。除此之外，研究机构CheckPoint还表示，已经有了ChatGPT用于监视键盘、帮助开发勒索软件、创建暗网、生成钓鱼网站的案例...
游戏资讯 2023-01-10 17:54:02 -
教育界担忧学生用ChatGPT代写论文，如何防范
12月19日消息，OpenAI开发的全新人工智能ChatGPT不仅能够聊天，还能够编程、写论文。这不仅引发了技术领域的热潮，也让学术界督促各个大学针对人工智能开发新的学业评估模式，防止学生用人工智能代写论文...
业界动态 2022-12-19 15:29:03 -
马斯克拿推特前安全主管博士论文说事暗示其支持不良信息
12月12日消息，当地时间周六社交媒体推特新首席执行官埃隆·马斯克（ElonMusk）在推文中发布了推特前安全主管约尔·罗斯（YoelRoth）一篇已发表论文的摘录，暗示罗斯支持虐童行为。据悉，本周五晚些时候马斯克参加了一次关于反对虐童信息的推特线上活动，并在周六回复一名参与者的推文时表示，“看起来约尔在他的博士论文中支持儿童能够访问不良网络内容...
业界动态 2022-12-12 13:49:17
