-
谷歌PaLM2训练所用文本数据量是初代的近5倍
5月17日消息，谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示，自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。据悉，谷歌最新发布的PaLM 2能够执行更高级的编程、运算和创意写作任务。内部文件透露，用于训练PaLM 2的token数量有3.6万亿个。所谓的token就是字符串，人们会将训练模型所用文本中的句子、段落进行切分，其中的每个字符串通常被称为token。这是训练大型语言模型的重要组成部分，能教会模型预测序列中接下来会出现哪个单词。谷歌于2022年发布的上一代大型语言模型PaLM在训练中使用了7800亿个token。尽管谷歌一直热衷于展示其在人工智能技术领域的实力，说明如何将人工智能嵌入到搜索引擎、电子邮件、文字处理和电子表格中，但一直不愿公布训练数据的规模或其他细节。微软支持的OpenAI也对最新发布的GPT-4大型语言模型细节保密。两家公司都表示，不披露这些信息的原因是人工智能行业存在激烈竞争。谷歌和OpenAI都想要吸引那些希望使用聊天机器人而不是传统搜索引擎搜索信息的用户。但随着人工智能领域竞争的白热化，研究界要求提高透明度。自推出PaLM 2以来，谷歌一直表示，新模型比之前的大型语言模型更小，这意味着该公司技术在完成更复杂任务时能变得更高效。参数（parameters）通常用于说明语言模型的复杂性。根据内部文件，PaLM 2接受了3400亿个参数的训练，初代的PaLM接受了5400亿个参数的训练。谷歌没有立即发表评论。谷歌在一篇关于PaLM 2的博客文章中表示，新模型使用了一种名为“计算最优缩放”（compute-optimal scaling）的“新技术”，能使得PaLM 2“更高效，整体性能更好，比如推理更快、服务参数更少，服务成本也更低。”在发布PaLM 2时，谷歌透露新模型接受了100种语言的训练，并能胜任各种各样的任务。包括谷歌试验性聊天机器人Bard在内的25项功能和产品用的都是PaLM 2。PaLM 2按参数规模有四个不同的版本，从小到大依次是Gecko（壁虎）、Otter（水獭）、Bison（野牛）和Unicorn（独角兽）。根据谷歌公开披露的信息，PaLM 2比任何现有模型都更强大。Facebook在今年2月份宣布推出名为LLaMA的大型语言模型，其在训练中用了1...
业界动态 2023-05-17 13:33:30 -
OPPO解散3500人芯片团队，雪藏3nm手机SoC，外媒：终于扳回一局
近日，多家媒体报道OPPO解散芯片团队，据悉这家团队名叫ZEKU（哲库），员工高达3500人，业务包括手机SoC、5G、射频、ISP、通信、电源芯片等。这一事件，一度被解读成中国芯片产业的“分水岭”，其标志着中国芯片开始下滑，老美在芯片产业扳回一局。2019年，OPPO官宣3年投500亿造芯，并打造了3500人的团队，先后发布了马里亚纳系列的6nm影像NPU、蓝牙音频 SoC，甚至就在本月初，还招募了壁仞科技的AI负责人孙成坤。此外，据OPPO内部员工透露，公司已经研发出3nm手机SoC，不久后就可以流片。就当大家都认为OPPO造芯一切顺利时，OPPO突然宣布解散芯片团队，这着实算的上国产芯片的一颗惊雷了。为此，外媒直呼：“芯片制裁有了效果，终于赢了一局。”那么问题来了，国产芯片未来出路到底在哪里？中国手机SoC能否卷土重来？OPPO退出芯片研发，有何影响？OPPO自解散芯片团队后，频上热搜，对外影响逐渐扩大，很多网友开始看空国产芯片，对中国芯片前景感到担忧。其实，看空中国芯片无非以下几个观点：1、造芯很难自研芯片是一件耗时、耗力、烧钱的庞大工程，不要以为投个几百亿就想成功，实际上才入门而已。三星够强了吧！旗下拥有三星电子、三星人寿、三星C&T三家世界500强，造出的Exynos（猎户座）曾被苹果采用，但最终还是退出了手机SoC领域。华为够强吧！世界500强前50，5G全球领军企业，智能手机一度超越苹果，麒麟SoC一度超越高通骁龙，但最终因为失去代工，导致无芯可用。如今，OPPO在芯片业务刚有起色时，就选择了壮士断腕，白白损失几百亿，为何？因为继续研发下去，损失更大。对于一个企业而言，研发芯片不是光有钱就可以，性能不过关、没有代工厂、经济下滑、新技术诞生等等任何一个问题就可能导致“造芯失败”。2、赚钱更难很多人认为，芯片作为高科技产业，必然是十分赚钱的，其实并非如此。台积电、高通、苹果依靠芯片过得风生水起，这不代表其他芯片企业就过的好。例如：由于芯片价格下跌，导致三星半导体利润创下10年来最大的降幅；SK海力士下调了80%的资本支出；美光2023年资本支出为70亿美元，同比下降40%。2022年，中国注销、吊销的芯片公司高达5746家，比2021年增长了68%。很多时候，头部企业都感到压力山大，中小芯片企业想要依靠芯片赚钱，更是难上加难。3、冒头就被打压芯片领域最强大的就是美国，其在设备、制造、材料方面的话语权实在太大了。根据相关数据，美、日、荷三国共同把控了91.6%的半导体设备，其中美国占据41...
手机互联 2023-05-17 08:54:20 -
新研究：2035年元宇宙将占到美国GDP的2.4%
5月10日消息，Facebook母公司Meta委托德勤开展的一项研究显示，到2035年，元宇宙将为美国国内生产总值(GDP)贡献7600亿美元，约占总量的2.4%。根据咨询公司德勤的报告，元宇宙概念包括增强现实和虚拟现实技术，可以让用户沉浸在虚拟世界中，或者在现实世界的图像之上叠加显示数字信息...
互联网 2023-05-10 07:23:59 -
华为鲲鹏昇腾AI开发者超350万昇腾AscendC编程语言正式发布
5月6日消息，华为在鲲鹏昇腾开发者峰2023上透露，目前鲲鹏和昇腾AI开发者已经超过350+万，合作伙伴超过5600家，解决方案认证超过15500个，其中openEuler的商业装机量实现指数级增长，实现生态拐点。在此次峰会上，华为全面升级了鲲鹏开发者套件DevKit23.0...
互联网 2023-05-07 12:42:59 -
B站：五一期间向全国用户免费开放3572部纪录片
5月2日消息，B站举办第二届bilibili（以下简称“B站”）纪录片开放周，B站将对外开放3572部纪录片作品，在五一假期期间为全国劳动者和青年人提供丰富、优质的纪录片内容。据介绍，此次开放的片库中，既有《绿色星球》《地球脉动》《浮生一日》等海外经典作品，也包括《河西走廊》《舌尖上的中国第一季》《人间世第一季》等国产口碑作品，还有《人生一串》《众神之地》《人生第二次》等B站出品的作品，涵盖社会、人文、历史、科技、美食、动物等众多领域...
互联网 2023-05-02 11:24:49 -
哈啰租车：五一期间订单环比春节增超七成，预定量同比增5倍
4月26日消息，近日哈啰租车发布五一前瞻数据显示：截至4月20日，五一期间租车订单同比增长超5倍，环比2023年春节假期增长超七成。其中，异地用车订单占比达72%，环比今年春节涨幅达150%...
互联网 2023-04-27 14:55:33 -
微软开源DeepSpeedChat可将训练速度提升15倍以上
《科创板日报》13日讯，当地时间4月12日，微软宣布开源DeepSpeedChat，可帮助用户轻松训练类ChatGPT等大语言模型。DeepSpeedChat基于微软DeepSpeed深度学习优化库开发，具备训练、强化推理等功能，使用RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，并大幅降低成本...
智能设备 2023-04-13 14:56:59 -
推特图标变狗头！马斯克再次“带飞”狗狗币，涨超35%创近半年新高
本报（chinatimes.net.cn）记者赵奕胡金华上海报道4月4日，推特网页Logo从蓝鸟变更为狗狗币表情头像的消息迅速传播，并登上微博热搜。受此消息影响，狗狗币应声大涨，从0.077美元涨至0.102美元，创去年12月以来新高，涨幅一度涨幅超35%...
区块链 2023-04-04 18:47:57 -
PSVR2继续降价！3539元即可到手
近日，PSVR2再次迎来降价，在拼多多百亿补贴专栏价格来到了3539元，相较于上月的底价3588元便宜了近50元，经咨询为国行版本。有入手打算的朋友可以参考一下，不过目前PSVR2游戏阵容还比较少，不着急的玩家可以再等等，顺便再等一波降价...
游戏资讯 2023-04-03 11:25:35 -
华为2022年收入6423亿元净利润356亿元
3月31日消息，华为今日发布2022年年度报告，报告显示，华为整体经营平稳，实现全球销售收入6,423亿人民币，净利润356亿人民币。面向未来，华为持续加大研发投入，2022年研发投入达到1,615亿人民币，占全年收入的25.1%，十年累计投入的研发费用超过9,773亿人民币...
业界动态 2023-03-31 16:54:40 -
三星A14/M135G手机开始推送OneUI5.1正式版
IT之家3月26日消息，三星GalaxyA145G是三星2023年的第一款手机，该设备预装运行基于Android13的OneUI5.0系统。现在，GalaxyA145G已经开始获得OneUI5.1更新，带来更多功能和更高的稳定性...
手机互联 2023-03-26 12:23:46 -
XSX迎来好价：3578元到手
拼多多XSX主机迎来好价，百亿补贴日版到手价3578元，目前为预售，3月26日前发货。目前这个价格比其它平台都要便宜些，感兴趣的玩家可以参考一下...
游戏资讯 2023-03-24 11:08:14
