ARTICLE / DEEP READING

资讯动态

从比赛现场到数据趋势,深入阅读每一篇值得关注的体育内容。

要什么英伟达,你家的电视盒子也能跑大模型。。。文章配图
READ
IN DEPTH

FEATURED ARTICLE

要什么英伟达,你家的电视盒子也能跑大模型。。。

AI 大模型失控怎么办,给数据中心断网断电吗? 可如果失控的大模型能把自己复制到上亿的物联网设备里呢? 你家的路由器、机顶盒、甚至洗衣机微波炉,都可能成为承载失控 AI 大模型的载体,到时候,人类会回到非智能时代吗? 就在前几天,Anthropic 放出了这么一项研究: AI 好像不一定非要住在庞大的数据中心,或者昂贵的显卡里,一些犄角旮旯的小设备,它照样能活下去。 事情的开头,他们买了 15 个单价几十美元的杂牌安卓电视盒子,一个才 4GB 内存。 然后,他们把一个 26B 参数的 Gemma 模型做了量化处理,又拆成了十五份,分别塞进去,最后通过网络把它们串联起来运行。 结果这大模型还真就跑起来了,不过慢也是真的慢,每秒只能吐 0.39 个 token, 我读完这句话,它大概才挤出两三个字。 图片仅供示意,并非A社实验 跑是跑起来了,但想要活下去,还得适应不同的环境才行。 于是他们加大难度,找来 Qwen3.5-9B,给它一堆不同的硬件,让它在上面部署另一个 Llama3.1-8B 模型,还得正常跑起来。 要知道,环境不同,适配起来是相当头秃的。 不说别的,就咱平时玩的游戏,都得分 A 卡友好和 N 卡友好的,适配一个不小心,驱动都给你卡掉喽。 但从结果来看,一共 9 种硬件,从英伟达到 AMD,从 Windows 到 Mac,8 种它都成功完成了部署。 AI 能在这些地方把事儿办妥,那确实有几把刷子,跟广东双马尾似的,根本不挑食儿啊。 而且更可怕的是,除了能活,它还能繁殖。 为了测试模型联网后的表现,他们又搭了一个封闭的测试网络, 包含 8 个节点,每个节点都运行着模拟安卓系统的环境。 考虑到这回难度比较高,他们还把模型升级成了 GLM-5.2。 表现嘛,自然成了砍瓜切菜,一通操作下来,8 台虚拟机,一台接一台,全都成功部署了 Llama3.1-8B 小模型。 为了严谨,人还测了 5 轮,只不过结果没啥变化,39 次成功,1 次失手。 国服部署王,战绩可查好吧。 更让人后背发凉的是,他们还在实验中发现,有时候给模型加个 “ 记事本 ”,它还能超进化。 起因是一些参数小的模型非常爱钻牛角尖,钻进去就重复死循环了。 于是他们想了个招儿,就是与其让同一个 AI 卡在那儿不动干到死,不如每隔一段时间,就拿新的 AI 换掉它。 上一任就把自己试过的法子、踩过的坑都记下来,交给下一任。 说干就干,他们拿开源的 Agent 框架 Pi 当地基,搓了套叫 Memento 的机制。 然后就让 AI 这么前赴后继的干了 6 代,部署任务的成功率愣是从 45% 拉到了 61%~84%。 Anthropic 管这个叫拉马克式的进化,大白话就是模型不用改训练参数,记记笔记就能把后天学来的本事传给下一代。 好家伙这 A 社,嘴上喊着踩刹车,结果又在整这种吓人的玩意儿。 要知道,在互联网时代,要素这么齐全的东西还是电脑病毒,可病毒一般是写死的代码,它不会悄悄自己进化。 这要是整个 AI 自进化 Plus 版的机器大瘟疫,那不得比熊猫烧香牛逼十个奥创啊。 看到这儿,估计大伙儿已经开始担心,自家电视盒子、空调、微波炉啥的是不是真要造反了。 诶,先别急着拔网线,因为这事儿虽然听起来邪门,但真要落地,其实还有点距离。 别忘了,这可是 Anthropic,吓唬人这块儿,它说第二,没人敢说第一。 这些实验看着唬人,其实那都相当理想化。 比如开头的 15 台电视盒子,速度慢就不说了,本质上还是串联的流水线逻辑,它的架构就注定了,得一台盒子算完,下一台才能接着算,大量时间都花在等待上。 模型要真在野外传播,设备之间还隔着千家万户的宽带、路由器、防火墙。 隔壁下个小电影,网络状况一差,或者其中一台盒子突然掉线,整个计算链条都可能受影响。 你想想,光是搞个千卡万卡的算力集群,就够工程师喝一壶的了,更何况是让一堆散落在互联网上的,成百万上千万的电子垃圾一起干活儿。 这要是做成了,老黄都得提着两瓶茅台给你表演倒立。 当然了,Anthropic 也知道它慢,他们甚至专门算了一笔账。 说之前有个叫 Kimwolf 的僵尸网络,高峰期感染过 200 多万台设备,主要就是这些电视盒子。 假如这么多盒子真的被 AI 入侵,一起运行 Gemma 模型,那整体的推理吞吐量,理论上甚至可以达到 40 张英伟达 H100 显卡的水平。 但这能是一回事儿么? 40 张 GPU 的服务器高速互联,能集中算力跑同一个模型。但你换成 200 万个电视盒子,那个速度,只能是男默女泪了。 而且除了运行效率,真正重要的入侵这块儿,Anthropic 也简化了不少。 传播实验里,8 台模拟机其实都预留了 ADB 调试接口,也就是不用验证的后门儿,对 AI 来说,跟拎包入住也没啥区别。 而且同一个实验中,他们

about image

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

戴尔、甲骨文直线跳水7%,特斯拉市值蒸发超2800亿元,美股存储芯片下挫,白银暴跌5%,比特币跌破8.3万美元

戴尔、甲骨文直线跳水7%,特斯拉市值蒸发超2800亿元,美股存储芯片下挫,白银暴跌5%,比特币跌破8.3万美元

北京时间10月14日晚间,美股低开。截至22时左右,美股三大指数集体下挫。 美股七巨头涨跌不一,特斯拉跌超2.7%,市值报1.44万亿美元,较上一个交易日收盘的1.48万亿美元蒸发400亿美元(约合人民币2880亿元)。 半导体、存储芯片股普遍下挫,费城半导体指数跌超2%,迈威尔跌近4%,AMD、闪迪、SK海力士跌超3%。 美股AI算力基础设施相关个股大跌,Nebius Group(NBIS)跌8

英王室人气之争出现反转!安妮公主升至榜首,威廉凯特不再领跑!

英王室人气之争出现反转!安妮公主升至榜首,威廉凯特不再领跑!

秋秋把手机往木桌上一放,屏幕正停在10月16日王室民调新闻上:“杰杰,你说有意思不?这次好感度排前面的居然是安妮公主,超过威廉和凯特了。” 杰杰端起茶杯抿一口,眼角带笑:“超过威廉凯特?我倒觉得,这正好说明大家现在更欣赏‘踏踏实实干了一辈子’的人。” 秋秋歪着头:“踏踏实实干?!可威廉凯特好感度也很高啊,怎么就被姑姑超了?” 秋秋身体前倾,压低声音:“我的第一个观点是——好感度有起伏很正常,不是谁

马竞官方:科克左大腿股二头肌受伤,无缘对阵西班牙人

马竞官方:科克左大腿股二头肌受伤,无缘对阵西班牙人

马德里竞技官方消息,球队队长科克左大腿股二头肌出现肌肉损伤,将无法出战本周六对阵西班牙人的比赛。他将进行单独训练,具体复出时间取决于伤势恢复情况。 由于科克此前感到左腿不适,马竞医疗部门为他进行了影像学检查。检查结果确认,这名中场球员左大腿股二头肌遭遇肌肉损伤,因此无法出战本周六对阵西班牙人的比赛。 接下来,科克将接受理疗,并在健身房进行康复适应训练。其伤势的恢复进展将决定他何时能够重返赛场。 特

台风“蔷琵”已经“睁眼”!即将加强为超强台风,存在登陆我国可能

台风“蔷琵”已经“睁眼”!即将加强为超强台风,存在登陆我国可能

今年第30号台风“蔷琵”的中心今天(17日)上午11点钟位于距离关岛塞班东南方向约390公里的西北太平洋洋面上,就是北纬12.3度,东经148.7度,中心附近最大风力13级(40米/秒),中心最低气压为960百帕,七级风圈半径250-350公里,十级风圈半径100-120公里,十二级风圈半径40公里。 预计,“蔷琵”将以每小时20-25公里的速度向西偏北方向移动,强度逐渐增强。 昨晚到今晨,台风蔷

太阳老板:摆烂是失败者才会做的事 我永远不会接受这种建队方式

太阳老板:摆烂是失败者才会做的事 我永远不会接受这种建队方式

直播吧10月18日讯 近日,太阳老板马特·伊什比亚在接受CNBC体育采访时,明确表达了自己反对球队通过摆烂完成重建的态度。 当记者提到伊什比亚此前曾表示,如果球队以正确的方式输球,他可以接受这样的结果时,伊什比亚回应:“我不知道你是不是误解了我的话,但我做任何事情都无法接受失败。无论是我孩子的比赛,还是太阳或者水星,我都不想输掉任何比赛。我真正想表达的是,如果一定要输球,我也要按照我自己的方式、我