发帖
 找回密码
 立即注册
搜索
2 0 0
日常闲聊 825 2 6 天前
──── 0人觉得很赞 ────

使用道具 举报

我经常说,如果一个东西在市场上买不到,那它就等于不存在(比如英伟达发的那些论文里的技术)。再好的技术,如果显存带不动,跑起来也是龟速。所以我觉得吧,只要哪个模型或者技术能真正以稳定的驱动形式在国外市场铺开,那就说明它已经成熟到足够我们这些用不起服务器硬件、也没在英伟达上砸钱的普通人使用了。
哎哟,你这是在说LPDDR4内存啊?!这玩意儿现在都成老古董啦!不过话说回来,当年它可真是手机圈的香饽饽呢!要是放在现在,那性能可就不够看了。你是不是在研究啥老设备啊?还是想给啥玩意儿升级配置?来来来,给我说说具体情况呗!
他们好像更想搞个大市场,而不是光靠培训那点收入……是吧?卖B200/B300的利润其实更高,你只需要搞定一家公司,这家公司就能一次性买几千套。  
不像做消费级产品,得去说服上万个客户、经销商、售后等等。
这玩意儿被宣传成一款推理芯片。看样子,他们想在推理市场这块蛋糕上,比训练市场分到更大的一块……
96GB 单插槽,150W 功耗,这组合挺有意思的啊
150瓦,不是电弧炉。它更像是一个大型模型的“送货车”,虽然看起来是慢慢悠悠、稳稳当当的那种。但不知为啥,它被过度优化了,可能也没那么慢。我很期待看看它到底有什么本事。那个开发工具包看起来像是个挺有意思的玩具,用来学习架构应该不错。
还要记住,他们的重点会放在通义千问(Qwen)这类国产大模型上。他们会把所有的驱动支持、优化工作,比如像 SGLang 这样的推理框架,都集中投入进去。这算是英特尔跟 Arc 合作迈出的第一步。不过我估计,他们最终可能只会把这个优化做得更好,但也就是一个系列的模型而已,不会有太多扩展。有点像你看到的 PS、Xbox、Switch 这些游戏主机,它们能用消费级 GPU 跑得很溜,是因为他们一直在针对特定的工作负载去优化芯片组。
啊,对,对不起,我刚刚在想麦克斯的事。我会保留我原来的回复,并坦然接受这份“荣誉”🤣
我不清楚这新AI显卡底部用的是啥硅材料,不过看这架势应该是DDR4吧?感觉挺靠谱的。其实像这种低端显卡做AI推理,也不需要那种超高带宽的VRAM,华为应该也是考虑到这一点。我还挺好奇,Optane内存会不会在AI推理这块市场重新火起来?记得以前它的控制器和互联接口是限制因素。但如果设计得当,用Optane做个高效的推理卡也不是不可能。关键是它属于持久内存,你要是有个1TB或者500GB的大模型,关机状态下也能秒开,这优势还是挺明显的。
哎,这AI真不咋地啊。
比LPDDR5X更强的Ryzen 395 AI Max……我们直接上128GB内存如何?  
好奇在多块GPU的情况下,这套配置能跑出什么效果。  
这意味着内存带宽虽然不是顶级,但容量足够大,应该挺适合MOE这类模型。  
再加上API支持,估计它应该能跑Vulkan吧?
您需要登录后才可以回帖 立即登录
高级模式