发帖
 找回密码
 立即注册
搜索
4 0 0
日常闲聊 632 4 6 天前
我们内部的开发团队已经在用它了。
虽然我知道内存带宽是个瓶颈,导致这听起来不太划算(不过我觉得这里的并行处理能力,可能是大家还没意识到的一个亮点)

但本地跑AI现在确实挺火,尤其是在微调这块越来越受青睐——你看Llama 3.1的8B模型,微调速度飞快,做快速迭代简直不要太爽。
就问还有没有人跟我一样激动?

──── 0人觉得很赞 ────

使用道具 举报

Mac价格贵了一倍,所以啊,我不是说买Mac啦😅
不,我宁愿花钱买台MacBook
你买了啥呀?
要是都说这玩意儿凉了,那它指定会卖疯了
在一个连斯特里克斯光环都见怪不怪的世界里,这事只能往后推了,难道就不刺激了吗?
我觉得这工具挺牛的,当你觉得必须在本地搞并行处理的时候,它真能顶上,不像其他替代方案那样拉胯。
我的是雷雳(Thunderbolt)接口,反正我不会频繁换显卡模型,所以带宽差异对我来说影响不大。而且雷雳特别方便,想用来打游戏的时候,直接插到我的Windows台式机或者笔记本上就行,随插随用。目前还没把它整合进我家里的系统里。我现在用的是云摄像头和云助手,不过我正打算把这些“云端依赖”全干掉,转向本地化运行。这个过程估计得花好几个月,但我不急,慢慢来呗!至于RTX 6000的兼容性问题,我倒不是很担心。之前我自己写过好几个CUDA内核,有经验在手,真遇到问题也能搞定,大不了多折腾几天,总能跑起来!
他们刚宣布3k的时候,我还挺激动的。结果一出居然是4k,我立马就没兴趣了。再加上关税这些乱七八糟的费用,到我手上都得5k了,这价格就有点离谱了啊。
还不兴奋吗?价格直接把它干掉了。就算一开始那个价,就已经没啥活头了,结果后来还涨价。真不值这个钱。
你用的是啥驱动,还有操作系统是哪个?
你可能会觉得很多麻烦都藏在 Jetson 的后口袋里。我就有一块 Jetson Orin NX 16GB,说实话,对最终用户来说体验真的很差劲。这玩意儿就是个“装好就别动”的边缘设备,主要面向机器人、物联网这类场景设计的。它用的是定制芯片,没有独立显存,操作系统各种开销全得占你那点宝贵的 VRAM,简直寸土寸金。而且在消费端压根没多少人用,生态特别小众。你要做计算机视觉项目,那还行,还算能打。但如果你想跑个 VLLM?呵呵,准备好吧——性能拉胯不说,还得在极其有限的生态里折腾半天,各种问题等着你排查,简直是自找罪受。
兄弟,我可太怀念那些日子了
坚持M5
您需要登录后才可以回帖 立即登录
高级模式