发帖
 找回密码
 立即注册
搜索
0 0 0
快问快答 339 0 6 小时前
最近我在学一些机器学习和AI相关的Coursera课程,一边学一边琢磨自己到底想要什么,也想搞清楚在家里本地运行大语言模型(LLMs)需要什么样的配置才划算。

我有个想法:如果有一个家庭级的GPU共享池,我每天可以拿出8小时的GPU时间来贡献(尤其是在电价便宜的时段),等我睡觉的时候,别人也在他们的空闲时段为我提供算力,这样大家都能受益。

虽然我能想到这中间可能会有很多问题,但我也好奇,有没有比我想得更明白的人,能设计出一个可行的GPU资源共享机制?

这个想法目前还只是灵光一现。但通过集中资源,特别是在家庭用户闲置、电价又便宜的时候统一调度,也许可以让整个池子里的人都有机会运行更大的语言模型。

──── 0人觉得很赞 ────

使用道具 举报

不过这项技术可能离我突然想到的那个点子更近了一步,所以我打算先看看再说。
这玩意儿我也不太懂,但感觉挺有意思的。
好的,那我就用更口语、更接地气的方式,重新表达这段话,同时保留换行格式。来,咱们开始:你要是懂技术,又对 AI 感兴趣,  
那咱俩简直就是同道中人!  技术这玩意儿吧,  
不光是敲代码、调参数,  
更重要的是理解它背后的逻辑,  
还有它能干啥、不能干啥。  AI 就更不用说了,  
现在发展得飞快,  
从大模型到小应用,  
到处都是新鲜玩意儿。  咱作为技术人,  
不光要看热闹,还得看门道。  
一起聊聊、一起学,  
说不定哪天咱也能搞出点啥新玩意儿!要是你有具体内容想让我“接地气”一下,也可以贴出来,我来给你重新唠一遍 😎
有意思啊!你这个想法挺有创意的。你可以去了解一下像 Folding @ Home 这样的项目,它们用的是分布式计算模型,主要是为了科学研究服务的。虽然跟你描述的不完全一样,但这种资源共享的思路,其实对搭建一个去中心化的 GPU 网络是有参考价值的。另外,现在也有一些基于区块链技术的去中心化云平台,可能会提供一些可行的解决方案。这类系统通常通过智能合约来保障资源的安全共享,也能确保大家公平使用资源。值得一看看!
runpod有个“社区云”项目,说白了就是把个人的GPU算力提供者和需要算力的人直接对接,搞了个P2P的GPU租赁平台。他们收每小时22美分的费用,让人用别人家的3090显卡跑任务。现在这个服务还是邀请制——也难怪,毕竟这种模式很容易出骗子,只有搞邀请才能控制点风险。
您需要登录后才可以回帖 立即登录
高级模式