有没有什么办法可以让一群人通过网络共享 GPU 资源?
最近我在学一些机器学习和AI相关的Coursera课程,一边学一边琢磨自己到底想要什么,也想搞清楚在家里本地运行大语言模型(LLMs)需要什么样的配置才划算。我有个想法:如果有一个家庭级的GPU共享池,我每天可以拿出8小时的GPU时间来贡献(尤其是在电价便宜的时段),等我睡觉的时候,别人也在他们的空闲时段为我提供算力,这样大家都能受益。
虽然我能想到这中间可能会有很多问题,但我也好奇,有没有比我想得更明白的人,能设计出一个可行的GPU资源共享机制?
这个想法目前还只是灵光一现。但通过集中资源,特别是在家庭用户闲置、电价又便宜的时候统一调度,也许可以让整个池子里的人都有机会运行更大的语言模型。
不过这项技术可能离我突然想到的那个点子更近了一步,所以我打算先看看再说。 这玩意儿我也不太懂,但感觉挺有意思的。 好的,那我就用更口语、更接地气的方式,重新表达这段话,同时保留换行格式。来,咱们开始:你要是懂技术,又对 AI 感兴趣,
那咱俩简直就是同道中人!技术这玩意儿吧,
不光是敲代码、调参数,
更重要的是理解它背后的逻辑,
还有它能干啥、不能干啥。AI 就更不用说了,
现在发展得飞快,
从大模型到小应用,
到处都是新鲜玩意儿。咱作为技术人,
不光要看热闹,还得看门道。
一起聊聊、一起学,
说不定哪天咱也能搞出点啥新玩意儿!要是你有具体内容想让我“接地气”一下,也可以贴出来,我来给你重新唠一遍 😎 有意思啊!你这个想法挺有创意的。你可以去了解一下像 Folding @ Home 这样的项目,它们用的是分布式计算模型,主要是为了科学研究服务的。虽然跟你描述的不完全一样,但这种资源共享的思路,其实对搭建一个去中心化的 GPU 网络是有参考价值的。另外,现在也有一些基于区块链技术的去中心化云平台,可能会提供一些可行的解决方案。这类系统通常通过智能合约来保障资源的安全共享,也能确保大家公平使用资源。值得一看看! runpod有个“社区云”项目,说白了就是把个人的GPU算力提供者和需要算力的人直接对接,搞了个P2P的GPU租赁平台。他们收每小时22美分的费用,让人用别人家的3090显卡跑任务。现在这个服务还是邀请制——也难怪,毕竟这种模式很容易出骗子,只有搞邀请才能控制点风险。 这玩意儿有点复杂,不过它能让你在多个节点上用 NVIDIA 显卡跑任务。我自己也还在摸索,得多花点时间研究。如果你想搞定它,建议看看官方文档,再去对应的社区里问问题。反正它不像搭个单机版的 Ollama 服务那么简单就是了。 谢谢啦,我准备在家看看垫子是怎么折叠的。也希望大家都能看到这个,一起研究研究! 这听起来挺有意思的,你能访问其他GPU吗(就是你之前说的那些数量的)? 你把 Ollama 装在哪台机器上,就把那台机器的 IP 地址或者网址分享给局域网里的其他人,他们就能访问了。 我的意思是,vLLM 理论上做的正是你在 OP 里提的需求。只要你配置好了,想什么时候启动、关闭都可以,完全由你掌控。这也符合你提到的“按需运行”的要求。 我突然想到一个想法,想跟你们聊聊。就是设想一个协议或者软件,大家可以一起用,有点像 BitTorrent 的那种追踪器机制,但不是基于个人的。我这会儿只是随便提提,想问问这个想法在技术上能不能实现。 想法挺妙但难搞哦 vLLM 是一个专注于高效运行大型语言模型(LLM)的框架。
它通过一些优化技术,比如分页管理显存、批处理请求、还有并行计算,
让推理速度变得更快,资源利用也更高效。
如果你在部署像 GPT 这种大模型,并且想在不牺牲性能的前提下提升吞吐量,
那 vLLM 是一个非常值得考虑的选择。
页:
[1]