最近我在学一些机器学习和AI相关的Coursera课程,一边学一边琢磨自己到底想要什么,也想搞清楚在家里本地运行大语言模型(LLMs)需要什么样的配置才划算。
我有个想法:如果有一个家庭级的GPU共享池,我每天可以拿出8小时的GPU时间来贡献(尤其是在电价便宜的时段),等我睡觉的时候,别人也在他们的空闲时段为我提供算力,这样大家都能受益。
虽然我能想到这中间可能会有很多问题,但我也好奇,有没有比我想得更明白的人,能设计出一个可行的GPU资源共享机制?
这个想法目前还只是灵光一现。但通过集中资源,特别是在家庭用户闲置、电价又便宜的时候统一调度,也许可以让整个池子里的人都有机会运行更大的语言模型。
|