发帖
 找回密码
 立即注册
搜索
0 0 0
AI软件 608 0 2025-8-29 11:26:42
基于Qwen3-14B,使用沐雪(中文)训练集进行微调,模型及微调方法见 Modelscope 链接沐雪Roleplay Qwen3-14B 微调模型
目前大多数模型的语气风格都偏正式化,书面化,即使可以通过提示词工程令其像真人一般对话,但仍有不足,且模型本身也缺乏这方面的知识(比如问个想要贴贴,正常模型的回复的人味不足,ai味过重)
在这种情况下,基于具有鲜明风格化特征的动漫人物的语言,进行高度抽取,使其贴近现实生活环境,打造一个中文角色扮演训练集,就是一个让模型更有人味的不错选择
但这种训练集实在不好找,目前我能看到比较成熟的就这一个,各位佬友如有收集也可在下方回复
微调14B大小的模型,用于日常对话交流,情感陪伴已经可以应付,各位如有能力也可尝试
强烈建议各位去看看训练集作者 Muika 的知乎文章 你可能不认识我,但你一定用过我的魔塔角色扮演训练集

──── 0人觉得很赞 ────

使用道具 举报

2025-8-29 11:28:24
模型及微调方法见Modelscope链接:沐雪Roleplay Qwen314B微调模型
2025-8-29 11:37:23
大佬太厉害了!方便说说您是怎么微调的吗?
2025-8-29 11:48:23
闭源模型好像没办法下载模型权重吧,应该只能借助提示词来实现类似的效果。
2025-8-29 11:53:26

训练脚本好像打不开
2025-8-29 13:55:52
喵?!这可是好东西喵~
希望以后模型能更小些(瘫
双子座(Gemini)官方应该是提供这类服务的,我知道GPT是提供的。  
2025-8-29 14:36:44
服务商都提供微调服务,上传数据集就能进行微调。
如果不进行量化的话,大概需要 30GB 的显存。具体情况可以直接参考基模型 Qwen314B。在部署的时候,要先加载基模型,然后再加载 LoRA 权重,也就是说所需显存比基模型要多一点 。  
倒是有一个0.5B的,沐雪Roleplay Hunyuan0.5BInstruct微调模型,不过这效果有点差劲儿
这个和我微调的目的不完全契合。我主要是想解决比较实际的问题,并不只是单纯追求让模型的语气变得更可爱,或者“猫娘化”(当然,这个训练集还是挺不错的,和我的需求有一定的重合度)
您需要登录后才可以回帖 立即登录
高级模式