↩️ 好的，int4要70g显存，cyan终止了思考 打算等int3出来了再尝试

----------------------

CyanNAI | News&New Tech for AI:

私以为，想要训练自己的中文模型，与其微调llama，不如来微调清华的chatglm 仅仅是6b模型，一些基础的prompt引导，就可以实现类似new bing搜索与问答。 不敢想象130b会如何，打算折腾gptq把130b模型跑一个。

----------------------

好的，int4要70g显存，cyan终止了思考
打算等int3出来了再尝试

via CyanNAI | News&New Tech for AI - Telegram Channel (author: |̲̅S̲̅V̲̅I̲̅P̲̅|Cyan)