
纯cpu跑大模型,linux部署deepseek-r170bq4,纯娱乐
最近在自己服务器上部署了下deepseek-r1 70b q4大模型,不过我肯定是没显卡,就用纯cpu来跑,顺便写个简单的教程。 先科普下上面的名词,deepseek-r1是模型参数,最近火爆的deepseek就是这个模型(以及迭代);70...
最近在自己服务器上部署了下deepseek-r1 70b q4大模型,不过我肯定是没显卡,就用纯cpu来跑,顺便写个简单的教程。 先科普下上面的名词,deepseek-r1是模型参数,最近火爆的deepseek就是这个模型(以及迭代);70...