4090 跑deepseek-r1:70b 一个简单的问题思考23分钟,还答非所问.

奧巴马

写过年喜庆对联.

低价vps大全

pykane 发表于 2025-1-30 13:16
多学习一下开源吧。
Deepseek 有论文，有代码。
什么时开源，用提供的论文和代码，可以复现。这才是真正 ...

多学习一下开源吧。
你这个数据集就是llama, 只不过你改进了下。
等于你用你的炒菜技术和调料，把别人的菜给炒了。

它这个开源就是假的，菜是qwen和llama的。 只有它的网页版才是真的它自己的菜（openai说它偷了），偷不偷先不说，起码是它自己的，开源的这些都是它炒别人的菜拿给你了，当然确实加了调料改进了下。

低价vps大全

跑起来也没用啊， deepseek开源的都是假的，你这个本质还是llama, 标题都是DeepSeek-R1-Distill-Llama-70B


跟deepseek网页版完全不是一个东西， 而不仅是参数大小不同。。

奧巴马

低价vps大全 发表于 2025-1-30 12:59
跑起来也没用啊， deepseek开源的都是假的，你这个本质还是llama, 标题都是DeepSeek-R1-Distill-Llama-70B
...

那个671B 好像不是.
他的主要贡献是https://github.com/deepseek-ai/DeepSeek-MoE 这个训练算法吧.

yjx79802

70B 爆显存了，32B我在4090跑就吃了19G显存，你怎么跑起来的70B。

奧巴马

yjx79802 发表于 2025-1-30 13:06
70B 爆显存了，32B我在4090跑就吃了19G显存，你怎么跑起来的70B。

设置共享内存.你跑671B都可以.只不过.可能需要一天时间来思考.

pykane

低价vps大全 发表于 2025-1-30 12:59
跑起来也没用啊， deepseek开源的都是假的，你这个本质还是llama, 标题都是DeepSeek-R1-Distill-Llama-70B
...

多学习一下开源吧。
Deepseek 有论文，有代码。
什么时开源，用提供的论文和代码，可以复现。这才是真正的开源。


在 Mac mini 24G 跑14B 速度没问题，32B 有一些吃力。
更大的模型，可以用多个机器分切运行组成一个。

DogeLee2

32b差不多了
其实真不如直接玩api

奧巴马

奧巴马 发表于 2025-1-30 13:11
设置共享内存.你跑671B都可以.只不过.可能需要一天时间来思考.

Loc mjj不是说已经干翻o1了吗？我准备用公司的8卡h100 架设试试！

奧巴马

pykane 发表于 2025-1-30 13:16
多学习一下开源吧。
Deepseek 有论文，有代码。
什么时开源，用提供的论文和代码，可以复现。这才是真正 ...

我看了看代码，没有什值得关注的东西。论文也只是口上说！没人实际操作过，我准备用公司资源复现，如果真可以，可以给公司创造价值！