2024年组一台256GB内存的电脑怎么充分利用？

主题：2024年组一台256GB内存的电脑怎么充分利用？

正序浏览

主题图片汇总

主题内检索

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-03-21 06:10

手头有一台支持8个DDR4内存槽，并且最大支持256GB内存的旧机器。
有机会把内存配置到最大256GB。
但我目前并没有大内存需求的应用。
可以用到最大负载就是Lightroom。

是不是设置内存盘使用比较好？有什么具体的操作可以充分利用这台大内存电脑吗？

目前已经降级为192GB内存了。

------------ 实测发现我目前的确用不到大容量内存---------
使用内存虚拟磁盘对我做的任务性能也改善不多。
目前瓶颈在GPU。
---------------------------------------------------------------------
再次降级到24GB内存。

登录后可直接显示原图

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 1 帖

浏览：2489 回帖：75

游客没有回帖权限

tjbandeng

泡菜

泡网分: 4.631

主题: 19

帖子: 2115

2024-05-04 23:46

果然是服务器U，进帖前还想着家用的U最多192G内存，咋还整出个256G

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 76 帖

北龙001

泡菜

泡网分: 0.039

主题: 1

帖子: 14

2024-05-02 00:38

A卡有啊

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广东省

第 75 帖

Trompette

泡菜

泡网分: 1.55

主题: 3

帖子: 1507

2024-04-26 07:44

duoduobear 发表于 2024-04-25 23:24
900GB内存不是问题，花钱就能买到。但900GB内存装在一台机器里，现在是不是很难？
现在Dell Precision 7960 最大可以支持4TB内存，需要256GB的内存条16个。现在能买到256GB的内存条吗？
组1TB内存的话需要16个64...

7960 是双U的，内存最大支持 4T
如只要2T， 5860 / 7865 / 7875 这种单U 的工作站即可

256G DDR5 ECC-RDIMM 4800 条，DELL官方近12万一条
闲鱼目前，5860 裸工作站近1万，256G RDIMM 近2万x16，CPU留2万，SSD/HDD留1万
拼一台 2T 纯 CPU 的 AI工作站差不多20万（10年后可以捡垃圾），去N家还不够买一张 80G 的 H100

专业使用绝对不合适，性能非常差。对不赶时间的个人推理，其实还不错
等到 CPU 带 NPU 就真无敌了。。。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

上海

第 74 帖

ChK

陈年泡菜

泡网分: 51.459

主题: 21

帖子: 12485

2024-04-25 23:42

Trompette 发表于 2024-04-25 19:32
充分利用的机会来了
刚出炉的 Arctic 开源大模型，INT4 量化后需要240G 内存
载入本尊 FP16 版需要 900G 内存，大家都闭嘴了。。。

刚看了一下，大概就是用空间换算力，训练成本下降了，应用成本上升了，至少不是给单卡小作坊用的

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

北京

第 73 帖

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-04-25 23:24

Trompette 发表于 2024-04-25 19:32
充分利用的机会来了
刚出炉的 Arctic 开源大模型，INT4 量化后需要240G 内存
载入本尊 FP16 版需要 900G 内存，大家都闭嘴了。。。

900GB内存不是问题，花钱就能买到。但900GB内存装在一台机器里，现在是不是很难？
现在Dell Precision 7960 最大可以支持4TB内存，需要256GB的内存条16个。现在能买到256GB的内存条吗？
组1TB内存的话需要16个64GB DDR5内存条。这个或许可以买到。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 72 帖

Trompette

泡菜

泡网分: 1.55

主题: 3

帖子: 1507

2024-04-25 19:32

充分利用的机会来了
刚出炉的 Arctic 开源大模型，INT4 量化后需要240G 内存

载入本尊 FP16 版需要 900G 内存，大家都闭嘴了。。。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

上海

第 71 帖

云门光影

资深泡菜

泡网分: 18.069

主题: 68

帖子: 10432

2024-04-16 12:15

弄个RAMDISK,内存当硬盘用，速度飞快。就是要注意备份，断电就丢

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

山东省

第 70 帖

Trompette

泡菜

泡网分: 1.55

主题: 3

帖子: 1507

2024-04-15 11:30

alchen 发表于 2024-04-15 10:48
模型放在显卡上，显存少了，一些个模型根本跑不起来，p40因为有24g显存所以可以跑一些个比较大的模型，虽然速度上不算很快。但确实还有需要在多个80g显卡上跑的开源大语言模型，这些模型就玩不了了。如果从根本上自己训练，3090和4090很有必要，如果是...

Intel 和 AMD 已经开始往下一代 U 里塞 NPU
虽然速度比不了原生N卡，但在纯CPU基础上翻几倍不成问题
尤其是内存容量不再受限，简直是天大好消息

将来趋势，N卡还是以出色绝对性能和能效比占据专业领域
个人玩家如果对推理性能不敏感，很快就有其他替代方案，就怕到时候连带内存条子疯涨

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

上海

第 69 帖

ChK

陈年泡菜

泡网分: 51.459

主题: 21

帖子: 12485

2024-04-15 11:12

alchen 发表于 2024-04-15 10:48
模型放在显卡上，显存少了，一些个模型根本跑不起来，p40因为有24g显存所以可以跑一些个比较大的模型，虽然速度上不算很快。但确实还有需要在多个80g显卡上跑的开源大语言模型，这些模型就玩不了了。如果从根本上自己训练，3090和4090很有必要，如果是...

新电脑不好配，真需要的话，捡个二手的用用还是很好的。
软件和硬件厂家，总是在联手推动硬件的升级，没有需求，就给你制造需求，就看你到时是否跟进

不过，从发展来看，我觉得PC机也许会和专业相机一样，演变成生产力工具，而不是目前很大比例用的家庭娱乐的工具。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

北京

第 68 帖

alchen

老坛泡菜

泡网分: 32.784

主题: 57

帖子: 4000

2024-04-15 10:48

模型放在显卡上，显存少了，一些个模型根本跑不起来，p40因为有24g显存所以可以跑一些个比较大的模型，虽然速度上不算很快。但确实还有需要在多个80g显卡上跑的开源大语言模型，这些模型就玩不了了。如果从根本上自己训练，3090和4090很有必要，如果是用别人训练好的模型进行推理，或者只是基于别人的已有的模型做小的调整，p40是可用的。
现阶段不好配电脑，因为不清楚需要多大显存模型会在pc上流行起来，这就象买了块显卡，这块显卡却玩不好想玩的游戏，会比较尴尬。8g,11g,16g,24g,80g...不知道哪个会流行起来。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

四川省

第 67 帖

ChK

陈年泡菜

泡网分: 51.459

主题: 21

帖子: 12485

2024-04-14 16:36

duoduobear 发表于 2024-04-14 13:30
显存占用到23GB是因为P40有24GB显存吧？如果P40有48GB显存，会不会也被用满？
如果显存需要超过显卡显存数量，共享显存可以用得上吗？

显存需求与模型参数量、图片大小都有关系。
至于是不是能用共享显存或内存，要看模型算法的设计，但是，如果扩展到内存中的那部分数据需要高频地与显存进行数据交换，那些瓶颈必然会出现在这个交换带宽上，这时性能会有几倍甚至10倍以上的差别（看模型数据拆分的情况，总之是要尽量降低数据交换的次数），基本上迫不得已是不会这样使用的。
我那个模型是正好卡着显存极限来跑的，如果只有12显存，那么图片只能有2000左右的大小，如果有48G，可能会接近5000点。实际上我的原图是比3200*3200要大的，但也只能先按这个尺寸跑出MASK，再插值到原图的尺寸。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

北京

第 66 帖

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-04-14 13:30

ChK 发表于 2024-04-13 22:59
大显存，在很多时候就是刚需，那些开源大模型就不用说了
我最近用UNET模型来批量处理背景，P40能处理3200*3200分辨率的图，显存占用将近23GB，以前用1080时，这是根本不可能的任务

显存占用到23GB是因为P40有24GB显存吧？如果P40有48GB显存，会不会也被用满？
如果显存需要超过显卡显存数量，共享显存可以用得上吗？

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 65 帖

ChK

陈年泡菜

泡网分: 51.459

主题: 21

帖子: 12485

2024-04-13 22:59

Trompette 发表于 2024-04-13 19:45
FP32 （P40 和 2080Ti 性能差不多）主要用在照片处理和神经网络训练
FP16，INT8 （P40没有张量核，比2080Ti 差很多）多用在推理
集显搭配 P40 性价比确实无敌

大显存，在很多时候就是刚需，那些开源大模型就不用说了
我最近用UNET模型来批量处理背景，P40能处理3200*3200分辨率的图，显存占用将近23GB，以前用1080时，这是根本不可能的任务

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

北京

第 64 帖

ChK

陈年泡菜

泡网分: 51.459

主题: 21

帖子: 12485

2024-04-13 22:53

alchen 发表于 2024-04-13 17:56
800买p40确实赚了，内存够大很多模型都可以来实践，自己训练慢了点也不是不能接受的。1080ti和p40最大问题fp16。单比fp32，p40肯定赚。
我有1块1080和两块p40，但依然对3090和4090流哈喇子。

我前两三个月买的，后来想再买一块，结果那家店没货了，想着等等看，结果涨到1000左右，也就暂时没再关注，今天去看了下，已涨到1300，后悔中...

P40我是买来替换1060的，另外还买了一块2080 22G的改装版装到另一台没有核显的机子上替换1080
用来训练UNET网络，结果发现就算打开混合精度的选项，2080也没比P40快，真是郁闷了，怀疑是有地方没配置好，反正都能用，就没细究了

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

北京

第 63 帖

Trompette

泡菜

泡网分: 1.55

主题: 3

帖子: 1507

2024-04-13 19:45

alchen 发表于 2024-04-13 17:56
800买p40确实赚了，内存够大很多模型都可以来实践，自己训练慢了点也不是不能接受的。1080ti和p40最大问题fp16。单比fp32，p40肯定赚。
我有1块1080和两块p40，但依然对3090和4090流哈喇子。

FP32 （P40 和 2080Ti 性能差不多）主要用在照片处理和神经网络训练
FP16，INT8 （P40没有张量核，比2080Ti 差很多）多用在推理

集显搭配 P40 性价比确实无敌

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

浙江省

第 62 帖

alchen

老坛泡菜

泡网分: 32.784

主题: 57

帖子: 4000

2024-04-13 17:56

ChK 发表于 2024-04-13 16:26
特斯拉P40 24GB显存，相当于1080TI的算力，比1080TI还便宜，我买的时候才800多，买不了吃亏，买不了上当，我用来跑那些开源的大语言模型，作为学习是完全可用的，甚至做低端生产力工具也可以。没必要一开口就4090啊。
做各种YOLO UN...

800买p40确实赚了，内存够大很多模型都可以来实践，自己训练慢了点也不是不能接受的。1080ti和p40最大问题fp16。单比fp32，p40肯定赚。
我有1块1080和两块p40，但依然对3090和4090流哈喇子。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

四川省

第 61 帖

ChK

陈年泡菜

泡网分: 51.459

主题: 21

帖子: 12485

2024-04-13 16:26

alchen 发表于 2024-04-13 15:05
如果你想自己实践一些个AI方面的东西，3090或4090有必要，哪怕只是拿别人的模型来用。当然如果只是自己打游戏用不到这样的gpu，常规的图片处理甚至视频处理都不需要太好的gpu,office这些个应用软件更没有必要。
目前的问题是到底多大的模型会被...

特斯拉P40 24GB显存，相当于1080TI的算力，比1080TI还便宜，我买的时候才800多，买不了吃亏，买不了上当，我用来跑那些开源的大语言模型，作为学习是完全可用的，甚至做低端生产力工具也可以。没必要一开口就4090啊。
做各种YOLO UNET之类的训练也是可以的，关键是显存大，可以用大的batch size参数，比那些算力更高但只有一半显存的显卡好用多了。
至于超过24GB的显存，短期内也不是个人玩票的方向，真有需求那也会有资金支持了。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

北京

第 60 帖

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-04-13 16:03

shpng 发表于 2024-04-13 15:28
老问题了
服务器线程多尔频率低，不适合桌面应用，功耗高
估计主频不到2.5Ghz
笔记本轻松到4以上吧

Xeon E5-1650 V4是一个单路老处理器，主频3.6Hz。140W

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 59 帖

shpng

泡菜

泡网分: 3.648

主题: 96

帖子: 2233

年内主力装备

Canon EOS R8

2024-04-13 15:28

老问题了
服务器线程多尔频率低，不适合桌面应用，功耗高
估计主频不到2.5Ghz
笔记本轻松到4以上吧

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

江苏省

第 58 帖

alchen

老坛泡菜

泡网分: 32.784

主题: 57

帖子: 4000

2024-04-13 15:05

duoduobear 发表于 2024-04-13 00:49
实测发现我目前的确用不到大容量内存---------内存占用率通常只有百分之几。
使用内存虚拟磁盘对我做的任务性能也改善不多。可能是SSD已经足够快了。内存虚拟磁盘看不出明显性能优势。
在做一些CUDA运算时，目前瓶颈在GPU。
所以目前降级到24G...

如果你想自己实践一些个AI方面的东西，3090或4090有必要，哪怕只是拿别人的模型来用。当然如果只是自己打游戏用不到这样的gpu，常规的图片处理甚至视频处理都不需要太好的gpu,office这些个应用软件更没有必要。
目前的问题是到底多大的模型会被放到pc上来本地运行？这个问题决定了需要多大的内存,如果现在买24G内存的gpu（3090或者4090），将来的模型需要128G或256G那不就亏大了。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

四川省

第 57 帖

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-04-13 00:49

alchen 发表于 2024-04-08 08:39
列出你的常用软件，每个软件的运行有操作系统级cpu和内存的要求，按照软件希望的最高内存配置，再翻个倍应该是合适的。

实测发现我目前的确用不到大容量内存---------内存占用率通常只有百分之几。
使用内存虚拟磁盘对我做的任务性能也改善不多。可能是SSD已经足够快了。内存虚拟磁盘看不出明显性能优势。
在做一些CUDA运算时，目前瓶颈在GPU。
所以目前降级到24GB内存了。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 56 帖

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-04-12 13:40

unix 发表于 2024-04-08 09:24
装虚拟机用内存比较多，docker用的少。
经常用分配了8G内存的win10虚拟机，一般应用也没问题，比之前3G内存的32位win7虚拟机好用很多。

虚拟机我用得比较多。Docker还不熟悉。这两天又用上Conda了，发现Conda好像就能满足我目前的需求了。Conda和Docker是不是二选一就可以了？

Hyper-V虚拟机的一个好处就是可以虚机和实机切换，vhd虚拟硬盘可以在磁盘管理器里加载，然后把它里面的Windows加载到启动项目里。这样再开机就进入这个虚拟机转换出来的实体机了。而不需要用它的时候，它就是硬盘上一个vhd文件。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 55 帖

unix

老坛泡菜

泡网分: 32.159

主题: 109

帖子: 3571

2024-04-08 09:24

装虚拟机用内存比较多，docker用的少。
经常用分配了8G内存的win10虚拟机，一般应用也没问题，比之前3G内存的32位win7虚拟机好用很多。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

江苏省

第 54 帖

chncwk

泡菜

泡网分: 22.68

主题: 145

帖子: 6504

2024-04-08 08:47

搞个128G做RAM虚拟盘，那不爽歪歪。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

广西

第 53 帖

alchen

老坛泡菜

泡网分: 32.784

主题: 57

帖子: 4000

2024-04-08 08:39

duoduobear 发表于 2024-04-07 23:42
说32G-64G内存，这有啥依据吗？

列出你的常用软件，每个软件的运行有操作系统级cpu和内存的要求，按照软件希望的最高内存配置，再翻个倍应该是合适的。

登录后可直接显示原图

alchen 编辑于 2024-04-08 08:43

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

四川省

第 52 帖

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-04-07 23:42

alchen 发表于 2024-04-07 16:57
这个配置匹配32G-64G内存比较合适，多了无意义。

说32G-64G内存，这有啥依据吗？

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 51 帖

alchen

老坛泡菜

泡网分: 32.784

主题: 57

帖子: 4000

2024-04-07 16:57

duoduobear 发表于 2024-03-26 22:54
我的配置低多了。CPU是2016年的。显卡现在用的是无风扇的。现在异构计算已经实用化了，需要配一个GPU性能更好的显卡。SSD目前是256GB PCIE的。以后也添置一些3.5，2.5寸磁盘。这台机器可以加三个3.5/2.5寸盘。主板上没有M.2 S...

这个配置匹配32G-64G内存比较合适，多了无意义。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

四川省

第 50 帖

穿越周期的蜗牛

泡菜

泡网分: 4.948

主题: 452

帖子: 1598

2024-04-06 21:58

人一定要控制欲望

我3G内存也用了这么多年

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

北京

第 49 帖

duoduobear

子版版主

泡网分: 92.442

主题: 1408

帖子: 24527

2024-04-06 15:46

已经降级到192GB内存了。256GB内存真没啥用。希望能继续降级。

(0)

只看该作者

不看该作者

加入黑名单

返回顶部

个人图文集

个人作品集

美国

第 48 帖

< 返回版块列表

回复主题： 2024年组一台256GB内存的电脑怎么充分利用？

功能受限

游客无回复权限，请登录后再试