关于存储的容余数据删除功能

molian502

大存储开了容余数据删除功能会对性能有形响吗？

尾巴

重复数据删除吧？
会有一定的性能影响，当然，也看你启用的什么模式的重复数据删除了，还得看你的存储采用的什么算法等等的

ylqy

关注中……

TiGi

指重复数据删除？开启了的话，肯定有。
很多顶级存储，删重性能也是一个相互攀比的性能指标！
——————————————————
删重，其实可以对冷数据进行删除 —— 例如Server 2012里面，可以对若干天之前的数据进行删重！此外也可以对某些类型的文件不删重。

seanlaser

dedup性能，我觉得这个要细分成成多个指标：
1 样本写入后多快能开始dedup
2 开始dedup后多快可以dedup完成（对于一定的样本，不然比较没有意义）
3 dedup中，外部性能剩下多少
4 dedup后，特定样本的读取和更改性能
5 对于特定改写后，再次完成dedup的速度

seanlaser

对于上面的各个指标，期待的好结果是可以如下描述：
1 样本写入后，dedup越快开始越好
2 开始后，越快完成越好
3 dedup中，对外部性能损失越小越好，如果有提升更好
4 dedup后，读取和改写性能损失越小越好，如果有提升更好
5 对于特定改写，再次完成越快越好

seanlaser

对于市面上dedup的分块尺寸来说，有分的很小的，例如康贝小到512K，也有大的例如EQL 十兆或者百兆级别。
尺寸越小，块内可能的变化就越少，意味着重复率越高，但是对于特定文件来说，组成的索引也就越大，不论读取还是改写所需的搜索操作越多，对于存储来说，虽然数据区可以减小更多，但是metadata的描述相应变大了，对应所需的资源消耗会更多。
一般说来存储上的芯片不是很适合做这种搜索工作，以后说不定会产生专门适合的加速卡或芯片用以提供高效的metadata处理，这样将来索引的长大不再是问题的时候，块可以变得非常小，甚至实时的dedup也不再会影响性能！

TiGi

第一项，估计很多存储/系统，可以自定义；
第二项，估计通常的比较都是以此为基准的；
第三项，估计也会有类似的比较 —— 但是性能优先、删重优先，存储的设置趋向肯定不同 —— 这个也和用户买怎样的存储干啥用有关；
第四项，估计通常的比较也会有；
第五项，个人觉得一定程度上是“1”有关。
——————————————————————
总体而言，个人觉得大规模上Dedup存储的，应该是那些数据量大、拥有较大存储设备的用户。将不同的数据分布到不同的存储上或者同一个设备内的不同层上是“王道”。
——————————————————————
就目前和长远看，速度和容量肯定还是无法共存的 —— 计算机系统一贯如此。