robocopy 和 硬盘的那些事儿

写在前面

最近存储迁移,需要整合和迁移数据。

因为有大量的数据迁移 所以可靠性就显得格外重要。

由于目前仍然不能上RAID,可靠系数非常低,所以每一步都需要仔细斟酌。

这个blog会先介绍一个命令 robocopy

接着会介绍一下REFS

顺便再吐槽一下硬盘

robocopy

robocopy 是windows下的可靠文件复制工具。

镜像文件的用法:

robocopy d:\source d:\target /mir /log:copy-log.log /R:3

请注意: 斜杠不要乱打
/mir 的意思就是从源文件夹镜像到目标文件夹 这个过程中 可能会删除文件
/R 的意思是重试次数,假如碰到权限不够或者有问题的数据进行重复操作的次数。 默认1000000次 每次等待时间30s。
/log 输出log到指定文件,这里有点坑,windows上没法儿像linux那样用 tail -f ,日志是不能实时查看的,但如果想实时查看就不能输出到文件。建议对耗时长的任务输出到log文件。

REFS

首先 这是个文件系统 并且是微软旗下的文件系统。

REFS的设计本意就是 不会失败的文件系统。

它并不是用来替代NTFS,也不适用于普通消费者。

在windows server 和 windows 专业工作站版可用

但是在我看来 这是一个比较节省成本的“可靠”存储方案的副本之一

可靠存储 需要3个副本 2种介质 1个异地灾备

因为这个副本本身就可以足够的安全 所以我们可以备份一些不是特别“要命”的文件。

因为是在windows平台 所以可以结合上述的robocopy的命令来定期备份。

硬盘

机械硬盘 大容量存储介质

近年变革了不少

先来吐槽一下最近买的设备

  • 东芝 ABA400V

这是一个在国内评价特别好的硬盘,国内JD在卖行货。

不知道为什么 到我这里 平均写入200G+就会挂掉。

换了两个 都挂掉了 这硬盘 真心不敢存东西 于是乎就退掉了。

替代者是WD紫盘。

这个盘也有点意思,跑分写入160M/s,写真正的数据是60M/s,这一定是哪里有问题。

于是开启了硬盘缓存,写入看起来非常不错。

硬盘是通过硬盘盒挂上去的。

写入速度能达到190M/s

不是持续的 虽然看起来有点夸张 但有时候非常接近了

另外说一下
WD4T紫盘是垂直式记录方式

我之前有个盘是希捷4T 叠瓦式记录方式。在拷贝的过程中 连续读取的速度也可以达到170M/s

这里就是想说一下 叠瓦式并没有那么恐怖。

还有就是噪音控制。

WD紫盘噪音更大,相比之下 希捷叠瓦式带来了更少的噪音,更少的占用空间。

如果价钱可以更少就最好了。

TIPS

如何开启硬盘的写入缓存?

对着磁盘右键点属性 -> 硬件 -> 选中磁盘 -> 属性 -> 改变设置 -> 策略

勾选启用设备上的写入缓存

关闭设备上的windows写入高速缓存缓冲区刷新?

这个选项我个人理解是 不用系统内存作为写入缓存。

我实测PC是32GB内存 在进行大规模写入的时候 系统内存占用到了4GB。
数据会先读到内存中,然后再慢慢写入到磁盘中,在这个过程中磁盘是不能意外中断的 否则就会丢数据。

另外还涉及到UPS,UPS的作用是保证安全关机。 如果写入缓冲区过大,从缓冲区到磁盘写入时间大于UPS的供电时间,那么数据会丢。