robocopy 和硬盘的那些事儿

写在前面

最近存储迁移，需要整合和迁移数据。

因为有大量的数据迁移所以可靠性就显得格外重要。

由于目前仍然不能上RAID，可靠系数非常低，所以每一步都需要仔细斟酌。

这个blog会先介绍一个命令 robocopy

接着会介绍一下REFS

顺便再吐槽一下硬盘

robocopy

robocopy 是windows下的可靠文件复制工具。

镜像文件的用法：

robocopy d:\source d:\target /mir /log:copy-log.log /R:3

请注意：斜杠不要乱打
/mir 的意思就是从源文件夹镜像到目标文件夹这个过程中可能会删除文件
/R 的意思是重试次数，假如碰到权限不够或者有问题的数据进行重复操作的次数。默认1000000次每次等待时间30s。
/log 输出log到指定文件，这里有点坑，windows上没法儿像linux那样用 tail -f ,日志是不能实时查看的，但如果想实时查看就不能输出到文件。建议对耗时长的任务输出到log文件。

REFS

首先这是个文件系统并且是微软旗下的文件系统。

REFS的设计本意就是不会失败的文件系统。

它并不是用来替代NTFS，也不适用于普通消费者。

在windows server 和 windows 专业工作站版可用

但是在我看来这是一个比较节省成本的“可靠”存储方案的副本之一

可靠存储需要3个副本 2种介质 1个异地灾备

因为这个副本本身就可以足够的安全所以我们可以备份一些不是特别“要命”的文件。

因为是在windows平台所以可以结合上述的robocopy的命令来定期备份。

硬盘

机械硬盘大容量存储介质

近年变革了不少

先来吐槽一下最近买的设备

东芝 ABA400V

这是一个在国内评价特别好的硬盘，国内JD在卖行货。

不知道为什么到我这里平均写入200G+就会挂掉。

换了两个都挂掉了这硬盘真心不敢存东西于是乎就退掉了。

替代者是WD紫盘。

这个盘也有点意思，跑分写入160M/s，写真正的数据是60M/s，这一定是哪里有问题。

于是开启了硬盘缓存，写入看起来非常不错。

硬盘是通过硬盘盒挂上去的。

写入速度能达到190M/s

不是持续的虽然看起来有点夸张但有时候非常接近了

另外说一下
WD4T紫盘是垂直式记录方式

我之前有个盘是希捷4T 叠瓦式记录方式。在拷贝的过程中连续读取的速度也可以达到170M/s

这里就是想说一下叠瓦式并没有那么恐怖。

还有就是噪音控制。

WD紫盘噪音更大，相比之下希捷叠瓦式带来了更少的噪音，更少的占用空间。

如果价钱可以更少就最好了。

TIPS

如何开启硬盘的写入缓存？

对着磁盘右键点属性 -> 硬件 -> 选中磁盘 -> 属性 -> 改变设置 -> 策略

勾选启用设备上的写入缓存

关闭设备上的windows写入高速缓存缓冲区刷新？

这个选项我个人理解是不用系统内存作为写入缓存。

我实测PC是32GB内存在进行大规模写入的时候系统内存占用到了4GB。
数据会先读到内存中，然后再慢慢写入到磁盘中，在这个过程中磁盘是不能意外中断的否则就会丢数据。

另外还涉及到UPS，UPS的作用是保证安全关机。如果写入缓冲区过大，从缓冲区到磁盘写入时间大于UPS的供电时间，那么数据会丢。

Wayne's blog