ilcpm
1
背景
几年前入学的时候申请的我们学校的免费office 365 A1,相当于是企业的版本,里面只有1T的onedrive,因为觉得好用,和系统集成很高,所以这几年基本就把文件存在里面的
昨晚上突然发现无法上传文件上去了,发现是因为容量只有100G了,微软调整了相关的政策
基本上相当于直接给我釜底抽薪了,里面现在有160多G的文件,数量估计有几十万个,我本地是没有备份的,全部在云端(因为onedrive可以“只保留需要的文件在本地”,所以本地数据实际上只有十多个G的最近常用的文件)
我自己其实还有一个企业版管理员的车,但是毕竟来路不正,所以也不敢往里面存,个人版的onedrive倒是也可以用,但是出于一些原因还是想换掉onedrive
需求
感觉onedrive还是很好用的,但是有些问题比较大,主要是性能问题:
- 每次重装系统之后,文件列表里面几十万个文件需要很长时间才能同步下来,在这期间没有出现的文件我就无法使用
- 有bug,重装系统之后使用已经两个月了吧,现在还是显示“正在同步XX个文件”,但是实际上什么都没有
- 有概率出现“A设备上已经上传”,但是“B设备的列表里不显示”的问题
- 不支持黑名单,例如代码一类的东西,nodejs那恐怖的文件夹……
出于这些原因,我希望能有个更好的方案
综合来看我实际上是需要一整套的文件备份系统,可能需要多个软件配合才能实现,它们需要满足以下的功能:
- onedrive的基本功能
- 文件随选:类似onedrive那种,可以在设备上看到所有的文件列表,双击打开即可编辑,但可以“只保留需要的文件在本地”,不需要的文件可以释放空间,或者说拿到新电脑之后我不必把所有文件全部都下一遍;也不用像百度网盘那样手动下载修改完了再上传
- 版本历史记录&回收站:基本的保险机制
- 多端备份
- 本地:如果全云端的话出现像今天这种问题就很尴尬了,我自己现在是有台式机可以长时间开机当NAS用,所以希望文件可以全量保存或者定期同步到本地
- 多网络端同步:为了实现外出访问的功能,所以需要有云端备份存在,同样的,为了避免现在这种情况,希望可以能有多个服务商做为目标进行同步和备份;本地的话没有公网访问的条件,所以不能直接把NAS开放到公网,而且万一NAS炸了呢?
- 私密性、不限速、可自定义:因为很多是工作文件,所以百度网盘这种直接排除了;还有限速也是,可以按量付费,下载量也不大;可自定义主要是针对上面提到的“黑名单”来说的,一些文件和文件夹需要进行排除
我的文件规模其实不大,主要就是文档和项目文件,自己个人的文件照片应该也不会超过200G,相当于一直在增长,但是增速不高,会有很多陈年老文件只是起个存档的作用实际上根本不会再使用了,最终的规模可能也不会达到1T
我这边考虑的两个方案如下:
- 继续使用onedrive或者类似的产品作为主力实现和资源管理器的交互
- 本地存储:在机械硬盘或者NAS上部署同步服务,按计划对云端进行检查,而后同步差别
- 文件历史:一方面onedrive本身有文件版本历史,另一方面可以在本地的备份上面用各种软件部署文件历史
- 多端备份:在本地拥有完整文件的情况下,可以借助国内云服务器厂商的“对象存储”功能,用alist一类的软件同步过去
- 使用国内云服务器厂商的“对象存储”服务
- 资源管理器交互:通过挂载为网络驱动器,实现“网盘”,需要的文件直接双击打开编辑,实现类似onedrive的效果,但是这样的话似乎就完全成了“网盘”?如果没有网的话靠Windows自己的“脱机使用”的缓存来进行编辑吗?
- 多端备份:同上,考虑经过本地中转同步
- 文件历史:这个可能有点麻烦,考虑能不能在云服务器厂商那边部署服务实现,要不就本地实现了
想问问大家,从易用性、稳定性、可靠性(当然还有隐私)这些方面来说,有没有办法解决这些问题呢,目前的阶段我希望能够以每月二三十的经济成本获得300G左右的不限速的高可用性的网盘(就是日常使用,下载量不大)
3 个赞
没怎么用过onedrive,因为微软的同步实在是太差了
是随选同步还是完整同步?我觉得还是挺快的,相对文件数量。
文件挪个位置,同步完了再挪回来,估计卡Bug了。
没碰到过。
移出同步目录或者加入排除目录。
ilcpm
4
是重装系统之后(或者说新电脑)安装之后第一次同步的时候,需要先同步下来整个文件列表,然后你才能想打开那个文件就选哪个文件嘛,这个过程非常慢,可能需要几天才能完成,对于移动办公很不友好,电脑打开没一会又合上电脑走人了
问题是我不知道是哪个文件呀,没办法确认,它也不显示任何提示
onedrive哪有这样的东西……之前看到企业版可以用组策略什么的排除指定文件名或者文件类型,但是很难用,几乎就是不能用的状态
Hue
(Hue)
5
我的建议是继续用 OneDrive,但是不要用 OneDrive 客户端。将一个个文件夹拆分成单独的同步任务进行使用。愿意付费的话可以考虑 GoodSync,有折腾能力的可以看看 rclone。
举个例子,在新电脑上其实你根本用不上所有的文件都下载下来,你只需要选择把对应需要的文件/文件夹同步到本地就行了,修改后再同步回 OneDrive 云端就行。
2 个赞
Qingwa
(青小蛙)
6
实际上还有个选择,自己开车家庭版(50元左右,但需要摇人)
或者购买 Microsoft 365 拼车(88元/年),比如:
这样可以继续使用 1T 空间,并且可以保持习惯不变。
当然就是费钱。
ilcpm
7
钱倒不是问题,主要就是onedrive的缺点有点受不了了
反正现在也要把里面的文件下载下来再找地方存着,我在考虑要不要用对象存储自建网盘,挂载成网络磁盘,就是不知道使用体验如何
我感觉…移动硬盘就可以了(当然得SSD)
我就是用移动固态硬盘来同步的,
近期经常用(主要是改)的文件, 放移动硬盘&电脑硬盘,
不常用的, 放机械盘(电脑里), 如果有修改,只把修改过的内容放移动硬盘,
更不经常用的, 机械移动硬盘+everything离线检索
基于对复杂网络环境的认识, 早就放弃在网盘上存任何个人文件了
各家的同步盘, 本来也都不大, 基本上都是移动硬盘可以替代的, 看不出来云盘在同步方面有何意义.
我这边14GB+,大小各类文件都有,数量不清楚,感觉很快就同步完了,应该十分钟不到。
点击通知区域的图标,能看出文件的同步进度,以及哪些文件同步受限。
OD客户端可以排除目录,我怎么觉得你装的不是完全版,或者说功能有瑕疵。
ilcpm
11
你说的是排除onedrive里的某个文件夹在本地显示吧,我的意思是很多类型的文件会在本地产生,但是不希望同步到onedrive中,你要是搞过开发就知道
这个我顾及你是没遇到过具体的问题,看我能不能想起来用笔记本的时候截个图传上来吧
我的笔记软件的数据……12万个文件
tiger
(小虎王)
13
自己组 NAS 然后用 NAS 连接到其他网盘,形成冗余备份。
之前在 B站 看到过用小主机或者二手矿机刷机后当 NAS 使用的,可以试一试。
BackT0
(_)
14
如果可以接受按量付费, 其实可以考虑一下对象存储, 基于S3的. 如果修改量少频率低 且总数据量不大的话 其实成本还是可控的, 速度也不错. 也算是一个思路.
看了一下 我这边300G的邮件存档, 头五个月上传总共200G, 后续每月新增10G, 月费用大概20元. 当时打折买的, 我这边费用主要产生在读取和检索上.
1 个赞
我有完全类似的问题。前两个月我就知道教育版OneDrive要缩水了,而且我有300G的东西在OneDrive上,但是没有时间去管它,想着还没收回去就先用着,再说我还有另外几个完全正规途径的edu邮箱,我完全可以把文件用各种方式分散到这几个邮箱对应的教育版OneDrive上。不过这两天才知道可能以后教育版OneDrive都会消失,所以也在寻找替代方案。
我也遇到过完全一样的各种问题/bug。你提到的各种问题,真的就每一个都遇到过,每一次都深受其害。除此之外,OneDrive的同步经常抽风,性能也不好,一旦有大规模的文件增删操作,就很容易占用电脑大量CPU资源。还有一些跟office相关的愚蠢的问题。
我目前的计划是先用移动硬盘把之前的东西本地存下来,毕竟这些超额的部分据说只会帮我们保存三个月。其余的想法跟你一样,包括用一个24小时在线的机子跑syncthing本地备份等等。不过本地存储就怕不安全,说到底还是要有一个云端的冗余备份。有可能先用手头上有的一个WPS超级会员,有365G的云盘,目前来说够用。
1 个赞
ilcpm
16
终于来了个用对象存储的了,我现在也想考虑这个方案,你这个S3是亚马逊的吗,会不会在国内遇到网络问题?交互是通过什么软件实现的呢?类似raidrive那种直接映射成网络文件夹?
我这边的需求等于是两个:备份+实时同步
备份的话因为大部分是不常用不修改的文件,所以直接躺在文件列表里就好,这种文件倒是无所谓
同步的话是因为主要都是工作和学习的文件,也说不准那些东西随时要用,不然的话我完全可以本地存储什么问题都没有了
主要是想问一些实际体验上的事情:
- 性能如何?可以做为日常使用的直接路径吗?
- 就是我直接往里放数据的时候,是会进入本地缓存再等他自己上传,还是需要连着网等它实时写入进去呢?
- 因为我处理文件的时候可能会直接生成几百个文本文件,如果没有本地缓存的话,我就需要在其他本地文件夹上进行工作,然后再放入到这里面来;还有一些更复杂的场景,比如可能会遍历上面截图里的十几万个文件然后删除几千上万个这种
- 如果所有操作都是需要实时联网同步的话那其实意义不大了,这就相当于我需要在本地建立独立的工作文件夹,然后再想办法和云端的某个子文件夹手动对接同步,我还是更倾向于onedrive的那种工作模式
- 有本地缓存吗?
- 因为是工作性质的文件,所以某些文件和文件夹可能会随时使用
- 所以能不能设定某个文件夹的内容随时保持本地可用?
- 或者当我打开过某个文件之后,本地会留下缓存下次可以直接打开吗?这个时候如果没有网络,可以在本地缓存上直接修改然后保存,等有网络的时候软件自动同步回云端吗?
- 遇到本地和云端的冲突文件怎么处理呢?
ilcpm
17
这个也是类似onedrive的那种“同步盘”对吧,可以在本地显示所有的文件列表,然后随取随用?但是总感觉国内的产品不靠谱,会有各种审核什么的
WPS就看到过说文档里面有敏感词文件被屏蔽了,我本来有个10T的天翼云,昨晚上想着要不试试映射成网络文件夹,结果看贴吧也有人说因为文件名有问题直接不让上传的
onedrive的话其实用个人版开个家庭版的车价格都不是问题,主要就是性能问题很头疼,因为我的笔记软件的数据在里面,需要频繁变动,这段时间经常遇到那种某个笔记文件在A电脑改了,结果打开B电脑,B电脑的旧版把A电脑的新版给我覆盖了,妈的……而且因为是GUI软件的数据,不是Markdown那种一眼能看到问题的稳定,所以可能都没意识到发生了这个问题
只能说幸好文件是文本文件,出现了覆盖的问题我可以通过历史版本然后手动对比把缺失的部分找回来
ilcpm
18
谢谢你们的回复,但是这个方案对我来说不合适,因为我不是要在局域网同步数据,我的主要矛盾是移动办公的时候需要保持两台电脑看到的文件是一致的
是A电脑修改了,B电脑自动看到修改之后的文件,而这些文件可能有200G左右,所以我也不能每次切换设备的时候手动对比再同步
我首先需要的是像onedrive一样的“文件随选”功能,我只需要能看到最新的文件列表,而后使用我需要的那部分文件(类似于在局域网使用和修改NAS上的文件),但这在移动办公的时候NAS做不到,我现在的条件也没办法确保NAS的网络能够随时畅通
其次才是多地备份的容灾机制
所以首先得“云”,然后再是本地和备份
BackT0
(_)
19
不是亚马逊, 为了访问速度选的腾讯(七牛->腾讯), 兼容AWS的S3标准
使用Rclone挂载为本地虚拟盘, 然后就可以在系统内正常使用了. 绝大多数情况没问题, 只有一个Mailstore不认Rclone挂载出来的盘, 为了那个软件单独弄了一套Raidrive的挂载, 其他时候还是用Rclone因为习惯了
性能方面没明显的感知到缺点, 因为都是小文件 大概10-20M的分页, 应该取决于你选的机房, 我是上海-上海 速度有4M左右, 除了清除缓存后的第一次打开 没有因为速度方面造成困扰. 文件修改什么的是正常保存 然后rclone后台处理好的, 所以我没太纠结细节. 但是我觉得大批量遍历应该会有性能问题. (鹅厂有一个自己的对象存储管理程序, 可视化界面和普通软件很相似, 可能在那边打开关闭操作会更好一些)
本地缓存, 可选 我是配置了一个月过期. 缓存在可以直接打开, 但是保持本地可用好像是不行. 离线时保存的修改不会自动被同步到远端
因为是挂载盘 有冲突的时候看一下内容日期就能处理了, 我这个以读为主. 编辑不多.
1 个赞
好问题,我还没有考虑到这些问题,因为还没正式开始用