从Linux上载10,000,000个文件到Azure blob存储

我有一些S3的经验,并且在过去使用过s3-parallel-put来放置许多(数百万)个小文件.与Azure相比,S3的PUT价格昂贵,所以我想切换到Azure.

但是,我似乎无法弄清楚如何使用azure cli将本地目录同步到远程容器.特别是,我有以下问题：

1- aws客户端提供同步选项.天蓝有这样的选择吗？

2-我可以使用cli同时将多个文件上传到Azure存储吗？我注意到有一个-concurrenttaskcount标志用于azure存储blob上传,所以我认为原则上它必须是可能的.

解决方法

回答你的问题：

> blobxfer支持使用MD5校验和比较入口和出口的类似rsync的操作> blobxfer在单个文件和多个文件中执行并发操作.但是,您可能希望在多个目录和容器之间拆分输入,这不仅有助于减少脚本中的内存使用量,而且还可以更好地划分负载

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!