如何快速多线程从在服务器下载B服务器上300G图片?SCP太慢

B服务器上大约300G图片
原来打算打包后 wget下载;
但是使用 zip -r 压缩了20几个小时还没有完成,于是放弃;
使用SCP尝试,感觉速度跟ZIP -r 差不多,如果断掉了,就要重新传,于是放弃;请问下如何多快速的完成?

《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 11

zip+迅雷

4年前 评论
kis龍 4年前
laravelcc (作者) 4年前

wget -c -t 0 内网下载链接

-c :断点续传

-t 0 : 反复尝试的次数,0为不限次数

如果是公网传输,建议压缩下,如果是视频,音频,exe一类的就不用压缩了,压缩率不高的
有内网ip ,用内网ip 下载,就行

4年前 评论
  1. tar 命令可以只打包,不压缩,再传输
  2. 使用 rsync 同步

推荐使用第 2 种,线上服务器可能需要限速,不然带宽会被跑满,影响业务

4年前 评论

卸载云硬盘,然后挂载到新服务器?

4年前 评论

如果能走内网尽量走内网
想稳定一些的话就搞个 FTP, 速度也是挺快的
或者搞个 NFS 共享文件
再或者的话就弄个 OSS 类似的服务,花点钱,搞起来方便, 后续也方便搞 CDN 之类的服务

4年前 评论

FTP 下载吧

4年前 评论

rsync 不香么?

4年前 评论

rsync 会慢慢同步回来的,只要数据不增长。同步几天就好了

4年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!