linux操作系统如何提升大文件的传输速度

发表评论
20,610 views

A+

先来科普一下：Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器视频游戏控制台、台式计算机、大型机和超级计算机。 严格来讲，Linux这个词本身只表示Linux内核，但实际上人们已经习惯了用Linux来形容整个基于Linux内核。Linux操作系统中也有很多缺点，比如进行大文件拷贝的时候会感觉到非常慢，很浪费时间，特别是将文件同时拷贝到多台机器上的时候，那么有什么好的方法能够提高大文件的拷贝效率呢？跟小编一起来学习下吧。

　　你可以从源机器逐个拷贝到逐台目标机器，但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器，但是受制于源机器的带宽等因素，速度并不见得真的很快。
　　还好，借助一些UNIX工具可以做的更好。把tee和FIFO组合起来，可以形成一个文件快速分发链：处于分发链中的每台机器会保存文件，同时还分发给它的下一环。
　　首先，选定一台目标机器做为分发链的最后一环，在这台机器上只需要用nc监听（假定端口是1234），再通过管道由pigz解压缩，继续通过管道把数据交由tar来分解。
　　nc -l 1234| pigz -d | tar xvf -
　　然后，再从分发链的末端往上走，设置其它目标机器，同样要经过监听、解压、分解，不过在解压之前我们通过tee命令将数据输出到命名管道（FIFO），另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环：
　　mkfifo myfifo
　　nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -
　　最后，在源机器上启动分发链，让数据传输到分发链的第一环：
　　tar cv some_files | pigz | nc hostname_of_first_box 1234
　　在我的测试中，分发链中的每台机器大概损失了3%-10%的性能（相对于1对1的拷贝而言），但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发，效率提升是很明显的。
　　上面就是对Linux提高大文件拷贝效率的方法介绍了，主要通过UNIX工具形成一个文件快速分发链来实现大文件的快速拷贝，效率确实提高了不少。希望给大家带来了帮助！