Java多线程复制文件

时间:2022-09-29 发光吖人气:0

前言

复制一个文件，是学习IO流时最基本的操作。你可以使用字节型文件流，也可以使用高级缓冲流。

但是，它们都是单线程的。

如果需要复制一个大型文件，单线程的复制一般而言是不能够充分发挥CPU以及内存的性能。这时候就需要利用多线程来复制文件。

多线程的读：

我们很自然地想到，利用FileInputStream类的skip()方法，可以跳着读，这就对多线程比较友好，启动多个线程，第一个线程读一部分，第二个线程跳过一部分字节再读，这没有问题。

但是如果要写呢？我们知道FileOutputStream类是没有与skip类似的方法的，也就是说，它不能跳着写，这就很麻烦。

这就意味着，如果需要利用多线程复制一个文件，那么首先得把这个文件利用多线程并发，读取并同时写入成多个文件碎片，然后再利用单线程去一一读取这些文件碎片，把它们的内容写入到一个完整的文件中。必要的话，最后再删除这些中间文件碎片。

这个过程，复杂，且性能不高。涉及到两套读写，前面多线程读写，后面单线程读写。很显然这个过程虽然使用到了多线程但它不能提高性能，反而降低了性能。

既然鸡肋点在于FileOutputStream不能跳着写，那么就找一个能跳着写的类吧。

RandomAccessFile

RandomAccessFile是java Io体系中功能最丰富的文件内容访问类。即可以读取文件内容，也可以向文件中写入内容。但是和其他输入/输入流不同的是，程序可以直接跳到文件的任意位置来读写数据。

RandomAccessFile包含了以下两个方法来操作文件的记录指针：

long getFilePointer(); 返回文件记录指针的当前位置
void seek(long pos); 将文件记录指针定位到pos位置

有了RandomAccessFile这个类，上面的问题就迎刃而解，因为它最大的好处就是可以实现从指定位置写入一些数据到文件中！

顺便说一下它的构造方法：

RandomAccessFile(File file, String mode)
RandomAccessFile(String name, String mode)

mode表示RandomAccessFile的访问模式，她有4个值：

“r”：只有读的权限，如果你试图去执行写入方法，则抛出IOException异常。
“rw”：有读和写两个权限，如果该文件不存在，则会创建该文件。
“rws”：相对于”rw” 模式，还要求对文件内容或元数据的每个更新都同步写入到底层设备。
“rwd”：相对于”rw” 模式，还要求对文件内容每个更新都同步写入到底层设备。

一般而言我们使用“r”和“rw”就够了，后面那两个我也不懂干嘛的。

代码

package testThread.file_threading;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.RandomAccessFile;

public class ThreadFileCopy extends Thread {
    private String srcFileStr;//源文件的路径
    private String desFileStr;//目标文件的路径 ,des --> destination目的地
    private long skipLen;//跳过多少个字节开始读/写
    private long workload;//总共要读/写多少个字节
    private final int IO_UNIT = 1024;//每次读写的基本单位（1024个字节）

    public ThreadFileCopy(String srcFileStr, String desFileStr, long skipLen, long workload) {
        this.srcFileStr = srcFileStr;
        this.desFileStr = desFileStr;
        this.skipLen = skipLen;
        this.workload = workload;
    }
    public void run(){
        FileInputStream fis = null;
        BufferedInputStream bis = null;//利用高级缓冲流，加快读的速度
        RandomAccessFile raf = null;
        try {
            fis = new FileInputStream(srcFileStr);
            bis = new BufferedInputStream(fis);
            raf = new RandomAccessFile(desFileStr,"rw");
            bis.skip(this.skipLen);//跳过一部分字节开始读
            raf.seek(this.skipLen);//跳过一部分字节开始写
            byte[] bytes = new byte[IO_UNIT];
            //根据总共需要复制的字节数 和 读写的基本单元 计算出一共需要读写的次数，利用读写次数控制循环
            long io_num = this.workload/IO_UNIT + 1;//因为workload/1024 很可能不能整除，会有余数
            if(this.workload % IO_UNIT == 0)
                io_num--;//如果碰巧整除，读写次数减一
            //count表示读取的有效字节数，虽然count不参与控制循环结束，
            // 但是它能有效避免最后一次读取出的byte数组中有大量空字节写入到文件中，导致复制出的文件稍稍变大
            int count = bis.read(bytes);
            while (io_num != 0){
                raf.write(bytes,0,count);
                count = bis.read(bytes,0,count);//重新计算count的值
                io_num--;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            try {
                if (fis != null)
                    fis.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                if (bis != null)
                    bis.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                if (raf != null)
                    raf.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

测试

package testThread.file_threading;

import java.io.File;

public class TestMain {
    public static void main(String[] args) {
        int thread_num = 5;//创建5个线程读写
        String srcFileStr = "E:\\test\\123.flv";
        String desFileStr = "E:\\test\\thread.flv";
        File srcFile = new File(srcFileStr);
        long workload = srcFile.length()/thread_num;//总共要读/写多少个字节
        //用一个数组来存储每个线程跳过的字节数
        long[] skipLenArr = new long[thread_num];
        for(int i = 0;i<skipLenArr.length;i++){
            skipLenArr[i] = i*workload;
        }
        //用一个数组来存储所有的线程
        ThreadFileCopy[] tfcs = new ThreadFileCopy[thread_num];
        //初始化所有线程
        for(int i = 0;i<tfcs.length;i++){
            tfcs[i] = new ThreadFileCopy(srcFileStr,desFileStr,skipLenArr[i],workload);
        }
        //让所有线程进入就绪状态
        for(int i = 0;i<tfcs.length;i++){
            tfcs[i].start();
        }
        System.out.println("复制完毕！");
    }
}

加载全部内容