单线程实现
文件分割
在老的fat32文件系统中，最大的单个文件大小必须保存在4g内，对于经常看电影的我这个是不能允许的。不过现在windows有ntfs文件系统，linux大部分发行版为ext4文件系统，最大单个文件大小能大于4g。不过这二者并不能兼容。。格式化ntfs的u盘linux不能识别，格式化ext4的u盘windows不能识别，只能用老的fat32兼容二者。所以将文件分割，再进行拼接就很重要，文件经过分割了在网络上传输就十分方便，也能开多线程对每部分进行hash提高处理效率。
最近看的bradpitt的《狂怒》
首先：对文件进行分割需要确定每一部分的大小，假设上面的 fury.mkv 文件大小为 280m ，分割每一块设置默认大小为 64m ，所以：
对于最后一块，一般小于等于设定好的每块默认大小。 每块大小设置好了，接下来，就需要将文件的路径获取，代码中搭建输入流，将文件读入内存缓冲区中，再搭建输出流，将缓冲区输出到新的分割文件中。 再接下来实现就很简单了。 新建一个 fileslice
类：有切割方法，拼接方法。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
public class fileslice { /** * 分割文件 * @param filepath 文件路径 * @param filepiecesize 文件每块大小,单位为字节,为-1则默认为每块64m * @return 成功返回true，出错则返回false */ public static boolean slice(path filepath, int filepiecesize){ return true ; }
/** * 将分割好的文件重新链接 * @param filepath 被分割好的其中之一文件路径，默认其他块与其在同一目录下 * @param howmanyparts 一共有多少块 * @return 成功返回true，出错则返回false */ public static boolean glue(path filepath, int howmanyparts){ return true ; } } |
接下来实现单线程的分割方法： 用图解的话应该是这样：
代码实现： 进入函数首先判断文件是否存在：
|
1 2 3 |
if (!files.exists(filepath)){ return false ; } |
接下来判断每块大小是否使用默认值：
|
1 2 3 |
if (filepiecesize == - 1 ){ filepiecesize = 1024 * 1024 * 64 ; } |
将路径转换为文件对象，再计算将分割多少块：
|
1 2 |
file file = filepath.tofile(); int howmanyparts = ( int ) math.ceil(file.length() / ( double )filepiecesize); |
初始化输入输出流，出错输出错误信息，返回false，获得当前目录：
|
1 2 3 4 5 6 7 8 9 10 |
datainputstream filereader = null ; try { filereader = new datainputstream( new fileinputstream(file)); } catch (filenotfoundexception e) { e.printstacktrace(); system.out.println( "文件找不到！" ); return false ; } dataoutputstream filewriter; path dir = filepath.getparent(); |
接下来读取文件，并且分别输出到各个part文件中：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
int readlength = - 1 ; long total = 0 ;
try { for ( int i = 1 ; i <= howmanyparts ; i++){ //新建文件part i path temp = files.createfile(dir.resolve(filepath.getfilename() + ".part" + i)); //搭建输出流 filewriter = new dataoutputstream( new fileoutputstream(temp.tofile())); //读取文件并输出 while ( (readlength = filereader.read(buffer)) != - 1 ){ filewriter.write(buffer, 0 ,readlength); filewriter.flush(); total += readlength; if (total == filepiecesize){ total = 0 ; break ; } } //part i的文件已经输出完毕，关闭流 filewriter.close(); } //读取完毕，关闭输入流 filereader.close(); } catch (ioexception e) { e.printstacktrace(); system.out.println( "io错误！" ); return false ; } |
该函数已经实现完毕，接下来测试(由于电影fury有14g。。太大了。。还是换个吧)：
我是大哥大第5集，有729m，大概能分个12个part吧。
|
1 2 3 4 5 6 7 8 9 10 11 12 |
public static void main(string[] args) throws ioexception { double before = system.currenttimemillis();
path bigboss = paths.get( "d:\\video\\我是大哥大\\我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4" );
fileslice.slice(bigboss,- 1 );
double after = system.currenttimemillis();
system.out.println( "分割文件我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4," + files.size(bigboss) + "字节，总用时" + (after - before) + "ms" );
} |
运行结果：
分割文件我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4,765321889字节，总用时16335.0ms
速度还是挺慢的。。 下次还是换成多线程来实现，再来测试下速度。在单线程情况下一个普通的40分钟日剧都要15-30s左右，要是mkv格式的电影都要好久了。。不过其实极限应该不在cpu中执行的速度，而是在硬盘io中，如果是普通硬盘那么就算是多线程也应该提速不了多少。。
文件拼接
这个就很简单了，和分割相反就ok。 直接上完整代码：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 |
public static boolean glue(path filepath, int howmanyparts){ if (!files.exists(filepath)){ return false ; } //获取原始文件名 string filename = getoriginalfilename(filepath.getfilename().tostring());
if (filename == null ){ system.out.println( "传入part文件名解析出错！" ); return false ; } //初始化缓冲区 byte [] buffer = new byte [ 1024 * 8 ]; //获取文件存储的路径 path dir = filepath.getparent();
try { datainputstream filereader = null ; //创建原始文件 files.createfile(dir.resolve(filename)); //搭建原始文件输出流 dataoutputstream filewriter = new dataoutputstream( new fileoutputstream(dir.resolve(filename).tofile()));
int readlength = - 1 ; for ( int i = 1 ; i <= howmanyparts ; i++){ //得到part i文件路径 path temp = dir.resolve(filename + ".part" + i); //搭建输入流 filereader = new datainputstream( new fileinputstream(temp.tofile())); //读取文件并输出 while ( (readlength = filereader.read(buffer)) != - 1 ){ filewriter.write(buffer, 0 ,readlength); filewriter.flush(); } //part i的文件已经读入完毕，关闭流 filereader.close(); } //写入完毕，关闭输出流 filewriter.close(); } catch (ioexception e) { e.printstacktrace(); system.out.println( "io错误！" ); return false ; } return true ; } |
再测试刚刚分割好的我是大哥大第5集
|
1 2 3 4 5 6 7 8 9 10 11 12 |
public static void main(string[] args) throws ioexception { double before = system.currenttimemillis();
path bigboss = paths.get( "d:\\video\\我是大哥大\\我是大哥大.kyou.kara.ore.wa.ep05.chi_jap.hdtvrip.1280x720.mp4.part1" );
fileslice.glue(bigboss, 12 );
double after = system.currenttimemillis();
system.out.println( "拼接12个part，用时" + (after - before) + "ms" );
} |
结果输出，用12s左右，还行。
拼接12个part，用时12147.0ms
打开播放毫无问题，最后截张图。
未完待续。。下次来使用多线程进行实现。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
原文链接：https://juejin.im/post/5bf3f63c6fb9a049f570c158
查看更多关于Java实现文件切割拼接的实现代码的详细内容...