前言
在之前,我们实现了常用的上传下载、分片上传、秒传等功能,实际一个文件存储管理系统,这些远远还是不够的,比如断点续传。
可以参考阿里的文档,是怎么实现这些功能的。
断点续传
概念
通过断点续传上传的方式将文件上传到OSS前,您可以指定断点记录点。上传过程中,如果出现网络异常或程序崩溃导致文件上传失败时,将从断点记录处继续上传未上传完成的部分。
方案
要实现断点续传,需要依赖于MD5秒传和分片上传。之前我们分片上传的简单流程如下图所示,我们可以在这个流程中加入端点续传。
1. 文件状态查询
首先上传文件之前,除了创建分片请求之外、获取uploadId之外,还需要在根据文件的MD5去查询该数据的状态,比如是已上传过、上传了一部分、上传完成、上传失败等。
如果该文件已上传过则直接返回访问链接。
2. 查询已上传分片信息
如果是上传失败,则查询根据该文件uploadId 查询已上传的分片信息,Minio 是支持这种查询的,比如下图中就可查到分片的相关信息:
3. 继续上传
对于已上传的分片,获取链接时,直接返回该分片已上传,前端根据状态去判断跳过该分片上传,执行未上传分片的请求,这样就能做到断点续传了。
断点下载
当下载大文件时,如果网络不稳定或者程序异常退出,会导致下载失败,甚至重试多次仍无法完成下载。
为此,OSS需要提供了断点续传下载功能。断点续传下载将需要下载的文件分成若干个分片分别下载,所有分片都下载完成后,将所有分片合并成完整的文件。
在Minio中的java SDK 中是提供了对象数据查询的API,可以查看到对象的数据大小信息。
知道文件大小之后,我们就可以进行切片,比如100M的大小,按照5M进行切分为20片,计算出每一片的起始位置和长度,Minio 获取文件的API 是支持分段获取流的。
在实现了上述的分片下载后,就可以实现断点下载了,原理和上传一样,如下图所示:
关于前端下载文件的类似框架貌似找不到,那么只能自己实现了。。。。