1. 首页
  2. 文章列表
  3. 浅谈http断点续传的原理以及.NET代码实现,看似挺高端,其实很简单

最近参与公司的项目,说将来需要支持文件的断点续传,大家都感觉这似乎是比较高端又有点难以实现的功能,其实断点续传仔细研究后发现,其实蛮简单的,趁此机会也给大家科普下吧。

什么是断点续传

断点续传是一种结合本地存储和网络存储的技术,主要应用场景是用来解决在网络条件不佳或网络断开时的文件完全下载失败的问题。你想想当你在下载一个好几个GB的文件时,如果不支持断点续传,而你的网络状况又不是很好,在你下载到99%的时候,突然失败了,必须从头重新下载,你会是什么样的心情?而断点续传则解决了这样的问题,即使你在99%的时候下载失败了,那你还可以点击继续下载来补上这最后的1%,因为断点续传支持从文件上次中断的地方开始传送数据,而并非是从文件开头传送。这就是断点续传的定义。web服务器都默认可以断点续传,但我们很少知道他的原理,而且web服务器本身的文件下载有时候并不满足我们的业务场景,所以这种情况下往往需要我们开发者自己去实现下载功能,这时对我们开发者来讲就很有必要知道断点续传的原理了,下面就来看看小编的介绍吧。

懒得勤快的博客_互联网分享精神

断点续传的原理

其实断点续传的原理很简单,就是在 http 的请求头上和一般的请求有所不同而已。打个比方,浏览器请求服务器上的一个文件时,所发出的请求通过抓包后发现如下:

假设服务器域名为masuit.com,文件名为 down.zip。

GET /down.zip HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/msword, application/vnd.ms-powerpoint, */*
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)
Connection: Keep-Alive
服务器收到请求后,按要求寻找

请求的文件,提取文件的信息,然后返回给浏览器,返回信息如下:

200
Content-Length=106786028
Accept-Ranges=bytes
Date=Mon, 30 Apr 2001 12:56:11 GMT
ETag=W/“02ca57e173c11:95b”
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:56:11 GMT

而所谓断点续传,也就是要从文件已经下载的地方开始继续下载。所以在客户端浏览器传给 Web 服务器的时候要多加一条信息 -- 从哪里开始。

如果我们在已经暂停的下载再点继续的话,传递请求信息给 Web 服务器,要求从 2000070 字节开始。通过抓包我们其实可以看到这样的请求头:

GET /down.zip HTTP/1.0
User-Agent: NetFox
RANGE: bytes=2000070-
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2

仔细看一下就会发现多了一行 RANGE: bytes=2000070-

这一行的意思就是告诉服务器下载 down.zip 这个文件从 2000070 字节开始传,前面的字节就不用传给我了。

服务器收到这个请求以后,返回的信息如下:

206
Content-Length=106786028
Content-Range=bytes 2000070-106786027/106786028
Date=Mon, 30 Apr 2001 12:55:20 GMT
ETag=W/“02ca57e173c11:95b”
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:55:20 GMT

和前面服务器返回的信息比较一下,就会发现增加了一行:

Content-Range=bytes 2000070-106786027/106786028

同时返回的代码也改为 206 了,而不再是 200 了。

知道了以上原理,我们对断点续传的写代码就有点思路了。这个技术在现在的编程技术上我个人觉得也算不得什么,大家也应该都注意到我们平时下载文件时都是断点续传吧,甚至还可以调用第三方的多线程下载器,进行多线程并行传输。

懒得勤快的博客_互联网分享精神

断点续传总结

要实现断点续传的功能,通常都需要客户端记录下当前的下载进度,并在需要续传的时候通知服务端本次需要下载的内容片段。

HTTP1.1协议(RFC2616)中定义了断点续传相关的HTTP头 Range和Content-Range字段,一个最简单的断点续传实现大概如下:

1. 客户端下载一个1024K的文件,已经下载了其中512K

2. 网络中断,客户端请求续传,因此需要在HTTP头中申明本次需要续传的片段:Range:bytes=512000-,这个头通知服务端从文件的512K位置开始传输文件;

3. 服务端收到断点续传请求,根据请求头的Content-Range来决定从文件流的哪个位置上开始读,比如从文件的512K位置开始传输,并且在HTTP头中增加:Content-Range:bytes 512000-/1024000,并且此时服务端返回的HTTP状态码应该是206,而不是200。

但是在实际场景中,会出现一种情况,即在终端发起续传请求时,URL对应的文件内容在服务端已经发生变化,此时续传的数据肯定是错误的。如何解决这个问题了?显然此时我们需要有一个标识文件唯一性的方法。在RFC2616中也有相应的定义,比如实现Last-Modified来标识文件的最后修改时间,这样即可判断出续传文件时是否已经发生过改动。同时RFC2616中还定义有一个ETag的头,可以使用ETag头来放置文件的唯一标识,比如文件的MD5值。

终端在发起续传请求时应该在HTTP头中申明If-Match 或者If-Modified-Since 字段,帮助服务端判别文件变化。另外RFC2616中同时定义有一个If-Range头,终端如果在续传是使用If-Range。If-Range中的内容可以为最初收到的ETag头或者是Last-Modfied中的最后修改时候。服务端在收到续传请求时,通过If-Range中的内容进行校验,校验一致时返回206的续传回应,不一致时服务端则返回200回应,回应的内容为新的文件的全部数据。


最后,博主也基于这样的原理来实现了断线续传的FileResult。

基于Asp.Net MVC和Asp.Net Core实现的可断点续传的ResumeFileResult

项目地址:https://github.com/ldqk/Masuit.Tools

允许你在ASP.NET Core中通过MVC/WebAPI应用程序传输文件数据时使用断点续传以及多线程下载。

它允许提供ETag标题以及Last-Modified标题。 它还支持以下前置条件标题:If-MatchIf-None-MatchIf-Modified-SinceIf-Unmodified-SinceIf-Range

.NET Framework使用方式

nuget安装包:

PM>Install-Package Masuit.Tools

在你的控制器中,你可以像在FileResult一样使用它。

using Masuit.Tools.Mvc; 
using Masuit.Tools.Mvc.ResumeFileResult;
private readonly MimeMapper mimeMapper=new MimeMapper(); // 推荐使用依赖注入
public ActionResult ResumeFileResult()
{
    var path = Server.MapPath("~/Content/test.mp4");
    return new ResumeFileResult(path, mimeMapper.GetMimeFromPath(path), Request);
}
public ActionResult ResumeFile()
{
    return this.ResumeFile("~/Content/test.mp4", mimeMapper.GetMimeFromPath(path), "test.mp4");
}
public ActionResult ResumePhysicalFile()
{
    return this.ResumePhysicalFile(@"D:/test.mp4", mimeMapper.GetMimeFromPath(@"D:/test.mp4"), "test.mp4");
}

Asp.NET Core使用方式

nuget安装包:

PM>Install-Package Masuit.Tools.Core

和.NET Framework的方式有所不同,.NET Core在使用ResumeFileResults之前,必须在Startup.cs的ConfigureServices方法调用中配置服务:

using Masuit.Tools.AspNetCore.ResumeFileResults.DependencyInjection;
public void ConfigureServices(IServiceCollection services)
{
    services.AddResumeFileResult();
    ...
}

然后在你的控制器中,就可以像在FileResult一样的方式使用它了。

using Masuit.Tools.AspNetCore.ResumeFileResults.Extensions;
private const string EntityTag = "\"TestFile\"";

private readonly IHostingEnvironment _hostingEnvironment;

private readonly DateTimeOffset _lastModified = new DateTimeOffset(2016, 1, 1, 0, 0, 0, TimeSpan.Zero);

public TestController(IHostingEnvironment hostingEnvironment)
{
    _hostingEnvironment = hostingEnvironment;
}

[HttpGet("content/{fileName}/{etag}")]
public IActionResult FileContent(bool fileName, bool etag)
{
    string webRoot = _hostingEnvironment.WebRootPath;
    var content = System.IO.File.ReadAllBytes(Path.Combine(webRoot, "TestFile.txt"));
    ResumeFileContentResult result = this.ResumeFile(content, "text/plain", fileName ? "TestFile.txt" : null, etag ? EntityTag : null);
    result.LastModified = _lastModified;
    return result;
}

[HttpGet("content/{fileName}")]
public IActionResult FileContent(bool fileName)
{
    string webRoot = _hostingEnvironment.WebRootPath;
    var content = System.IO.File.ReadAllBytes(Path.Combine(webRoot, "TestFile.txt"));
    var result = new ResumeFileContentResult(content, "text/plain")
    {
        FileInlineName = "TestFile.txt",
        LastModified = _lastModified
    };
    return result;
}

[HttpHead("file")]
public IActionResult FileHead()
{
    ResumeVirtualFileResult result = this.ResumeFile("TestFile.txt", "text/plain", "TestFile.txt", EntityTag);
    result.LastModified = _lastModified;
    return result;
}

[HttpPut("file")]
public IActionResult FilePut()
{
    ResumeVirtualFileResult result = this.ResumeFile("TestFile.txt", "text/plain", "TestFile.txt", EntityTag);
    result.LastModified = _lastModified;
    return result;
}

[HttpGet("stream/{fileName}/{etag}")]
public IActionResult FileStream(bool fileName, bool etag)
{
    string webRoot = _hostingEnvironment.WebRootPath;
    FileStream stream = System.IO.File.OpenRead(Path.Combine(webRoot, "TestFile.txt"));

    ResumeFileStreamResult result = this.ResumeFile(stream, "text/plain", fileName ? "TestFile.txt" : null, etag ? EntityTag : null);
    result.LastModified = _lastModified;
    return result;
}

[HttpGet("stream/{fileName}")]
public IActionResult FileStream(bool fileName)
{
    string webRoot = _hostingEnvironment.WebRootPath;
    FileStream stream = System.IO.File.OpenRead(Path.Combine(webRoot, "TestFile.txt"));

    var result = new ResumeFileStreamResult(stream, "text/plain")
    {
        FileInlineName = "TestFile.txt",
        LastModified = _lastModified
    };

    return result;
}

[HttpGet("physical/{fileName}/{etag}")]
public IActionResult PhysicalFile(bool fileName, bool etag)
{
    string webRoot = _hostingEnvironment.WebRootPath;

    ResumePhysicalFileResult result = this.ResumePhysicalFile(Path.Combine(webRoot, "TestFile.txt"), "text/plain", fileName ? "TestFile.txt" : null, etag ? EntityTag : null);
    result.LastModified = _lastModified;
    return result;
}

[HttpGet("physical/{fileName}")]
public IActionResult PhysicalFile(bool fileName)
{
    string webRoot = _hostingEnvironment.WebRootPath;

    var result = new ResumePhysicalFileResult(Path.Combine(webRoot, "TestFile.txt"), "text/plain")
    {
        FileInlineName = "TestFile.txt",
        LastModified = _lastModified
    };

    return result;
}

[HttpGet("virtual/{fileName}/{etag}")]
public IActionResult VirtualFile(bool fileName, bool etag)
{
    ResumeVirtualFileResult result = this.ResumeFile("TestFile.txt", "text/plain", fileName ? "TestFile.txt" : null, etag ? EntityTag : null);
    result.LastModified = _lastModified;
    return result;
}

以上示例将为您的数据提供“Content-Disposition:attachment”。 当没有提供fileName时,数据会作为“Content-Disposition:inline”提供。

另外,它还可以提供ETag和LastModified标题。

[HttpGet("virtual/{fileName}")]
public IActionResult VirtualFile(bool fileName)
{
    var result = new ResumeVirtualFileResult("TestFile.txt", "text/plain")
    {
        FileInlineName = "TestFile.txt",
        LastModified = _lastModified
    };
    return result;
}

以上示例和代码都可以在github仓库找到。

https://github.com/ldqk/Masuit.Tools

分享到:

JetBrains All Products Pack[Mac/Win]编程开发工具集正版授权 [推广]

JetBrains All Products Pack[Mac/Win]编程开发工具集正版授权

获取所有桌面产品,包括 IntelliJ IDEA Ultimate、ReSharper Ultimate 和其他 IDE。 IntelliJ IDEA Ultimate - 这款全方位的工具集用于基于 JVM 的 Web、移动和企业开发 ReSharper Ultimate - Visual Studio 扩展、分析器和独立的跨平台 .NET IDE 其他 IDE – 包括 AppCode、CLion、Datalore、DataGrip、GoLand、PhpStorm、Pycharm、Rider、RubyMine 和 WebStorm

版权声明:

🈲⚠本文为作者原创,仅用于本站访客学习、研究和交流目的,未经授权禁止转载。️⚠🈲

相关推荐:

Autofac在.NET Core中的属性注入 博主的又一开源项目——基于EntityFrameworkCore和Lucene.NET实现的全文搜索引擎库
AutoMapper 6.x起步 深入理解C#中的IDisposable接口
.NET/java Office组件神器——Aspose.Total 17.x/18.x/19.x破解版+破解补丁下载 如何自由转换两个没有继承关系的字段及类型相同的实体模型
C# vs Java:C# 五个不可替代的特性瞬间秒杀 Java 谈一谈.NET中的并行编程(TPL)——多线程、异步、任务和并行计算
深入理解IEnumerable和IQueryable两接口的区别 ASP.NET Core通过URL重写将www的域名301到不带www的域名和强制使用https访问网站

评论区: