《C# 爬虫 破境之道》：第二境 爬虫应用 — 第三节：处理压缩数据

HTTP Header中Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型[1] 
常见的有
Accept-Encoding: compress, gzip          //支持compress 和gzip类型
Accept-Encoding:　                              //默认是identity
Accept-Encoding: *　                           //支持所有类型
Accept-Encoding: compress;q=0.5, gzip;q=1.0//按顺序支持 gzip , compress
Accept-Encoding: gzip;q=1.0, identity; q=0.5, *;q=0 // 按顺序支持 gzip , identity
服务器返回的对应的类型编码header是 content-encoding.服务器处理accept-encoding的规则如下所示：
1. 如果服务器可以返回定义在Accept-Encoding 中的任何一种Encoding类型, 那么处理成功(除非q的值等于0, 等于0代表不可接受)　
2. * 代表任意一种Encoding类型 (除了在Accept-Encoding中显示定义的类型)　
3. 如果有多个Encoding同时匹配, 按照q值顺序排列　
4. identity总是可被接受的encoding类型(除非明确的标记这个类型q=0) 

如果Accept-Encoding的值是空, 那么只有identity是会被接受的类型
如果Accept-Encoding中的所有类型服务器都没法返回, 那么应该返回406错误给客户端
如果request中没有Accept-Encoding 那么服务器会假设所有的Encoding都是可以被接受的。
如果Accept-Encoding中有identity 那么应该优先返回identity (除非有q值的定义,或者你认为另外一种类型是更有意义的)
注意:
如果服务器不支持identity 并且浏览器没有发送Accept-Encoding,那么服务器应该倾向于使用HTTP1.0中的 "gzip" and "compress" , 服务器可能按照客户端类型发送更适合的encoding类型
大部分HTTP1.0的客户端无法处理q值

Accept-Encoding与Content-Encoding的规则

 1 public static byte[] DecompressStreamData(Stream sourceStream, String contentEncoding)
 2 {
 3     var _stream = sourceStream;
 4     switch ((contentEncoding ?? string.Empty).ToLower())
 5     {
 6         case "gzip":
 7             _stream = new GZipStream(sourceStream, CompressionMode.Decompress);
 8             break;
 9         case "deflate":
10             _stream = new DeflateStream(sourceStream, CompressionMode.Decompress);
11             break;
12         default:
13             break;
14     }
15     using (var memory = new MemoryStream())
16     {
17         int length = 256;
18         Byte[] buffer = new Byte[length];
19         int bytesRead = _stream.Read(buffer, 0, length);
20         while (bytesRead > 0)
21         {
22             memory.Write(buffer, 0, bytesRead);
23             bytesRead = _stream.Read(buffer, 0, length);
24         }
25         return memory.ToArray();
26     }
27 }

 1 private void GetResponse(JobContext context)
 2 {
 3     context.Request.BeginGetResponse(new AsyncCallback(acGetResponse =>
 4     {
 5         var contextGetResponse = acGetResponse.AsyncState as JobContext;
 6         using (contextGetResponse.Response = contextGetResponse.Request.EndGetResponse(acGetResponse))
 7         using (contextGetResponse.ResponseStream = contextGetResponse.Response.GetResponseStream())
 8         using (contextGetResponse.Memory = new MemoryStream())
 9         {
10             // 此处省略N行……
11 
12             if (TaskStatus.Running == contextGetResponse.JobStatus)
13             {
14                 if (!String.IsNullOrEmpty(contextGetResponse.Response.Headers["Content-Encoding"]))
15                 {
16                     contextGetResponse.Memory.Seek(0, SeekOrigin.Begin);
17                     contextGetResponse.Buffer = DecompressStreamData(contextGetResponse.Memory
18                         , contextGetResponse.Response.Headers["Content-Encoding"]);
19                     //contextGetResponse.Buffer = contextGetResponse.Memory.ToArray();
20                 }
21                 else
22                     contextGetResponse.Buffer = contextGetResponse.Memory.ToArray();
23 
24                 contextGetResponse.JobStatus = TaskStatus.RanToCompletion;
25                 NotifyStatusChanged(new JobEventArgs { Context = context, EventAnt = this, });
26             }
27 
28             contextGetResponse.Buffer = null;
29         }
30     }), context);
31 }

 1 switch (args.Context.JobStatus)
 2 {
 3     // 此处省略N行……
 4     case TaskStatus.RanToCompletion:
 5         if (null != args.Context.Buffer && 0 < args.Context.Buffer.Length)
 6         {
 7             Task.Factory.StartNew(oBuffer =>
 8             {
 9                 var content = new UTF8Encoding(false).GetString((byte[])oBuffer);
10                 richOutput.EndInvoke(richOutput.BeginInvoke(new MethodInvoker(() => { richOutput.Text = content; })));
11             }, args.Context.Buffer, TaskCreationOptions.LongRunning);
12         }
13         if (null != args.Context.Watch)
14             Console.WriteLine("/* ********************** using {0}ms / request  ******************** */"
15                 + Environment.NewLine + Environment.NewLine, (args.Context.Watch.Elapsed.TotalMilliseconds / 100).ToString("000.00"));
16         break;
17     // 此处省略N行……
18     default:/* Do nothing on this even. */
19         break;
20 }