VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > Python基础教程 >
  • C#教程之HttpWebRequest请求http1.1的chunked的解析问题

问题:我的请求获取不到URL对应的内容(换个浏览器可以)。

 

第一步对比wirshark截包看HTTP请求头,发现我这缺失一部分请求头。

对着官方文档添加即可。https://msdn.microsoft.com/zh-cn/library/system.net.httpwebrequest(v=vs.110).aspx

第二步,校正请求头后请求后,发现wireshark有返回,但是无法获取。debug发现无法解析内容。

这个地方可能会耗费一点时间和经验才能知道。

经过目测,发现这个网站是HTTP1.1 ,还有一个参数chunked。简单说就是返回内容的时候,分段返回的。不设置长度。

老版本的读取方法的话,对于这种是没法读取的。参考另一个网友的办法就解决了。

供大家参考吧。自己项目代码就不贴了,避嫌。

复制代码
static void Main(string[] args)
        {
            HttpWebResponse web = MySpider.GetResponse("http://localhost:1853/WebForm1.aspx");
            DecompressGZip(web );
            Console.ReadLine();
        }
 
public static MemoryStream DecompressGZip(HttpWebResponse res)
    {

  

 //如果服务器使用了Transfer-Encoding:chunked缓冲输出,则只要服务器端Flush了,就会触发此方法,而不是等到服务器发送过来的内容全部发送完才触发,
//而且与是不是异步HttpWebRequest请求也没有关系。相反,如果服务器没有使用Transfer-Encoding:chunked缓冲输出,
//则不管是异步HttpWebRequest请求还是同步HttpWebRequest请求,都得等到服务器发送过来的内容全部发送完才触发此方法。

 

        Stream stream = res.GetResponseStream();
        int length = 0;
        if (res.ContentLength > 0)
        {
            length = (int)res.ContentLength;
        }
        else
        {
            length = 3000;
        }
        MemoryStream memory = new MemoryStream(length);
        int count = 0;
        //每次从服务器返回流中读取5000个字节
        byte[] buffer = new byte[5000];       
                while (true)
                {

         //如果服务器使用了Transfer-Encoding:chunked缓冲输出,则如果已经读取了服务器第一次Flush的内容后服务器第二次Flush的内容还没有接收到,则会阻塞当前线程,
//直到接收到服务器第二次Flush的内容(第三,四。。。次Flush也是一样),所以很可能会造成读取一次返回的count不满5000,但下一次继续读取返回的count却不是0的情况

                    count = stream.Read(buffer, 0, buffer.Length);
                    if (count == 0)
                    {
                        break;
                    }
                    memory.Write(buffer, 0, count);
                }
               
        stream.Close();
        //将流的可读位置设置到起始值
        memory.Seek(0, SeekOrigin.Begin);
        return memory;
    }
复制代码

 

 

 

 

附录

1.关于Http中Transfer-Encoding: chunked问题.http://blog.csdn.net/yuzehome/article/details/54095932
2.HTTP1.1中CHUNKED编码解析 http://blog.csdn.net/zhangboyj/article/details/6236780
3. http://www.cnblogs.com/mxw09/archive/2010/12/17/1908753.html


作者:撞破南墙 
出处:http://www.cnblogs.com/facingwaller/ 
关于作者:本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。 



相关教程