抓取时的几个小细节
这一篇我们聊聊在页面抓取时应该注意到的几个问题。
一：网页更新
我们知道，一般网页中的信息是不断翻新的，这也要求我们定期的去抓这些新信息，但是这个“定期”该怎么理解，也就是多长时间需要
抓一次该页面，其实这个定期也就是页面缓存时间，在页面的缓存时间内我们再次抓取该网页是没有必要的，反而给人家服务器造成压力。
就比如说我要抓取博客园首页，首先清空页面缓存，
从Last-Modified到Expires，我们可以看到，博客园的缓存时间是2分钟，而且我还能看到当前的服务器时间Date，如果我再次
刷新页面的话，这里的Date将会变成下图中 If-Modified-Since,然后发送给服务器，判断浏览器的缓存有没有过期？
最后服务器发现If-Modified-Since >= Last-Modifined的时间，服务器也就返回304了，不过发现这cookie信息真是贼多啊。。。
在实际开发中，如果在知道网站缓存策略的情况下，我们可以让爬虫2min爬一次就好了，当然这些都是可以由数据团队来配置维护了，
好了，下面我们用爬虫模拟一下。
1 using System;
2 using System.Net;
3
4 namespace ConsoleApplication2
5 {
6 public class Program
7 {
8 static void Main( string [] args)
9 {
10 DateTime prevDateTime = DateTime.MinValue;
11
12 for ( int i = 0 ; i < 10 ; i++ )
13 {
14 try
15 {
16 var url = " http://cnblogs.com " ;
17
18 var request = (HttpWebRequest)HttpWebRequest.Create(url);
19
20 request.Method = " Head " ;
21
22 if (i > 0 )
23 {
24 request.IfModifiedSince = prevDateTime;
25 }
26
27 request.Timeout = 3000 ;
28
29 var response = (HttpWebResponse)request.GetResponse();
30
31 var code = response.StatusCode;
32
33 // 如果服务器返回状态是200，则认为网页已更新，记得当时的服务器时间
34 if (code == HttpStatusCode.OK)
35 {
36 prevDateTime = Convert.ToDateTime(response.Headers[HttpResponseHeader.Date]);
37 }
38
39 Console.WriteLine( " 当前服务器的状态码:{0} " , code);
40 }
41 catch (WebException ex)
42 {
43 if (ex.Response != null )
44 {
45 var code = (ex.Response as HttpWebResponse).StatusCode;
46
47 Console.WriteLine( " 当前服务器的状态码:{0} " , code);
48 }
49 }
50 }
51 }
52 }
53 }
二：网页编码的问题
有时候我们已经抓取到网页了，准备去解析的时候，tmd的全部是乱码，真是操蛋，比如下面这样，
或许我们依稀的记得在html的meta中有一个叫做charset的属性，里面记录的就是编码方式，还有一个要点就是
response.CharacterSet这个属性中同样也记录了编码方式，下面我们再来试试看。
艹，居然还是乱码，蛋疼了，这次需要到官网上面去看一看，到底http头信息里面都交互了些什么，凭什么浏览器能正常显示，
爬虫爬过来的就不行。
查看了http头信息，终于我们知道了，浏览器说我可以解析 gzip,deflate,sdch这三种压缩方式，服务器发送的是gzip压缩，到这里
我们也应该 知道了常用的web性能优化。
1 using System;
2 using System.Collections.Generic;
3 using System.Linq;
4 using System.Text;
5 using System.Threading;
6 using HtmlAgilityPack;
7 using System.Text.RegularExpressions;
8 using System.Net;
9 using System.IO;
10 using System.IO.Compression;
11
12 namespace ConsoleApplication2
13 {
14 public class Program
15 {
16 static void Main( string [] args)
17 {
18 // var currentUrl = " http://www.mm5mm.com/ ";
19
20 var currentUrl = " http://www.sohu.com/ " ;
21
22 var request = WebRequest.Create(currentUrl) as HttpWebRequest;
23
24 var response = request.GetResponse() as HttpWebResponse;
25
26 var encode = string .Empty;
27
28 if (response.CharacterSet == " ISO-8859-1 " )
29 encode = " gb2312 " ;
30 else
31 encode = response.CharacterSet;
32
33 Stream stream;
34
35 if (response.ContentEncoding.ToLower() == " gzip " )
36 {
37 stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
38 }
39 else
40 {
41 stream = response.GetResponseStream();
42 }
43
44 var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
45
46 var html = sr.ReadToEnd();
47 }
48 }
49 }
三：网页解析
既然经过千辛万苦拿到了网页，下一个就要解析了，当然正则匹配是个好方法，毕竟工作量还是比较大的，可能业界也比较推崇
HtmlAgilityPack这个解析工具，能够将Html解析成XML，然后可以用XPath去提取指定的内容，大大提高了开发速度，性能也
不赖，毕竟Agility也就是敏捷的意思，关于XPath的内容，大家看懂W3CSchool的这两张图就OK了。
1 using System;
2 using System.Collections.Generic;
3 using System.Linq;
4 using System.Text;
5 using System.Threading;
6 using HtmlAgilityPack;
7 using System.Text.RegularExpressions;
8 using System.Net;
9 using System.IO;
10 using System.IO.Compression;
11
12 namespace ConsoleApplication2
13 {
14 public class Program
15 {
16 static void Main( string [] args)
17 {
18 // var currentUrl = " http://www.mm5mm.com/ ";
19
20 var currentUrl = " http://www.sohu.com/ " ;
21
22 var request = WebRequest.Create(currentUrl) as HttpWebRequest;
23
24 var response = request.GetResponse() as HttpWebResponse;
25
26 var encode = string .Empty;
27
28 if (response.CharacterSet == " ISO-8859-1 " )
29 encode = " gb2312 " ;
30 else
31 encode = response.CharacterSet;
32
33 Stream stream;
34
35 if (response.ContentEncoding.ToLower() == " gzip " )
36 {
37 stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
38 }
39 else
40 {
41 stream = response.GetResponseStream();
42 }
43
44 var sr = new StreamReader(stream, Encoding.GetEncoding(encode));
45
46 var html = sr.ReadToEnd();
47
48 sr.Close();
49
50 HtmlDocument document = new HtmlDocument();
51
52 document.LoadHtml(html);
53
54 // 提取title
55 var title = document.DocumentNode.SelectSingleNode( " //title " ).InnerText;
56
57 // 提取keywords
58 var keywords = document.DocumentNode.SelectSingleNode( " //meta[@name='Keywords'] " ).Attributes[ " content " ].Value;
59 }
60 }
61 }
好了，打完收工，睡觉。。。
跪求程序员二枚，有意向请 查看详情 ，也可与我联系！ 如果觉得文章对你有帮助，欢迎在 IT博客大赛中投我一票
分类: 小爬虫系列
作者： Leo_wl
出处： http://www.cnblogs.com/Leo_wl/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
版权信息