Python爬虫进阶？

现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本247K，压缩了以后45K，为原来的1/5。这就意味着抓取速度会快5倍。

然而python的urllib/urllib2默认都不支持压缩，要返回压缩格式，必须在request的header里面写明’accept-encoding’，然后读取response后更要检查header查看是否有’content-encoding’一项来判断是否需要解码，很繁琐琐碎。如何让urllib2自动支持gzip, defalte呢？

其实可以继承BaseHanlder类，然后build_opener的方式来处理：

 import urllib2 from gzip import GzipFile from StringIO import StringIO class ContentEncodingProcessor(urllib2.BaseHandler):   """A handler to add gzip capabilities to urllib2 requests """     # add headers to requests   def http_request(self, req):     req.add_header("Accept-Encoding", "gzip, deflate")     return req     # decode   def http_response(self, req, resp):     old_resp = resp     # gzip     if resp.headers.get("content-encoding") == "gzip":         gz = GzipFile(                     fileobj=StringIO(resp.read()),                     mode="r"                   )         resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code)         resp.msg = old_resp.msg     # deflate     if resp.headers.get("content-encoding") == "deflate":         gz = StringIO( deflate(resp.read()) )         resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code)  # 'class to add info() and         resp.msg = old_resp.msg     return resp   # deflate support import zlib def deflate(data):   # zlib only provides the zlib compress format, not the deflate format;   try:               # so on top of all there's this workaround:     return zlib.decompress(data, -zlib.MAX_WBITS)   except zlib.error:     return zlib.decompress(data)
  

"每秒10个请求就差不多了"
这个要求看似非常简单, 但我相信会有少部分程序员在单机情况下 无法实现. 下面来介绍下如何在PC上实现这个要求.简单测试一下(阿里云服务器, 1M带宽)

time curl http://HdhCmsTest baidu测试数据 耗时 0.454 秒.
换句话说, 在不考虑数据处理, 数据存储的情况下, 每秒只够请求百度两次.OK, 为什么?因为等待 与IO 占用了大部分时间.解决这种占着CPU不拉屎的情况, 可行的方法是线程池与异步IO或异步回调.我最近切换到了 python3.5, 异步网络 io 已经有官方库帮着做的.请戳下面, 自己学习.
18.5. asyncio a€“ Asynchronous I/O, event loop, coroutines and tasks
线程池更简单, 可以自己写也可以用轮子.

  class   WPooler  : 

     def   __init__  (  self  ,   maxsize  =  1024  ,   concurrent  =  4  ): 
         self  .  queue   =   queue  .  Queue  (  maxsize  =  maxsize  ) 
         self  .  concurrent   =   concurrent 
         self  .  threads   =   [] 

         for   i   in   range  (  self  .  concurrent  ): 
             self  .  threads  .  append  (  WThreader  (  self  .  queue  )) 

         for   thread   in   self  .  threads  : 
             thread  .  start  () 

     def   do  (  self  ,   func  ,   args  =  (),   kwargs  =  {},   callback  =  None  ): 
         self  .  queue  .  put  ((  func  ,   args  ,   kwargs  ,   callback  )) 

     def   async  (  self  ,   callback  =  None  ): 
         return   Asyncer  (  self  ,   callback  =  callback  ) 

     def   wait  (  self  ): 
         self  .  queue  .  join  () 


 class   WThreader  (  threading  .  Thread  ): 

     def   __init__  (  self  ,   queue  ): 
         threading  .  Thread  .  __init__  (  self  ,   daemon  =  True  ) 
         self  .  queue   =   queue 

     def   run  (  self  ): 
         while   True  : 
             func  ,   args  ,   kwargs  ,   callback   =   self  .  queue  .  get  (  block  =  True  ) 
             try  : 
                 r   =   func  (  *  args  ,   **  kwargs  ) 
                 if   callback  : 
                     callback  (  r  ) 
             except   Exception   as   e  : 
                 logging  .  exception  (  e  ) 
             finally  : 
                 self  .  queue  .  task_done  () 
  

从入门到精通： 如何入门 Python 爬虫？ - 谢科的回答

爬虫是在没有（用）API获取数据的情况下以Hack的方式获取数据的一种有效手段；进阶，就是从爬取简单页面逐渐过渡到复杂页面的过程。针对特定需求，爬取的网站类型不同，可以使用不同的python库相结合，达到快速抓取数据的目的。但是无论使用什么库，第一步分析目标网页的页面元素发现抓取规律总是必不可少的：有些爬虫是通过访问固定url前缀拼接不同的后缀进行循环抓取，有些是通过一个起始url作为种子url继而获取更多的目标url递归抓取；有些网页是静态数据可以直接获取，有些网页是js渲染数据需要构造二次请求……如果统统都写下来，一篇文章是不够的，这里举几个典型的栗子：

1. 页面url为固定url前缀拼接不同的后缀：

以从OPENISBN网站抓取图书分类信息为例，我有一批图书需要入库，但是图书信息不全，比如缺少图书分类，此时需要去" http:// openisbn测试数据/ "网站根据ISBN号获取图书的分类信息。

如《失控》这本书， ISBN: 7513300712 ，对应url为 " http:// openisbn测试数据/isbn/75133 00712/ " ，分析url规律就是以 "http://openisbn测试数据/isbn/ " 作为固定前缀然后拼接ISBN号得到；然后分析页面元素，Chrome右键 —> 检查：

我先直接使用urllib2 + re 来获得“Category:” 信息:

  #-*- coding:UTF-8 -*- 

 import   re 
 import   urllib2 


 isbn   =   '7513300712' 
 url   =   'http://openisbn测试数据/isbn/{0}'  .  format  (  isbn  ) 
 category_pattern   =   re  .  compile  (  r'Category: *.*, '  ) 
 html   =   urllib2  .  urlopen  (  url  )  .  read  () 
 category_info   =   category_pattern  .  findall  (  html  ) 

 if   len  (  category_info  )   >   0   : 
     print   category_info  [  0  ] 
 else  : 
     print   'get category failed.' 
  

编写了一些简单的爬虫代码，如通过正则，多线程的爬虫，爬取贴吧里面的图片，爬取过代理网站的IP，还接触了scrapy方面的知识。
------------------------------------------------------------------------------------------------------
看题主的描述，已经算是比较入门了，继续下去完全可以做一些更有趣也更有挑战的事情。
比如：
1.如何抓取JavaScript生成的页面？
2.一些网站会限制你的抓取频率，过快的抓取会封禁IP，如何定量控制抓取频率？
3.google早就实现了单台机器同时维持300个爬取任务，如何提高单台机器爬虫的工作效率？
4.大数据背景下，单台机器不能满足数据量要求，爬虫分布式如何实现？
5.如何对DeepWeb进行自动化挖掘？附论文： Google’s Deep-Web Crawl

从1到5逐渐按难度加大，也算是能不断进阶了吧。 去爬一下微信公众号内容试试
要这样的

 http://weixin.sogou测试数据/gzh?openid=oIWsFt4ORWCSUS8szIwVLoRuAq9M
  

查看更多关于Python爬虫进阶？的详细内容...

声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://haodehen.cn/did83316