Spider

介绍

这个专题收录了我所使用的爬虫实例与技巧,其中大多的爬虫使用的是python(人生苦短,我用python)。

技巧篇:

  1. urllib2_threads
    python的urllib2库配合多线程服用,效果更加。

  2. polayoutu
    使用redis缓存爬虫信息

  3. douban250
    爬取豆瓣电影TOP250的数据,根据分类进行数据分析

gayhub:传送门