代码如下:
#!/usr/bin/env python<BR># -*- coding: utf-8 -*- <BR>from scrapy.contrib.spiders import CrawlSpider, Rule<BR>from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor<BR>from scrapy.selector import Selector</P><P>from cnbeta.items import CnbetaItem<BR>class CBSpider(CrawlSpider):<BR> name = 'cnbeta'<BR> allowed_domains = ['cnbeta.com']<BR> start_urls = ['http://www.gaodaima.com']</P><P> rules = (<BR> Rule(SgmlLinkExtractor(allow=('/articles/.*\.htm', )),<BR> callback='parse_page', follow=True),<BR> )</P><P> def parse_page(self, response):<BR> item = CnbetaItem()<BR> sel = Selector(response)<BR> item['title'] = sel.xpath('//title/text()').extract()<BR> item['url'] = response.url<BR> return item<BR>
实现蜘蛛爬虫步骤
1.实例初级目标：从一个网站的列表页抓取文章列表，然后存入数据库中，数据库包括文章标题、链接、时间
首先生成一个项目:scrapy startproject fjsen
先定义下items,打开items.py:
我们开始建模的项目，我们想抓取的标题，地址和时间的网站，我们定义域为这三个属性。这样做，我们编辑items.py，发现在开放目录目录。我们的项目看起来像这样：
from scrapy.item import Item, Field<BR>class FjsenItem(Item):<BR> # define the fields for your item here like:<BR> # name = Field()<BR> title=Field()<BR> link=Field()<BR> addtime=Field()<BR>
第二步：定义一个spider,就是爬行蜘蛛（注意在工程的spiders文件夹下），他们确定一个初步清单的网址下载，如何跟随链接，以及如何分析这些内容的页面中提取项目（我们要抓取的网站是http://www.fjsen.com/j/node_94962.htm 这列表的所有十页的链接和时间）。
新建一个fjsen_spider.py,内容如下：
#-*- coding: utf-8 -*-<BR>from scrapy.spider import BaseSpider<BR>from scrapy.selector import HtmlXPathSelector<BR>from fjsen.items import FjsenItem<BR>class FjsenSpider(BaseSpider):<BR> name="fjsen"<BR> allowed_domains=["fjsen.com"]<BR> start_urls=['http://www.fjsen.com/j/node_94962_'+str(x)+'.htm' for x in range(2,11)]+['http://www.fjsen.com/j/node_94962.htm']<BR> def parse(self,response):<BR> hxs=HtmlXPathSelector(response)<BR> sites=hxs.select('//ul/li')<BR> items=[]<BR> for site in sites:<BR> item=FjsenItem()<BR> item['title']=site.select('a/text()').extract()<BR> item['link'] = site.select('a/@href').extract()<BR> item['addtime']=site.select('span/text()').extract()<BR> items.append(item)<BR> return items <BR>
name:是确定蜘蛛的名称。它必须是独特的，就是说，你不能设置相同的名称不同的蜘蛛。
allowed_domains：这个很明显，就是允许的域名，或者说爬虫所允许抓取的范围仅限这个列表里面的域名。
start_urls：是一个网址列表，蜘蛛会开始爬。所以，第一页将被列在这里下载。随后的网址将生成先后从数据中包含的起始网址。我这里直接是列出十个列表页。
parse()：是蜘蛛的一个方法，当每一个开始下载的url返回的Response对象都会执行该函数。
这里面，我抓取每一个列表页中的
- 下的
- 下的数据，包括title,链接，还有时间，并插入到一个列表中
第三步，将抓取到的数据存入数据库中，这里就得在pipelines.py这个文件里面修改了
# Define your item pipelines here<BR>#<BR># Don't forget to add your pipeline to the ITEM_PIPELINES setting<BR>from os import path<BR>from scrapy import signals<BR>from scrapy.xlib.pydispatch import dispatcher<BR>class FjsenPipeline(object):<br><br> def __init__(self):<BR> se<p style="color:transparent">本文来源gao!daima.com搞$代!码网</p>lf.conn=None<BR> dispatcher.connect(self.initialize,signals.engine_started)<BR> dispatcher.connect(self.finalize,signals.engine_stopped)<BR> def process_item(self,item,spider):<BR> self.conn.execute('insert into fjsen values(?,?,?,?)',(None,item['title'][0],'http://www.gaodaima.com/'+item['link'][0],item['addtime'][0]))<BR> return item<BR> def initialize(self):<BR> if path.exists(self.filename):<BR> self.conn=sqlite3.connect(self.filename)<BR> else:<BR> self.conn=self.create_table(self.filename)<BR> def finalize(self):<BR> if self.conn is not None:<BR> self.conn.commit()<BR> self.conn.close()<BR> self.conn=None<BR> def create_table(self,filename):<BR> conn=sqlite3.connect(filename)<BR> conn.execute("""create table fjsen(id integer primary key autoincrement,title text,link text,addtime text)""")<BR> conn.commit()<BR> return conn<BR>这里我暂时不解释，先继续，让这个蜘蛛跑起来再说。
第四步：修改setting.py这个文件：将下面这句话加进去
ITEM_PIPELINES=['fjsen.pipelines.FjsenPipeline']<BR>
接着，跑起来吧,执行：
scrapy crawl fjsen<BR>
就会在目前下生成一个data.sqlite的数据库文件，所有抓取到的数据都会存在这里。搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤
