VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > Python基础教程 >

  • 爬虫(十七)：Scrapy框架(四) 对接selenium爬取京东商品数据

1. Scrapy对接Selenium

Scrapy抓取页面的方式和requests库类似，都是直接模拟HTTP请求，而Scrapy也不能抓取JavaScript动态谊染的页面。在前面的博客中抓取JavaScript渲染的页面有两种方式。一种是分析Ajax请求，找到其对应的接口抓取，Scrapy同样可以用此种方式抓取。另一种是直接用 Selenium模拟浏览器进行抓取，我们不需要关心页面后台发生的请求，也不需要分析渲染过程，只需要关心页面最终结果即可，可见即可爬。那么，如果Scrapy可以对接Selenium，那 Scrapy就可以处理任何网站的抓取了。

1.1 新建项目

首先新建项目，名为scrapyseleniumtest。

scrapy startproject scrapyseleniumtest

新建一个Spider。

scrapy genspider jd www.jd.com

修改ROBOTSTXT_OBEY为False。

ROBOTSTXT_OBEY = False

1.2 定义Item

这里我们就不调用Item了。

初步实现Spider的start _requests()方法。



    

  1. 
# -*- coding: utf-8 -*-
    2. 

  2. 
from scrapy import Request,Spider
    3. 

  3. 
from urllib.parse import quote
    4. 

  4. 
from bs4 import BeautifulSoup
    5. 

  5. 
 
    6. 

  6. 
class JdSpider(Spider):
    7. 

  7. 
name = 'jd'
    8. 

  8. 
allowed_domains = ['www.jd.com']
    9. 

  9. 
base_url = 'https://search.jd.com/Search?keyword='
    10. 

  10. 
 
    11. 

  11. 
def start_requests(self):
    12. 

  12. 
for keyword in self.settings.get('KEYWORDS'):
    13. 

  13. 
for page in range(1, self.settings.get('MAX_PAGE') + 1):
    14. 

  14. 
url = self.base_url + quote(keyword)
    15. 

  15. 
# dont_filter = True 不去重
    16. 

  16. 
yield Request(url=url, callback=self.parse, meta={'page': page}, dont_filter=True)
    17. 






首先定义了一个base_url，即商品列表的URL，其后拼接一个搜索关键字就是该关键字在京东搜索的结果商品列表页面。



关键字用KEYWORDS标识，定义为一个列表。最大翻页页码用MAX_PAGE表示。它们统一定义在settings.py里面。






    

  1. 
KEYWORDS = ['iPad']
    2. 

  2. 
MAX_PAGE = 2
    3. 






在start_requests()方法里，我们首先遍历了关键字，遍历了分页页码，构造并生成Request。由于每次搜索的URL是相同的，所以分页页码用meta参数来传递，同时设置dont_filter不去重。这样爬虫启动的时候，就会生成每个关键字对应的商品列表的每一页的请求了。







1.3 对接Selenium



接下来我们需要处理这些请求的抓取。这次我们对接Selenium进行抓取，采用Downloader Middleware来实现。在Middleware中对接selenium，输出源代码之后，构造htmlresponse对象，直接返回给spider解析页面，提取数据，并且也不在执行下载器下载页面动作。






    

  1. 
class SeleniumMiddleware(object):
    2. 

  2. 
# Not all methods need to be defined. If a method is not defined,
    3. 

  3. 
# scrapy acts as if the downloader middleware does not modify the
    4. 

  4. 
# passed objects.
    5. 

  5. 
 
    6. 

  6. 
def __init__(self,timeout=None):
    7. 

  7. 
self.logger=getLogger(__name__)
    8. 

  8. 
self.timeout = timeout
    9. 

  9. 
self.browser = webdriver.Chrome()
    10. 

  10. 
self.browser.set_window_size(1400,700)
    11. 

  11. 
self.browser.set_page_load_timeout(self.timeout)
    12. 

  12. 
self.wait = WebDriverWait(self.browser,self.timeout)
    13. 

  13. 
 
    14. 

  14. 
def __del__(self):
    15. 

  15. 
self.browser.close()
    16. 

  16. 
 
    17. 

  17. 
@classmethod
    18. 

  18. 
def from_crawler(cls, crawler):
    19. 

  19. 
# This method is used by Scrapy to create your spiders.
    20. 

  20. 
return cls(timeout=crawler.settings.get('SELENIUM_TIMEOUT'))
    21. 

  21. 
 
    22. 

  22. 
def process_request(self, request, spider):
    23. 

  23. 
'''
    24. 

  24. 
在下载器中间件中对接使用selenium，输出源代码之后，构造htmlresponse对象，直接返回
    25. 

  25. 
给spider解析页面，提取数据
    26. 

  26. 
并且也不在执行下载器下载页面动作
    27. 

  27. 
htmlresponse对象的文档：
    28. 

  28. 
:param request:
    29. 

  29. 
:param spider:
    30. 

  30. 
:return:
    31. 

  31. 
'''
    32. 

  32. 
 
    33. 

  33. 
print('PhantomJS is Starting')
    34. 

  34. 
page = request.meta.get('page', 1)
    35. 

  35. 
self.wait = WebDriverWait(self.browser, self.timeout)
    36. 

  36. 
# self.browser.set_page_load_timeout(30)
    37. 

  37. 
# self.browser.set_script_timeout(30)
    38. 

  38. 
try:
    39. 

  39. 
self.browser.get(request.url)
    40. 

  40. 
if page > 1:
    41. 

  41. 
input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > input')))
    42. 

  42. 
input.clear()
    43. 

  43. 
input.send_keys(page)
    44. 

  44. 
time.sleep(5)
    45. 

  45. 
 
    46. 

  46. 
# 将网页中输入跳转页的输入框赋值给input变量 EC.presence_of_element_located，判断输入框已经被加载出来
    47. 

  47. 
input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > input')))
    48. 

  48. 
# 将网页中调准页面的确定按钮赋值给submit变量，EC.element_to_be_clickable 判断此按钮是可点击的
    49. 

  49. 
submit = self.wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage > span.p-skip > a')))
    50. 

  50. 
input.clear()
    51. 

  51. 
input.send_keys(