VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > Python基础教程 >

  • Python3标准库：urllib.robotparser Internet蜘蛛访问控制

1. urllib.request网络资源访问

robotparser为robots.txt文件格式实现一个解析器，提供了一个函数来检查给定的用户代理是否可以访问一个资源。这个模块可以用于合法蜘蛛或者需要抑制或限制的其他爬虫应用中。

1.1 robots.txt

robots.txt文件格式是一个基于文本的简单访问控制系统，用于自动访问Web资源的计算机程序(如“蜘蛛”“爬虫”等)。这个文件由记录构成，各记录会指定程序的用户代理标识符，后面是该代理不能访问的一个URL(或URL前缀)列表。
以下代码清单显示了https://pymotw.com/的robots.txt文件。



    

  1. 
Sitemap: https://pymotw.com/sitemap.xml
    2. 

  2. 
User-agent: *
    3. 

  3. 
Disallow: /admin/
    4. 

  4. 
Disallow: /downloads/
    5. 

  5. 
Disallow: /media/
    6. 

  6. 
Disallow: /static/
    7. 

  7. 
Disallow: /codehosting/
    8. 






这个文件会阻止访问网站中某些计算资源代价昂贵的部分，如果搜索引擎试图索引这些部分，那么可能会让服务器负载过重。要得到更完整的robots.txt示例集，可以参考Web Robots页面。







1.2 测试访问权限



基于之前提供的数据，一个简单的爬虫应用可以使用RobotFileParser.can_fetch()测试是否允许下载一个页面。






    

  1. 
from urllib import parse
    2. 

  2. 
from urllib import robotparser
    3. 

  3. 
 
    4. 

  4. 
AGENT_NAME = 'PyMOTW'
    5. 

  5. 
URL_BASE = 'https://pymotw.com/'
    6. 

  6. 
parser = robotparser.RobotFileParser()
    7. 

  7. 
parser.set_url(parse.urljoin(URL_BASE, 'robots.txt'))
    8. 

  8. 
parser.read()
    9. 

  9. 
 
    10. 

  10. 
PATHS = [
    11. 

  11. 
'/',
    12. 

  12. 
'/PyMOTW/',
    13. 

  13. 
'/admin/',
    14. 

  14. 
'/downloads/PyMOTW-1.92.tar.gz',
    15. 

  15. 
]
    16. 

  16. 
 
    17. 

  17. 
for path in PATHS:
    18. 

  18. 
print('{!r:>6} : {}'.format(
    19. 

  19. 
parser.can_fetch(AGENT_NAME, path), path))
    20. 

  20. 
url = parse.urljoin(URL_BASE, path)
    21. 

  21. 
print('{!r:>6} : {}'.format(
    22. 

  22. 
parser.can_fetch(AGENT_NAME, url), url))
    23. 

  23. 
print()
    24. 






can_fetch()的URL参数可以是一个相对于网站根目录的相对路径，也可以是一个完全URL。











1.3 长寿命蜘蛛



如果一个应用需要花很长时间来处理它下载的资源，或者受到抑制，需要在下载之间暂停，那么这样的应用应当以它已下载内容的寿命为根据，定期检查新的robots.txt文件。这个寿命并不是自动管理的，不过有一些简便方法可以方便地跟踪其寿命。






    

  1. 
from urllib import robotparser
    2. 

  2. 
import time
    3. 

  3. 
 
    4. 

  4. 
AGENT_NAME = 'PyMOTW'
    5. 

  5. 
parser = robotparser.RobotFileParser()
    6. 

  6. 
# Using the local copy
    7. 

  7. 
parser.set_url('file:robots.txt')
    8. 

  8. 
parser.read()
    9. 

  9. 
parser.modified()
    10. 

  10. 
 
    11. 

  11. 
PATHS = [
    12. 

  12. 
'/',
    13. 

  13. 
'/PyMOTW/',
    14. 

  14. 
'/admin/',
    15. 

  15. 
'/downloads/PyMOTW-1.92.tar.gz',
    16. 

  16. 
]
    17. 

  17. 
 
    18. 

  18. 
for path in PATHS:
    19. 

  19. 
age = int(time.time() - parser.mtime())
    20. 

  20. 
print('age:', age, end=' ')
    21. 

  21. 
if age > 1:
    22. 

  22. 
print('rereading robots.txt')
    23. 

  23. 
parser.read()
    24. 

  24. 
parser.modified()
    25. 

  25. 
else:
    26. 

  26. 
print()
    27. 

  27. 
print('{!r:>6} : {}'.format(
    28. 

  28. 
parser.can_fetch(AGENT_NAME, path), path))
    29. 

  29. 
# Simulate a delay in processing
    30. 

  30. 
time.sleep(1)
    31. 

  31. 
print()
    32. 






这个例子有些极端，如果已下载的文件寿命超过一秒，那么它就会下载一个新的robots.txt文件。







作为一个更好的长寿命应用，在下载整个文件之前可能会请求文件的修改时间。另一方面，robots.txt文件通常很小，所以在此获取整个文档的开销并不昂贵。 






    













相关教程