Python3多线程爬虫实例讲解(3)|python爬虫|python入门|python教程

当前位置:

首页 > 编程开发 > python爬虫 >

python爬虫之Python3多线程爬虫实例讲解(3)

本站最新发布 Python从入门到精通|Python基础教程
试听地址 https://www.xin3721.com/eschool/pythonxin3721/

3个线程时：

Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/2.html

Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/3.html

Current Thread Name Thread-3, Url: http://www.pythontab.com/html/pythonjichu/4.html

Current Thread Name Thread-4, Url: http://www.pythontab.com/html/pythonjichu/5.html

Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/6.html

Current Thread Name Thread-4, Url: http://www.pythontab.com/html/pythonjichu/7.html

Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/9.html

Current Thread Name Thread-3, Url: http://www.pythontab.com/html/pythonjichu/8.html

Done, Time cost: 2.287320137023926

通过调节线程数可以看到，执行时间会随着线程数的增加而缩短，抓取效率成正比增加。

总结：

Python多线程在IO密集型任务，多线程可以明显提高效率，CPU密集型任务不适合使用多线程处理。

栏目列表

首页 > 编程开发 > python爬虫 >

python爬虫之Python3多线程爬虫实例讲解(3)

总结：