-
用C#实现网络爬虫(二)
上一篇《用C#实现网络爬虫(一)》我们实现了网络通信的部分,接下来继续讨论爬虫的实现
3. 保存页面文件
这一部分可简单可复杂,如果只要简单地把HTML代码全部保存下来的话,直接存文件就行了。
1 private void SaveContents(string html, string url) 2 { 3 if (string.IsNullOrEmpty(html)) //判断html字符串是否有效 4 { 5 return; 6 } 7 string path = string.Format("{0}\{1}.txt", _path, _index++); //生成文件名 8 9 try 10 { 11 using (StreamWriter fs = new StreamWriter(path)) 12 { 13 fs.Write(html); //写文件 14 } 15 } 16 catch (IOException ioe) 17 { 18 MessageBox.Show("SaveContents IO" + ioe.Message + " path=" + path); 19 } 20 21 if (ContentsSaved != null) 22 { 23 _ui.Dispatcher.Invoke(ContentsSaved, path, url); //调用保存文件事件 24 } 25 }
第23行这里又出现了一个事件,是保存文件之后触发的,客户程序可以之前进行注册。
1 public delegate void ContentsSavedHandler(string path, string url); 2 3 /// <summary> 4 /// 文件被保存到本地后触发 5 /// </summary> 6 public event ContentsSavedHandler ContentsSaved = null;
4. 提取页面链接
提取链接用正则表达式就能搞定了,不懂的可以上网搜。
下面的字符串就能匹配到页面中的链接
http://([w-]+.)+[w-]+(/[w- ./?%&=]*)?
详细见代码
1 private string[] GetLinks(string html) 2 { 3 const string pattern = @"http://([w-]+.)+[w-]+(/[w- ./?%&=]*)?"; 4 Regex r = new Regex(pattern, RegexOptions.IgnoreCase); //新建正则模式 5 MatchCollection m = r.Matches(html); //获得匹配结果 6 string[] links = new string[m.Count]; 7 8 for (int i = 0; i < m.Count; i++) 9 { 10 links[i] = m[i].ToString(); //提取出结果 11 } 12 return links; 13 }
5. 链接的过滤
不是所有的链接我们都需要下载,所以通过过滤,去掉我们不需要的链接
这些链接一般有:
- 已经下载的链接
- 深度过大的链接
- 其他的不需要的资源,如图片、CSS等
1 //判断链接是否已经下载或者已经处于未下载集合中 2 private bool UrlExists(string url) 3 { 4 bool result = _urlsUnload.ContainsKey(url); 5 result |= _urlsLoaded.ContainsKey(url); 6 return result; 7 } 8 9 private bool UrlAvailable(string url) 10 { 11 if (UrlExists(url)) 12 { 13 return false; //已经存在 14 } 15 if (url.Contains(".jpg") || url.Contains(".gif") 16 || url.Contains(".png") || url.Contains(".css") 17 || url.Contains(".js")) 18 { 19 return false; //去掉一些图片之类的资源 20 } 21 return true; 22 } 23 24 private void AddUrls(string[] urls, int depth) 25 { 26 if (depth >= _maxDepth) 27 { 28 return; //深度过大 29 } 30 foreach (string url in urls) 31 { 32 string cleanUrl = url.Trim(); //去掉前后空格 33 cleanUrl = cleanUrl.TrimEnd('/'); //统一去掉最后面的'/' 34 if (UrlAvailable(cleanUrl)) 35 { 36 if (cleanUrl.Contains(_baseUrl)) 37 { 38 _urlsUnload.Add(cleanUrl, depth); //是内链,直接加入未下载集合 39 } 40 else 41 { 42 // 外链处理 43 } 44 } 45 } 46 }
第34行的_baseUrl是爬取的基地址,如http://news.sina.com.cn/,将会保存为news.sina.com.cn,当一个URL包含此字符串时,说明是该基地址下的链接;否则为外链。
_baseUrl的处理如下,_rootUrl是第一个要下载的URL
1 /// <summary> 2 /// 下载根Url 3 /// </summary> 4 public string RootUrl 5 { 6 get 7 { 8 return _rootUrl; 9 } 10 set 11 { 12 if (!value.Contains("http://")) 13 { 14 _rootUrl = "http://" + value; 15 } 16 else 17 { 18 _rootUrl = value; 19 } 20 _baseUrl = _rootUrl.Replace("www.", ""); //全站的话去掉www 21 _baseUrl = _baseUrl.Replace("http://", ""); //去掉协议名 22 _baseUrl = _baseUrl.TrimEnd('/'); //去掉末尾的'/' 23 } 24 }
至此,基本的爬虫功能实现就介绍完了。
最后附上源代码和DEMO程序,爬虫的源代码在Spider.cs中,DEMO是一个WPF的程序,Test里是一个控制台的单线程版版本。
PageExtractor.zip
http://files.cnblogs.com/Jiajun/PageExtractor.zip
在下一期中,我们将介绍一些提取出网页中有效信息的方法,敬请期待。。。
出处:https://www.cnblogs.com/Jiajun/archive/2012/06/17/2552458.html
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
SQL Server -- 解决存储过程传入参数作为s
关于JS定时器的整理
JS中使用Promise.all控制所有的异步请求都完
js中字符串的方法
import-local执行流程与node模块路径解析流程
检测数据类型的四种方法
js中数组的方法,32种方法
前端操作方法
数据类型
window.localStorage.setItem 和 localStorage.setIte
如何完美解决前端数字计算精度丢失与数