探索 Python、机器学习和 NLTK 库

当前位置:

首页 > Python基础教程 >

探索 Python、机器学习和 NLTK 库

挑战：使用机器学习对 RSS 提要进行分类

最近，我接到一项任务，要求为客户创建一个 RSS 提要分类子系统。目标是读取几十个甚至几百个 RSS 提要，将它们的许多文章自动分类到几十个预定义的主题领域当中。客户网站的内容、导航和搜索功能都将由这个每日自动提要检索和分类结果驱动。

客户建议使用机器学习，或许还会使用 Apache Mahout 和 Hadoop 来实现该任务，因为客户最近阅读了有关这些技术的文章。但是，客户的开发团队和我们的开发团队都更熟悉 Ruby，而不是 Java™ 技术。本文将介绍解决方案的技术之旅、学习过程和最终实现。

什么是机器学习？

我的第一个问题是，“究竟什么是机器学习？” 我听说过这个术语，并且隐约知道超级计算机 IBM® Watson 最近使用该技术在一场 Jeopardy 比赛中击败了人类竞争者。作为购物者和社交网络活动参与者，我也知道 Amazon.com 和 Facebook 根据其购物者数据在提供建议（如产品和人）方面表现良好。总之，机器学习取决于 IT、数学和自然语言的交集。它主要关注以下三个主题，但客户的解决方案最终仅涉及前两个主题：

分类。根据类似项目的一组训练数据，将相关的项分配到任意预定义的类别

建议。根据类似项目的观察来建议采用的项

集群。在一组数据内确定子组

Mahout 和 Ruby 的选择

理解了机器学习是什么之后，下一步是确定如何实现它。根据客户的建议，Mahout 是一个合适的起点。我从 Apache 下载了代码，并开始了学习使用 Mahout 及其兄弟 Hadoop 实现机器学习的过程。不幸的是，我发现即使对于有经验的 Java 开发人员而言，Mahout 的学习曲线也很陡峭，并且不存在可用的样例代码。同样不幸的是，机器学习缺乏基于 Ruby 的框架或 gem。

发现 Python 和 NLTK

我继续搜索解决方案，并且在结果集中一直遇到 "Python"。作为一名 Ruby 开发人员，虽然我还没有学过该语言，但我也知道 Python 是一个面向相似对象的、基于文本的、可理解和动态的编程语言。尽管两种语言之间存在一些相似之处，但我多年来都忽视了学习 Python，将它视为一项多余的技能集。Python 是我的 “盲点”，我怀疑许多 Ruby 开发人员同行都是这样认为的。

搜索机器学习的书籍，并更深入研究它们的目录，我发现，有相当高比例的此类系统在使用 Python 作为其实现语言，并使用了一个被称为 Natural Language Toolkit（NLTK，自然语言工具包）的库。通过进一步的搜索，我发现 Python 的应用比我意识到的还要广泛，如 Google App Engine、YouTube 和使用 Django 框架构建的网站。它甚至还预安装在我每天都使用的 Mac OS X 工作站上！此外，Python 为数学、科学和工程提供了有趣的标准库（例如，NumPy 和 SciPy）。

我决定推行一个 Python 解决方案，因为我找到了非常好的编码示例。例如，下面这一行代码就是通过 HTTP 读取 RSS 提要并打印其内容所需的所有代码：

print feedparser.parse("http://feeds.nytimes.com/nyt/rss/Technology")

快速掌握 Python

执行 Python 程序同样很简单。获得一个名称为 locomotive_main.py 的程序和三个参数，然后您就可以使用 Python 程序编译并执行它：

1	`$ python locomotive_main.py arg1 arg2 arg3`

Python 使用清单 1 中的 if __name__ == "__main__": 语法来确定文件本身是从命令行执行的还是从其他代码导入的。为了让文件变得可以执行，需要添加 "__main__" 检测。

清单 1. Main 检测

import sys

import time

import locomotive

if __name__ == "__main__":

    start_time = time.time()

    if len(sys.argv) > 1:

        app = locomotive.app.Application()

        ... additional logic ...

virtualenv

大多数 Ruby 开发人员熟悉系统范围的库或 gem 的问题。使用一组系统范围内的库的做法一般是不可取的，因为您的其中一个项目可能依赖于某个给定的库的版本 1.0.0，而另一个项目则依赖于版本 1.2.7。同样，Java 开发人员都知道系统范围的 CLASSPATH 存在同样的问题。就像 Ruby 社区使用其 rvm 工具，而 Python 社区使用 virtualenv 工具（请参阅参考资料，以获得相关链接）来创建独立的执行环境，其中包含特定版本的 Python 和一组库。清单 2 中的命令显示了如何为您 p1 项目创建一个名为 p1_env 的虚拟环境，其中包含 feedparser、numpy、scipy 和 nltk 库。

清单 2. 使用 virualenv 创建一个虚拟环境的命令

$ sudo pip install virtualenv

$ cd ~

$ mkdir p1

$ cd p1

$ virtualenv p1_env --distribute

$ source p1_env/bin/activate

(p1_env)[~/p1]$ pip install feedparser

(p1_env)[~/p1]$ pip install numpy

(p1_env)[~/p1]$ pip install scipy

(p1_env)[~/p1]$ pip install nltk

(p1_env)[~/p1]$ pip freeze

每次在一个 shell 窗口使用您的项目时，都需要 “获得” 您的虚拟环境激活脚本。请注意，在激活脚本被获得后，shell 提示符会改变。当在您的系统上创建和使用 shell 窗口，轻松地导航到您的项目目录，并启动其虚拟环境时，您可能想在您的 ~/.bash_profile 文件中添加以下条目：

栏目列表