概要

本文是用Python编程语言来进行机器学习小实验的第一篇。主要内容如下：

 

读入数据并清洗数据

探索理解输入数据的特点

分析如何为学习算法呈现数据

选择正确的模型和学习算法

评估程序表现的准确性

 

读入数据 Reading the data

当读入数据时，你将面临处理无效或丢失数据的问题，好的处理方式相比于精确的科学来说，更像是一种艺术。因为这部分处理适当可以适用于更多的机器学习算法并因此提高成功的概率。

 

用NumPy有效地咀嚼数据，用SciPy智能地吸收数据

Python是一个高度优化的解释性语言，在处理数值繁重的算法方面要比C等语言慢很多，那为什么依然有很多科学家和公司在计算密集的领域将赌注下在Python上呢？因为Python可以很容易地将数值计算任务分配给C或Fortran这些底层扩展。其中NumPy和SciPy就是其中代表。NumPy提供了很多有效的数据结构，比如array，而SciPy提供了很多算法来处理这些arrays。无论是矩阵操作、线性代数、最优化问题、聚类，甚至快速傅里叶变换，该工具箱都可以满足需求。

读入数据操作

这里我们以网页点击数据为例，第一维属性是小时，第二维数据是点击个数。

1 2	import scipy as sp data = sp.genfromtxt('web_traffic.tsv', delimiter='\t')

预处理和清洗数据

当你准备好了你的数据结构用于存储处理数据后，你可能需要更多的数据来确保预测活动，或者拥有了很多数据，你需要去思考如何更好的进行数据采样。在将原始数据（rawdata）进行训练之前，对数据进行提炼可以起到很好的作用，有时，一个用提炼的数据的简单的算法要比使用原始数据的高级算法的表现效果要好。这个工作流程被称作特征工程（feature engineering）。Creative and intelligent that you are, you will immediately see the results。

 

由于数据集中可能还有无效数值（nan），我们可以事先看一下无效值的个数：

1 2 3

hours = data[:,0] hits = data[:,1] sp.sum(sp.isnan(hits))

 

用下面的方法将其过滤掉：

1 2 3

#cleaning the data hours = hours[~sp.isnan(hits)] hits = hits[~sp.isnan(hits)]

为了将数据给出一个直观的认识，用Matplotlib的pyplot包来将数据呈现出来。

1 2 3 4 5 6 7 8 9 10

import matplotlib.pyplot as plt plt.scatter(hours,hits) plt.title("Web traffic over the last month") plt.xlabel("Time") plt.ylabel("Hits/hour") plt.xticks([w*7*24 for w in range(10)],  ['week %i'%w for w in range(10)]) plt.autoscale(tight=True) plt.grid() plt.show()

其显示效果如下：

选择合适的学习算法

选择一个好的学习算法并不是从你的工具箱中的三四个算法中挑选这么简单，实际上有更多的算法你可能没有见过。所以这是一个权衡不同的性能和功能需求的深思熟虑的过程，比如执行速度和准确率的权衡，,可扩展性和易用性的平衡。