机器学习scikit-learn

转载 2019-06-09 15:19  阅读 299 次 评论 0 条

在数据分析过程中,我们经常会碰到各种各样的问题。如何获取外部数据?如何处理脏数据?如何处理缺失值?若有许多特征,我们减少特征?建立各种模型中算法的细节?到最后,面对多种模型,我们该如何选择?这些问题,都将在此文中得到解答。此文分为五个部分:

  • 建立模型的之前的工作
  • 建立线性模型
  • 聚类分析
  • 分类
  • 建立模型之后的工作

建立模型前的工作:如何从外界获取数据?

获取外界数据有很多种方法,有直接下载、API和爬虫等,这里只介绍scikit-learn内置的数据,这些数据用来熟悉各种算法。

from sklearn import datasets #sklearn有数据集的模块

其中的数据有两类,一类是小数据,直接包含在模块之中;另一类是大数据,需要你自己下载,sklearn提供函数下载。

boston = datasets.load_boston()#从数据集中载入波斯顿数据

print boston.DESCR #可以查看数据的描述

housing = datasets.fetch_california_housing() #从网上下载大数据

这些数据被载入时,不是Numpy的array格式,而是一个叫Bunch的格式,Bunch是一个特殊的字典,字典中的Keys作为数据的属性。

X,y = boston.data,boston.target #X为特征数据,有y是预测数据

UCI Machine Learning Repository其中有更多的数据集用来实验算法,我们可以尽情的利用这些数据集,而不用担心,自己学习了各种算法,而没有数据集去实现!

为简单的分析生成样本数据

datasets模块中有一个make_函数,可以生成一些简单的数据,以便于分析。

import sklearn.datasets as d #简写为了方便
reg_data = d.make_regression() #生成回归数据
complex_reg_data = d.make_regression(1000,10,5,2,1.0) 
#生成复杂点的回归数据-1000*10的矩阵,5个有效变量,2个目标变量,1.0的偏差
classification_set = d.make_classification(weight=[0.1]) #生成分类数据
blobs = d.make_blobs() #生成聚类数据

datasets模块中还有更多的函数去生成各种各样的数据,可以看一看,等需要的时候再用。

标准化数据

缩放数据是非常重要的步骤,许多机器学习算法,在数据有不同的尺度的情况下根本无法发挥用处。比如利用支持向量机进行预测,当你的一个特征变量是0-1,而另一个变量的范围却是0-10000,这时支持向量机的表现会非常差,以至于产生一个错误的模型。我们常用的标准化的方法是正态化,z-scores。scikit-learn有一个preprocessing模块,利用这个模块中的scale、StandardScaler和MinMaxScaler我们就可以进行缩放数据的操作。

from sklearn import preprocessing
X_2 = preprocessing.scale(X) #缩放波斯顿特征数据,将标准差都变为1.
my_scaler = preprocessing.StandardScaler() #与以上相同
my_scaler.fit(X)
my_scaler.transform(X)
#也可以缩放范围
my_minmax_scaler = preprocessing.MinMaxScaler() #缩放范围,默认为[0,1]
my_minmax_scaler.fit(x)
my_minmax_scaler.transform(x)
my_odd_scaler = preprocessing.MinMaxScaler(feature_range = (-5,5)) 
#缩放范围改为[-5,5]

通过阈值创建二元变量

有一些变量是连续变量,我们想把它变成二元变量,利于分析。就比如决策树中,我们有一变量是工资,为连续变量,而连续变量不利于决策树建模,于是利用阈值将其分为二元变量,高工资和低工资。这个方法在preprocessing.binarize和preprocessing.Binarizer都可实现。

new_target=preprocessing.binarize(boston.target,threshold=boston.target.mean) 
#把波斯顿数据目标变量变成二元变量,阈值是均值,大于均值为1
bin = preprocessing.Binarizer(boston.target.mean())
new_target = bin.fit_transform(boston.target)

处理分类变量

分类变量能给我们提供更多的信息,有时候却非常麻烦,因为它可能是文字的,对于文字,我们根本无法用算法进行分析。我们就需要去处理分类变量,将分类变量变成二元变量。例如分类变量红色、绿色、黑色,我们根据其是否为红色、绿色、黑色,转化为二元变量。在sklearn里有OneHotEncoder、DictVectorizer和patsy用来处理分类变量。

from sklearn import preprocessing
text_encoder = preprocessing.OneHotEncoder()
text_encoder.fit_transform(iris.target).toarray()

from sklearn.feature_extraction import DictVectorizer
dv = DictVectorzier()
my_dict = [{'species':iris.target_names[i]} for i in y]
dv.fit_transform(my_dict).toarray()

处理缺失值

如何处理缺失值在实践中非常重要,幸运的是,我们有很多方法去处理缺失值。对于缺失值,我们可以直接去除这个样本,如果你的样本足够多的话。但是一般我们都是用平均值、中位数和众数去代替。其中实现的方法可以利用sklearn中的Imputer来进行处理。

from sklearn import preprocessing
impute = preprocessing.Imputer() #默认为平均值
impute.fit_transform(X)

流水线-多步骤预处理

当你的预处理步骤较多时,使用流水线比较方便,更有利于以后的交叉验证。方法实现是利用pipeline.当我们不是用pipeline的预处理步骤是:

from sklearn import preprocessing
impute = preprocessing.Imputer()
scaler = preprocessing.StandarScaler()
X_imputed = impute.fit_transform(X)
X_imp_and_scaled = scaler.fit_transform(X)

而当我们使用pipeline时:

from sklearn import pipeline
pipe = pipeline.Pipeline([('impute',impute),('scaler',scaler)])
new_x = pipe.fit_transform(X)

降维

PCA是利用线性转化把数据转换到特征空间中,得到前几个能代表最多信息的主成分,从而达到降维的目的,其实现方法是decompositin.PCA.

from sklearn import decomposition
pca = decomposition.PCA()
pca.fit_transform(X)
pca.explained_variance_ratio_

因子分析是另一种降维方法,其假定变量中有一些公共因子,公共因子的数目是少于变量的,这样就达到降维的目的,其实现方法是decomposition.FactorAnalysis.

from sklearn import decomposition
fa = decomposition.FacorAnalysis()
fa.fit_transform(X)

核PCA是先利用核技巧把数据投射到高维空间,然后利用PCA进行降维。这种方法对非线性数据进行降维。核函数有:polynomial、rbf、sigmoid、cosine、precomputed

kpca = decomposition.KernelPCA(kernel='cosine',n_components=1)
X_transformed = kpca.fit_transform(X)

截断SVD,截断奇异值分解,是另一种降维方法,其可以用在稀疏矩阵而PCA不能。

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(2)
X_transformed = svd.fit_transform(X)

到此学习了如何获取数据,如何对数据进行预处理(标准化、缺失值和降维),这些都是非常基础的知识,也是非常重要的知识。下节我们会试试去建立简单模型——线性模型。

本文地址:http://51blog.net/?p=2124
关注我们:请关注一下我们的微信公众号:扫描二维码广东高校数据家园_51博客的公众号,公众号:数博联盟
温馨提示:文章内容系作者个人观点,不代表广东高校数据家园_51博客对观点赞同或支持。
版权声明:本文为转载文章,来源于 成鹏 ,版权归原作者所有,欢迎分享本文,转载请保留出处!

发表评论


表情