Pengguang's site!

Naive Bayes Classification朴素贝叶斯分类器

Gaussian Naive Bayes
Multinomial Naive Bayes
用TF-IDF vectorizer和MultinomialNB组成pipeline对文本进行分类

Linear Regression线性回归

Simple Linear Regression，由给定的点集计算斜率和截距，以及多维线性函数的因子

rng = np.random.RandomState(1)
X = 10 * rng.rand(100, 3)
y = 0.5 + np.dot(X, [1.5, -2., 1.])
model.fit(X, y)
print(model.intercept_)
print(model.coef_)

Basis Function Regression基函数回归
Polyomial Basis Function
多项式回归处理有噪音的sin波形

from sklearn.pipeline import make_pipeline
poly_model = make_pipeline(PolynomialFeatures(7),
LinearRegression())

rng = np.random.RandomState(1)
x = 10 * rng.rand(50)
y = np.sin(x) + 0.1 * rng.randn(50)
poly_model.fit(x[:, np.newaxis], y)
yfit = poly_model.predict(xfit[:, np.newaxis])
plt.scatter(x, y)
plt.plot(xfit, yfit);

7次多项式可以很好的拟合数据

Gaussian Basis Function
Regularization：Ridge Regression岭回归和Lasso Regularization

Support Vector Machine支持向量机

画直线来分割分类时，如果用0宽度的直线，可能导致有几条符合要求的直线。这样就引入了SVM：用最大宽度的一条直线来分割，直线上的点称为支持向量。
SVC（Support Vector Classifier）可以指定kernel为linear或rbf。如果数据重合，需要指定C参数软化边界（C越大边界越硬）
本节的例子是将RadomizedPCA和SVC（kernel=‘rbf’）串起来进行人脸识别

Decision Trees and Random Forests决策树和随机森林

决策树分类器DecisionTreeClassifier
将DecisionTreeClassifier和BaggingClassifier组合在一起使用可以处理重合数据；RandomForestClassifier拥有一样的功能，使用更方便
随机森林也可以用于回归（Regression），处理连续数据

两个sin波形叠加
rng = np.random.RandomState(42)
x = 10 * rng.rand(200)

def model(x, sigma=0.3):
    fast_oscillation = np.sin(5 * x)
    slow_oscillation = np.sin(0.5 * x)
    noise = sigma * rng.randn(len(x))
    return slow_oscillation + fast_oscillation + noise

y = model(x)
plt.errorbar(x, y, 0.3, fmt='o');

画出真实的ytrue和预测的yfit
from sklearn.ensemble import RandomForestRegressor
forest = RandomForestRegressor(200) forest.fit(x[:, None], y)
xfit = np.linspace(0, 10, 1000)
yfit = forest.predict(xfit[:, None])
ytrue = model(xfit, sigma=0)
plt.errorbar(x, y, 0.3, fmt='o', alpha=0.5)
plt.plot(xfit, yfit, '-r');
plt.plot(xfit, ytrue, '-k', alpha=0.5);

本节例子用RandomForestClassifier来识别手写数字

Principal Component Analysis主成分分析

PCA是无监督算法。是一种降维算法，保留贡献最大方差的维度。
手写数字识别示例中，将8×8（即64维）的图像降低到二维（PCA1和PCA2），然后以颜色作为数字种类，画图。
PCA作为噪音过滤器：大方差的成分不易受噪音干扰。示例：在手写数字中加入噪音，指定PCA保留50%的方差，可以计算出PCA数目。通过transform/inverse_transform可以计算得到去除噪音的数据

def plot_digits(data):
 
fig, axes = plt.subplots(4, 10, figsize=(10, 4),
    subplot_kw={'xticks':[], 'yticks':[]},
    gridspec_kw=dict(hspace=0.1, wspace=0.1))
for i, ax in enumerate(axes.flat):
    ax.imshow(data[i].reshape(8, 8),
    cmap='binary', interpolation='nearest',
    clim=(0, 16))
plot_digits(digits.data)

np.random.seed(42)
noisy = np.random.normal(digits.data, 4)
plot_digits(noisy)

pca = PCA(0.50).fit(noisy)
pca.n_components_

components = pca.transform(noisy)
filtered = pca.inverse_transform(components)
plot_digits(filtered)

本节的例子是从头像中提取特征脸（Eigenface），从62×47降维到150，然后重构头像

Manifold Learning流体学习

在数据间有非线性关系时PCA不能很好工作，这时用到流体学习。
流体学习方法：multidimensional scaling (MDS), locally linear embedding (LLE), and isometric mapping (Isomap) ，t-distributed stochastic neighbor embedding (t- SNE)
各个点的数据不是关键，关键的是彼此的距离。
MDS：所有点的距离计入考量。LLE：相邻点的距离才计入考量。所以hello卷成S形时，MDS无法工作，但LLE可以。
本节的例子：用Isomap分析名人头像得出明暗程度和脸的朝向；分析手写体所有的“1”的轮廓特征。它不能帮我们归类，但可以帮助分析数据，指导如何处理数据。

k-Means Clustering

k-Means基于两个概念：1）Cluster中心是该Cluster的算术均值；2）每个点到本Cluster的距离比到其它Cluster的距离要近
k-Means示例：给定几个Cluster的点集，计算得出Cluster的中心
当Cluster有复杂的几何形状时，k-Means会失效。可以换用SpectralClustering评估器，它将相邻点的关系计入考量。
本节的例子：将手写数字图片（包含0-9）分成10个Cluster。仅使用KMeans得到79%的识别率，在使用KMeans前用t-distributed stochastic neighbor embedding (t-SNE)
处理数据则可以得到93%的识别率。
另一个例子：使用MiniBatchKMeans进行图片颜色压缩，从真彩色（2^24种颜色）缩减到16中颜色。每个点的颜色设置为它的Cluster中心的颜色。

Gaussian Mixture Models高斯混合模型

k-Means的缺陷：基于距离而不是概率，导致现实使用中出现问题。比如两个点集有重合时，难以判断边界点的归属。另外，如果Cluster的分布不呈现圆形时，也不能很好的工作。需要基于概率以及需要更灵活的形状，就导致出现GMM。

covariance type有diag（椭圆，与坐标轴平行），spherical（圆形），full（任意方向的椭圆）

GMM评估月牙行的数据时，是几个component的叠加。

本节的例子：GMM分析手写数字，并生成新数字。

Kernel Density Estimation核密度估计

histogram（直方图）用作密度评估的问题时，如果选择的bin颗粒度太大或者跟数据没对齐，会导致相同的数据有不同的密度函数。使用KDE可以解决这个问题。

两种kernel类型：tophat（将密度与点位置对齐而不是与bin对齐）和Gaussian（在tophat基础上加入Gaussian平滑函数）。

例1：用密度图画出南美两种动物的分布。

例2：在朴素贝叶斯那一节，GaussianNB用的是与坐标轴对齐的模型。本例用的是更高级的模型。用该模型识别手写数字可以达到96.6%，但GaussianNB只能达到81.8%。该模型的思路是

1. Split the training data by label.
2. For each set, fit a KDE to obtain a generative model of the data. This allows you for any observation x and label y to compute a likelihood P(x|y).
3. From the number of examples of each class in the training set, compute the class prior, P(y).
4. For an unknown point x, the posterior probability for each class is P(y|x)∝P(x|y)P(y). The class that maximizes this posterior is the label assigned to the point.