准备数据


import numpy as np
import matplotlib.pyplot as plt

x = np.random.uniform(-3, 3, size=100)
X = x. reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100)

使用polynomialFeatures为原数据升维


from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2)
poly.fit(X)
X2 = poly.transform(X)

输入：X2.shape
输出：(100, 3)

输入：X2[:5,:]
输出：


array([[ 1.        , -1.34284888,  1.80324311],
       [ 1.        , -0.18985858,  0.03604628],
       [ 1.        , -1.58563134,  2.51422675],
       [ 1.        ,  1.2149354 ,  1.47606802],
       [ 1.        , -2.05874706,  4.23843944]])

输入：X2[:5,:]
输出：


array([[-1.34284888],
       [-0.18985858],
       [-1.58563134],
       [ 1.2149354 ],
       [-2.05874706]])

X2中第一列是1，第二列是原数据，第三列是原数据的平方

使用scikit-learn中的线性回归算法

这一部分与8-1相同


from sklearn.linear_model import LinearRegression

lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)

plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')
plt.show()

输入：lin_reg2.coef_
输出：array([0. , 1.01723515, 0.46407147])
0是对X2是第一列数据拟合的结果

输入：lin_reg2.intercept_
输出：2.1789150996943945

关于PolynomialFeatures


X = np.arange(1,11).reshape(-1, 2)
poly = PolynomialFeatures(degree=2)
poly.fit(X)
X2 = poly.transform(X)

输入：X.shape
输出：(5, 2)

输入：X
输出：array([[ 1, 2], [ 3, 4], [ 5, 6], [ 7, 8], [ 9, 10]])

输入：X2.shape
输出：(5, 6)

输入：X2
输出：


array([[  1.,   1.,   2.,   1.,   2.,   4.],
       [  1.,   3.,   4.,   9.,  12.,  16.],
       [  1.,   5.,   6.,  25.,  30.,  36.],
       [  1.,   7.,   8.,  49.,  56.,  64.],
       [  1.,   9.,  10.,  81.,  90., 100.]])

第一列：1，即0次幂
第二列：x1，1次幂
第三列：x2，1次幂
第四列：x1^2，2次幂
第五列：x1*x2，2次幂
第六列：x2^2，2次幂

假设有x1, x2两个特征，PolynomialFeatures(degree=3)，会得到多少项数据？


poly = PolynomialFeatures(degree=3)
poly.fit(X)
X3 = poly.transform(X)
# X3.shape = (5, 10)
# array([[   1.,    1.,    2.,    1.,    2.,    4.,    1.,    2.,    4.,    8.],
#        [   1.,    3.,    4.,    9.,   12.,   16.,   27.,   36.,   48.,   64.],
#        [   1.,    5.,    6.,   25.,   30.,   36.,  125.,  150.,  180.,  216.],
#        [   1.,    7.,    8.,   49.,   56.,   64.,  343.,  392.,  448.,  512.],
#        [   1.,    9.,   10.,   81.,   90.,  100.,  729.,  810.,  900., 1000.]])

Pipeline

使用pipeline把多项式特征、数据规一化、线性回归三步合在一起，就不需要在每一次调用时都重复这三步
sklearn没有直接提供多项式回归算法，但可以使用pipe很方便地创建一个多项式回归算法


x = np.random.uniform(-3, 3, size=100)
X = x. reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression

poly_reg = Pipeline([
    ("poly", PolynomialFeatures(degree=2)),
    ("std_scaler", StandardScaler()),
    ("lin_reg", LinearRegression())
])

poly_reg.fit(X, y)
y_predict = poly_reg.predict(X)

plt.scatter(x, y)
plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
plt.show()

LYBStudy