STATA学习笔记——线性回归分析及解读

// 为什么要做回归？ //

————回归分析能估计两个或者多个变量之间的关系。

使用回归模型有很多好处：

    首先，能揭示因变量和自变量之间的显著关系；

    其次，能揭示多个自变量对一个因变量的影响程度大小。

回归分析的主要算法包括：

    1.线性回归(Linear Regression) 2.逻辑回归（Logistic regressions）

 3.多项式回归(Polynomial Regression)

   4.逐步回归(Step Regression)

   5.岭回归(Ridge Regression)

   6.套索回归(Lasso Regression)

   7.弹性网回归(ElasticNet)

线性与非线性：

  线性：两个变量之间的关系是一次函数关系，图像是直线。

    主要表现为：因变量是连续的，自变量可以是连续的也可以是离散的。回归的本质是线性的。——Y为连续变量，X可连续、可虚拟分类。

    表达式为：Y=a+b*X+e，其中 a 为直线截距，b 为直线斜率，e 为误差项。如果给出了自变量 X，就能通过这个线性回归表达式计算出预测值，即因变量 Y。表达式中a、b的值要通过最小二乘法LSM（Least Square Method）来解决。LSM通过最小化每个数据点与预测直线的垂直误差的平方和来计算得到最佳拟合直线。因为计算的是误差平方和，所有，误差正负值之间没有相互抵消。在回归中可通过R²（R-square）的值评估整体模型的性能。

  非线性：两个变量之间的关系不是一次函数关系，图像不是直线。

// 线性回归类型及准备工作 //

线性回归分为一元线性回归和多元线性回归。区别在于自变量的多少，一元线性有且只有一个自变量，多元线性回归的自变量数目大于1。

一元线性回归中，只有一个自变量x，且不含平方立方等非一次项。表达式中参数m和b通过取不同值来构建不同的直线。

将x扩展为多元情况，即多种因素共同影响变量y。如要预测大学生的非认知能力发展，需要考虑个体特质、校园环境、家庭背景、数字素养等。共有D种维度的影响因素，机器学习领域将这D种影响因素成为特征。

// 线性回归命令与结果阐释 //

解读

（1）总体显著性检验：F检验——判断多元线性回归方程是否成立

F值是对模型整体的显著性检验，原假设H0：所有变量的系数都为0，即全部自变量联合对因变量没有影响。

F统计量的P值：P值（越小越好）＜α，则可视为，在α水平下认为自变量联合对因变量有显著影响，即模型整体显著。α常用值为1%、5%、10%。——P值=0.000，模型整体显著，则拒绝原假设H0，认为x对y有显著影响（一元线性）；当是多元线性回归时，证明回归模型有意义，说明至少有一个X会对因变量Y产生影响。

（2）模型拟合优度（决定系数）：R²——判断模型中该不该加入其他变量，可看R²

R²=ESS/TSS=1-RSS/TSS——模型拟合优度（模型拟合程度），R²的取值范围为0-1，越大越好，但也要警惕因R²过大而存在的过拟合现象。——图中R²=0.05，说明自变量可以解释因变量5%的变化原因，模型拟合很差。要关注调整后的R²的变化。

修正的R²：修正的R²会随着变量数k的增加而减少。

RMSE=MSE开根号（均方误差开根号），越小越好。

注意：如果回归模型无常数项，则不适合用R²来度量拟合优度。一般来说，有常数项的模型的R²更为可信。

（3）回归系数显著性检验：t检验——检验每个自变量对因变量的影响

看图，红色部分解读——

Coef为回归系数，t（对单个系数的检验）=Coef/Std.（系数/标准差）。β1为x1的系数=0.185，β2为x2的系数=0.077，β0=_cons，是回归的常数项。其中β1、β2为自变量的回归系数。——正负号可解读为正向或负向显著。

_cons表示“常数项”。

Std——标准误。

系数是否显著看P值（stata默认为双侧检验），P值越小越显著。P值＜α（α常用值为1%、5%、10% ），则在α水平上显著。如图中x1的P值为0.000＜0.01，在1%的水平上显著，x2的P值同样如此。若P值大于0.1，则在10%水平上不显著。可解读为x1、x2均对y具有显著正向影响，都能影响y。

P值与t值有关。一般来说，P值小于0.05即显著。

系数的置信区间，即系数在95%的置信区间。

紫色部分解读——

a: 离差平方和=回归平方和+残差平方和，TSS=ESS+RSS。TSS为可解释变量的离差平方和，其中，可由模型解释的部分为ESS，模型所无法解释的部分为RSS。

b:自由度df：回归自由度=变量的个数k（不包括常数项）；残差自由度=n-k-1（n为样本数）；总体自由度=回归自由度+残差自由度=n-1。

c:均方=平方和/自由度，其中，RSS/n-k-1（残差平方和/残差自由度）为均方误差MSE，再开根号为RMES。

举例：

教育年限和家庭收入对数的关系：y为edu，x为inc，根据表中数据，可将样本回归线写为：

根据一元回归的结果，家庭年收入每提高1个单位，则受教育年限平均可增加81.8%。

根据图中所示，TSS=50200.7693，其中可解释部分ESS=3947.75902，而不可解释部分RSS=46253.0103.

R²=0.0784，即家庭年收入约可解释受教育年限7.8%的变动。——（希望能看懂）

（4）自相关检验

存在协方差矩阵的非主对角线元素不全为0，则存在“自相关”或“序列相关”。一般来说，横截面数据不容易出现自相关。检验：画图、BG检验、DW检验、Q检验、HAC稳健标准误。

1）画残差图

回归后，将残差记为e1，画图

2）BG检验

BG检验，若输出的P-Value显著小于0.05，则拒绝原假设，认为存在序列相关。

3）DW检验（杜宾-瓦特森检验）：D-W值——检验是否存在自相关

一般认为，若DW值在1.8-2.2之间时接受原假设，说明模型不存在一阶自相关，模型构建比较好。若DW值接近0或4，则拒绝原假设，说明模型具有自相关性，模型构建较差。——一般对于时间序列分析才会考虑DW值。

DW接近2，残差间相关性差。

DW接近0，残差间正相关

DW接近4，残差负相关。

4）Q检验

OLS残差记为e1

5）HAC稳健标准误

（5）残差方差齐性判断：异方差检验

条件异方差检验：画残差图；BP检验；怀特检验

1）画残差图——看残差与拟合值的散点图，直观但不严格

完成回归后，使用以下命令得到残差图：

2）BP检验

完成回归后，使用以下命令进行BP检验：

以上三种形式BP检验的p值都等于0.0000，故强烈拒绝同方差的原假设，认为存在异方差。

3）怀特检验

white检验，如果输出的P显著小于0.05，则拒绝原假设，认为存在异方差。

注意：异方差检验之前需要再次进行OLS回归

解决异方差：——+r再次回归后，得到的结果是解决了异方差后的回归结果

1）模型公式：y=......（代入具体的回归系数的数值）。

2）影响如何？A与B在？%的水平下显著（不为0）——主要看P值。

3）影响大小？自变量对因变量影响大小的比较是通过标准化回归系数进行比较的。标准化回归系数的绝对值越大，说明该自变量对因变量的影响越大。

cy为取值0-1的虚拟变量。

针对面板数据、固定效应模型：

（1）outreg2 命令

（2）logout 命令

（3）esttab 命令

钟山实验室争创国家实验室基地等重点项目全面攻坚突破。

分析：

常数项=2.529，R²=0.0830，校正拟合优度R²=0.0825，数值过低，一般认为模型不成立，模型中的解释变量对被解释变量的解释度不足。 

方程的标准误差ROOT MSE=3.5592.检验整个方程显著性的F统计量为164.45，其对应的P值为0.0000，表明这个回归方程整体是高度显著的。 

所有解释变量（包括常数项）的回归系数的p值均小于0.01，故均在1%水平上显著。其中，性别sex的系数估计值为0.486，即性别回报率为49.6%。以此类推。

解读：

表中主对角线元素为各回归系数的方差，而非主对角线元素则为相应的协方差。

虽然前面表中显示常数项显著，但试着做一个无常数项的，查看他们的R²

点击蓝字，关注我们