什么是加权最小二乘法，它的基本思想是什么
加权最小二乘法是对原模型进行加权，使之成为一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数的一种数学优化技术。线性回归的假设条件之一为方差齐性，若不满足方差齐性（即因变量的变异程度会随着自身的预测值或者其它自变量的变化而变化）这个假设条件时，就需要用加权最小二乘法（WLS）来进行模型估计。加权最小二乘法（WLS）会根据变异程度的大小赋予不同的权重，使其加权后回归直线的残差平方和最小，从而保证了模型有更好的预测价值。扩展资料在多重线性回归中，我们采用的是普通最小二乘法(OLS)估计参数，对模型中每个观测点是同等看待的。但是在有些研究问题中，例如调查某种疾病的发病率，以地区为观测单位，地区的人数越多，得到的发病率就越稳定，因变量的变异程度就越小，而地区人数越少，得到的发病率就越大。在这种情况下，因变量的变异程度会随着自身数值或者其他变量的变化而变化，从而不满足残差方差齐性的条件。为了解决这个问题，我们采用加权最小二乘法(WLS)的方法来估计模型参数，即在模型拟合时，根据数据变异程度的大小赋予不用的权重，对于变异程度较小，测量更准确的数据赋予较大的权重，对于变异程度较大，测量不稳定的数据则赋予较小的权重，从而使加权后回归直线的残差平方和最小，确保模型有更好的预测价值。参考资料来源：百度百科-加权最小二乘法
加权最小二乘法和普通最小二乘法有何差异？？？
普通的最小二乘法是最基本的。所谓的加权最小二乘法，就是在普通最小二乘法的基础上，加上一些特殊的条件，把一些数据的地位加权，相当于这些数据重复使用，所以在计算中，他们的作用就比其它数据重要了。使用最小二乘法需要一些前提，数据大多数时候是满足这些条件的。但有时候这些条件是不能满足的，这时需要对原始数据作适当变换，让他符合最小二乘法的使用条件，然后继续使用最小二乘法。扩展资料：一般最小二乘法将时间序列中的各项数据的重要性同等看待，而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说，近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法，对近期数据赋以较大的权数，对远期数据则赋以较小的权数。如果结果变量的期望值E[Yi]=μ和关系函数的形式f()是已知的，这就是一个非常直观的估计过程。不幸的是。尽管方差结构与均值函数的相关性非常普遍，但是相对来说，我们不太知道这一相关的确切形式。参考资料来源：百度百科-加权最小二乘法
小白求问一下加权最小二乘法是啥？
呃，楼上是个广告男??\x0d\x0a\x0d\x0a加权最小二乘（WLS）最一般的用法是克服异方差。比方说，现在有一个多元回归y = bX + e（矩阵表示，【X'】代表矩阵X转置）。原来的一般最小二乘（OLS）公式是\x0d\x0ab = (X'X)^(-1) * X'y\x0d\x0a\x0d\x0a而在异方差情况下，由于不满足OLS的五大假定，因此OLS的结果不再有效（not efficient，不是not valid）。因此相应的做法是将异方差矩阵分解，并左乘到回归模型中，得到的结果就是WLS回归。比如说，异方差阵为W，且W的逆可以分解为W^(-1) = P'P，那么经过一系列推导（略，可以找一本计量的课本，参考异方差相应章节），可以知道\x0d\x0ab* = (X'P'PX)^(-1) * X'P'Py\x0d\x0a\x0d\x0a换言之，正如题主所言，要用矩阵P去变换这个X和y，从而得到WLS回归，其中W矩阵里的元素，就是权重（weight）。 至于选择什么权重，就取决于W矩阵的设定形式。\x0d\x0a\x0d\x0a举个简单的例子，设一个一元回归y = bx + e，而扰动项e的方差协方差阵W是一个对角矩阵，即W = diag(s1, s2, ..., sn)，其中si代表第i个对角元，si ≠ sj\x0d\x0a那么W^(-1) = diag(1/s1, 1/s2, ..., 1/sn)\x0d\x0a如果用sqrt(a)表示a的开方，那么P矩阵就是P = diag(sqrt(1/s1), ... sqrt(1/sn))\x0d\x0a从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)\x0d\x0a可以看到，权重在这里是1/si，而对数据的变换方法是每个数据都乘以sqrt(1/si)\x0d\x0a\x0d\x0a至于更复杂的设定形式（如 ln x 等），代表更复杂的方差协方差阵W的设定。这里不再展开。有兴趣可以参考计量经济学教材（如，伍德里奇的），有更详细的推导。