澳门百家乐网站
公司名:澳门百家乐网站
联系人:马先生
电话:0755-8888888
手机:13686817432
邮箱:1234569@163.com
地址:深圳市宝安区
您现在的位置: 首页 >澳门百家乐游戏> 阅读正文

协方差与协方差矩阵 – 苦力笨笨

时间:2019-09-12 来源:网络 作者:admin 点击: 0 次

        

        

        
        

        用放射性元素使示踪: 协方差 协方差矩阵 加起来


小引

        近日在看主身分辨析(PCA),一步是计算战利品的量纲协方差矩阵。当我在看pas中算法的绍介时,我常常冲突他们。,现时我宁愿材料要复审,总结如次。。

协方差

        通常,在提到协方差的时辰,需求更远地区别。(1)无规变数的协方差。胸中有=mathematics祝愿、方差是俱的,是散布的普通参量。(2)范本的协方差。这是范本集的加起来数据,工会散布人口参量的预测。在实践中计算的通常是范本的协方差。

无规变数的协方差

        概率论与加起来学,协方差是对两个无规变数工会散布线形的相干度的度量。两个无规变数私下的相干性越线形的,协方差越大,完整线形的孤独,协方差为零。明确如次。
\[\operatorname {cov} (X,Y)=\operatorname {E} {{\big [}(X-\operatorname {E} [X])(Y-\operatorname {E} [Y]){\big(大) ]}}\]
\(X\)\(Y\)当它是同样的人的无规变数时,\(X\)与其亲自的协方差执意\(X\)的方差,在某种程度上方差是协方差的单独战例。
\[\operatorname{cov}(X,X)=\operatorname{E}\big[(X-\operatorname{E}[X])(X-\operatorname{E}[X])\big]\]

\[\operatorname{var}(X)=\operatorname{cov}(X,X)=\operatorname{E}\big[(X-\operatorname{E}[X])^2]\]
因无规变数的广大地域是有区别的的,两个协方差不具有可匹敌性。如\(X\)\(Y\)\(Z\)它们是三个无规变数,残忍的匹敌\(X\)\(Y\)强线形的相干,尽管如此\(X\)\(Z\)强线形的相干,经过\(\operatorname{cov}(X,Y)\)\(\operatorname{cov}(X,Z)\)不睬立即匹敌。相干系数的明确\(\eta\)
\[\eta ={\dfrac {\operatorname {cov} (X,y)}{\sqrt {\operatorname {var} (X)点 \operatorname {var} (Y)}}}\ \]
经过\(X\)的方差\(\operatorname{var}(X)\)\(Y\)的方差\(\operatorname{var}(Y)\)对协方差\(\operatorname{cov}(X,Y)\)正态化,开始相干系数\(\eta\)\(\eta\)值的广大地域是\([-1,1]\)\(1\)表现完整线形的相干,\(-1\)表现完整线形的负相干,\(0\)表现线形的孤独项。线形的孤独决不吝啬的完整孤独,更不用说互相孤独了。

范本的协方差

        在实践中,通常we的一切格身材凑手宁愿战利品,范本具有多个属性,每个范本都可以看法多维随机v的单独范本点,we的一切格身材需求辨析这两个维度私下的线形的相干。协方差及相干系数是度量无规变数间线形的相干的参量,不发生正的散布,不料经过范本举行预测。

        让范本b对应的多维无规变数\(\textbf X=[X_1, X_2, X_3, ..., X_n]^T\),范本集是\(\{\textbf x_{\cdot j}=[x_{1j},x_{2j},...,x_{nj}]^T|1\leqslant j\leqslant m\}\)\(m\)范本量。类似地范本方差的计算,(一)\(b\)两个维度范本的协方差表情为,就中\(1\leqslant a\leqslant n\)\(1\leqslant b\leqslant n\)\(n\)为范本维度
\[q_{ab}=\dfrac {\sum_{j=1}^m{(x_{aj}-\bar x_a)(x_{bj}-\bar x_b)}}{m-1}\]
分母在这边(M-1)因无规变数的=mathematics祝愿是未知的,范本平均值交换,变动减1。

协方差矩阵

多维无规变数的协方差矩阵

        多维无规变数\(\textbf X=[X_1, X_2, X_3, ..., X_n]^T\),we的一切格身材常常需求计算各维度两两私下的协方差,这么样各协方差结合了单独\(n\times n\)矩阵,称为协方差矩阵。协方差矩阵是个整齐矩阵,不老实线上的元素是无规变数在有区别的维度上的方差。we的一切格身材明确协方差矩阵为\(\Sigma\),就是这样成绩和总和\(\sum\)同样的人,需求对环境敏感。矩阵射中靶子元素\(\Sigma_{ij}\)
\[\Sigma_{ij}=\operatorname{cov}(X_i,X_j)=\operatorname{E}\big[(X_i-\operatorname{E}[X_i])(X_j-\operatorname{E}[X_j])\big]\]
因而就是这样矩阵是
\[\Sigma=\operatorname{E}\big[(\textbf X-\operatorname{E}[\textbf x]\big)(说法bf X-\operatorname{E}[\textbf X])^T]\]
\[=\begin{bmatrix} \operatorname{cov}(X_1, X_1) & \operatorname{cov}(X_1, X_2) & \cdots & \operatorname{cov}(X_1, X_n) \\ \operatorname{cov}(X_2, X_1) & \operatorname{cov}(X_2, X_2) & \cdots & \operatorname{cov}(X_2, X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{cov}(X_n, X_1) & \operatorname{cov}(X_n, X_2) & \cdots & \operatorname{cov}(X_n, X_n) \end{bmatrix} \]
\[=\begin{bmatrix} \operatorname{E}\big[(X_1-\operatorname{E}[X_1])(X_1-\operatorname{E}[X_1])\big] & \operatorname{E}\big[(X_1-\operatorname{E}[X_1])(X_2-\operatorname{E}[X_2])\big] & \cdots & \operatorname{E}\big[(X_1-\operatorname{E}[X_1])(X_n-\operatorname{E}[X_n])\big] \\ \operatorname{E}\big[(X_2-\operatorname{E}[X_2])(X_1-\operatorname{E}[X_1])\big] & \operatorname{E}\big[(X_2-\operatorname{E}[X_2])(X_2-\operatorname{E}[X_2])\big] & \cdots & \operatorname{E}\big[(X_2-\operatorname{E}[X_2])(X_n-\operatorname{E}[X_n])\big] \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{E}\big[(X_n-\operatorname{E}[X_n])(X_1-\operatorname{E}[X_1])\big] & \operatorname{E}\big[(X_n-\operatorname{E}[X_n])(X_2-\operatorname{E}[X_2])\big] & \cdots & \operatorname{E}\big[(X_n-\operatorname{E}[X_n])(X_n-\operatorname{E}[X_n])\big] & \end{bmatrix}\]

范本的协方差矩阵

        与下面的协方差矩阵同样的人,要不是矩阵内各元素以范本的协方差交换。范本集是\(\{\textbf x_{\cdot j}=[x_{1j},x_{2j},...,x_{nj}]^T|1\leqslant j\leqslant m\}\)\(m\)范本量,一切范本都可以表现为\(n \times m\)矩阵。we的一切格身材以\(\hat \Sigma\)表现范本的协方差矩阵,与\(\Sigma\)区别。
\[\hat \Sigma=\begin{bmatrix} q_{11} & q_{12} & \cdots & q_{1n} \\ q_{21} & q_{21} & \cdots & q_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ q_{n1} & q_{n2} & \cdots & q_{nn} \end{bmatrix} \]
\[ =\frac {1}{m-1} \begin{bmatrix} {\sum_{j=1}^m{(x_{1j}-\bar x_1)(x_{1j}-\bar x_1)}} & {\sum_{j=1}^m{(x_{1j}-\bar x_1)(x_{2j}-\bar x_2)}} & \cdots & {\sum_{j=1}^m{(x_{1j}-\bar x_1)(x_{nj}-\bar x_n)}} \\ {\sum_{j=1}^m{(x_{2j}-\bar x_2)(x_{1j}-\bar x_1)}} & {\sum_{j=1}^m{(x_{2j}-\bar x_2)(x_{2j}-\bar x_2)}} & \cdots & {\sum_{j=1}^m{(x_{2j}-\bar x_2)(x_{nj}-\bar x_n)}} \\ \vdots & \vdots & \ddots & \vdots \\ {\sum_{j=1}^m{(x_{nj}-\bar x_n)(x_{1j}-\bar x_1)}} & {\sum_{j=1}^m{(x_{nj}-\bar x_n)(x_{2j}-\bar x_2)}} & \cdots & {\sum_{j=1}^m{(x_{nj}-\bar x_n)(x_{nj}-\bar x_n)}} \end{bmatrix} \]
\[ =\frac {1}{m-1} \sum_{j=1}^m (\textbf x_{\cdot j} - \bar {\textbf x}) (\textbf x_{\cdot j} - \bar {\textbf x})^T \]
在表情中\(m\)范本量,\(\bar {\textbf x}\)范本的平平均值,它是单独列带菌者。,\(\textbf x_{\cdot j}\)为第\(j\)个范本,也它是单独列带菌者。。

        在写顺序计算范本的协方差矩阵时,we的一切格身材通常用后一种身材的带菌者来计算。单独辩论是法典每个扼要的明了,另单独辩论是计算者对矩阵和v有很多使最优化,实力高于计算cod中各元素。

        请睬,协方差矩阵是计算范本有区别的维度私下的协方差,而不是计算有区别的的范本,因而协方差矩阵的上胶料与维度同样的人。

        集中的时辰,we的一切格身材只关怀有区别的DI私下的线形的相干。,还需求将这种线形的相干与。因而,在计算协方差矩阵先于,战利品通常是规范化的,包含两面积:

  1. \(\textbf y_{\cdot j} = \textbf x_{\cdot j } - \bar {\textbf x}\)。示例译员,使重点在奥里基;
  2. \(\textbf z_{i \cdot} = \textbf y_{i \cdot} / \sigma_i\)。就中\(\sigma_i\)是维度\(i\)的标准偏差。这消释了数值上胶料的感染。

        这么样,协方差矩阵\(\hat \Sigma\)它可以写成
\[\hat \Sigma=\frac {1}{m-1} \sum_{j=1}^{m}\textbf z_{\cdot j} \textbf z_{\cdot j}^T\]
该矩阵射中靶子元素具有可匹敌性。