\[
% to cope with definition mismatch between MathJax and LaTeX
\newcommand{\coloneq}{\mathrel{:=}}
\newcommand{\eqcolon}{\mathrel{=:}}
% general purpose
\newcommand{\ctext}[1]{\raise0.2ex\hbox{\textcircled{\scriptsize{#1}}}}
% mathematics
% general purpose
\DeclarePairedDelimiterX{\parens}[1]{\lparen}{\rparen}{#1}
\DeclarePairedDelimiterX{\braces}[1]{\lbrace}{\rbrace}{#1}
\DeclarePairedDelimiterX{\bracks}[1]{\lbrack}{\rbrack}{#1}
\DeclarePairedDelimiterX{\verts}[1]{|}{|}{#1}
\DeclarePairedDelimiterX{\Verts}[1]{\|}{\|}{#1}
\DeclarePairedDelimiterX{\setComprehension}[2]{\lbrace}{\rbrace}{#1\,\delimsize\vert\,#2}
\newcommand{\as}{{\quad\textrm{as}\quad}}
\newcommand{\st}{{\textrm{ s.t. }}}
\newcommand{\naturalNumbers}{\mathbb{N}}
\newcommand{\integers}{\mathbb{Z}}
\newcommand{\rationalNumbers}{\mathbb{Q}}
\newcommand{\realNumbers}{\mathbb{R}}
\newcommand{\nonNegRealNumbers}{\mathbb{R}_{\geq 0}}
\newcommand{\posRealNumbers}{\mathbb{R}_{> 0}}
\newcommand{\complexNumbers}{\mathbb{C}}
\newcommand{\field}{\mathbb{F}}
\newcommand{\EuclideanSpace}{\mathbb{E}}
\newcommand{\argmax}{\operatorname*{arg~max}}
\newcommand{\argmin}{\operatorname*{arg~min}}
% set theory
\newcommand{\range}[2]{\braces*{#1,\dotsc,#2}}
\renewcommand{\complement}{\mathrm{c}}
\newcommand{\ind}[2]{\mathbbm{1}_{#1}\parens*{#2}}
\newcommand{\indII}[1]{\mathbbm{1}\braces*{#1}}
% number theory
\newcommand{\abs}[1]{\verts*{#1}}
\newcommand{\combi}[2]{{_{#1}\mathrm{C}_{#2}}}
\newcommand{\perm}[2]{{_{#1}\mathrm{P}_{#2}}}
\newcommand{\GaloisField}{\mathrm{GF}}
% real analysis
\newcommand{\NapierE}{\mathrm{e}}
\newcommand{\sgn}{\operatorname{sgn}} % sign function
\newcommand{\rect}{\operatorname{rect}} % rectangular function
\newcommand{\cl}{\operatorname{cl}} % closure of a set
\newcommand{\img}{\operatorname{im}} % image of a function
\newcommand{\dom}{\operatorname{dom}} % domain of a function
\newcommand{\LittleO}[2]{\underset{#1}{o}\parens*{#2}} % little-o notation
\newcommand{\norm}[1]{\Verts*{#1}} % norm of a vector or function
\newcommand{\floor}[1]{\left\lfloor #1\right\rfloor}
\newcommand{\ceil}[1]{\left\lceil#1\right\rceil}
\newcommand{\sinc}{\operatorname{sinc}}
\newcommand{\nrmSinc}{\operatorname{nsinc}} % normalized sinc function
\newcommand{\erf}{\operatorname{erf}}
% inverse trigonometric functions
\newcommand{\asin}{\operatorname{Sin}^{-1}}
\newcommand{\acos}{\operatorname{Cos}^{-1}}
\newcommand{\atan}{\operatorname{Tan}^{-1}}
% derivative
\newcommand{\deriv}[3]{\frac{\mathrm{d}^{#3}#1}{\mathrm{d}{#2}^{#3}}}
\newcommand{\derivLong}[3]{\frac{\mathrm{d}^{#3}}{\mathrm{d}{#2}^{#3}}#1}
\newcommand{\partDeriv}[3]{\frac{\mathrm{\partial}^{#3}#1}{\mathrm{\partial}{#2}^{#3}}}
\newcommand{\partDerivLong}[3]{\frac{\mathrm{\partial}^{#3}}{\mathrm{\partial}{#2}^{#3}}#1}
\newcommand{\partDerivIIHetero}[3]{\frac{\mathrm{\partial}^2#1}{\partial#2\mathrm{\partial}#3}}
\newcommand{\partDerivIIHeteroLong}[3]{{\frac{\mathrm{\partial}^2}{\partial#2\mathrm{\partial}#3}#1}}
% integral
\newcommand{\pv}{{\textrm{ p.v. }}}
\newcommand{\integrate}[5]{\int_{#1}^{#2}{#3}{\;\mathrm{d}^{#4}}#5}
\newcommand{\LebInteg}[4]{\int_{#1} {#2} {#3}\parens*{\;\mathrm{d}#4}}
% complex analysis
\newcommand{\conj}[1]{\overline{#1}}
\renewcommand{\Re}{\operatorname{Re}}
\renewcommand{\Im}{\operatorname{Im}}
\newcommand{\Arg}{\operatorname{Arg}}
\newcommand{\Log}{\operatorname{Log}}
% Laplace transform
\newcommand{\LPLC}{\operatorname{\mathcal{L}}}
\newcommand{\ILPLC}{\operatorname{\mathcal{L}}^{-1}}
% discrete fourier transform
\newcommand{\DFT}{\operatorname{DFT}}
\newcommand{\IDFT}{\operatorname{IDFT}}
% Z-transform
\newcommand{\ZTrans}{\operatorname{\mathcal{Z}}}
\newcommand{\IZTrans}{\operatorname{\mathcal{Z}}^{-1}}
\newcommand{\SSZTrans}{\underset{\text{s.s.}}{\mathcal{Z}}} % single-sided Z-transform
% linear algebra
\newcommand{\bm}[1]{{\boldsymbol{#1}}}
\newcommand{\vecEntry}[2]{\bm{#1}\bracks*{#2}}
\newcommand{\matEntry}[3]{#1\bracks*{#2}\bracks*{#3}}
\newcommand{\matPart}[5]{\matEntry{#1}{#2:#3}{#4:#5}}
\newcommand{\minor}[3]{{#1}\bracks*{\setminus #2}\bracks*{\setminus #3}} % the minor of a matrix: row #2 and column #3 deleted
\newcommand{\diag}{\operatorname{diag}}
\newcommand{\transpose}[1]{{#1}^\top}
\newcommand{\HerConj}[1]{{#1}^*}
\newcommand{\tr}{\operatorname{tr}}
\newcommand{\inProd}[2]{\left\langle#1,#2\right\rangle}
\newcommand{\dotProd}[2]{#1 \cdot #2}
\newcommand{\HadamardProd}{\odot}
\newcommand{\HadamardDiv}{\oslash}
\newcommand{\vecSpan}{\operatorname{span}}
\newcommand{\rank}{\operatorname{rank}}
% vector
% unit vector
\newcommand{\vix}{\bm{i}_x}
\newcommand{\viy}{\bm{i}_y}
\newcommand{\viz}{\bm{i}_z}
% graph theory
\newcommand{\neighborhood}{\mathcal{N}}
% probability theory
\newcommand{\PDF}{\operatorname{PDF}}
\newcommand{\Ber}{\operatorname{Ber}}
\newcommand{\Beta}{\operatorname{Beta}}
\newcommand{\ExpDist}{\operatorname{ExpDist}}
\newcommand{\ErlangDist}{\operatorname{ErlangDist}}
\newcommand{\PoissonDist}{\operatorname{PoissonDist}}
\newcommand{\GammaDist}{\operatorname{Gamma}}
\newcommand{\cind}[2]{\ind{#1\left| #2\right.}} % conditional indicator function
\renewcommand{\Pr}{\operatorname{Pr}}
\DeclarePairedDelimiterX{\cPrParens}[2]{(}{)}{#1\,\delimsize\vert\,#2}
\newcommand{\Ev}{\operatorname{E}} % expected value
\newcommand{\Var}{\operatorname{Var}}
\newcommand{\Cov}{\operatorname{Cov}}
% physics
% unit of measurement
\newcommand{\second}{\text{s}}
\newcommand{\hertz}{\text{Hz}}
\newcommand{\decibel}{\text{dB}}
% signal processing
% Discrete Time Fourier Transform
\newcommand{\DTFT}{\operatorname{DTFT}}
\newcommand{\IDTFT}{\operatorname{IDTFT}}
% computer science
% fixed-point arithmetic
\newcommand{\IntPartBW}[1]{\underbracket[0.140ex]{#1}_\mathrm{i}} % 0.140ex is half of the default thickness. See: [How to make underbracket thinner](https://tex.stackexchange.com/questions/559078/how-to-make-underbracket-thinner)
\newcommand{\DecPartBW}[1]{\underbracket[0.140ex]{#1}_\mathrm{d}}
\newcommand{\TotalBW}[1]{\underbracket[0.140ex]{#1}}
\newcommand{\Rat}{\operatorname{Rat}} % Maps a fixed-point number to a corresponding rational number.
% programming
\newcommand{\plpl}{\mathrel{++}}
\newcommand{\pleq}{\mathrel{+}=}
\newcommand{\asteq}{\mathrel{*}=}
\]
はじめに
$n\times n$行列$A$のLDL分解の計算量は$O(n^3)$であるが、$A$の分解が既に得られているとき、$A+\bm{x}\bm{x}^*$の分解を$O(n^2)$の計算量で求めることができる。本記事ではこの方法を導出する。
主張
$n\in\naturalNumbers,\;A\in\complexNumbers^{n\times n},\;A\succeq O,\;\bm{x}\in\complexNumbers^n$とし、$A$はHermite行列であるとする。$A+\bm{x}\bm{x}^*$に対してLDL分解のアルゴリズムを適用すると$O(n^3)$の計算量を要する。しかし、$A$のLDL分解$LDL^*$が既に得られているとき、$A+\bm{x}\bm{x}^*$のLDL分解を$O(n^2)$で得ることができる。$\bm{x}\bm{x}^*$の階数が1以下である(特に0となるのは$\bm{x}=\bm{0}$の時かつその時に限る)ことから、この方法は “rank-one update” と呼ばれている。
導出
方針はCholesky分解の rank-one update と同様である。$A+\bm{x}\bm{x}^*$のLDL分解を$FGF^*$とする。$D,G$の第$i$対角成分をそれぞれ$d_i,g_i$とする。但し$d_i\geq 0$を前提とする。$L$の第$i$列ベクトルを$\bm{l}_i = [0,\dots,0,1,l_{i+1,i},\dots,l_{n,i}]^\top\in\complexNumbers^{n\times n}$とし、同様に$F$の第$i$列ベクトルを$\bm{f}_i = [0,\dots,0,1,f_{i+1,i},\dots,f_{n,i}]^\top\in\complexNumbers^{n\times n}$とすると次式が成り立つ。
\begin{align*} \sum_{i=1}^n \bm{f}_i g_i\bm{f}_i^* &= \bm{x}\bm{x}^* + \sum_{i=1}^n \bm{l}_i d_i\bm{l}_i^* \\ \bm{f}_1 g_1\bm{f}_1^* + \sum_{i=2}^n \bm{f}_i g_i\bm{f}_i^* &= \bm{x}\bm{x}^* + \bm{l}_1 d_1\bm{l}_1^* + \sum_{i=2}^n \bm{l}_i d_i\bm{l}_i^* \tag{1} \end{align*}$\bm{f}_i g_i\bm{f}_i^*,\;\bm{l}_i d_i\bm{l}_i^*\;(i=2,3,\dots,n)$の第1行および第1列は0であるから、$\bm{f}_1 g_1\bm{f}_1^*$と$\bm{x}\bm{x}^* + \bm{l}_1 d_1\bm{l}_1^*$の第1行および第1列が一致する。これより次式が成り立つ。
\[ g_1 = d_1 + \abs{x_1}^2 \eqqcolon g,\; f_{k,1} = \frac{1}{g}\left(d_1 l_{k,1} + \overline{x_1}x_k\right) \; (k=2,3,\dots,n) \tag{2} \]以上より、$\tilde{\bm{l}_1} \coloneqq [0,l_{2,1},l_{3,1},\dots,l_{n,1}]^\top,\;\tilde{\bm{x}} \coloneqq [0,x_2,x_3,\dots,x_n]^\top$とすると次式が成り立つ。
\[ \bm{f}_1 = \bm{e}_1 + \frac{d_1}{g}\tilde{\bm{l}_1} + \frac{\conj{x_1}}{g}\tilde{\bm{x}} \]ここに$\bm{e}_1$は第1要素が1で他は0であるベクトルである。$\bm{f}_1 g_1\bm{f}_1^*$の右下$(n-1)\times(n-1)$行列を評価すると次式を得る。
\begin{align*} &\phantom{=} \frac{1}{g}\left(d_1\tilde{\bm{l}_1} + \tilde{\bm{x}}\tilde{\bm{x}}^*\right)\left(d_1\tilde{\bm{l}_1} + \tilde{\bm{x}}\tilde{\bm{x}}^*\right)^* = \frac{d_1}{g}\tilde{\bm{l}_1}d_1\tilde{\bm{l}_1}^* + \frac{\abs{x_1}^2}{g}\tilde{\bm{x}}\tilde{\bm{x}}^* + \frac{d_1}{g}\left(x_1\tilde{\bm{l}_1}\tilde{\bm{x}}^* + \conj{x_1}\tilde{\bm{x}}\tilde{\bm{l}_1}^*\right) \\ &= \frac{g – \abs{x_1}^2}{g}\tilde{\bm{l}_1}d_1\tilde{\bm{l}_1}^* + \frac{g-d_1}{g}\tilde{\bm{x}}\tilde{\bm{x}}^* + \frac{d_1}{g}\left(x_1\tilde{\bm{l}_1}\tilde{\bm{x}}^* + \conj{x_1}\tilde{\bm{x}}\tilde{\bm{l}_1}^*\right) \\ &= \tilde{\bm{l}_1}d_1\tilde{\bm{l}_1}^* + \tilde{\bm{x}}\tilde{\bm{x}}^* – \frac{d_1}{g}\left[\abs{x_1}^2\tilde{\bm{l}_1}\tilde{\bm{l}_1}^* + \tilde{\bm{x}}\tilde{\bm{x}}^* – x_1\tilde{\bm{l}_1}\tilde{\bm{x}}^* – \conj{x_1}\tilde{\bm{x}}\tilde{\bm{l}_1}^*\right] \\ &= \tilde{\bm{l}_1}d_1\tilde{\bm{l}_1}^* + \tilde{\bm{x}}\tilde{\bm{x}}^* – \bm{y}\frac{d_1}{g}\bm{y}^* \quad \text{where} \quad \bm{y} = x_1\tilde{\bm{l}_1} – \tilde{\bm{x}} \end{align*}上式の$\tilde{\bm{l}_1}d_1\tilde{\bm{l}_1}^* + \tilde{\bm{x}}\tilde{\bm{x}}^*$は$\bm{x}\bm{x}^* + \bm{l}_1 d_1\bm{l}_1^*$の右下$(n-1)\times(n-1)$行列である。以上より次式が成り立つ。
\[ \bm{f}_1 g_1\bm{f}_1^* = \bm{x}\bm{x}^* + \bm{l}_1 d_1\bm{l}_1^* – \bm{y}\frac{d_1}{g}\bm{y}^* \]これを式(1)に適用して次式を得る。
\[ \sum_{i=2}^n \bm{f}_i g_i\bm{f}_i^* = \bm{y}\frac{d_1}{g}\bm{y}^* + \sum_{i=2}^n \bm{l}_i d_i\bm{l}_i^* \]これは$(n-1)\times(n-1)$行列の rank-one update である。このようにして行列の次数を逐次的に縮小し、最後はスカラーの計算に帰着する。次数$k$の問題に対し式(2)の計算量は$O(k)$であるから、このアルゴリズムの総計算量は$n(n+1)/2$に比例する。
$\square$
実装例
以下はJulia 1.8.0での実装例である。
コメントを残す
コメントを投稿するにはログインしてください。