5_function_approximation.tex

Raw

                  33
                 
                  151

% !TEX root = main.tex

\section { 函数逼近 } % 证明

用函数 $ f(x) $ 和 $ p(x) $ 的 \textbf { 最大误差 }

\[ \norm {p-f}_ \infty = \max _{a \leq x \leq b}|p(x)-f(x)| \]

作为度量逼近函数 $ p(x) $ 对被逼近函数 $ f(x) $ 的逼近程度。

若存在一个函数序列满足

\[ \lim _{n \to\infty } \norm {p_n(x)-f(x)}_ \infty =0 \]

则意味着序列 $ \{ p_n(x) \} $ 在区间 $ [a,b] $ 上一致收敛至 $ f(x) $ 。

序列 $ \{ p_n(x) \} $ 对 $ f(x) $ 的逼近称为 \textbf { 一致逼近 }。

也可用积分

\[ \norm {p-f}_2= \lrp { \int _a^b(p(x)-f(x))^2 \diff x}^{ \frac {1}{2}} \]

作为度量函数。

若存在一个函数序列满足

\[ \lim _{n \to\infty } \norm {p_n(x)-f(x)}_2=0 \]

则意味着序列 $ \{ p_n(x) \} $ 在区间 $ [a,b] $ 上平方收敛至 $ f(x) $ 。

序列 $ \{ p_n(x) \} $ 对 $ f(x) $ 的逼近称为 \textbf { 平方逼近 }。

\subsection { 内积与正交多项式 }

\begin { definition }[权函数]

设 $ [a,b] $ 为有限或无限区间， $ \rho (x) $ 是定义在 $ [a,b] $ 上的非负函数， $ \intab {a}{b}{x^k \rho (x)} $ 对 $ k= 0 , 1 , \ldots $ 都存在，且对非负的 $ f(x) \in C[a,b] $ \footnote { $ C[a,b] $ 表示区间 $ [a,b] $ 上连续函数的全体}，若 $ \intab {a}{b}{f(x) \rho (x)}= 0 $ ，则 $ f(x) \equiv 0 $ ，称 $ \rho (x) $ 为 $ [a,b] $ 上的权函数，其刻画了点 $ x $ 在 $ [a,b] $ 上的重要性

\end { definition }

\begin { definition }[内积]

设 $ f(x),g(x) \in C[a,b] $ ， $ \rho (x) $ 为 $ [a,b] $ 上的权函数，则函数 $ f(x) $ 和 $ g(x) $ 的内积为

\[ \lrang {f,g}:= \intab {a}{b}{ \rho (x)f(x)g(x)} \]

\end { definition }

定义了内积的线性空间称为内积空间。

内积需满足

\begin { enumerate }

\item （正定性） $ \lrang {f,f} \geq 0 \iff f \equiv 0 , \lrang {f,f}= 0 $

\item （线性性） $ \lrang {c_1f+c_2g,h}=c_ 1 \lrang {f,h}+c_ 2 \lrang {g,h} $ , $ c_ 1 ,c_ 2 $ 为常数

\item （交换律） $ \lrang {f,g}= \lrang {g,f} $

\end { enumerate }

\begin { definition }[范数]

对内积空间 $ C[a,b] $ 中的每一个函数 $ f(x) $ ，都赋予一个数值

\[ \norm {f}= \sqrt { \intab {a}{b}{ \rho (x)[f(x)]^2}} \]

\end { definition }

\begin { definition }[正交]

设 $ f(x),g(x) \in C[a,b] $ ， $ \rho (x) $ 为 $ [a,b] $ 上的权函数，若内积

\[ \lrang {f,g}= \intab {a}{b}{ \rho (x)f(x)g(x)}=0 \]

则称 $ f(x),g(x) $ 在 $ [a,b] $ 上带权 $ \rho (x) $ 正交

\end { definition }

\subsubsection { 勒让德多项式 }

勒让德(Legendre)多项式是区间 $ [- 1 , 1 ] $ 上权函数 $ \rho (x)= 1 $ 的正交多项式

\[ P_0(x)=1, \qquad P_n(x)= \frac {1}{2^nn!} \frac { \diff ^n}{ \diff x^n}(x^2-1)^n \]

$ P_n(x) $ 的首项 $ x^n $ 系数为 $ \disp\frac {(2n)!}{2^n(n!)^2} $ ，记

\[ \tilde {P}_0(x)=1, \qquad\tilde {P}_n(x)= \frac {n!}{(2n)!} \frac { \diff ^n}{ \diff x^n}(x^2-1)^n \]

则 $ \tilde {P}_n(x) $ 是首项 $ x^n $ 系数为 $ 1 $ 的勒让德多项式

勒让德多项式有许多重要的性质

\begin { enumerate }

\item 正交性

\[ \lrang {P_n,P_m}= \intab {-1}{1}{P_n(x)P_m(x)}=

\begin { cases }

0&m \ne n \\

\disp\frac {2}{2n+1}&m=n

\end { cases } \]

\begin { analysis }

令 $ \varphi (x)=(x^ 2 - 1 )^n $ ，则 $ \iter { \varphi }{k}( \pm 1 )= 0 ,k= 0 , 1 , \ldots ,n- 1 $ ，且 $ P_n(x)= \disp \frac {1}{2^n n!} \varphi ^{(n)}(x) $ ，用分部积分法可证

\end { analysis }

\item 递推公式

\[ P_{n+1}(x)= \frac {2n+1}{n+1}xP_n(x)- \frac {n}{n+1}P_{n-1}(x),P_0(x)=1,P_1(x)=x \]

可推得后面几项为

\[ P_2(x)= \frac {1}{2}(3x^2-1), \; P_3(x)= \frac {1}{2}(5x^3-3x), \; P_4(x)= \frac {1}{8}(35x^4-30x^2+3) \]

\item 奇偶性

\[ P_n(-x)=(-1)^nP_n(x) \]

\end { enumerate }

\subsubsection { 切比雪夫多项式 }

切比雪夫(Chebyshev)多项式为区间 $ [- 1 , 1 ] $ 上关于权函数 $ \rho (x)= \frac {1}{ \sqrt {1-x^2}} $ 的正交多项式

\[ T_n(x)= \cos (n \arccos x) \]

\begin { enumerate }

\item 正交性

\[ \lrang {T_n,T_m}= \intab {-1}{1}{ \frac {T_n(x)T_m(x)}{ \sqrt {1-x^2}}}=

\begin { cases }

0&m \ne n \\

\dfrac { \pi }{2}&m=n \ne 0 \\

\pi &m=n=0

\end { cases } \]

\begin { analysis }

令 $ x= \cos \theta $ ，由三角函数正交性 \footnote {数学分析傅里叶级数一节，三角函数系 $ \{ 1 , \cos x, \sin x, \ldots , \cos nx, \sin nx, \ldots \} $ 中任意两个不同函数在 $ [- \pi , \pi ] $ 都正交}即得结论

\end { analysis }

\item 递推公式

\[ T_{n+1}(x)=2xT_n(x)-T_{n-1}(x),T_0(x)=1,T_1(x)=x \]

\begin { analysis }

同样三角代换 $ x= \cos \theta $ ，并结合和差化积即得结论

\end { analysis }

后面几项为

\[ T_2(x)=2x^2-1, \; T_3(x)=4x^3-3x, \; T_4(x)=8x^4-8x^2+1 \]

\item 奇偶性

\[ T_n(-x)=(-1)^nT_n(x) \]

\item $ T_n(x) $ 在 $ (- 1 , 1 ) $ 内的 $ n $ 个零点为 $ \disp x_k= \cos \frac {2k-1}{2n} \pi $ ，在 $ [- 1 , 1 ] $ 上有 $ n+ 1 $ 个极值点 $ \disp y_k= \cos \frac {k}{n} \pi $

\item $ T_n(x) $ 的最高次幂 $ x^n $ 的系数为 $ 2 ^{n-1},n \geq 1 $

\end { enumerate }

\subsubsection { 其他正交多项式 }

\begin { enumerate }

\item 拉盖尔(Laguerre)多项式

\[ L_n(x)= \ee ^x \frac { \diff ^n}{ \diff x^n}(x^n \ee ^{-x}), \qquad n=0,1, \ldots \]

递推公式为

\[ L_{n+1}(x)=(1+2n-x)L_n(x)-n^2L_{n-1}(x), \qquad n=1,2, \ldots \]

\item 埃尔米特(Hermite)多项式

\[ H_n(x)=(-1)^n \ee ^{x^2} \frac { \diff ^n}{ \diff x^n} \ee ^{-x^2}, \qquad n=0,1, \ldots \]

递推公式为

\[ H_{n+1}(x)=2xH_n(x)-2nH_{n-1}(x), \qquad n=1,2, \ldots \]

\end { enumerate }

\subsection { 最佳一致逼近 }

\begin { definition }

设 $ f(x) \in \sC [a,b] $ ，以及多项式序列 $ p_n(x) $ ，若 $ \forall \eps , \exists N, n> N $ ，不等式

\[ \max _{a \leq x \leq b}|p_n(x)-f(x)|< \eps \]

成立，则称多项式 $ p_n(x) $ 在 $ [a,b] $ 上一致逼近于 $ f(x) $

\end { definition }

\begin { definition }

若 $ \exists x_ 0 \in [a,b] $ ，使得

\[ |p(x_0)-f(x_0)|= \mu = \norm {p-f}_ \infty = \max _{a \leq x \leq b}|p(x)-f(x)| \]

则称 $ x_ 0 $ 是 $ p(x) $ 关于 $ f(x) $ 的正/负偏差点

\end { definition }

\begin { theorem }[Chebyshev]

$ p_n^ \star (x) \in P_n $ 是 $ f(x) \in \sC [a,b] $ 的最佳一致逼近多项式的充分必要条件是：在 $ [a,b] $ 上至少有 $ n+ 2 $ 个交替为正负的偏差点，即至少有 $ n+ 2 $ 个点 $ a \leq x_ 1 <x_ 2 \cdots <x_{n+2} \leq b $ ，使得

\[ p_n^ \star (x_k)-f(x_k)=(-1)^k \sigma\norm {f-p_n^ \star }_ \infty , \; \sigma = \pm 1, \, k=1,2, \ldots ,n+2 \]

\end { theorem }

上述点 $ \{ x_k \} _ 1 ^{n+2} $ 称为切比雪夫交错点组

线性最佳一致逼近：设 $ f(x) $ 在 $ [a,b] $ 上有二阶导数，且 $ f''(x) $ 在 $ [a,b] $ 上不变号， $ p_ 1 (x)=a_ 0 +a_ 1 x $ 为线性最佳一致逼近，其中

\[ \begin { cases }

a_0= \dfrac {1}{2}(f(a)+f(x_2))- \dfrac {a+x_2}{2} \dfrac {f(b)-f(a)}{b-a} & f'(x_2)=a_1 \\

a_1= \dfrac {f(b)-f(a)}{b-a}

\end { cases } \]

即拟合直线的斜率与连接 $ a,b $ 两点的割线斜率相同(Lagrange切线， $ x_ 2 $ 为切点)，且过 $ a $ 和 $ x_ 2 $ 的中点。

\subsection { 最佳平方逼近 }

\begin { definition }[最佳平方逼近]

设 $ f(x) \in C[a,b] $ ，如果存在 $ s^ \star (x) \in\Phi $ ，使

\[ \intab {a}{b}{ \rho (x)[f(x)-s^ \star (x)]^2}= \min _{s(x) \in\Phi } \intab {a}{b}{ \rho (x)[f(x)-s(x)]^2} \]

则称 $ s^ \star $ 为 $ f(x) $ 在集合 $ \Phi $ 中的最佳平方逼近函数。

若 $ \Phi =P_n= \opspan\{ 1 ,x, \ldots ,x^n \} $ ，则 $ s^ \star (x) $ 为 $ f(x) $ 的 $ n $ 次最佳平方逼近多项式。

\end { definition }

\begin { theorem }

设 $ f(x) \in C[a,b] $ ，则 $ f(x) $ 在 $ \Phi $ 中存在唯一最佳平方逼近函数 $ s^ \star (x) $

\end { theorem }

\begin { analysis }

\[ G_n= \bmat { \lrang { \varphi _0, \varphi _0} & \lrang { \varphi _0, \varphi _1} & \cdots & \lrang { \varphi _n, \varphi _n} \\ \vdots & \vdots & \ddots & \vdots \\ \lrang { \varphi _n, \varphi _0} & \lrang { \varphi _n, \varphi _1} & \cdots & \lrang { \varphi _n, \varphi _n}} \]

\end { analysis }

对于最佳平方逼近式，解法方程

\[ G_{n} \va = \vd \]

对于最佳平方 \textbf { 多项式 }，则 $ G_n=H_{n+1} $ 为希尔伯特(Hilbert)矩阵

\[ H_{n+1}= \bmat {1 & \frac {1}{2} & \cdots & \frac {1}{n+1} \\ \frac {1}{2} & \frac {1}{3} & \cdots & \frac {1}{n+2} \\ \vdots & \vdots & \ddots & \vdots \\ \frac {1}{n+1} & \frac {1}{n+2} & \cdots & \frac {1}{2n+1}} \]

也可以采用前面的正交多项式作为基底进行拟合。

\begin { example }

设 $ f(x)= \cos x,x \in [- \pi , \pi ] $ ，求 $ p(x)=a+bx^ 2 $ 的最佳平方逼近

\end { example }

\begin { analysis }

基函数为 $ \varphi _ 0 (x)= 1 , \varphi _ 1 (x)=x^ 2 $ ，故

\[ \begin { aligned }

d_0&= \lrang { \varphi _0(x),f}= \int _{- \pi }^ \pi\cos x \diff x=0 \\

d_1&= \lrang { \varphi _1(x),f}= \int _{- \pi }^ \pi x^2 \cos x \diff x=-4 \pi

\end { aligned } \]

而

\[ \begin { aligned }

\lrang { \varphi _0, \varphi _0}&= \intab {- \pi }{ \pi }{}=2 \pi \\

\lrang { \varphi _0, \varphi _1}&= \intab {- \pi }{ \pi }{x^2}= \frac {2}{3} \pi ^3 \\

\lrang { \varphi _1, \varphi _1}&= \intab {- \pi }{ \pi }{x^4}= \frac {2}{5} \pi ^5 \\

\end { aligned } \]

有法方程

\[ \bmat {2 \pi & \frac {2}{3} \pi ^3 \\ \frac {2}{3} \pi ^3 & \frac {2}{5} \pi ^5} \bmat {a \\ b}= \bmat {0 \\ -4 \pi } \]

解得

\[ p(x)= \frac {15}{2 \pi ^2}- \frac {45}{2 \pi ^4}x^2 \]

\end { analysis }

\subsection { 最小二乘法 }

最小二乘法即离散情形的最佳平方逼近，拟合函数为

\[ \sum _{j=0}^na_j \varphi _j(x) \]

$ \varphi _i(x) $ 为基函数，且线性无关，求解下面法方程

\[ \bmat { \lrang { \varphi _0, \varphi _0} & \lrang { \varphi _0, \varphi _1} & \cdots & \lrang { \varphi _n, \varphi _n} \\ \vdots & \vdots & \ddots & \vdots \\ \lrang { \varphi _n, \varphi _0} & \lrang { \varphi _n, \varphi _1} & \cdots & \lrang { \varphi _n, \varphi _n}} \bmat {a_0 \\ \vdots \\ a_n}= \bmat { \lrang {f, \varphi _0} \\ \vdots \\ \lrang {f, \varphi _n}} \]

其中

\[ \begin { cases }

\lrang { \varphi _j, \varphi _k}= \disp\sum _{i=0}^m \varphi _j(x_i) \varphi _k(x_i) \\

\lrang {f, \varphi _k}= \disp\sum _{i=0}^mf(x_i) \varphi _k(x_i)

\end { cases } \]

特别地，如果用代数多项式拟合，即取

\[ \{ \varphi _0, \varphi _1, \ldots , \varphi _n \} = \{ 1,x, \ldots ,x^n \} \]

有法方程

\[ \bmat { \disp\sum _{i=1}^m 1 & \disp\sum _{i=1}^m x_i & \cdots & \disp\sum _{i=1}^m x_i^n \\ \vdots & \vdots & \ddots & \vdots \\ \disp\sum _{i=0}^mx_i^n & \disp\sum _{i=0}^mx_i^{n+1} & \cdots & \disp\sum _{i=0}^mx_i^{2n}} \]

\begin { example }

用最小二乘法求下面数据的二次拟合 $ y=a \theta +b \theta ^ 2 $

\begin { center }

\begin { tabular }{ccccc} \hline

$ \theta $ & 1 & 2 & 3 & 4\\ \hline

$ f $ & 0.8 & 1.5 & 1.8 & 2.0\\ \hline

\end { tabular }

\end { center }

\end { example }

\begin { analysis }

注意基底分别为 $ \varphi _ 1 (x)= \theta , \varphi _ 2 (x)= \theta ^ 2 $ ，则

\[ \bmat { \disp\sum _{i=1}^4 \theta _i^2 & \disp\sum _{i=1}^4 \theta _i^3 \\ \disp\sum _{i=1}^4 \theta _i^3 & \disp\sum _{i=1}^4 \theta _i^4} \bmat {a \\ b}= \bmat { \disp\sum _{i=1}^4 \theta _i f_i \\ \disp\sum _{i=1}^4 \theta _i^2 f_i} \]

代入数据可解得

\[ \begin { cases }

a=0.9491 \\

b=-0.11274

\end { cases } \]

\end { analysis }

5_function_approximation.tex

Latest commit

History

5_function_approximation.tex

File metadata and controls