从数学开始

数学是一种语言。用数学语言进行建模的过程：问题→模型->算法->代码。使用数学语言要擅长抽象。

👆 科学研究的过程

✅ 其中，对问题建模的能力是最重要的

集合内容跳过。
线性空间内容跳过。
映射内容跳过。
函数内容跳过。

函数的集合（函数空间）

用若干简单函数（“基函数”）线性组合张成一个函数空间

$$-L=span\left (f_1,f_2,\dots ,f_n \right ) =({\textstyle \sum_{i=1}^{n}} a_if_i(x)|a_i\in R)$$

每个函数就表达（对应）为$n$个实数，即系数向量$(a_1,a_2,\dots ,a_n)$

例如： 幂基

$$( x^{k},k=0,1,\dots ,n )$$

构成的函数空间

$$f(x)=\sum_{k=0}^{n} w_{k} x^{k}$$

称为多项式函数空间。

三角函数基构成的函数空间

$$f(x)=a_{0}+\sum_{k=1}^{n}\left(a_{k} \cos k x+b_{k} \sin k x\right)$$

称为三角函数空间

空间的完备性：这个函数空间是否可以表示（逼近）任意函数？

❗ 函数空间几乎是后面课程整个连续几何部分的基础，理解函数空间对理解后面的课程非常重要。

万能逼近定理

Weierstrass逼近定理：
• 定理1：闭区间上的连续函数可用多项式级数一致逼近
• 定理2：闭区间上周期为$2π$的连续函数可用三角函数级数一致逼近
对 $[a, b]$上的任意连续函数$g$, 及任意给定的$\varepsilon>0$, 必存在$n$ 次代数多项式$f(x)=\sum_{k=0}^{n} w_{k} x^{k}$, 使得 $$\min _{x \in[a, b]}|f(x)-g(x)|<\varepsilon.$$

傅里叶级数

$$f(t)=A_{0}+\sum_{n=1}^{\infty}\left[a_{n} \cos (n \omega t)+b_{n} \sin (n \omega t)\right]$$

$$f(t)=A_{0}+\sum_{n=1}^{\infty} A_{n} \sin n \omega t+\psi_{n}$$

[47:46] 两个$f(t)$是等价的。$n$代表对sin的缩放，$\phi_t$ 代表对 sin 的平移，用一个函数sin通过对它的伸缩和左右平移，就能表达一个任意复杂的周期函数。

更复杂的函数：函数复合

$$f=f_{k}{ }^{\circ} f_{k-1}{ }^{\circ} \ldots{ }^{\circ} f_{0}$$

问题：如何求满足要求的函数？

🔎 [51：11]

大部分的实际应用问题

• 还需要根据实际问题设计输入输出
• 可建模为：找一个映射/变换/函数
• 输入不一样、变量不一样、维数不一样

如何找函数的三步曲：

• 到哪找，即确定某个函数集合/空间
  ①各种网络模型(CNN，RNN)都是在解决“到哪找”的问题
• 找哪个，即度量哪个函数是好的/“最好”的
  ②各种Loss定义(L2,交叉熵)都是在解决“找哪个”的问题
• 怎么找，即求解或优化。可以选择不同的优化方法与技巧，目标是既要快、又要好…
  ③各种优化方法(牛顿下降、Adam)都是在解决“怎么找”的问题

本文出自CaterpillarStudyGroup，转载请注明出处。 https://caterpillarstudygroup.github.io/GAMES102_mdbook/