20240905 fix math formula display problem

Author: ymzhang-cs

_posts/2024-09-04-deep-learning-2024autumn-01.md

@@ -92,6 +92,7 @@ $$
 #### 交叉熵（Cross Entropy）损失函数
 
 交叉熵是按照概率分布α的最优编码对真实分布为p的信息进行编码的长度
+
 $$
 \begin{aligned}
 H(p,q) &= \mathbb{E}_p[-\log q(x)] \\
@@ -103,24 +104,31 @@ $$
 - 如果 q 和 p 差别越大，交叉熵就越大
 
 **逻辑回归使用交叉作为损失函数**
+
 $$
 H(p,q) = -\sum_{x} p(x) \log q(x)
 $$
+
 对于训练样本 $$(x^{(n)}, y^{(n)})$$：
+
 $$
 p_r(y^{(n)}=1|x^{(n)})=y^{(n)}, p_r(y^{(n)}=0|x^{(n)})=1-y^{(n)}
 $$
+
 真实概率和预测概率之间的交叉熵为：
+
 $$
 H(p,q) = -[p_r(y^{(n)}=1|x^{(n)})\log \hat y^{(n)}+p_r(y^{(n)}=0|x^{(n)})\log (1-\hat y^{(n)})
 $$
+
 其中 $$\hat{y}^{(n)} = \sigma(w^\top x^{(n)})$$
 
 ### Softmax 回归
 
 Softmax Regression，也称为多项（Multinomial）或多类(Multi-Class）的Logistic 回归，是Logistic 回归在多分类问题上的推广。
 
 Softmax 回归中，首先还是利用线性函数作特征的映射（判别函数），然后利用Softmax 函数作为非线性的决策函数
+
 $$
 \begin{aligned}
 p(y=c|x)&=\mathrm{softmax}(w_c^\top x) \\

_posts/2024-09-04-deep-learning-2024autumn-03.md

@@ -38,9 +38,11 @@ _这份笔记使用的部分图片、内容来自于北京交通大学深度学
 **随着深度的增加网络的表示能力呈指数增加**
 
 具有d个输入、深度为l、每个隐藏层具有n个单元的深度整流网络可以描述的线性区域的数量为
+
 $$
 O((_d^n)^{d(l-1)}n^d)
 $$
+
 意味着，网络描述能力为深度的**指数级**[Montufar et al,2014]。
 
 Which means:
@@ -164,6 +166,7 @@ Sigmoid型函数指一类S型曲线函数，为**两端饱和函数（两端的
 ##### Logistic函数
 
 ![image-20240901110331298](../assets/img/Autumn2024-hywan/image-20240901110331298.png)
+
 $$
 \sigma (x) = \frac{1}{1+\exp(-x)}
 $$
@@ -174,6 +177,7 @@ $$
 ##### Tanh函数
 
 ![image-20240901110610813](../assets/img/Autumn2024-hywan/image-20240901110610813.png)
+
 $$
 \tanh(x)=\frac{\exp(x)-\exp(-x)}{\exp(x)+\exp(-x)}=2\sigma(2x)-1
 $$
@@ -203,6 +207,7 @@ $$
 ##### ReLU
 
 ![image-20240901111240815](../assets/img/Autumn2024-hywan/image-20240901111240815.png)
+
 $$
 \mathrm{ReLU}(x) = 
 \begin{cases} 
@@ -221,6 +226,7 @@ $$
 ##### 带泄露的ReLU（Leaky ReLU）
 
 ![image-20240901111629277](../assets/img/Autumn2024-hywan/image-20240901111629277.png)
+
 $$
 \mathrm{LeakyReLU}(x)=
 \begin{cases}