范数

范数

$l1$范数
$l1$范数表示向量元素的绝对值之和：$||x||_1=\sum_{i=1}^n|x_i|$
代码中可以通过如下实现

torch.abs(u).sum()

$l2$范数
$l2$范数表示向量元素平方和的平方根：$||x||_2=\sqrt{\sum_{i=1}^n x_i^2}$，其中$l2$范数常常省略下标2，也就是$||x||=||x||_2$
代码中可以通过如下实现

torch.norm(u)

$F$范数
对于矩阵而言，其$Frobenius$范数类似于向量的$l2$范数，是矩阵元素的平方和的平方根：$||x||_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n x_{ij}^2}$
在代码中也同样通过norm()函数直接求得

损失函数

平方误差函数
当样本$i$的预测值为$\hat{y}^i$，其相应的真实标签为$y^i$时，平方误差可以定义为以下公式：

$$l^i(w,b)=\frac{1}{2}(\hat{y}^i-y^i)^2$$