Dropout
Dropout
在探究泛化性之前，我们先来定义一下什么是一个“好”的预测模型？ 我们期待“好”的预测模型能在未知的数据上有很好的表现： 经典泛化理论认为，为了缩小训练和测试性能之间的差距，应该以简单的模型为目标。 简单性以较小维度的形式展现， 我们在讨论线性模型的单项式函数时探讨了这一点。 此外，正如我们在前面中讨论权重衰减（正则化）时看到...
C++ 模板一些机制
C++ 模板一些机制
1. 动态多态（Dynamic Polymorphism）
概念： 动态多态是运行时多态，通过虚函数（virtual functions） 和继承
Read More
我们可以使用正则化技术来解决一些过拟合问题，我们总是可以通过去收集更多的训练数据来缓解过拟合。 但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。 假设我们已经拥有尽可能多的高质量数据，我们便可以将重点放在正则化技术上。在训练参数化机器学习模型时， 权重衰减（weight decay）是最广泛...
与线性回归一样，softmax回归也是一个单层神经网络。 由于计算每个输出$o_1, o_2, o_3$、和取决于 所有输入$x_1, x_2, x_3$和$x_4$， 所以softmax回归的输出层也是全连接层。 我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制， 使其能处理更普遍的函数关系类型。 要做到这一点，最简单的方法是将许多全连接层堆叠在一起。 每一层都输出到上面的层，直到生成最后的输出。 我们可以把前L-1层看作表示，把最后一层看作线性预测器。 这种架构通常称为多层感...
废话不多说，show you code. 我实现了两套内存池，一个是固定大小的内存池，一个是多重不同大小的内存池。 线性回归指的是自变量x和因变量y是线性关系，可能有多个自变量或者一些噪声影响y的结果。 线性假设是指目标可以表示为特征的加权和，如下面的式子： 我们可以用点...
https://www.bilibili.com/video/BV1gQ4y1E7iy?spm_id_from=333.788.videopod.episodes&vd_source=84c6248eddb324af82e41d582aee0877 ht...
权重衰减
Read More
权重衰减
softmax回归
1. softmax 回归
1.1 网络架构
多层感知机(MLP)
Read More
多层感知机
隐藏层
内存池
内存池核心介绍
Fixed size memory pool
Read More
线性回归
Read More
线性回归
1.1 线性模型
基础
Read More
数学基础
pytorch
View:
User: