深度学习和机器学习的线性代数入门

译者:AI研习社(季一帆)

引言 机器学习ML和深度学习NN中的线性代数 矩阵 向量 矩阵乘法 转置矩阵 逆矩阵 正交矩阵 对角矩阵 正规方程的转置矩阵和逆矩阵 线性方程 向量范数 L1范数/Manhattan范数 L2范数/Euclidean范数 ML中的正则化 Lasso 岭 特征选择与抽取 协方差矩阵 特征值与特征向量 正交性 正交集 扩张空间 基 主成分分析(PCA) 矩阵分解 总结

对n阶矩阵A,有矩阵B∈R^n*n满足AB =I_n(单位矩阵)= BA的性质,称B为A的逆,表示为A^-1。

另外,深交所表示,可以视可转换公司债券盘中交易情况调整相关指标阈值,或采取进一步的盘中风险控制措施。

这其中,最大的变化在于,旧规则中,盘中成交价较前收盘价首次上涨或下跌达到或超过20%的、30%的,单次临时停牌的持续时间均为30分钟。

以矩阵形式表示特征x和目标值y

机器学习和深度学习建立在数学原理和概念之上,因此AI学习者需要了解基本数学原理。在模型构建过程中,我们经常设计各种概念,例如维数灾难、正则化、二进制、多分类、有序回归等。

机器学习和深度学习中的线性代数

当且仅当矩阵列向量组是单位正交向量组时,n阶矩阵A∈R^n*n是正交矩阵,有:

而新规则中,一旦盘中成交价较前收盘价首次上涨或下跌达到或超过30%的,将直接临时停牌至14:57。

在线性代数中,向量是大小为n*1的矩阵,即只有一列。

早在今年5月22日,深交所曾发布《关于对可转换公司债券实施盘中临时停牌有关事项的通知》(深证会〔2020〕268号),对可转债盘中临时停牌措施做出了详细的规定。

转置矩阵与原始矩阵乘积的逆:

盘中临时停牌期间,投资者可以申报,也可以撤销申报。复牌时对已接受的申报实行复牌集合竞价。

根据新规则,无价格涨跌幅限制的可转换公司债券竞价交易出现下列情形的,深交所可以对其实施盘中临时停牌措施:(一)盘中成交价较前收盘价首次上涨或下跌达到或超过20%的,临时停牌时间为30分钟;(二)盘中成交价较前收盘价首次上涨或下跌达到或超过30%的,临时停牌至14:57。

正规方程的转置矩阵和逆矩阵

矩阵是线性代数的重要概念。一个m*n矩阵包含mn个元素,可用于线性方程组或线性映射的计算,也可将其视为一个由m*n个实值元素组成的元组。

通过多种特征可以预测房屋价格。下表展示了不同房屋的特征及其价格。

矩阵乘法是行和列的点积,其中一个矩阵的行与另一个矩阵列相乘并求和。

A、B互为逆矩阵(得到单位矩阵)

转置矩阵与原矩阵x的乘积:

在机器学习中,很多情况下需要向量化处理,为此,掌握线性代数的知识至关重要。对于机器学习中典型的分类或回归问题,通过最小化实际值与预测值差异进行处理,该过程就用到线性代数。通过线性代数可以处理大量数据,可以这么说,“线性代数是数据科学的基本数学。”

正规方程通过计算theta j的导数,将其设为零来最小化J。无需Gradient Descent就可直接得到θ的值,θ见下图。

向量与矩阵 线性方程组 向量空间 偏差

矩阵乘法在线性回归中的应用

通过上式实现前文“房价预测”。

线性代数 微积分 矩阵分解 概率论 解析几何

正确理解机器学习和深度学习的概念,掌握以下这些数学领域至关重要:

神经元是深度学习的基本单位,该结构完全基于数学概念,即输入和权重的乘积和。至于Sigmoid,ReLU等等激活函数也依赖于数学原理。

推导回归方程 通过线性方程预测目标值 支持向量机SVM 降维 均方差或损失函数 正则化 协方差矩阵 卷积

通过线性代数,我们可以实现以下机器学习或深度学习方法:

创建特征x和目标y的矩阵:

不同房屋的特征及其价格

在机器学习和深度学习中,我们涉及到线性代数的这些知识:

其余规则大体没有变化,包括临时停牌时间跨越14:57的,于当日14:57复牌,并对已接受的申报进行复牌集合竞价,再进行收盘集合竞价。

矩阵A及其转置的乘积 

转置矩阵与原矩阵x的乘积 

在n阶矩阵A∈R^n*n中,除主对角线上的元素,其他所有元素均为零,称其为对角矩阵,即:

对于可转债估值风险骤增,10月23日晚间,深交所提示投资者应高度警惕、理性投资,与此同时,深交所也表示,将认真做好可转债交易监管,尤其是加强盘中实时监控,将涨跌异常可转债纳入重点监控,对异常交易及时采取监管措施。

10月30日晚间,深交所再度发布《关于完善可转换公司债券盘中临时停牌制度的通知》,对于可转债盘中临时停牌制度实施了更加严格、细化的规定,同时废止了此前发布的(深证会〔2020〕268号)通知,新规则自2020年11月2日起施行。