news 2026/4/3 4:32:15

代价函数,矩阵的计算

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
代价函数,矩阵的计算

假设函数: h(x)= a + b*x
我们根据假设函数来进行图形的绘制与我们的数据进行比对
上图中的cost function即为代价函数

为了更好的理解代价函数我们可以使用空间立体图形来对代价函数进行描述,对于一组数据而言我们根据其假设函数可以得出其代价函数,我们将所得出得代价函数集合形成一个图形,其类似于一张网,我们可以改变假设函数中得两数据的大小(a,b) 从而得出不同的J的值,由图可知我们存在a与b能使J的值达到最低点。

上述的两幅图为假设函数图和一张登高线地形图,对于等高线地形图而言我们可以看作是将上方的立体图形由三维变为二维(即将其压缩,拍扁)形成的,对于同一个圈上的所有点都是代价函数值相同的点,且登高线地形图中最小的圈/点 是上述立体图中的最低点。

由于假设函数只是一个假设,当我们遇到实际问题的时候需要找出一个最优的解,因为我们可以不停地一点点地改变两参数的大小从而使得假设函数不断改变,从而帮我们找出最优解(局部)

所谓得局部最优解,即我们的代价函数在该趋势上的最小值,当我们的代价函数值最小时,其假设函数与我们的数据就越拟合

:= 该符号的意思为赋值的意思
根据上面所述,要想达到局部最优解我们需要不断的调整参数的大小
我们调整的参数大小为 a=a-k*J的倒数,对于所调整的两个参数而言,我们要将两个同时赋值,不可以先调整一个后再调整一个,这样的原因是,当我们先调整完一个参数后原假设函数和代价函数就会发生改变,因此要将两个同时赋值。

无论斜率的正负,我们对于调整参数都直接使用上述的计算方法

由于调整参数的过程需要一步一步进行,当所给定的增长值过小时我们需要进行很多步才能到达最低点,当我们给定的增长值过大时有可能超出我们所需的收敛值(最小点)
而对于我们给定的增长值而言即便增长值固定我们再进行参数调整的过程中调整的幅度也会越来越小,因为参数的倒数值会越来越小,因此变化幅度越来越小。

根据调整我们的参数会越来越靠近局部最优解的参数大小,但我们处于局部最优解时,其参数调整不会变化即该处的斜率为0

矩阵计算:

矩阵的读写:矩阵的维度数时按照先行后列的顺序来的,即上图中的两组矩阵,一个为4x2矩阵,一个为2x3矩阵

对于一个指定的矩阵,我们通常用大写字母来表示,同时在大写字母的右下角来表示矩阵内部的数,例如上述的A11表示的是矩阵中的第一行第一列的数

相同维度的矩阵相加: 对应矩阵位置的数相加

两矩阵的相乘:
对于两个矩阵相乘而言其首先要满足可以进行相乘操作,即A矩阵为m*n型,B矩阵为n*1型,即前面矩阵的列要等于后面矩阵的行才可以进行相乘。且对于所乘出来的矩阵而言其形式为m*1

对于出现m*n与n*p的形式时,我们可以将其拆解为多个n*1来进行乘法操作
最后将乘出来的结果进行相加统合即可,且矩阵的乘法为,A中的每一行的各个数与B中的每一列的各个数进行相乘后再相加得到乘后参数。

对于矩阵乘法而言我们之前学过的假设函数可以通过矩阵的方式来找出最优解,即最适配的假设函数

矩阵的乘法是不服从交换律的:与正常的乘法交换律不同,对于常数而言乘法交换律只是换了个位置,其本质并没有发生改变,但是在矩阵中不是这样的,矩阵的乘法遵从结果为前一矩阵的行*后一矩阵的列这一形式,若是交换了位置就如上述图中的m*m变为n*n,参数内容发生了改变,因此结果将改变。

但是对于矩阵的乘法而言其遵从结合率,即当出现3个以上的矩阵相乘,只要顺序不改变其前相乘和其后面先相乘结果不会改变。

对于任意一个矩阵A其乘以一个单位矩阵其使用乘法的交换律

逆矩阵:这类矩阵的行数和列数相等因此也被称为方矩阵存在一个方矩阵A其一定存在一个对应的逆矩阵使得,两矩阵相乘能得到一个单位矩阵

矩阵的转置矩阵,与我们在numpy中所学到的行列转置语法相同,即将行变成列将列变成行

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/9 16:28:34

【防坑指南 | 可以不会不能不懂】夏日开车注意事项

一、 夏季用车核心检查点(防高温、防爆胎、防自燃) 1. 冷却系统(重中之重) 水温监控: 行驶中注意仪表盘水温表(指针应在中间)或水温报警灯。冷却液检查: 凉车状态下检查副水壶液面是…

作者头像 李华
网站建设 2026/3/18 19:20:58

CANN算子融合优化:提升推理性能的关键技术

【文章11】CANN算子融合优化:提升推理性能的关键技术 引言 在深度学习推理过程中,模型通常包含大量的小算子操作,频繁的算子调用和数据搬运会带来显著的性能开销。算子融合(Operator Fusion)是一种重要的优化技术&am…

作者头像 李华
网站建设 2026/4/1 21:24:16

CANN动态shape推理:处理可变输入的高效方案

引言 在实际的深度学习应用中,模型的输入尺寸往往不是固定的。例如,自然语言处理中的文本长度、目标检测中的图像分辨率、语音识别中的音频时长都可能变化。传统的静态shape推理需要为每种输入尺寸编译一个模型,既浪费存储空间,又…

作者头像 李华
网站建设 2026/4/1 19:56:42

马斯克的商业版图与SpaceX太空算力布局逻辑

国内对马斯克“狂人”与“天才”的极端两极评价,让我们长期将其视为一个孤立的技术奇才。这种标签化的认知,导致我们在面对中美商业航天竞争时,下意识地将SpaceX的崛起路径简单化、无害化。 然而,在国内不间断的争论中&#xff0…

作者头像 李华
网站建设 2026/3/21 6:37:44

加速生成式AI:深入探索CANN异构计算架构与神经网络算子优化

cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 在AIGC(生成式人工智能)技术迅猛发展的今天,模型规模与复杂度呈指数级增长,对计算基础设施提出了前所未有的挑战。作为支撑AI应用落地的关…

作者头像 李华
网站建设 2026/4/3 3:00:40

CANN赋能AIGC:从模型部署到推理优化的实战指南

cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 当AIGC应用从实验室走向生产环境,模型部署效率与推理性能成为决定用户体验的关键瓶颈。本文将聚焦CANN工具链在AIGC模型端到端部署中的实战应用&…

作者头像 李华