Comments (15)
书籍版本:v1.0.2
9.8的公式解析
“求和号左边是 (x i, x j) 组合个数的倒数”,是不是不对啊?我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。
这两个说法表达的意思是一致的,因为x_i, x_j 都是划分C中的样本。
from pumpkin-book.
9.38下标错误:应为
from pumpkin-book.
@bifeng 是的,感谢您的指正,现已更正,请查阅 :)
from pumpkin-book.
第九章推导公式9.35时最后几步有个小错误
最后几行公式推导的时候,γij应该是乘以对角矩阵I,而不是乘以1
I是一个对角向量为1的斜对角矩阵。
只有这样的话,维度才能对得上。
from pumpkin-book.
第九章推导公式9.35时最后几步有个小错误
最后几行公式推导的时候,γij应该是乘以对角矩阵I,而不是乘以1
I是一个对角向量为1的斜对角矩阵。
只有这样的话,维度才能对得上。
感谢反馈,已修改
from pumpkin-book.
@MooreAndMoore 同学你好,这个是解优化问题的一个trick而已,通常对于这种对待求参数定义域的限制不会直接列进拉格朗日函数,而是先忽略这个限制进行试探性地求解,如果恰好求得的结果满足这个限制那么这个解一定也是最优解。其原理是这样的:以你说的9.36的α_i为例,如果我们不考虑它必须>=0那么就等价于我们现在假设的α_i的取值范围是整个实数域,现在我们在整个实数域的范围下求得了α_i的最优解,由于这个解很容易看出是一定满足>=0的,那么我们是不是也可以说在>=0的范围下,现在求得的α_i一定也是最优解,显然是可以的,因为如果我是地球上最靓的仔,那么在**我肯定也是最靓的仔 :)
from pumpkin-book.
9.33个人认为应该改成这样(之前不知道直接pull request了 不好意思
\frac{\partial L L(D)}{\partial \boldsymbol{\mu}{i}} &=\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\sum_{j=1}^{m} \ln \left(\sum_{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \
&=\sum{j=1}^{m} \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\ln \left(\sum{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \
&=\sum{j=1}^{m} \frac{\alpha_{i} \cdot \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)}{\sum_{l=1}^{k} \alpha_{l} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{l}, \boldsymbol{\Sigma}{l}\right)} \
&=\sum{j=1}^{m} \frac{1}{(2 \pi)^{\frac{n}{2}}\left|\boldsymbol{\Sigma}{i}\right|^{\frac{1}{2}} \exp \left(-\frac{1}{2}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)^{T} \boldsymbol{\Sigma}{i}^{-1}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)\right)}\left(-\frac{1}{2}\right) \cdot \ &\qquad\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}-\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}{i}-\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}+\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}_{i}\right) \
from pumpkin-book.
9.33个人认为应该改成这样(之前不知道直接pull request了 不好意思
\frac{\partial L L(D)}{\partial \boldsymbol{\mu}{i}} &=\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\sum_{j=1}^{m} \ln \left(\sum_{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left[\ln \left(\sum{i=1}^{k} \alpha_{i} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)\right] \ &=\sum{j=1}^{m} \frac{\alpha_{i} \cdot \frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)\right)}{\sum_{l=1}^{k} \alpha_{l} \cdot p\left(\boldsymbol{x}{j} | \boldsymbol{\mu}{l}, \boldsymbol{\Sigma}{l}\right)} \ &=\sum{j=1}^{m} \frac{1}{(2 \pi)^{\frac{n}{2}}\left|\boldsymbol{\Sigma}{i}\right|^{\frac{1}{2}} \exp \left(-\frac{1}{2}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)^{T} \boldsymbol{\Sigma}{i}^{-1}\left(\boldsymbol{x}{j}-\boldsymbol{\mu}{i}\right)\right)}\left(-\frac{1}{2}\right) \cdot \ &\qquad\frac{\partial}{\partial \boldsymbol{\mu}{i}}\left(\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}-\boldsymbol{x}{j}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}{i}-\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{x}{j}+\boldsymbol{\mu}{i}^{T} \boldsymbol{\Sigma}{i}^{-1} \boldsymbol{\mu}_{i}\right) \
您好,这部分推导确有问题,已进行重新推导,请查阅。
另:非常欢迎以PR的形式更正内容。
from pumpkin-book.
请问9.35的矩阵微分公式,为什么写的是−X−Tab^TX−T,而后面代入后变成了Σi的逆呢
,如果按照前面公式代入,不应该是Σi-T吗
from pumpkin-book.
请问9.38推导中,为什么两边对所有混合成分求和后,可以得出m=-λ呢?有点看不明白,谢谢
from pumpkin-book.
请问9.35的矩阵微分公式,为什么写的是−X−Tab^TX−T,而后面代入后变成了Σi的逆呢
,如果按照前面公式代入,不应该是Σi-T吗
因为 \sigma^{-1} 是对称矩阵,因此 \sigma^{-1} = \sigma^{-1}^{T}
from pumpkin-book.
请问9.38推导中,为什么两边对所有混合成分求和后,可以得出m=-λ呢?有点看不明白,谢谢
这里遗漏了一步推导,已补上,请查阅
from pumpkin-book.
请问9.38推导中,为什么两边对所有混合成分求和后,可以得出m=-λ呢?有点看不明白,谢谢
这里遗漏了一步推导,已补上,请查阅
非常感谢!
from pumpkin-book.
书籍版本:v1.0.2
9.8的公式解析
“求和号左边是 (x i, x j) 组合个数的倒数”,是不是不对啊?我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。
from pumpkin-book.
书籍版本:v1.0.2
9.8的公式解析
“求和号左边是 (x i, x j) 组合个数的倒数”,是不是不对啊?我觉得应该是“聚类结果中的簇划分C的组合个数的倒数”。这两个说法表达的意思是一致的,因为x_i, x_j 都是划分C中的样本。
谢谢,仔细想想,确实是一样的说法。
from pumpkin-book.
Related Issues (20)
- bolzmann 机 公式5.20 的下标错误 HOT 1
- 在线的链接无法打开 HOT 1
- ROC曲线为什么真正例率与假正例率可以同时增加 HOT 2
- 机器学习
- 南瓜书中的公式2.21的讲解感觉有点晦涩了 HOT 1
- 公式(12.39)的解释有问题 HOT 2
- 公式12.36
- released版本的pdf中有一处错误
- 西瓜書
- 书中 公式(3.35) 公式(3.36)怎么没有啊! HOT 1
- 公式16.16 HOT 2
- 公式16.16
- 进不去链接 HOT 5
- 式 2.27 HOT 2
- 10.17 求解CPA时的问题
- 关于公式3-9
- @yanglei-github 事件{f(x)=1}和{f(x)=-1}已经是完备事件组了,求期望是 权重(概率)*值,然后P(f(x)=1|x)是概率,e^(-H(x)f(x))为值,又知道f(x)=1,那么值就是e^(-H(x)),然后把P(f(x)=-1|x)也加上就出现了上述式子
- 第五章 式(5.2) 中最后推导梯度的时候,\hat(yi)也应该是关于w的函数,没有对其求导,直接当成常数处理了,这似乎是不正确的。 HOT 1
- > @wanyixue 同学你好,损失函数L是关于w和theta的函数,只有w和theta是未知的变量,\hat(yi)和yi都是已知量,所以不用对他们求导,因此也不存在不可导一说
- There are no page numbers in the most recent PDF file pages HOT 4
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from pumpkin-book.