smirkcao / lihang Goto Github PK
View Code? Open in Web Editor NEWStatistical learning methods, 统计学习方法(第2版)[李航] [笔记, 代码, notebook, 参考文献, Errata, lihang]
Statistical learning methods, 统计学习方法(第2版)[李航] [笔记, 代码, notebook, 参考文献, Errata, lihang]
CH0---
最后的图entropy写成了enntropy
这个图不是太完整,统一一下风格, 做成矢量图,补充一下数据集的说明。
CH06
logistic_regression.py中第74行代码:rst_ = (1 / m) * np.dot(x_.T, y_ * sigmoid(np.dot(x_, w_))) (g函数);
如果使用梯度下降作为更新法则,应该是y_ - sigmoid(np.dot(x_, w_))才对吧?请问作者为什么这里给的是y_ * sigmoid(np.dot(x_, w_))呢?感谢。
CH02
具体问题描述
如“关于感知机为什么不能处理异或问题, 可以借助下图理解。”这句话下面的图片无法正常显示。
Can you tell me how to show the button of hits?
CH08
测试案例分解
代码整理
这章节笔记也要重新整理, 大bug,之前没注意, 这章笔记基本没整理过来。
后面加法模型与前向分步算法处理下。
CH06-LR
逻辑回归只能用sigmoid么?ReLU行不行。
CH17
首先,非常感谢能无私开源自己的代码,对我们的学习真的很有帮助。
在lsa的fit()方法中,这个函数的作用是将x->x_trainsform。但是我不太理解为什么x_transform是Us,因为U本身已经是话题向量空间。svh代表文本在话题向量空间中的表示。那么这里x_transform的含义是什么?
而component返回的则是vh,这个component的意义又是什么?
还有explained_variance是计算的x_transform的方差,这个的意义又是什么
CH09 EM算法
这三个公式什么含义? 该怎么理解
CH16---主成分分析
具体问题描述
RT, 方差为1 和标准差为1是一个概念么?
在规范化这个过程里面,去均值,除以标准差。
谢谢
CH0---
具体问题描述
CH02-感知机
具体问题描述
图2.1 或者后面支持向量机中的图7.2, 7.3, 7.5之类
CH09---
书中描述
独立的重复n次实验(这里n=10), 观测结果如下:
1,1,0,1,0,0,1,0,1,1
上面这个观测,
和1,1,1,1,1,1,0,0,0,0
有区别么?
CH02---感知机
perceptron.py
if __name__ == '__main__':
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)
ap = argparse.ArgumentParser()
ap.add_argument("-p", "--path", required=False, help="path to input data file")
args = vars(ap.parse_args())
else:
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)
在单元测试中,以上设置日志的代码显然是有意义的,在库perceptron中包含这样的代码的作用是什么?
具体问题描述
支持向量机为什么安排在LR和AdaBoost中间
Line 83 in 598eaa3
CH06-逻辑斯谛回归与最大熵
最大熵模型中, 特征函数个数为什么和样本数不一样?
CH07 支持向量机
在知乎上推了这么个问题,有空可以处理下。
原链接
关于支持向量机有6个向量拉格朗日对偶来求怎么理解?
线性支持向量机对如下两类可分数据进行分类:
+1:(1,1),(2,2),(2,0)
-1:(0,0),(1,0),(0,1)
(1)在图中做出这6个训练点,构造具有最优超平面和最优间隔的权重向量
(2)说明支持向量是哪些
(3)通过寻找拉格朗日乘子αi来构造在对偶空间中的解,并将其与(1)中的结果比较
CH17 潜在语义分析
就$P_{330}$中的结果,使用np.svd拿到的结果和书中的结果不太一样,有符号差异,为什么?
CH10 HMM
后向算法求观测序列概率和前向算法有千分位差异, 问题出在哪里
https://github.com/SmirkCao/Lihang/tree/master/CH01##%E5%8F%82%E8%80%83
各种语焉不详说完前面没后面以及公式不规范导致即使安装了插件也无法识别出来你想要写的公式,$$这种少了个后面符号导致整段识别错误的情况比比皆是,还是算了算了
CH02
yy_ = 2 * y[index] - 1
wx = np.dot(self.w, xx_)
if wx * yy_ > 0:
correct_count += 1
if correct_count > self.max_iter_:
break
continue
想知道 1.yy_ 为什么不是直接取的类别的值,而是乘以2-1,2.按照算法2.1理解,终止条件应该是没有误分类点或者迭代到最大次数,这里用准确次数大于迭代次数合适吗
CH10 HMM
这部分代码写的不够整洁, 重新整理一下.
递推应该可以写的比较美
CH10 HMM
这个例子里面状态集合大小和观测序列长度一样, 实现的时候axis容易混淆.
是不是可以考虑增加T到4或5
CH05
CH09-EM算法及其推广
使用EM算法估计GMM的参数,做聚类的应用。怎么决定样本的类别的?
CH07---SVM
书中的推导有没有用到合页损失?
CH02
问题来自知乎301591528
https://www.zhihu.com/question/310591528
感知机是支持向量机和NN的基础,这个问题整理下。
原问题:
有些人解释是正数,不影响,但是分母中含有 w,而其也是未知数,在考虑损失函数的最值时候会不影响么?想不通
您好!请问这个有相应的讲解视频呢
CH09 EM
EM算法对初值敏感, 考虑提供示例进行说明
后面补一下这部分推导
CH0---
具体问题描述
能否提供下pdf文件下载,现在的md 公式显示不太全。
CH08---提升方法
AdaBoost算法最终分类器的训练误差界是怎么推导出来的:
$$
\frac{1}{N}\sum\limits_{i=1}\limits^N I(G(x_i)\neq y_i)\le\frac{1}{N}\sum\limits_i\exp(-y_i f(x_i))=\prod\limits_m Z_m
$$
看第一版有详细的说明, 但是还有个地方不太明白是怎么推导出来的
$$
\frac{1}{N}\sum_i exp \left ( -\sum_{m=1}^M a_m y_i G_m(x_i)\right ) \
= \sum_i w_{1i}\prod_{m=1}^M exp \left ( -a_m y_i G_m(x_i) \right)
$$
麻烦老师讲解
谢谢大佬贡献,请问18,19,20,21,22几章内容什么时候能出来啊
CH17---潜在语义分析
在sklearn里面更是把LSA和截断奇异值分解当作一回事。
元芳,你怎么看?
flake8 testing of https://github.com/SmirkCao/Lihang on Python 3.7.1
$ flake8 . --count --select=E901,E999,F821,F822,F823 --show-source --statistics
./CH11/crf.py:60:59: F821 undefined name 'x'
self.M[i, j, :] = self.f[k](y_i, y_j, x, j)
^
./CH10/hmm.py:153:24: F821 undefined name 'rst'
return rst
^
2 F821 undefined name 'rst'
2
E901,E999,F821,F822,F823 are the "showstopper" flake8 issues that can halt the runtime with a SyntaxError, NameError, etc. These 5 are different from most other flake8 issues which are merely "style violations" -- useful for readability but they do not effect runtime safety.
name
name
in __all__
CH10 HMM
增加一维和多维的数据生成.
比较近的数据混合, 用工具包看下效果.
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.