- 《超智能体》
- 智能--能随着外部环境的变化而做出相应改变的能力--熵减的能力
- 太极生两仪,两仪生四象,四象生八卦
- 人类认知所在的维度并非信息的全部,所有的信息包含了所有已发生和可能发生的信息。而经典计算机只有已发生的状态信息。
- 熵增是不确定性的增加,不确定性的增加是信息的增加,信息的增加是因素间关系的增加;
- 学习的过程是因素间的关系的拆分,关系的拆分是信息的回卷,信息的回卷是不确定性的缩减;
- 学习的对象是知识,不是信息。--学习的目的是确定状态的关系
- 生物以负熵为生,学习是我们的本性
- 文字只是交流的手段,交流的前提是彼此都有该记忆。产生共鸣
- 智能可以并行,唯独意识不可以同时出现在两个位置
- 没有免费的午餐-any two optimization algorithms are equivalent when their performance is averaged across all possible problems.--对某个问题高效的优化算法一定在另一个问题上存在缺陷,不可能对所有问题都有效
- 线性变换--最最最重要的概念
- y=Ax--列向量x左乘一个A矩阵得到一个列向量y Ax同时也是深层神经网络每层变换的核心y=a(Ax+b)
- 概率--衡量我们对事物在跨时间后不同状态的确信度
- 随机变量--给定一个样本空间Ω一个随机变量(r.v.)是将样本空间投射到实数域的函数。
- 概率五要件--
样本空间:所有可能结果组成的集合
随机变量:将事件投向实数的函数,用数字代表事件。
事件:样本空间的子集
概率:将事件投向【0,1】实数域的函数。用实数表示确信度
分布:随机变量的取值情况
H(X)=-∑Pi(X)logpi(x)
y=a(W*x+b)--x是输入信号(向量),y是输出信号(向量),b是阀值(向量),W是神经元各个链接的强弱(频率),a()是化学传递(激活函数)