当输入一个样本时，对应于神经元模型
设输入是大小为n[0]的列向量x，第一层隐层神经元个数为n[1]，对应列向量z[1]，则有：
z[1] = w[1]*x + b[1]
易知w[1]是n[1] x n[0]大小的矩阵，b[1]是大小n[1]的列向量。

当输入整个样本集（设一共m条样本），则此时输入是n[0] x m大小的样本矩阵（对应m个样本），z[1]是n[1] x m大小的矩阵（对应m个样本），而w[1]仍然是n[1] x n[0]大小的矩阵。注意此时b[1]在代码编写中仍可设为大小n[1]的列向量，因为加法运算能通过python的广播机制实现

【摘要】 基于数据的机器学习是现代智能技术中的重要方面。统计学习理论(SLT)是一种专门研究小 样本 情况下机器学习规律的理论，它建立在一套较坚实的理论基础之上的，为解决有限 样本 学习问题提供了一个统一的框架也发展了一种新的通用学习方法一支持 向量 机(SVM)，较好的解决小 样本 学习问题。与 神经网络 等其它学习方法相比，它的结构通过自动优化的方法计算出来，并且避免了局部最小点、过学习等缺陷。 以往大部分研究主要集中在支持 向量 机分类理论和应用上，近年来关于支持 向量 机回归(SVMR)的研究也显示出其优异的性能。作为一个新的理论和方法，支持 向量 机回归在训练算法和实际应用等方面有诸多值得深入探讨的课题。 本论文就以上主要内容进行了深入的研究并取得了以下结果： (1) 在深入了解支持 向量 机回归的基本原理和算法的基础上，提出一种用于在线训练的支持 向量 机回归(OSVR)算法。在线情况下采用批量训练方法对支持 向量 机回归(SVR)进行训练是非常低效的，因为训练集每次的变化都会导致对支持 向量 机的重新训练。OSVR训练 样本 采用序列 输入 代替了常规的批量 输入 。通过对两个标准集的测试表明：OSVR算法与SVMTorch算法相比具有可在线序列 输入 ，生成支持 向量 机少和泛化性能强的优点。 (2) 在分析和了解工业过程软测量原理的基础上，将支持 向量 机方法引入蒸煮过程纸浆的Kappa值软测量技术中。针对纸浆蒸煮过程机理复杂、影响因素众多和数据不完备条件下纸浆Kappa值预报问题，探讨了支持 向量 机方法在纸浆Kappa值预报中的应用，经过与线性回归方法和人工 神经网络 方法预报结果比较，表明该方法具有精度高、速度快、泛化能力强的特点，取得了较传统软测量建模方法更好的预报效果。 (3) 利用LS-SVM为辨识器，提出了一种新的基于LS-SVM模型的预测控制结构。最小二乘支持 向量 机(LS-SVM)方法克服了经典二次规划方法求解支持 向量 机的 维数 灾问题，适合于大 样本 的学习。对一典型非线性系统—连续搅拌槽反应器(CSTR)的仿真表明，该控制方案表现出优良的控制品质并能适应被控对象参数的变化，具有较强的鲁棒性和自适应能力。在控制性能方面它优于 神经网络 预测控制和传统的PID控制。 还原 【Abstract】 Data based machine learning is an important topic of modern intelligent techniques. Statistical Learning Theory or SLT is a small-sample statistics, which concerns mainly the statistic principles when sample are limited. Especially the properties of learning procedure in such cases. SLT provides us a new framework for the general learning problem and a novel powerful learning method called Support Vector Machine or SVM, which can solve small- sample learning problems better. It has many advantages compared to Article Neural Networks or other learning methods, for example the automatic structure selecting, overcoming the local minimum and over-fitting etc.Most of the research works focuse on the Support Vector Machine classify theory and application, and the recently research works on Support Vector Machine Regression or SVMR also show its excellent performance. As a novel theory and method, the training algorithm, practical application and many other topics of SVMR are need to be discussed.This dissertation concentrated on the research work listed 1. 忘记阶段。这个阶段主要是对上一个节点传进来的 输入 进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。 具体来说是通过计算得到的 （f表示forget）来作为忘记门控，来控制上一个状态的 哪些需要留... 个，维度这么大我想应该有很大数据是冗余的，可以先用PCA降低下维度1000维度（通道）有点夸张，还是说只是单维度下，有连续1000个 输入 作为一组 样本 。多分类：标签为多个值，网络需要输出一个维度与标签数量一致的z-score 向量 ， 向量 需要通过softmax激活后转化为对应各标签的概率（概率和为1），而判定出的标签是概率最高的那个。二分类：标签为0和1，网络输出的结果要经过sigmoid激活函数处理，输出值的值域为0~1之间，小于0.5则视为标签0， 大于等于0.5则为标签1。 plot3函数与plot函数用法十分相似，其调用格式为： plot3(x1,y1,z1,选项1,x2,y2,z2,选项2,…,xn,yn,zn,选项n) 其中每一组x,y,z组成一组曲线的坐标参数，选项的定义和plot函数相同。当x,y,z是同维 向量 时 ，则x,y,z 对应元素构成一条三维曲线。当x,y,z是同维矩阵 时 ，则以x,y,z对应列元素绘制三维曲线 确定 隐含层节点数应该满足以下条件:  隐含层节点数必须小于N-1(N是训练 样本 数),否则网络模型的系统误差与训练 样本 的特性无关而趋于0,即建立的网络模型没有泛化能力,也没有任何使用价值,同理, 输入 层的节点数也必须小于N-1;  训练 样本 数必须多余网络模型的连接权数,一般为2~10倍... 本文是对《零基础入门深度学习》的简单归纳和学习总结，原文地址详见：https://www.zybuluo.com/hanbingtao/note/476663#an1 神经网络 和反向传播算法 　　神经元和感知器本质上是一样的，只不过感知器的激活函数是阶跃函数；神经元往往选用sigmoid函数或tanh函数，sigmoid函数图像如下： 　　对于一个 神经网络 ... 就是把每个 样本 分别算出成本函数再相加。大概的思路是把m个 样本 的每次实验当作独立同分布的，所以总共m次实验在概率上应该全部乘起来。对累乘的结果取对数，增减性不变。把对数符号 里 的累乘符号提出，就变成累加的了。 为了方便后续计算，使 m 不同 时 ，成本函数依然在一个数量级（保... 支持 向量 机主要原理是在分类器可以将两类 样本 分开的基础上，通过最大化两类 样本 之间的间隔来选取分类器。距离算法如下 对于线性有重叠的 样本 ，可采用软间隔，即放宽y（wx+b）≥1的条件，增加一个宽限值，使一些重叠 样本 也能被分类器分开。 对于线性不可分问题，SVM会先将 样本 输入 映射到一个高维特征空间，一般来说 维数 越高能找到一个线性决策面的几率越大，而SVM精妙地选取了一个高维特征空间，使得高维的內积运算恰好等于低纬的內积运算的平方（或其他），这样既提升了 样本 的维度，又没有使运算变得特别复杂，这一类方法叫做核方法（ 维度变化：q*k.T=（3，5）*（5，3）=（3，3）（/^dk和softmax矩阵维度不变）维度变化：q*k.T=（3，5）*（5，3）=（3，3）（/^dk和softmax矩阵维度不变）z=(3,5*4)=(3,20) 注意力机制到这 里 就结束了（z为提取的 向量 特征）之后乘v=（3，3）*（3，5）=（3，5）(由于为4头注意力机制所以5乘4)之后乘v=（3，3）*（3，5）=（3，5）(由于为4头注意力机制所以5乘4)y=(3,5)的一个矩阵（包含了位置 向量 和单词 向量 ）