对高斯过程的定义中没有包含指数集的先验假设，这意为着指数集可以有任意的 拓扑结构 ，高斯过程通常考虑其指数集拥有无穷个元素的情形，常见形式包括 时间序列 （timeseries）和空间位置。在指数集对应空间关系时，高斯过程也被称为高斯随机场（Gaussian random field） 。高斯过程在文献中常记为

相互独立 。

高斯过程由其数学期望和核函数完全定义，核函数赋予高斯过程平滑性（smoothness）、 各向同性 （isotropy）、 周期性 和平稳性。平稳高斯过程的数学期望是一常数，因此由核函数完全定义。 ^。

高斯过程具有边缘分布性质（marginalization property），若高斯过程有服从联合正态分布的随机向量

，则其该向量中的随机变量

，且随机变量间有条件分布：

高斯过程的边缘分布性质意味着由大的随机变量集得到的结果不会对小的随机变量造成影响。对有限个随机变量的高斯过程，只要协方差函数定义了 协方差矩阵 的所有元素，则该性质依然成立 ^{被称为 赫斯特指数 （Hurst exponent），可以度量非整数布朗运动的记忆性 。当其大于0.5时，非整数布朗运动的差值有正相关；当其小于0.5时有负相关，当其等于0.5时，非整数布朗运动没有记忆性，等价于一个维纳过程 。}

奥恩斯坦-乌伦贝克过程（Ornstein-Uhlenbeck Process, OU）

OU过程是一个平稳的高斯-马尔可夫过程，其数学期望为0且以指数函数为核函数。OU过程与维纳过程存在联系，是随机微分方程：

。

布朗桥（Brownian bridge）

布朗桥是一个平稳高斯过程，布朗桥有

，数学期望为0，协方差函数为

。在连续时间域

上，布朗桥与维纳过程有关 ^的 监督学习 过程。作为一般性介绍，GPR可分为3个部分：

1. 构建高斯过程先验 ：高斯过程由其数学期望和协方差函数完全决定，常见的选择是平稳高斯过程，即数学期望为一常数，协方差函数取平稳高斯过程可用的核函数，使用最多的核函数是RBF核 ^。

2. 求解超参数 ：在给定学习样本

后GPR由 贝叶斯定理 （Bayes' theorem）求解超参数后验：

为超参数的似然，对正态似然的情形，GPR通常使用 极大似然估计 （Maximum Likelihood Estimation, MLE）按非线性优化方法求解超参数；对非正态似然的情形，可使用解析近似（analytical approximation）和 蒙特卡罗方法 （Monte Carlo method） ^。

3. 对测试样本进行预测：对测试样本

，使用0均值高斯过程先验的GPR可给出回归结果

的后验。在正态似然的情形下，GPR的预测具有如下解析形式 ^{式中的核矩阵表示如下：}

作为具有全贝叶斯特性（full Bayesian）的非参数模型，GPR可提供预测结果的后验，且在 似然 服从正态分布时，该后验具有解析形式，因此其是一个具有泛用性和可解析性的 概率模型 。此外，在核函数和指数集满足特定条件时，GPR是任意函数的通用近似（universal approximator）。

高斯过程分类（Gaussian Process Classification, GPC）

GPC与 logistic回归 （logistic regression）的关系可类比权重空间下GPR与贝叶斯线性回归的关系 。对高斯过程下的数据

和分类标签

，依据贝叶斯定理（Bayes’ theorem）

可以表示为

。两种表示方法定义了两类GPC模型，即 生成模型 （generative model）和 判别模型 （discriminative model），前者对

建模，后者对

。

对判别模型，在 二元分类 （binary classification）中，给定权重矩阵和从实数域映射至

区间的响应函数（例如 Sigmoid函数 ），可定义如下的 线性分类器 （linear classifier）：

GPC定义潜函数（latent function）

并赋予其正态先验

，随后使用独立观测的标签数据

计算潜函数和其经过响应函数后的输出 在由二元分类过渡至多元分类时，需要将响应函数替换为 归一化指数函数 （softmax function） 。在高斯过程中构建生成模型的常见做法是对每个分类标签建立

并提供数学期望和核函数的先验。使用生成模型对

建模会得到与判别模型相同的结果 。生成模型和判别模型效果相当，判别模型不考虑数据和标签的联合分布直接输出分类结果，因此有更少的变量需要学习，有利于提高学习效率和精度；生成模型由于估计了

，因此更适用于应对复杂数据，例如缺失值、极端值、无标签值的情形 。

GPC的似然是潜函数对学习样本的因子乘积：

，考虑Sigmoid函数的表达式，该形式不是正态分布，因此GPC的后验没有解析形式，要求使用非正态似然的求解方法，例如使用解析近似将非正态后验近似表示为正态后验。

其它

除GPR和GPC外，高斯过程建模可以有其它更复杂的形式，例如半参数高斯过程（Semi-parametric Gaussian Processes, SGP） ^{、深度高斯过程（Deep Gaussian Process, DGP）} 、可加高斯过程（Additive Gaussian Process, AGP）等

高斯过程主要应用于各领域的建模和预报，在 时间序列分析 中，高斯过程被用于时间序列的多步前向预报（multi-step-ahead prediction） 、在 信号处理 中，高斯过程建模是处理非线性信号的工具 、在 人工智能 领域，GPR和GPC是被广泛使用的 机器学习 算法 ，具有 卷积 结构的高斯过程（Convolutional Gaussian Processes, CGP）在图像处理问题中表现出了良好效果 。此外一些高斯过程可以模拟特殊的科学现象，例如OU过程被用于神经活动的建模 、布朗桥被用于模拟生物的迁徙行为 Rasmussen, C.E. and Williams, C.K.I. ． Gaussian processes in machine learning ：MIT Press ，2006 ：Chapter 2-5, pp.7-128, Appendix B Gibbs, M.N., 1998. Bayesian Gaussian processes for regression and classification. Doctoral dissertation, University of Cambridge. Brown, R. G. and Hwang, P. Y. ．Introduction to random signals and applied Kalman filtering (Vol. 3) ．New York ：Wiley ，1992 ：Chapter 2 (72-111) Khoshnevisan, D. and Alberts, T., Topics in Probability: Gaussian Analysis (Chapter 6) ．Department of Mathematics, University of Utah [引用日期2018-10-25]

Vanmarcke, E. ．Random fields: analysis and synthesis ：World Scientific ，2010 ：13-17 Barber, D ．Bayesian reasoning and machine learning ：Cambridge University Press ，2012 ：Chapter 19 (347-363) Bokma, F., Godinot, M., Maridet, O., Ladevèze, S., Costeur, L., Solé, F., et al. (2015). Testing for Depéret's rule (body size increase) in mammals using combined extinct and extant data. Systematic biology, 65(1), 98-108. Mandelbrot, B.B. and Van Ness, J.W., 1968. Fractional Brownian motions, fractional noises and applications. SIAM review, 10(4), pp.422-437. Hurst, H. E., 1951. Long-term storage capacity of reservoirs. Trans. Amer. Soc. Civil Eng., 116, pp.770-799. Uhlenbeck, G.E. and Ornstein, L.S., 1930. On the theory of the Brownian motion. Physical review, 36(5), p.823. Mansuy, R. and Yor, M. ．Aspects of Brownian motion ：Springer Science & Business Media. ，2008 ：1-3 Wu, T. and Movellan, J., 2012. Semi-parametric Gaussian process for robot system identification. In Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on (pp. 725-731). IEEE. Duvenaud, D., 2014. Automatic model construction with Gaussian processes. Doctor of Philosophy Thesis. University of Cambridge. Girard, A., Rasmussen, C.E., Candela, J.Q. and Murray-Smith, R., 2003. Gaussian process priors with uncertain inputs application to multiple-step ahead time series forecasting. In Advances in neural information processing systems (pp. 545-552). Pérez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, J.J., Lázaro-Gredilla, M. and Santamaria, I., 2013. Gaussian processes for nonlinear signal processing: An overview of recent advances. IEEE Signal Processing Magazine, 30(4), pp.40-50. van der Wilk, M., Rasmussen, C.E., and Hensman, J., 2017. Convolutional Gaussian Processes. In Advances in Neural Information Processing Systems (pp. 2849-2858). Ricciardi, L. M., and Sacerdote, L., 1979. The Ornstein-Uhlenbeck process as a model for neuronal activity. Biological cybernetics, 35(1), pp.1-9. Horne, J.S., Garton, E.O., Krone, S.M. and Lewis, J.S., 2007. Analyzing animal movements using Brownian bridges. Ecology, 88(9), pp.2354-2363.