数值优化（第2版）上
高等教育出版社
Jorge Nocedal, Stephen J.Wright 著，王鼎 栾银森 陈田田 李冰 译2025-01-15
本书既强调数学理论的严谨性与逻辑性，同时又十分注重理论源头的基本思想，重视对数学公式背后的物理概念的描述。
内容简介：
本书是Numerical Optimization，2nd edition中前11章，无约束优化章节的中文版，原著全面而及时地介绍了连续优化问题中最有效的方法，是一部经典的数值优化著作。本书既强调数学理论的严谨性与逻辑性，同时又十分注重理论源头的基本思想，重视对数学公式背后的物理概念的描述。
本书以深入浅出的方式重点描述了数值优化中的无约束优化理论与计算方法，内容涉及优化问题的相关概念、无约束优化基础、线搜索方法、牛顿方法、信赖域方法、共轭梯度方法、拟牛顿方法、大规模无约束优化方法、导数的数值计算方法，无需求导的优化方法、最小二乘问题的求解方法、非线性方程组的求解方法以及相关数学基础知识。此外，本书还对各种经典的无约束优化算法的收敛性进行了理论分析。本书注重阐述算法背后的思想理念，知识循序渐进，信息量大，并配有高质量的理论练习题和丰富的计算机实践题，有助于读者消化吸收书中的理论与算法。
优化理论与方法属于应用数学领域中的一个重要分支，在电子通信、自动控制、经济管理、资源调度、建筑设计、应急救援、汽车制造、电工电气、航天航空、国防安全等多个工业与信息领域都发挥着重要的作用。因此，优化技术对于现代科技甚至是人文科学的发展都具有不可替代的作用。
译者团队多年来一直从事信息与通信工程专业的教学与科研工作，无论是在教学还是在科研过程中，都需要求解大量最优化问题，例如数字滤波器的最优设计、阵列波束最优赋形、通信链路优化、雷达信号波形最优设计、无人机路径最优规划等。
本书可作为应用数学、计算机科学、运筹学、控制科学、工程学等相关专业的本科生和研究生学习优化理论的教学参考书，也可供需要优化理论进行科学技术研究的科研人员和工程技术人员参考使用。
作者：
Jorge Nocedal, Stephen J.Wright 著，王鼎 栾银森 陈田田 李冰 译
定价：
109.00元
ISBN：
978-7-04-061900-3
版面字数：
440.000千字
开本：
16开
全书页数：
356页
装帧形式：
精装
出版时间：
2024-08-23
读者对象：
学术著作
一级分类：
自然科学
二级分类：
计算机科学与工程
三级分类：
计算理论与算法
前辅文 第1章 引言 1.1 数学模型 1.2 例: 运输问题 1.3 连续优化问题与离散优化问题 1.4 约束优化问题与无约束优化问题 1.5 全局优化问题与局部优化问题 1.6 随机型优化问题与确定型优化问题 1.7 凸性 1.8 优化算法 1.9 注释与参考文献 第2章 无约束优化基础 2.1 解的定义 2.1.1 判别局部极小值点 2.1.2 非光滑问题 2.2 算法综述 2.2.1 两种策略: 线搜索与信赖域 2.2.2 线搜索方法的搜索方向 2.2.3 信赖域方法模型 2.2.4 变量缩放 2.3 练习题 第3章 线搜索方法 3.1 步长 3.1.1 Wolfe条件 3.1.2 Goldstein条件 3.1.3 充分下降和回溯策略 3.2 线搜索方法的收敛性 3.3 收敛速度 3.3.1 最速下降方法的收敛速度 3.3.2 牛顿方法的收敛速度 3.3.3 拟牛顿方法的收敛速度 3.4 基于修正Hessian矩阵的牛顿方法 3.4.1 特征值修正 3.4.2 校正矩阵为单位矩阵与标量的乘积 3.4.3 修正Cholesky分解 3.4.4 修正对称非正定矩阵分解 3.5 步长选择算法 3.5.1 内插 3.5.2 步长初始值 3.5.3 针对Wolfe条件的线搜索算法 3.6 注释与参考文献 3.7 练习题 第4章 信赖域方法 4.1 信赖域方法概述 4.2 基于Cauchy点的方法 4.2.1 Cauchy点 4.2.2 Cauchy点的改进 4.2.3 折线方法 4.2.4 二维子空间最小化方法 4.3 全局收敛性 4.3.1 由Cauchy点所取得的模型函数的减少量 4.3.2 收敛到平稳点 4.4 子问题的迭代解 4.4.1 困难的情况 4.4.2 定理4.1的证明 4.4.3 基于近似解的方法的收敛性 4.5 信赖域牛顿方法的局部收敛性 4.6 其他改进策略 4.6.1 标定 4.6.2 基于其他形式范数的信赖域 4.7 注释与参考文献 4.8 练习题 第5章 共轭梯度方法 5.1 线性共轭梯度方法 5.1.1 共轭方向方法 5.1.2 共轭梯度方法的基本性质 5.1.3 共轭梯度方法的一种实用形式 5.1.4 收敛速度 5.1.5 预处理 5.1.6 实际的预处理器 5.2 非线性共轭梯度方法 5.2.1 Fletcher–Reeves算法 5.2.2 P–Ribière算法及其变形 5.2.3 二次终止和重启 5.2.4 Fletcher–Reeves算法的性能 5.2.5 全局收敛性 5.2.6 数值性能 5.3 注释与参考文献 5.4 练习题 第6章 拟牛顿方法 6.1 BFGS方法 6.1.1 BFGS方法的若干性质 6.1.2 实现策略 6.2 SR1方法 6.3 Broyden族方法 6.4 收敛性分析 6.4.1 BFGS方法的全局收敛性 6.4.2 BFGS方法的超线性收敛性 6.4.3 SR1方法的收敛性分析 6.5 注释与参考文献 6.6 练习题 第7章 大规模无约束优化方法 7.1 非精确牛顿方法 7.1.1 非精确牛顿方法的局部收敛性 7.1.2 基于线搜索的牛顿共轭梯度方法 7.1.3 信赖域牛顿共轭梯度方法 7.1.4 预处理信赖域牛顿共轭梯度方法 7.1.5 信赖域Newton–Lanczos方法 7.2 有限记忆拟牛顿方法 7.2.1 有限记忆BFGS方法 7.2.2 与共轭梯度方法之间的关系 7.2.3 一般性的有限记忆更新 7.2.4 BFGS更新的紧凑表示 7.2.5 展开更新公式 7.3 稀疏拟牛顿更新 7.4 针对部分可分离函数的优化方法 7.5 观点与软件 7.6 注释与参考文献 7.7 练习题 第8章 计算导数 8.1 基于有限差分法近似计算导数 8.1.1 近似计算梯度向量 8.1.2 近似计算稀疏Jacobian矩阵 8.1.3 近似计算Hessian矩阵 8.1.4 近似计算稀疏Hessian矩阵 8.2 基于自动微分法近似计算导数 8.2.1 一个实例 8.2.2 前向模式 8.2.3 逆向模式 8.2.4 向量函数与部分可分离性 8.2.5 计算向量函数的Jacobian矩阵 8.2.6 计算Hessian矩阵: 前向模式 8.2.7 计算Hessian矩阵: 逆向模式 8.2.8 目前的局限性 8.3 注释与参考文献 8.4 练习题 第9章 无导数优化 9.1 有限差分方法和噪声 9.2 基于模型的方法 9.2.1 插值和多项式基函数 9.2.2 更新内插点集合 9.2.3 Hessian矩阵变化量最小的方法 9.3 坐标搜索方法与模式搜索方法 9.3.1 坐标搜索方法 9.3.2 模式搜索方法 9.4 共轭方向方法 9.5 Nelder–Mead单纯形反射方法 9.6 隐式滤波方法 9.7 注释与参考文献 9.8 练习题 第10章 最小二乘问题 10.1 问题背景 10.2 线性最小二乘问题 10.3 非线性最小二乘问题的求解方法 10.3.1 高斯–牛顿方法 10.3.2 高斯–牛顿方法的收敛性 10.3.3 Levenberg–Marquardt方法 10.3.4 Levenberg–Marquardt方法的实现 10.3.5 Levenberg–Marquardt方法的收敛性 10.3.6 求解大残差问题的方法 10.4 正交距离回归问题 10.5 注解与参考文献 10.6 练习题 第11章 非线性方程组 11.1 局部方法 11.1.1 求解非线性方程组的牛顿方法 11.1.2 非精确牛顿方法 11.1.3 Broyden族拟牛顿方法 11.1.4 张量方法 11.2 实用方法 11.2.1 评价函数 11.2.2 线搜索方法 11.2.3 信赖域方法 11.3 延拓/同伦方法 11.3.1 基本原理 11.3.2 实用的延拓方法 11.4 注解与参考文献 11.5 练习题 附录A 背景知识 A.1 线性代数的基础知识 A.1.1 向量与矩阵 A.1.2 范数 A.1.3 子空间 A.1.4 特征值、特征向量以及奇异值分解 A.1.5 行列式与迹 A.1.6 矩阵分解: Cholesky分解、LU分解以及QR分解 A.1.7 对称不定矩阵分解 A.1.8 Sherman–Morrison–Woodbury公式 A.1.9 交错特征值定理 A.1.10 误差分析与浮点运算 A.1.11 条件性与稳定性 A.2 分析、几何以及拓扑基础 A.2.1 序列 A.2.2 收敛速度 A.2.3 欧氏空间Rn的拓扑 A.2.4 Rn中的凸集 A.2.5 连续性与极限 A.2.6 导数 A.2.7 方向导数 A.2.8 中值定理 A.2.9 隐函数定理 A.2.10 阶数符号 A.2.11 标量方程求根 参考文献前辅文 第1章 引言 1.1 数学模型 1.2 例: 运输问题 1.3 连续优化问题与离散优化问题 1.4 约束优化问题与无约束优化问题 1.5 全局优化问题与局部优化问题 1.6 随机型优化问题与确定型优化问题 1.7 凸性 1.8 优化算法 1.9 注释与参考文献 第2章 无约束优化基础 2.1 解的定义 2.1.1 判别局部极小值点 2.1.2 非光滑问题 2.2 算法综述 2.2.1 两种策略: 线搜索与信赖域 2.2.2 线搜索方法的搜索方向 2.2.3 信赖域方法模型 2.2.4 变量缩放 2.3 练习题 第3章 线搜索方法 3.1 步长 3.1.1 Wolfe条件 3.1.2 Goldstein条件 3.1.3 充分下降和回溯策略 3.2 线搜索方法的收敛性 3.3 收敛速度 3.3.1 最速下降方法的收敛速度 3.3.2 牛顿方法的收敛速度 3.3.3 拟牛顿方法的收敛速度 3.4 基于修正Hessian矩阵的牛顿方法 3.4.1 特征值修正 3.4.2 校正矩阵为单位矩阵与标量的乘积 3.4.3 修正Cholesky分解 3.4.4 修正对称非正定矩阵分解 3.5 步长选择算法 3.5.1 内插 3.5.2 步长初始值 3.5.3 针对Wolfe条件的线搜索算法 3.6 注释与参考文献 3.7 练习题 第4章 信赖域方法 4.1 信赖域方法概述 4.2 基于Cauchy点的方法 4.2.1 Cauchy点 4.2.2 Cauchy点的改进 4.2.3 折线方法 4.2.4 二维子空间最小化方法 4.3 全局收敛性 4.3.1 由Cauchy点所取得的模型函数的减少量 4.3.2 收敛到平稳点 4.4 子问题的迭代解 4.4.1 困难的情况 4.4.2 定理4.1的证明 4.4.3 基于近似解的方法的收敛性 4.5 信赖域牛顿方法的局部收敛性 4.6 其他改进策略 4.6.1 标定 4.6.2 基于其他形式范数的信赖域 4.7 注释与参考文献 4.8 练习题 第5章 共轭梯度方法 5.1 线性共轭梯度方法 5.1.1 共轭方向方法 5.1.2 共轭梯度方法的基本性质 5.1.3 共轭梯度方法的一种实用形式 5.1.4 收敛速度 5.1.5 预处理 5.1.6 实际的预处理器 5.2 非线性共轭梯度方法 5.2.1 Fletcher–Reeves算法 5.2.2 P–Ribière算法及其变形 5.2.3 二次终止和重启 5.2.4 Fletcher–Reeves算法的性能 5.2.5 全局收敛性 5.2.6 数值性能 5.3 注释与参考文献 5.4 练习题 第6章 拟牛顿方法 6.1 BFGS方法 6.1.1 BFGS方法的若干性质 6.1.2 实现策略 6.2 SR1方法 6.3 Broyden族方法 6.4 收敛性分析 6.4.1 BFGS方法的全局收敛性 6.4.2 BFGS方法的超线性收敛性 6.4.3 SR1方法的收敛性分析 6.5 注释与参考文献 6.6 练习题 第7章 大规模无约束优化方法 7.1 非精确牛顿方法 7.1.1 非精确牛顿方法的局部收敛性 7.1.2 基于线搜索的牛顿共轭梯度方法 7.1.3 信赖域牛顿共轭梯度方法 7.1.4 预处理信赖域牛顿共轭梯度方法 7.1.5 信赖域Newton–Lanczos方法 7.2 有限记忆拟牛顿方法 7.2.1 有限记忆BFGS方法 7.2.2 与共轭梯度方法之间的关系 7.2.3 一般性的有限记忆更新 7.2.4 BFGS更新的紧凑表示 7.2.5 展开更新公式 7.3 稀疏拟牛顿更新 7.4 针对部分可分离函数的优化方法 7.5 观点与软件 7.6 注释与参考文献 7.7 练习题 第8章 计算导数 8.1 基于有限差分法近似计算导数 8.1.1 近似计算梯度向量 8.1.2 近似计算稀疏Jacobian矩阵 8.1.3 近似计算Hessian矩阵 8.1.4 近似计算稀疏Hessian矩阵 8.2 基于自动微分法近似计算导数 8.2.1 一个实例 8.2.2 前向模式 8.2.3 逆向模式 8.2.4 向量函数与部分可分离性 8.2.5 计算向量函数的Jacobian矩阵 8.2.6 计算Hessian矩阵: 前向模式 8.2.7 计算Hessian矩阵: 逆向模式 8.2.8 目前的局限性 8.3 注释与参考文献 8.4 练习题 第9章 无导数优化 9.1 有限差分方法和噪声 9.2 基于模型的方法 9.2.1 插值和多项式基函数 9.2.2 更新内插点集合 9.2.3 Hessian矩阵变化量最小的方法 9.3 坐标搜索方法与模式搜索方法 9.3.1 坐标搜索方法 9.3.2 模式搜索方法 9.4 共轭方向方法 9.5 Nelder–Mead单纯形反射方法 9.6 隐式滤波方法 9.7 注释与参考文献 9.8 练习题 第10章 最小二乘问题 10.1 问题背景 10.2 线性最小二乘问题 10.3 非线性最小二乘问题的求解方法 10.3.1 高斯–牛顿方法 10.3.2 高斯–牛顿方法的收敛性 10.3.3 Levenberg–Marquardt方法 10.3.4 Levenberg–Marquardt方法的实现 10.3.5 Levenberg–Marquardt方法的收敛性 10.3.6 求解大残差问题的方法 10.4 正交距离回归问题 10.5 注解与参考文献 10.6 练习题 第11章 非线性方程组 11.1 局部方法 11.1.1 求解非线性方程组的牛顿方法 11.1.2 非精确牛顿方法 11.1.3 Broyden族拟牛顿方法 11.1.4 张量方法 11.2 实用方法 11.2.1 评价函数 11.2.2 线搜索方法 11.2.3 信赖域方法 11.3 延拓/同伦方法 11.3.1 基本原理 11.3.2 实用的延拓方法 11.4 注解与参考文献 11.5 练习题 附录A 背景知识 A.1 线性代数的基础知识 A.1.1 向量与矩阵 A.1.2 范数 A.1.3 子空间 A.1.4 特征值、特征向量以及奇异值分解 A.1.5 行列式与迹 A.1.6 矩阵分解: Cholesky分解、LU分解以及QR分解 A.1.7 对称不定矩阵分解 A.1.8 Sherman–Morrison–Woodbury公式 A.1.9 交错特征值定理 A.1.10 误差分析与浮点运算 A.1.11 条件性与稳定性 A.2 分析、几何以及拓扑基础 A.2.1 序列 A.2.2 收敛速度 A.2.3 欧氏空间Rn的拓扑 A.2.4 Rn中的凸集 A.2.5 连续性与极限 A.2.6 导数 A.2.7 方向导数 A.2.8 中值定理 A.2.9 隐函数定理 A.2.10 阶数符号 A.2.11 标量方程求根 参考文献前辅文 第1章 引言 1.1 数学模型 1.2 例: 运输问题 1.3 连续优化问题与离散优化问题 1.4 约束优化问题与无约束优化问题 1.5 全局优化问题与局部优化问题 1.6 随机型优化问题与确定型优化问题 1.7 凸性 1.8 优化算法 1.9 注释与参考文献 第2章 无约束优化基础 2.1 解的定义 2.1.1 判别局部极小值点 2.1.2 非光滑问题 2.2 算法综述 2.2.1 两种策略: 线搜索与信赖域 2.2.2 线搜索方法的搜索方向 2.2.3 信赖域方法模型 2.2.4 变量缩放 2.3 练习题 第3章 线搜索方法 3.1 步长 3.1.1 Wolfe条件 3.1.2 Goldstein条件 3.1.3 充分下降和回溯策略 3.2 线搜索方法的收敛性 3.3 收敛速度 3.3.1 最速下降方法的收敛速度 3.3.2 牛顿方法的收敛速度 3.3.3 拟牛顿方法的收敛速度 3.4 基于修正Hessian矩阵的牛顿方法 3.4.1 特征值修正 3.4.2 校正矩阵为单位矩阵与标量的乘积 3.4.3 修正Cholesky分解 3.4.4 修正对称非正定矩阵分解 3.5 步长选择算法 3.5.1 内插 3.5.2 步长初始值 3.5.3 针对Wolfe条件的线搜索算法 3.6 注释与参考文献 3.7 练习题 第4章 信赖域方法 4.1 信赖域方法概述 4.2 基于Cauchy点的方法 4.2.1 Cauchy点 4.2.2 Cauchy点的改进 4.2.3 折线方法 4.2.4 二维子空间最小化方法 4.3 全局收敛性 4.3.1 由Cauchy点所取得的模型函数的减少量 4.3.2 收敛到平稳点 4.4 子问题的迭代解 4.4.1 困难的情况 4.4.2 定理4.1的证明 4.4.3 基于近似解的方法的收敛性 4.5 信赖域牛顿方法的局部收敛性 4.6 其他改进策略 4.6.1 标定 4.6.2 基于其他形式范数的信赖域 4.7 注释与参考文献 4.8 练习题 第5章 共轭梯度方法 5.1 线性共轭梯度方法 5.1.1 共轭方向方法 5.1.2 共轭梯度方法的基本性质 5.1.3 共轭梯度方法的一种实用形式 5.1.4 收敛速度 5.1.5 预处理 5.1.6 实际的预处理器 5.2 非线性共轭梯度方法 5.2.1 Fletcher–Reeves算法 5.2.2 Polak–Ribière算法及其变形 5.2.3 二次终止和重启 5.2.4 Fletcher–Reeves算法的性能 5.2.5 全局收敛性 5.2.6 数值性能 5.3 注释与参考文献 5.4 练习题 第6章 拟牛顿方法 6.1 BFGS方法 6.1.1 BFGS方法的若干性质 6.1.2 实现策略 6.2 SR1方法 6.3 Broyden族方法 6.4 收敛性分析 6.4.1 BFGS方法的全局收敛性 6.4.2 BFGS方法的超线性收敛性 6.4.3 SR1方法的收敛性分析 6.5 注释与参考文献 6.6 练习题 第7章 大规模无约束优化方法 7.1 非精确牛顿方法 7.1.1 非精确牛顿方法的局部收敛性 7.1.2 基于线搜索的牛顿共轭梯度方法 7.1.3 信赖域牛顿共轭梯度方法 7.1.4 预处理信赖域牛顿共轭梯度方法 7.1.5 信赖域Newton–Lanczos方法 7.2 有限记忆拟牛顿方法 7.2.1 有限记忆BFGS方法 7.2.2 与共轭梯度方法之间的关系 7.2.3 一般性的有限记忆更新 7.2.4 BFGS更新的紧凑表示 7.2.5 展开更新公式 7.3 稀疏拟牛顿更新 7.4 针对部分可分离函数的优化方法 7.5 观点与软件 7.6 注释与参考文献 7.7 练习题 第8章 计算导数 8.1 基于有限差分法近似计算导数 8.1.1 近似计算梯度向量 8.1.2 近似计算稀疏Jacobian矩阵 8.1.3 近似计算Hessian矩阵 8.1.4 近似计算稀疏Hessian矩阵 8.2 基于自动微分法近似计算导数 8.2.1 一个实例 8.2.2 前向模式 8.2.3 逆向模式 8.2.4 向量函数与部分可分离性 8.2.5 计算向量函数的Jacobian矩阵 8.2.6 计算Hessian矩阵: 前向模式 8.2.7 计算Hessian矩阵: 逆向模式 8.2.8 目前的局限性 8.3 注释与参考文献 8.4 练习题 第9章 无导数优化 9.1 有限差分方法和噪声 9.2 基于模型的方法 9.2.1 插值和多项式基函数 9.2.2 更新内插点集合 9.2.3 Hessian矩阵变化量最小的方法 9.3 坐标搜索方法与模式搜索方法 9.3.1 坐标搜索方法 9.3.2 模式搜索方法 9.4 共轭方向方法 9.5 Nelder–Mead单纯形反射方法 9.6 隐式滤波方法 9.7 注释与参考文献 9.8 练习题 第10章 最小二乘问题 10.1 问题背景 10.2 线性最小二乘问题 10.3 非线性最小二乘问题的求解方法 10.3.1 高斯–牛顿方法 10.3.2 高斯–牛顿方法的收敛性 10.3.3 Levenberg–Marquardt方法 10.3.4 Levenberg–Marquardt方法的实现 10.3.5 Levenberg–Marquardt方法的收敛性 10.3.6 求解大残差问题的方法 10.4 正交距离回归问题 10.5 注解与参考文献 10.6 练习题 第11章 非线性方程组 11.1 局部方法 11.1.1 求解非线性方程组的牛顿方法 11.1.2 非精确牛顿方法 11.1.3 Broyden族拟牛顿方法 11.1.4 张量方法 11.2 实用方法 11.2.1 评价函数 11.2.2 线搜索方法 11.2.3 信赖域方法 11.3 延拓/同伦方法 11.3.1 基本原理 11.3.2 实用的延拓方法 11.4 注解与参考文献 11.5 练习题 附录A 背景知识 A.1 线性代数的基础知识 A.1.1 向量与矩阵 A.1.2 范数 A.1.3 子空间 A.1.4 特征值、特征向量以及奇异值分解 A.1.5 行列式与迹 A.1.6 矩阵分解: Cholesky分解、LU分解以及QR分解 A.1.7 对称不定矩阵分解 A.1.8 Sherman–Morrison–Woodbury公式 A.1.9 交错特征值定理 A.1.10 误差分析与浮点运算 A.1.11 条件性与稳定性 A.2 分析、几何以及拓扑基础 A.2.1 序列 A.2.2 收敛速度 A.2.3 欧氏空间Rn的拓扑 A.2.4 Rn中的凸集 A.2.5 连续性与极限 A.2.6 导数 A.2.7 方向导数 A.2.8 中值定理 A.2.9 隐函数定理 A.2.10 阶数符号 A.2.11 标量方程求根 参考文献前辅文 第1章 引言 1.1 数学模型 1.2 例: 运输问题 1.3 连续优化问题与离散优化问题 1.4 约束优化问题与无约束优化问题 1.5 全局优化问题与局部优化问题 1.6 随机型优化问题与确定型优化问题 1.7 凸性 1.8 优化算法 1.9 注释与参考文献 第2章 无约束优化基础 2.1 解的定义 2.1.1 判别局部极小值点 2.1.2 非光滑问题 2.2 算法综述 2.2.1 两种策略: 线搜索与信赖域 2.2.2 线搜索方法的搜索方向 2.2.3 信赖域方法模型 2.2.4 变量缩放 2.3 练习题 第3章 线搜索方法 3.1 步长 3.1.1 Wolfe条件 3.1.2 Goldstein条件 3.1.3 充分下降和回溯策略 3.2 线搜索方法的收敛性 3.3 收敛速度 3.3.1 最速下降方法的收敛速度 3.3.2 牛顿方法的收敛速度 3.3.3 拟牛顿方法的收敛速度 3.4 基于修正Hessian矩阵的牛顿方法 3.4.1 特征值修正 3.4.2 校正矩阵为单位矩阵与标量的乘积 3.4.3 修正Cholesky分解 3.4.4 修正对称非正定矩阵分解 3.5 步长选择算法 3.5.1 内插 3.5.2 步长初始值 3.5.3 针对Wolfe条件的线搜索算法 3.6 注释与参考文献 3.7 练习题 第4章 信赖域方法 4.1 信赖域方法概述 4.2 基于Cauchy点的方法 4.2.1 Cauchy点 4.2.2 Cauchy点的改进 4.2.3 折线方法 4.2.4 二维子空间最小化方法 4.3 全局收敛性 4.3.1 由Cauchy点所取得的模型函数的减少量 4.3.2 收敛到平稳点 4.4 子问题的迭代解 4.4.1 困难的情况 4.4.2 定理4.1的证明 4.4.3 基于近似解的方法的收敛性 4.5 信赖域牛顿方法的局部收敛性 4.6 其他改进策略 4.6.1 标定 4.6.2 基于其他形式范数的信赖域 4.7 注释与参考文献 4.8 练习题 第5章 共轭梯度方法 5.1 线性共轭梯度方法 5.1.1 共轭方向方法 5.1.2 共轭梯度方法的基本性质 5.1.3 共轭梯度方法的一种实用形式 5.1.4 收敛速度 5.1.5 预处理 5.1.6 实际的预处理器 5.2 非线性共轭梯度方法 5.2.1 Fletcher–Reeves算法 5.2.2 Polak–Ribière算法及其变形 5.2.3 二次终止和重启 5.2.4 Fletcher–Reeves算法的性能 5.2.5 全局收敛性 5.2.6 数值性能 5.3 注释与参考文献 5.4 练习题 第6章 拟牛顿方法 6.1 BFGS方法 6.1.1 BFGS方法的若干性质 6.1.2 实现策略 6.2 SR1方法 6.3 Broyden族方法 6.4 收敛性分析 6.4.1 BFGS方法的全局收敛性 6.4.2 BFGS方法的超线性收敛性 6.4.3 SR1方法的收敛性分析 6.5 注释与参考文献 6.6 练习题 第7章 大规模无约束优化方法 7.1 非精确牛顿方法 7.1.1 非精确牛顿方法的局部收敛性 7.1.2 基于线搜索的牛顿共轭梯度方法 7.1.3 信赖域牛顿共轭梯度方法 7.1.4 预处理信赖域牛顿共轭梯度方法 7.1.5 信赖域Newton–Lanczos方法 7.2 有限记忆拟牛顿方法 7.2.1 有限记忆BFGS方法 7.2.2 与共轭梯度方法之间的关系 7.2.3 一般性的有限记忆更新 7.2.4 BFGS更新的紧凑表示 7.2.5 展开更新公式 7.3 稀疏拟牛顿更新 7.4 针对部分可分离函数的优化方法 7.5 观点与软件 7.6 注释与参考文献 7.7 练习题 第8章 计算导数 8.1 基于有限差分法近似计算导数 8.1.1 近似计算梯度向量 8.1.2 近似计算稀疏Jacobian矩阵 8.1.3 近似计算Hessian矩阵 8.1.4 近似计算稀疏Hessian矩阵 8.2 基于自动微分法近似计算导数 8.2.1 一个实例 8.2.2 前向模式 8.2.3 逆向模式 8.2.4 向量函数与部分可分离性 8.2.5 计算向量函数的Jacobian矩阵 8.2.6 计算Hessian矩阵: 前向模式 8.2.7 计算Hessian矩阵: 逆向模式 8.2.8 目前的局限性 8.3 注释与参考文献 8.4 练习题 第9章 无导数优化 9.1 有限差分方法和噪声 9.2 基于模型的方法 9.2.1 插值和多项式基函数 9.2.2 更新内插点集合 9.2.3 Hessian矩阵变化量最小的方法 9.3 坐标搜索方法与模式搜索方法 9.3.1 坐标搜索方法 9.3.2 模式搜索方法 9.4 共轭方向方法 9.5 Nelder–Mead单纯形反射方法 9.6 隐式滤波方法 9.7 注释与参考文献 9.8 练习题 第10章 最小二乘问题 10.1 问题背景 10.2 线性最小二乘问题 10.3 非线性最小二乘问题的求解方法 10.3.1 高斯–牛顿方法 10.3.2 高斯–牛顿方法的收敛性 10.3.3 Levenberg–Marquardt方法 10.3.4 Levenberg–Marquardt方法的实现 10.3.5 Levenberg–Marquardt方法的收敛性 10.3.6 求解大残差问题的方法 10.4 正交距离回归问题 10.5 注解与参考文献 10.6 练习题 第11章 非线性方程组 11.1 局部方法 11.1.1 求解非线性方程组的牛顿方法 11.1.2 非精确牛顿方法 11.1.3 Broyden族拟牛顿方法 11.1.4 张量方法 11.2 实用方法 11.2.1 评价函数 11.2.2 线搜索方法 11.2.3 信赖域方法 11.3 延拓/同伦方法 11.3.1 基本原理 11.3.2 实用的延拓方法 11.4 注解与参考文献 11.5 练习题 附录A 背景知识 A.1 线性代数的基础知识 A.1.1 向量与矩阵 A.1.2 范数 A.1.3 子空间 A.1.4 特征值、特征向量以及奇异值分解 A.1.5 行列式与迹 A.1.6 矩阵分解: Cholesky分解、LU分解以及QR分解 A.1.7 对称不定矩阵分解 A.1.8 Sherman–Morrison–Woodbury公式 A.1.9 交错特征值定理 A.1.10 误差分析与浮点运算 A.1.11 条件性与稳定性 A.2 分析、几何以及拓扑基础 A.2.1 序列 A.2.2 收敛速度 A.2.3 欧氏空间Rn的拓扑 A.2.4 Rn中的凸集 A.2.5 连续性与极限 A.2.6 导数 A.2.7 方向导数 A.2.8 中值定理 A.2.9 隐函数定理 A.2.10 阶数符号 A.2.11 标量方程求根 参考文献
数值优化（第2版）上
[责任编辑：刘宇宏]
收藏
投诉
{data.realName || data.addUser}
[{data.time}]
{data.supporterCount}
{data.supporterCount}
{data.content}
回复({data.replyCount})
发送
管理员
{data.realName || data.nickName}：
大家都在看
高等教育出版社2025-02-18
全国大学生数学建模竞赛组委会2025-02-11
全国大学生数学建模竞赛组委会2025-02-10
中华人民共和国教育部|
国家智慧教育公共服务平台|
高等教育出版社|
爱课程网|
中国教育新闻网|
中国学术前沿期刊|
新华网|
人民网|
全国高校思想政治工作网|
高校辅导员网络培训中心|
中教华影全国校园电影院线|
