复杂形态钢结构设计培训班

首页 非解构-公众号 最大值熵搜索

最大值熵搜索

上一篇文章我们讲到贝叶斯优化中基于信息熵(Entropy)的采集函数,本文我们将介绍这个分支上最前沿的方法并对从整体的角度展现贝叶斯优化。与熵相关的公式比较长,滑动文中的公式就可以查看完整公式

1.最大值熵搜索(MES,Max-value Entropy Search)

在上一篇文章《贝叶斯优化宇宙|信息熵》的最后,我们介绍到 预测熵搜索(Predictive Entropy Search,PES)。

第一项可以写成封闭形式

第二项可以通过采样的方法近似求得,但在实际应用中的问题是当的维度很高时,对采样得到的后验分布 求极值对应的时又变成了一个复杂,耗时的优化问题,而且PES对采样规模是较为敏感的,在采样规模较小时,PES在测试函数上的表现不如EI等计算简单的方法,只有到采样规模较大时才会有更好的收敛性[1]。

针对这些问题,来自MIT的Zi Wang[1]提出了Max-value Entropy Search(最大值熵搜索)方法,她的思路非常巧妙,与PES方法中用到 的信息思路不同的是,MES方法直接利用的信息,换句话说,MES关注的是加点之后对分布的熵的降低

而之前介绍的PES与ES的互信息公式都是

同样根据对称性

其中分别为标准正态分布的概率密度分布函数,

MES依旧使用蒙特卡洛方法采样来近似积分,但与PES中对高维的采样不同,在单目标问题中是一维的,采样较为容易。通过大量实验[1]与Fisher-Tippett-Gnedenko 定理[2],Wang提出了Gumbel Sampling,即服从gumbel分布,利用分位数匹配的方法解出gumbel分布的系数并从累积分布函数上直接采样。这种采样方式很巧妙,在高维问题中,MES相比PES效率就高很多了。

2.对比测试

下面是EI和MES两种采集函数Branin函数上的对比。

图1. Branin 2D

常用的评判指标有两种:1.simple regret:

simple regrete是在比较截止到第T次循环,加点观测值中的最小值与测试函数实际最小值的差值,是一个关于T的函数,在实际使用的时候为了便于比较,常常取,这里小编也使用作为评价函数。

2.inference regret:

与simple regret不同的是,inference regret没有采用加点观测值的最小值,而使用了每代后验模型的最小值,更可以反应不同建模方式与训练方法的差别。

测试结果如图2所示在固定初始样本点的情况下采用EI与MES各自重复了50次优化,其中阴影区域为各自的标准差范围,可以看到在达到同样解精度时,MES需要的迭代次数比EI少;在达到设定收敛条件()时MES解的精度要比EI略高,上图的结果是基于两种采集函数都采用multi-start L-BFGS且重启次数都为20,在测试过程中观察到MES的函数要比EI复杂很多,如果对MES采用更多的重启次数(50),其收敛速度的优势会更加明显,但每个iteration的耗时会更长。

3.总览

我们已经花了几篇文章介绍贝叶斯优化的各个部分了,下面这个视频可以从总体的角度直观看到贝叶斯优化到底是如何工作的。动画是用grasshopper制作的,采用的测试函数是griewank函数,动画包含了贝叶斯优化的整个过程:抽样,训练,采集,预测等环节。

4.其他

除了之前在文章中介绍过的几种采集函数之外,几乎针对每一种采集函数都有其并行(batch)的方法,也就是每次迭代可以加多个点,小编也进行了方法的复现和测试。另外,采集函数也可以解决带约束的贝叶斯优化问题,多目标的黑箱函数优化也可以通过改变建模方法来解决。

参考文献

[1] Wang Z, Jegelka S. Max-value entropy search for efficient Bayesian optimization[C]International Conference on Machine Learning. PMLR, 2017: 3627-3635.

[2]Fisher, Ronald Aylmer. The genetical theory of natural selection: a complete variorum edition. Oxford University Press, 1930.

我们非解构一直关注建筑艺术与结构技术的有机融合。我们在做好设计的同时,一直关注数字化、智能化等前沿技术在建筑设计行业中的运用,这些年一直在坚持探索和实践。

非常欢迎优秀的你来加入我们,一起来跨界,做一名推动行业发展的斜杠青年。

非解构 | 跨界建筑师招募

非解构 | 跨界结构工程师招募

非解构 | 算法工程师招募

结构跨界实习生招募

这几年,对参数化设计感兴趣的朋友越来越多,我们的参数化设计交流群也已经发展到了5群,欢迎更多的朋友加入,相互交流学习。

添加我们“转自:非解构-公众号”微信,

加入参数化设计交流群。

不了解我们的可以来补课了

非解构 | 数字化技术助力探索结构设计新空间

非解构 | 参数化建筑设计技术路径探讨

非解构 | 对BIM工作流的深度思考

当结构设计遇到遗传算法

当建筑师甩给我一个Rhino模型(一)

当建筑师甩给我一个rhino模型(二)

盈建科,二次开发

PKPM, 二次开发

本文来自网络,不代表钢构人的立场,转载请注明出处。搜索工程类文章,就用钢构人网站。 https://www.ganggouren.com/2021/07/d41ddf1618/

钢结构地图

上一篇
下一篇

作者: ganggouren

为您推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

联系我们

联系我们

17717621528

在线咨询: QQ交谈

邮箱: 1356745727@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部