这是梵高创造于创作于1890年7月的《乌鸦群飞的麦田》。画中天空很不安,乌鸦很不安,麦田似乎也很不安,而其中绿色的小路也不知通向何处…世界似乎在震荡,但在我们看来却一动不动……
和画里的世界相比我们似乎很幸运,我们生活在三维的空间里,而且似乎很自由,能够不受限制地对这个三维地世界进行思考和探索,我们不仅能够行走,甚至还能够飞翔,但是我们会不会也像画中地世界一样,正在被一个生活在四维或者更高维空间中的生命注视着呢?
自信一点,假如我们已经成功逃离了三维空间,我们先考虑如上图边长为1的方框。假如它是一个拥有10个维度的方框,我们将它以0.1为单位进行分割,也就是说每一边会被分成10份,这个10维方框就会出现10的10次方个被分割的交点。假如我们每去到一个点要花1分钟的时间,那么我们将花费约1902.58个世纪的时间去到每一个点。
才10个维度的一个小格子,似乎有点令人沮丧…
假如我们获得了超越光速不可思议的能力,去任何地方都不用花时间会怎么样呢?
如上图半径维r的圆,外切一个方框,假设它们在维度为D的空间内,我们很容易计算到,当D越来越大时奇怪的事情发生了:
高维空间中圆的体积和方框相比,消失不见了,所有的体积都集中到了图中四个角落的阴影当中去了。
我们再来看上图的例子,两个D维空间中的同心圆,当D不断变大的时候,奇怪的事情又发生了:
所有体积都集中到了图中阴影表示的薄壳当中去了,而且无论此壳多薄,都能容纳所有的体积。
如果我们不花费任何时间,被以相互独立的标准D维高斯分布(N(0,1))随机输送到D维空间时,奇怪的事情还是发生了:
可以看到上表,在1维空间的时候很符合我们的认知,我们大概率会被输送到一维的中心附近,也就是期望处,但当维度D慢慢的增长,到10维空间时,我们几乎已经不可能到达10维空间的中心,到100维时已经彻底没有可能…
就算足够多的我们不以高斯分布,而是被均匀地输送到10维空间的话,如上图,在距离球心找到一个人的概率只有0.35,绝大多数人都在壳子之上。
更可怕的是,在高维空间里,尽管绝大多数人都在壳子之上,但是无论在哪个位置,人与人之间的欧几里德距离都将近似相等。
最可怕的是,当BayesianOptimization遇到高维空间的时候,它将直接失效…
文献参考:
Scott, D.W., Thompson, J.R.: Probability density estimation in higher dimensions. In: J.E. Gentle (ed.) Computer Science and Statistics: Proceedings of the Fifteenth Symposium on the Interface, pp. 173–179. North HollandElsevier Science Publishers, Amsterdam, New York, Oxford (1983).
为了方便大家交流技术和互通行业资讯,
请添加我们“转自:非解构-公众号”微信,
加入相关讨论交流群。