降维和度量学习

降维的原因和目的是什么？

首先我们需要聊一个问题，称之为：维度灾难(curse of dimensionality)，维度高的原因是因为现实世界中的应用属性非常多，在高维空间中，由于维度大，各个个体之间的距离计算不容易，而且样本比较稀疏。这个很好理解，比如说具体的某一个人，那他具备的属性就非常多，包括生理，心理等等，这样可以区分每一个人，但是我们如何衡量每个人就变得麻烦，比如说按身高来分，按体重来分，按年龄来分，等等，相当于高纬度的距离计算就变得复杂了。而当我们减少维度，比如减少到国家公民，那么两个具体的人的差异就可以比较明显区分出来，按照国籍分类即可。

降维方法	思想
多维缩放(MDS)
主成分分析(PCA)
核主成分分析(KPCA)