了解完HOG特征之后，再学习SIFT特征就容易很多，因为SIFT特征的提取过程中，要用到两次HOG,一次是为了计算主方向，一次把HOG特征直接作为描述子了。

其实SIFT就是在某些特定的点上，以旋转的方式提取了hog特征。

我把SIFT特征提取过程总结为两步：

1. 在图像上找一些位置，以这些位置为中心的邻域的hog特征能够很好地代表本图像。 这些位置，即图像的关键点(x,y)的集合
2. 对集合中的每一个关键点，按照方向，提取其周围16x16区域的1x128维的hog特征.

所以，对不同图片，其上的关键点数目不同，最后得到的特征向量的长度就不一样。

判断两张图片的相似度，可以做关键点匹配，匹配数目越多，匹配误差越小，两张图片就越相似。

细节：

第2步：按照方向，取其周围16x16的像素，然后取hog特征

具体：a.有关键点key_point=[x,y],选取其周围16x16的区域的36个bin的hog特征，看哪个方向值最大。此时的16x16区域的外接正方形是水平方向的。

b.取得最大方向后，按照最大方向，重新取16x16的区域，这个16x16的区域就是按照方向旋转后的正方形了，不再是水平方向的正方形了。

c.在正方形内取hog特征即可。

第二步比较简单。

关键是第一步，如何选取关键点？

我们要选怎样的点作为关键点？

选能够代表图片纹理信息的点，所以，一定是图片中的极值点。

但是在极值点中，不能选与周围值差别不大的极值点，这些点差别过小，对比度太弱。不具有代表性。

也不能选太普通的，比如边缘部分的点，这些点在各种图像中都有，并不特殊，不利于做后期判断。

在 sift的全部过程中，属于第一步：选关键点的过程有两个：

1) Scale-space extrema detection尺度空间峰值检测

2) Keypoint localization关键点定位

关于Scale-space extrema detection,我们可以把它拆分了两项：

a. space extrema detection

b. 考虑了尺度的space extrema detection

那么什么是space extrema detection, 就是从图片坐标的两个维度x,y上，去看图片灰度值，看哪些位置上的值是峰值。由于x,y是空间位置，所以称为space。

scale不是将图片缩放，而是将图像经过一个标准差为scale的正太分布滤波核进行滤波后，会得到一个模糊的图像，随着scale的不同，模糊程度就会不同。

假设有C个尺度，就得到C个模糊后的图像，这些图像构成MxNxC的矩阵。

在这个矩阵内，看某个像素是否为峰值，其实就是看看在以像素为中心的3x3x3立方体内，像素值是否是最大值。这就是考虑了尺度的space extrema detection.

当前这个峰值点，是不是就是我们的关键点呢？还不是。因为这个峰值点可能只是在3x3x3的邻域内是最值，但是这个点与周围点的差值可能并不大。所以，我们需要去掉差值不大的点。要去掉差值不大的点，就要具体计算出差值了。

如何计算出具体差值？

这里有具体图像img,经过1个尺度的高斯核滤波后，得到img_1

高斯核做滤波，其实就是用当前点的3x3邻域9个点的加权求和作为当前点值灰度值。

img经过高斯核滤波得到img_1,那么D1=img-img_1就能代表当前点与邻域的差值了.

也就是说，D1中的峰值点，就对应图像上的峰值点，而且D1的具体值，就代表差值。

我们通过D1的值，就可以把差值过小的峰值点去掉。

但是，我们通过在3x3邻域内求最大值的方法求得得峰值点p，可能不是真正的极值点v。因为图像本身是离散的，而真正的极值点也极有可能需要插值才能获取，没错，就是图像放大的时候，需要用到的插值算法。

我们把D1这张图片，看成一个二元函数的话，它是这样的一个函数：D1(x,y)，x,y就是像素的坐标，求这样函数的极值点，通常我们会令导数为零：

这样，我们就求得真正的的极值点坐标v = [x,y]了，这个x,y可能会是小数，我们通过插值算法就可以求到D1[x,y]的值了。[x,y]是我们通过二元连续函数D1(x,y)识估计到的极值点，如果这个点的值小于我们设定的threshold，比如0.03，我们就认为当前点p(就是v对应的这个p)不能作为关键点。必须大于0.03才能作为关键点。小于0.03的点，与周围像素灰度值得差值太小，对比度太小，对最终图像匹配作用不大。

去除主曲率过大的点

除了差值过小的点，我们还要去掉主曲率过大的点。由于D1是二元函数，主曲率过大，意味着总体曲率的贡献主要来源某一个方向A，与A垂直的方向对总体曲率的贡献微乎其微。这就很符合在图像内物体边缘上的像素的特点了。主曲率过大的点，很可能是物体的边缘上的点，如果我们选边缘上的点作为关键点，显然不利于图像匹配，因为图像内部边缘上的点的特征区分度不大，不同物体的边缘的hog特征值可能区分度相对较小。

D1矩阵上剩下候选关键点的主曲率过大如何计算？计算关键点的Hession矩阵，即二阶梯度矩阵H即可。

从关键点对应的H中，H的特征值与曲率是正比的关系，其中最大的特征值代表主曲率。那么，主曲率的是否过大，其实就是判断一下最大的特征值与其他特征值之和的比值是否过大。

所以，一般来说，我们需要将 H 矩阵的特征值求出来的，但是，由于前辈的工作：

我们用H的迹和H的行列式就可以直接求出特征值之比了，不用再去求出特征值了。

Tr(H)为H的迹，Det(H)为H的行列式

曲率之比就蕴含在：Tr(H)^2/Det(H)中

Tr(H)^2/Det(H)= (lamda_1+lamda_2)^2/lamda_1*lamda_2

令rate = lamda_1/lamda_2,

则Tr(H)^2/Det(H) = lamda_2^2(rate+1)^2/(lamda_2^2*rate)=(rate+1)^2/rate

rate，特征值之比值就通过Tr(H)^2/Det(H)计算出来了。我们只需要将Tr(H)^2/Det(H) > 10^2/10的点去掉，也就是将曲率之比rate>10的点去掉了，就能有效避免边缘点取为关键点。

这里的这个rate_threashold=10也是作者做实验得来的。

过滤掉差值过小的点，在过滤掉D1图像上，再过滤掉主曲率曲率过大点，剩下的点就是sift中的关键点了。

后面就开始对这些关键点提取hog特征了。但是为了提取到的特征具有旋转不变性，所以，在提取hog特征之间，我们先判断一下关键点的主方向。

我们先求出这个关键点的方向，再以关键点为中心，在这个方向上取16x16的子图片的hog特征，就是sift特征了。

具体求法：求的关键点的方向角theta，把图像以关键点为中心旋转-theta度，然后取以关键点为中心的16x16的区域的hog特征，就是这个关键点的特征了。

总结

实际的工程中，为了提取到更多的细节，我们通常对img进行很多个scale的滤波，比如10个scale的滤波。

即：

图像img,经过尺度s的高斯核滤波后，得到img_1

图像img,经过尺度s*k的高斯核滤波后，得到img_2

图像img,经过尺度s*k^2的高斯核滤波后，得到img_3

...

图像img,经过尺度s*k*9的高斯核滤波后，得到img_10

然后,再求具体峰值的差：

D1 = img_1-img;

D2 = img_2-img_1;

D3 = img_3-img_2;

...

D10 = img_10-img9;

这里得到10个差值图，我们求取蜂值的时候，就不能只考虑x,y两个维度了，还要考虑尺度，也就是说，我们将D1,D2,D3,...D10组成一个MxNXC的矩阵，看一个点是否为峰值，我们要看这个点在其3x3x3邻域内，是否为最大值，如果是，就把当前点p记录为峰值点

当这个点p确定是最大值后，类似二元的情况，我们还要估计真正的最大值v，也就是在连续函数D(x,y,s)上，求取真正的极值点v,如下：

求得真正得极值点后，还是按照threshold=0.03，把D(v)小于0.03对应的p点，不再作为关键点。

到此，我们先求峰值点p，再根据p对应的v,将D(v)小于0.03的p点去掉，剩下的点作为关键点候选。

下一步，就是剔除物体边缘上的点了。

方法就是上面所说的，利用点对应的heission矩阵H，计算出曲率：Tr(H)^2/Det(H),然后去除点Tr(H)^2/Det(H)>(10+1)^2/10的点，因为这些点通常是边缘上的点，曲率非常大，我们只留下曲率小的点，这些点的hog特征，能够描述图像的纹理细节，与其他图像有区别。

到这里，关键点确定好了，剩下就是求关键点地带方向的hog特征了。

先用关键点的16x16邻域的hog特征，求取出主方向。这个主方向就是hog特征中，值最大的那个bin对应的方向。详细如下：

在点的主方向上去16x16的子区域，如下图

然后，取16x16邻域的hog直方图，详细如下：

整理和学习的过程中，参考了一下文献，如果读者朋友发现本文有些细节没有讲到，可以尝试从以下链接中找到答案。

参考：

1. 基于SIFT尺度不变特征的图像特征点提取（含Matlab实例）：https://zhuanlan.zhihu.com/p/103581209
2. SIFT论文翻译：https://www.cnblogs.com/cuteshongshong/archive/2012/05/25/2506374.html
3. 正定矩阵：https://baike.baidu.com/item/正定矩阵/11030459?fr=aladdin
4. 多元函数二阶梯度：https://baike.baidu.com/item/黑塞矩阵/2248782?fr=aladdin
5. 曲率的求取思路：https://jingyan.baidu.com/article/7f41ecec213a10593d095c26.html