review.md

# CV Review
**考前答疑：**
六简答 六计算
图像生成不考
运动恢复结构只需要掌握基本概念
图像生成：小孔成像、透镜模型不需要掌握；主要掌握相机的模块，每个模块什么作用，相机的几何模型，内部和外部参数有哪些，参考系的变化；透镜原理透镜方程，颜色色彩不太考。坐标对应关系，齐次坐标系非齐次坐标系？
参数（x，y，z）中心点，外部参数：旋转矩阵和T矩阵
图像滤波：基本操作有哪些（三种），如何设计滤波和，边界效应，滤波就是卷积，如何通过滤波去除噪声，如何利用滤波提取特征，如何利用滤波进行边缘检测，边缘的定义是什么，基本步骤是什么，边缘检测子有哪些；三种滤波器，如何设置滤波和；已知了滤波和计算经过滤波后的输出，均值滤波器（就是起到了一种平滑的作用，但是会导致图像的细节信息损失——将像素之间的变化模糊了）和高斯滤波器（希望越靠近中心的点所占的权重越高，ksize、sigma两个参数，ksize一定的时候，sigma越大越平滑）和第三种滤波器——边缘检测（边缘是相邻像素灰度值剧烈变化导致的），找出边缘就是对图像求偏导数（本质还是滤波），就是相邻像素的差值，通常是使用一个窗口，检测子会给出，方向如何求，幅值如何求；先滤波去除噪声然后求边缘；经典的边缘检测子Canny的流程（计算？）
高斯金字塔是什么？如何构建高斯金字塔？
#### 2、图像形成
##### 2.1
##### 2.2
##### 2.3 几何模型（没看懂）
三维转二维（相当于将第三维度z，变为1，所以前两维度x和y都要除以z），是非线性变换

C不是原点时：

k l是什么

透视投影基本方程矩阵表示：

##### 2.4 光照模型
漫反射：

这两个模型都是用来描述漫反射的吗？
①Lambert模型：
在光学中通常使用辐射度来量化光
光源每秒发出的能量为辐射通量P
单位面积接收的光量为辐射通量密度P/A
当光源垂直照射的单位面积的辐射度为E1=P/A1
将光束以某个角度照射到更大的平面上的辐射度为E2=P/A2

若I为入射光的强度，物体对光线的反射系数为Kd，则

②Phong光照模型 漫反射+镜面反射+环境影响
？？
##### 2.5 感光元件
胶片->传感矩阵
数字图像：
例如灰度图，图上的每个点都有三个坐标①横pixel②纵pixel③灰度值0-255（灰度值越大越接近黑色，越小约接近白色）
彩色感光芯片：
通过filter依次过滤三原色的光，使用插值法估计邻域点的强度
##### 2.6 色彩空间
（三原色 RGB CIE XYZ HSV色彩空间）
三原色：红绿蓝——便于设备记录但不便于感知
① **CIE XYZ色彩空间**（CIE是国际照明委员会）：

② **HSV色彩空间**：
色调H(Hue) 饱和度S(Saturation) 亮度V(Value/Brightneess)
色调H（感性的理解就是接近某种原色的程度），通过角度坐标表示，类似极坐标，0°是红色；120°是绿色；240°是蓝色。
饱和度S 对应于极坐标中的ρ（半径），范围是[0 , 1]，值越大表示饱和度越高。
亮度V 对应于xyz坐标中的z轴，范围是[0 , 1]，值越大表示亮度越高。


色彩空间上的距离是否有意义? **如何回答？**
##### 2.7 相机标定（没看懂）
相机标定即根据图像估计相机参数

#### 3. 图像滤波与边缘检测
##### 3.1 数字图像的表示
图像可以看出一个函数f（从R2到R），f(x,y)表示(x,y)处的强度（感觉也可以说是深度）；黑白图像就用灰度图来表示，彩色图像通过色彩空间来表示，所以彩色图像可以表示为三通道的矢量值函数：

cv中处理图像的两种（基本）方法：①采样（sample）：在空间域中使用二维网络格采样②量化：在值域中量化为整数值。

##### 3.2 图像的基本操作
①**点操作**——像素值的函数：

例如：log sqrt threshold

将某个点(x,y)对应的强度通过函数映射成为一个新的值，例如上图中的增亮或者变暗操作
②**局部区域操作**——像素邻域的函数：

例如：滤波 边缘检测 区域均值 区域分布
③**全局操作**——整个图像的函数
例如：直方图 图像均值

左边两个图像的直方图相同：说明从01分布来看，两个图像的分布相同，但是无法判断两个图像的01的位置分布是否相同
右侧两个图像的均值相同，说明对所有点取RGB取均值之后再赋值给这些点就可以得到下面的图像
所以如果将一幅图像像素完全打乱的话，点操作不受影响，局部区域操作受影响，直方图不变，均值也不会变
三种基本操作的比较：
①点操作的全局操作不涉及目标和场景信息
②点操作对应于非常小（最小）的窗口：仅仅和单一像素有关，没有空域和时域信息
③全局操作对应于非常大（最大）的窗口
##### 3.3 滤波与卷积
滤波的目的：去除噪声（噪声如何度量？）
噪声的类型：
①椒盐噪声：随机的黑白像素点
②脉冲噪声：随机的白点
③高斯噪声：均匀区域噪声服从高斯分布
高斯分布（随机变量服从正态分布）的概率函数是：


N维高斯分布（表示每一维度都服从正态分布）：

**sigma越大，噪点越多越明显**
如何去除噪声？
使用像素中心窗口领域平均值替代像素（假设像素窗口区域同分布，各个像素依次独立处理）
或者使用像素中心窗口邻域的加权平均值代替像素
一维：


二维：



第二种操作称为“相关”：

**图像滤波：将像素值替换成邻域像素值的线性组合**
滤波核叫做kernel或mask，H[u,v]是线性组合的权重
关于filter kernel的H[u,v]的设置：
①box filter：


相当于模糊的原始图像
②gauss filter（高斯滤波）：即希望距离中心越近的像素对输出的影响越大

kernel的近似函数为：

gauss filter需要设置的参数：①kernel size，即窗口大小②kernel的方差sigma，即平滑程度




随着kernel size的增加，各像素点之间的灰度值差的绝对值越来越小，kernel size取最大时相当于全局操作中的取均值
sigma的改变到底影响了什么？？？
如何处理边界值？（似乎要会计算大小）


**卷积**：翻转kernel在各个维度（从上到下，从左到右），然后做相关（加权平均）运算
卷积操作标识符



几种特殊的滤波（可能会考？）
①脉冲滤波：滤波前后没有变化

②移位滤波：滤波后左移一个像素（同样也可以右移或者上下移动一个像素）

③均值滤波：每个邻域内的点所占的权重是相等的
box filter就是均值滤波？

④锐化滤波：强化中心点与区域局部均值的差异（似乎看起来更加清晰了）

图像滤波的特性：
①线性移不变：
线性：即满足叠加性和齐次性

移不变：运算符在任何地方的操作都是相同的，即输出值取决于图像邻域中的模式，而不是邻域的位置（没太懂？）
②交换律、结合律：
③不变：

④微分：。。。
某些情况下，滤波器是可分离的，即先按行卷积再按列卷积（或者反过来）
**中值滤波**（用于移除奇异点，可以应对椒盐噪声）：



##### 3.4 模板匹配
3.3中filter被看成图像去噪的工具，现在考虑将其看成特征提取工具
实现原始像素到中间表达的映射，从而用于后续处理，目标是从数据中去除冗余，保留i有用的成分，filter可以看成匹配模板。（本质上还是一个滤波的过程）
使用归一化相关值在场景中寻找给定的模板图案，**归一化的作用是控制相关值的绝对大小**
当模板和图片中子图像的大小不一致时？如果尺度、方向和表面形状（强度的分布）基本相似，那么匹配还是有意义的
##### 3.5 边缘检测
目标：实现图像二维矩阵到曲线、线段以及轮廓的映射
基本思路：寻找强度变化剧烈的像素，并进行后处理
边缘的定义？什么地方是边缘？**图象的边缘是指图象局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃**（from csdn）

边缘出现在图像强度函数剧烈变化的位置，用导数表示变化的剧烈程度。


对图像求偏导数：对x求偏导时，可以提取出那些接近垂直于x轴的特征；同理对y求偏导时可以提取出那些接近于垂直于y轴的特征。所以上图中，左边的图表示对x求偏导之后的结果。
（似乎没太搞懂？）
用于边缘检测的几种算子：


噪声对边缘检测的影响：




**Gauss-Laplace检测子**（为Gauss kernel的二阶偏微分）：

检测子的特性：
①平滑：值为正；和为1；平滑程度正比于掩膜大小；减少高频成分
②导数：相反符号以便在边缘获得高响应值；和为0；边缘点值大
③模板匹配：在模板相似区域响应值高；相关计算
**基本的边缘检测步骤**：
①平滑：抑制噪声
②边缘增强：检测子滤波
③边缘定位：确定局部极值（阈值 细化）

sigma较大，大尺度的边缘被检测；sigma较小，小尺度的边缘被检测
**阈值分割：选择一个阈值t，大于t的像素设置为0，小于t的像素设置为1**
**Canny算子：**
使用高斯检测子计算（高斯模糊，去除噪点，从而使边缘检测时免受噪点的影响）；确定梯度幅度值和方向（例如使用sobel算子对图像梯度幅值与方向进行计算，梯度方向与边缘方向是垂直的）；非最大化抑制（非极大值抑制）：多像素宽度窄带边缘细化为单像素宽度；边缘阈值和连接（滞后法）：定义一低一高两个阈值，高阈值确定边缘的起始，低阈值确定边缘连接
非最大化抑制：沿着梯度方向检验像素是否为局部最大值，需要检验插值像素p和r？？？
之后阈值法：检验梯度的最大值是否足够大，使用高阈值获得起始边缘，使用低阈值进行边缘连接
**精确率：**检测结果正向中正确像素的比例

**召回率：**标签为边缘像素中被正确检测的比例


##### 3.6 边缘连接
？？？
#### 4.多尺度空间
##### 4.1 尺度与尺度空间
**尺度：指图像内容的粗细程度。**
尺度的概念是用来模拟观察者距离物体的远近程度。具体来说，贯穿着距离物体远，看到物体可能只有大概的轮廓；观察者距离物体近，更可能看到物体的细节，比如纹理，表面的粗糙程度等。
**尺度空间：图像的尺度空间是指同一张图像不同尺度的集合**
在这一集合中，细尺度图像通过滤波形成粗尺度图像，即粗尺度图像的形成过程是高频信息被过滤的过程，任何存在于粗尺度图像下的内容都能在细尺度图像下找到！

**为什么需要尺度空间**？？（两个原因。简答？）
①自然界中的物体呈现出不同的形态，需要不同的尺度来观测。粗尺度图像更能体现物体的轮廓形态，细尺度图像更能体现物体的局部细节特征
②计算机在进行图像分析时，并不知道图像的真实尺寸大小，需要考虑多尺度以获取感兴趣物体的最佳尺度
##### 4.2 图像采样
①直接等间隔抽样
最小采样频率——奈奎斯特采样频率：采样频率大于等于原信号最大频率的两倍
②先低通滤波（为什么要低通滤波？），然后下采样


##### 4.3 高斯金字塔
低通滤波，使得边缘等高频成分丢失

##### 4.4 拉普拉斯金字塔
在高斯金字塔中加入某一层和上一层的差值

#### 5.图像局部特征提取
#### 5.1图像特征的类别
① 低级特征：有意义的兴趣点，局部特征——边缘，角点，纹理
② 中级特征：直线、曲线、轮廓线、椭圆线；组合特征：平行线，角点组合，低级特征组合
③ 高级特征：人脸，建筑物等等
特征匹配：在要匹配的两幅图像上检测特征点，寻找对应的特征点对，使用特征点对进行图像匹配
#### 5.2 Harris角点检测
关键点：对于角点附近区域，图像梯度有两个或更多个主方向
一种检测角点的方法：找出x和y方向导数都很大的图像块
**harris角点检测的思想**：通过一个小的邻域来识别角点，窗口沿着任意方向移动，窗口强度都会发生很大的改变。flat：在所有方向移动时没有变换 edge：沿着边缘方向移动没有变化 corner：沿着任何方向移动都有显著变化

#### 11.图像拼接与融合
##### 1.图像融合：是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅（或多幅）图像在时空上的相关性以及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述。从而更有利于人眼的识别和机器的自动探测。
包括：相同传感器不同视野的融合 不同成像传感器图像的融合 不同波段的光谱图像的融合
像素级融合 特征级融合 决策级融合
#### 12.运动和光流
1.光流场：是指图像灰度模式的表面运动，观察动态物体时在视网膜上产生连续的光强变化，如同光的“流动”；是视频序列空间坐标关于时间的变化率——像素的瞬时速度矢量
2.光流三要素：运动（速度场）、带有光学特征的部位（如带有灰度信息的点）、呈像投影（从场景到图像）
3.光流：观测的或表现的二维运动（不仅可以由物体运动引起，还可以由摄像机运动或照明条件变化引起，不等同于真实的二维运动）
4.二维光流运动方程（假设恒定亮度）：
5.孔径问题：
？？？没看懂
6.