数字图像处理期末复习总结。
参考教材:冈萨雷斯第三版《数字图像处理》
参考课程:【数字图像处理【杜克大学】(冈萨雷斯第三版)-Image and Video Processing】 https://www.bilibili.com/video/BV1j7411i78H
参考资料:https://www.cnblogs.com/Fish0403/p/16888369.html(这个博客很无敌)
绪论
什么是图像
图(picture):客观存在的事物的近似。
像(image):picture再人脑中的主观视觉印象。
图像:包括客观信息(如灰度、色彩等)和主观感觉的视觉信息。
什么是数字图像处理
图像和数字图像
图像:可定义为二维函数f(x,y),该函数是连续函数,f表示图像在(x,y)点的强度或灰度。
数字图像:可定义为二维函数f(x,y),该函数是离散函数(x,y和f是有限的离散量),f表示图像在(x,y)点的像素值。
成像和图像处理
人类的视觉系统仅能感知可见光波段的电磁波。一可见光波长380nm~780nm。波长由长变短,颜色依次呈现为红、橙、黄、绿、青、蓝、紫。
机器可在几乎整个电磁波频谱范围内成像。数字图像处理指利用计算机来处理数字图像。数字图像的主要来源是利用电磁波谱成像
其他来源:声波/超声波成像、电子束成像、计算机合成图像等
图像处理的三个层次
从图像处理到计算机视觉领域,可把处理任务分为三个层次
- 初级处理,输入和输出都是图像
- 中级处理,输入是图像,输出是从图像中提取的特征
- 高级处理,目标的“理解”和“认知”
数字图像基础
亮度与人眼亮度
亮度:客观亮度
视亮度:人眼亮度,是主观亮度,是进入人眼的光强的对数函数。
- 人类的视觉系统能够感知的光的亮度范围很宽。
这一范围约从百分之几到几百万cd/m2
- 人眼的感光作用能够随着外界光的强弱而自动调节。
包括瞳孔的调节作用和光敏细胞自身的调节作用
- 人眼适应了某一环境的平均亮度后,视觉范围就有了一定限度。
- 对比度,最大亮度与最小亮度的比值
- 在适当的平均亮度下,对比度约为1000:1;平均亮度很低时,对比度约为10:1
- 视亮度与景物的亮度和周围环境的亮度有关。在不同环境亮度下,人眼可察觉的最小亮度变化不相同
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/1.png)
- 人眼可分辨出大约24级的亮度变化。即马赫带效应。亮度急剧变化处,人眼感受到的变化更剧烈(可能是人眼是低通滤波器,对不连续点处会产生吉布斯效应)。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/2.png)
图像采样得到数字图像
图像的采样(位置量化)
人眼系统:通过视网膜上的视觉细胞将图像的刺激变成电信号。
照相系统:通过传感器的感光阵列转化成电信号。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/4.png)
图像的量化(色彩量化)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/5.png)
离散化后的一个方块称作一个像素(pixel,picture element)
实际上的图像大多是彩色图像,由RGB组成,故要对每个通道做量化。
高端相机才有完整的三通道,中低端相机可能并没有完整的三通道取值。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/6.png)
左图称作mosaic。
亮度量化
前文提到,人眼对亮度的识别是有范围的,同理,传感器对亮度的识别也是有范围的。
如果物体中存在细微的亮度区别,但是由于传感器区分不开而赋予同一个亮度,这种情况称为饱和。
举例
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/7.png)
色彩量化不变,但是分辨率改变。尽管色深不变,但是分辨率会影响清晰度。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/8.png)
分辨率不变,改变色深。能表示的灰度级越多,图像质量越高。
总结
能量化的位置越广(图像越大,对应相机的画幅概念),能量化的幅值越多,图像质量越好。
表示法:256x256,8bit的图像
简单的成像模型
用二维函数f(x,y)表示图像,在空间坐标(x, y)处f的值是一个标量,其物理意义由图像源决定,其值与物理源辐射的能量成正比,因此
$$
0 \leq f(x,y) < \infty
$$
f(x,y)可由两个分量表征
- 入射分量,入射到被观察场景的光源照射量
- 反射分量,被场景中物体反射的照射量
则f(x, y)可由入射分量和反射分量的乘积表示:
$$
f (x, y)= i(x, y)r(x, y)
$$
其中
$$
0 \leq i(x,y) < \infty,0 \leq r(x,y) \leq 1
$$
-
入射分量的性质取决于光源
-
反射分量限制在0(全吸收)和1(全反射)之间,其性质取决于被成像物体的特性
-
一般来说,自然图片的光照一般是均匀渐变的,所以i应该是低频分量,而不同物体对光的反射是具有突变的,所以r是高频分量。
上述表示也可用于透射成像
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/3.png)
(上图中Lmin=imin*rmin)
数字图像的表示
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/10.png)
表示数字图像时,习惯上将图像的左上角定义为原点。
- 正x轴向下延伸,正y轴向右延伸。
- 也可将x轴和y轴互换
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/11.png)
- 动态范围给出了一个系统所能表示和一幅图像所具有的最高和最低灰度级。
- 图像对比度定义为一幅图像中最高和最低灰度级间的灰度差。
空间分辨率和灰度分辨率
空间分辨率(多远换一个像素)
- 空间分辨率是图像中最小可辨别细节的测度。―常用测度:单位距离线对数、单位距离点数(像素数)
- 假设用交替出现的黑色和白色垂线构造一幅图像,其中每条垂线的宽度为W单位,则线对宽度为2W,单位距离内有W/2个线对。
- 单位距离点数常用点数/英寸( dpi)来表示一报纸印刷分辨率75dpi,杂志印刷分辨率133dpi,广告页印刷分辨率175dpi
- 图像大小本身不包含空间分辨率信息。
灰度分辨率
灰度分辨率指在灰度级中可分辨的最小变化。
- 实际中,灰度分辨率通常指量化灰度所用的位数。
- 灰度的可分辨变化不仅受噪声和饱和度的影响,而且受人类分析和解释整个场景内容的感知能力的影响。
细节丰富的图像可能只需要较少的灰度级
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/9.png)
像素间的基本关系
像素的邻接(四邻接和八邻接)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/12.png)
像素的连通
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/13.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/14.png)
图像插值
插值( interpolation,也称为内插)是通过已知数据来估计未知位置的值的过程。
- 图像插值通常用于图像放大、缩小、旋转和几何校正等处理。
一些图像插值算法
-
线性插值 (linear interpolation)
-
最邻近插值 (nearest neighbor interpolation)
-
双线性插值(bilinear interpolation)
-
双三次插值 (bicubic interpolation)
线性插值
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/15.png)
最邻近插值
- 选择与待插值像素距离最近的(原始图像的)像素,将这个像素的值作为待插值像素的值。
双线性插值
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/16.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/17.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/18.png)
图像灰度和随机变量
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/19.png)
空间域的图像处理
基础知识
空间域指包含图像像素的平面,空间域图像处理直接对图像的像素进行处理。
- 灰度变换,对像素进行操作(不需要知道位置)
- 空间滤波,对像素的邻域进行操作
空间域处理可写为以下形式
g(x, y)= T[f(x, y)]
- f(x,y)是输入图像,g(x,y)是输出图像,T是定义在点(x,y)的一个邻域上的算子。
- T应用于图像(或一组图像)的像素:将邻域的中心从一个像素移到另一个像素;将算子T应用到邻域中心的像素,产生一个输出。
最小的邻域大小为1×1。此时,g只依赖于点(x, y)处的f值。这种情况下,T称为灰度变换函数。
s = T®
- s和r分别表示g和f在任意点(x, y)处的灰度值。
基本的灰度变换函数
灰度变换函数:
- 线性函数,反转变换、恒等变换
- 对数函数,对数变换、反对数变换
- 幂函数,n次幂变换、n次根变换
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/20.png)
灰度范围为[0,L-1],s为输出灰度,r为输入灰度。
反转变换,满足:s=L-1-r
- 反转变换可将图像的灰度值反转
- 灰度级在区间[0,L-1]的图像的反转图像如下,
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/21.png)
对数变换,满足:s=clog(1+r)
- 对数变换可将范围较窄的低灰度值映射为范围较宽的灰度级,同时将范围较宽的高灰度值映射为范围较窄的灰度级。
- 可利用灰度变换扩展图像中较暗像素的值,同时压缩较亮像素的值。
- 反对数变换与对数变换功能相反。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/22.png)
幂变换(伽马变换):满足:s=c r^γ
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/23.png)
伽马校正
很多图像采集、打印和显示设备的响应是幂函数,对响应的幂函数进行处理通常称为伽马校正。人眼对于较暗(接近0)的亮度值比较敏感,对于较亮(接近1)的亮度值则不太敏感,伽马变换可以提高暗像素的存储精度,但会损失亮像素的存储精度。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/24.png)
直方图
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/25.png)
直方图的形状与图像的外观有关。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/26.png)
直方图均衡化
直方图均衡化有助于我们看到之前看不到的信息。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/27.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/28.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/29.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/30.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/31.png)
总结
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/32.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/33.png)
线性空间滤波原理
空间滤波器把图像中每个像素的值替换为该像素及其邻域的函数值。
- 线性空间滤波器,执行的运算是线性的。
- 非线性空间滤波器
线性空间滤波器在图像f的像素和滤波器核w之间执行乘累加运算。
- 滤波器核可看作一个矩阵,其大小定义了运算的邻域,其系数决
定了滤波器的性质。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/34.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/35.png)
空间相关和空间卷积
- 空间相关:在图像f上移动滤波器核w的中心,在图像的每个位置上进行计算。
- 空间卷积与空间相关计算形式相同,只是把相关运算的核旋转了180°。
- 如果核的值关于其中心是对称的,相关和卷积得到的结果相同。
可分离核滤波器
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/36.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/37.png)
空间域滤波和频率域滤波
本节可参考:https://www.cnblogs.com/Fish0403/p/16492079.html#_label0_4
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/38.png)
平滑(低通)空间滤波器
平滑空间滤波器用于降低灰度的急剧过渡。
- 随机噪声通常表现为灰度的急剧过渡,平滑滤波可用于降噪。
- 在图像重取样前平滑滤波可减少混淆。
- 平滑滤波可减少图像的无关细节。
- 平滑滤波可减少图像中的伪轮廓。
盒式滤波器核
最简单的可分离低通滤波器核是盒式核,其系数的值相同(通常为1)。
- 一个大小为mxn的盒式滤波器是元素值为1的一个mxn矩阵,其前面有一个归一化常数。
- 归一化常数的值等于1除以系数值之和。
- 通过归一化操作,一个恒定灰度区域的灰度平均值等于滤波后的图像的灰度值。
- 归一化操作还用于防止滤波导致的偏差,使得原始图像和滤波后图像的像素之和是相同的。
低通高斯滤波器核
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/39.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/40.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/41.png)
1、滤波时对图像边界外像素采用不同的填充方式会影响滤波后的效果。
-
0填充,边界外像素填充为0。会在滤波结果中引入黑色的边框。
-
镜像(对称)填充,以边界为对称轴镜像式的填充像素的值。适用于边界附近区
域包含细节的情况。 -
复制填充,复制边界像素的值。适用于边界附件区域灰度为常数的情况。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/42.png)
2、给定大小的滤波器核产生的相对模糊量取决于图像的大小
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/43.png)
3、利用低通滤波消除图像中的“无关”细节
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/44.png)
4、利用低通滤波估计图像阴影
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/45.png)
统计排序滤波器
统计排序滤波器是非线性滤波器,它的响应基于滤波器所包含区域的像素的排序。由排序结果确定一个值,并将其替代中心像素的值,可实现所期望的操作。
- 中值滤波器,使用邻域内像素灰度值的中值,对于消除椒盐噪声尤其有效。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/46.png)
对邻域中的像素进行排序时,中值表示50%位置的值。如果使用100%位置的值(即最大值),则得到最大值滤波器。使用0%位置的值(即最小值)得到的是最小值滤波器。
- 最大值滤波器可用于寻找最亮的点。
- 最小值滤波器作用与最大值滤波器相反。
锐化(高通)空间滤波器
-
锐化空间滤波器用于突出灰度的过渡。
-
在空间域中,图像模糊可通过邻域像素的平均(平滑)来实现,这一操作可理解为积分运算。因此,锐化操作可通过微分运算实现。
数字函数的导数
本节可参考:https://www.cnblogs.com/Fish0403/p/16652226.html
数字函数的导数用差分定义,其中一阶导数应满足以下条件
-
恒定灰度区域的一阶导数应为0。
-
灰度台阶或斜坡开始处的一阶导数不应为0。-
-
灰度斜坡上的一阶导数不应为0。
类似的,二阶导数应满足以下条件:
- 恒定灰度区域的二阶导数应为0。
- 灰度台阶或斜坡开始处和结束处的二阶导数不应为0。
- 灰度斜坡上的二阶导数应为0。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/47.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/48.png)
-
一阶导数通常产生粗边缘;(一阶导数在整个斜坡上不为零,而二阶导数在斜坡开始和结尾处不为零)
-
二阶导数对精细细节(如细线、孤立点和噪声)有更强的响应;(二阶导数在增强急剧变化方面更为激进,增强细节(包括噪声)方面,二阶要好)
-
二阶导数在灰度斜坡和台阶过渡处会产生双边缘响应;(二阶导数进入边缘和离开边缘符号相反,“双边缘”效应可用来定位边缘)
-
二阶导数的符号可用于确定边缘的过渡是从亮到暗还是暗到亮。(亮到暗:负;暗到亮:正)
数字图像中的边缘在灰度上通常类似与斜坡过渡。此时图像的一阶导数会产生较宽的边缘;二阶导数会产生宽度为1个像素并由О值分隔的双边缘。
- 二阶导数可增强更精细的细节,在图像锐化操作中,使用二阶导
数更为合适。
使用拉普拉斯算子锐化图像
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/49.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/50.png)
- 平滑滤波器核归一化后的系数和为1,对于会导致恒定的区域滤波后的值也是恒定的。
- 拉普拉斯算子的系数和为0,对于灰度值恒定的区域滤波的后的值为0。
- 原始图像和滤波后图像中的像素之和是相同的。
- 如果滤波器核的系数和为0,滤波后图像存在值为负值的像素。在显示的时候需要额外处理。
锐化掩蔽和高提升滤波
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/51.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/52.png)
使用梯度算子锐化图像
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/53.png)
罗伯特交叉梯度算子
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/54.png)
Sobel算子
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/55.png)
低通、高通、带阻和带通滤波器
空间域滤波器可分为低通、高通、带阻和带通四大类。高通、带阻和带通滤波器都可以通过低通滤波器来构造。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/56.png)
- 在频率域,高通滤波器可看作由1减去一个低通函数得到。在空间域对应为从一个单位冲激减去一个低通滤波器。
- 带阻滤波器可由不同截止频率的一个低通滤波器和一个高通滤波器构造。
- 带通滤波器可由单位冲激减去带阻滤波器构造。
频率域滤波
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/58.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/57.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/59.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/60.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/61.png)
图像复原与重建
图像复原技术的主要目的是以某种预定义的方式来改进图像。
- 图像增强主要是一种主观处理。
- 图像复原很大程度上是一种客观处理。
图像复原利用退化现象的先验知识来复原已退化的图像。
- 对退化建模并应用逆过程来复原图像。
图像退化/复原处理模型
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/62.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/63.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/64.png)
噪声模型
图像中的噪声源主要出现在图像获取和/或传输过程中。
-
在图像获取过程中,成像传感器受各种环境因素和传感元件本身的影响。
-
在图像传输过程中受传输信道干扰的影响。
对于数字图像,我们关心的是噪声空间特性的参数,以及噪声是否与图像相关。
噪声的频率性质是指在频率域中噪声的频率含量。
除空间周期噪声外,我们假设噪声与空间坐标无关,并且假设噪声与图像本身不相关(即像素值与噪声分量的值之间没有相关性)。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/65.png)
图像中的周期噪声往往是在获取图像期间由电气或机电干扰造成的。
- 可通过频率域滤波来消除周期噪声。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/66.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/71.png)
估计噪声参数
可通过图像的傅里叶频谱来估计周期噪声的参数。
- 通过视觉分析傅里叶频谱的频率尖峰。
- 直接根据图像推出噪声分量的周期性。
通常可通过传感器的技术参数得到部分噪声的概率密度函数的参数。
- 利用传感器获得“平坦的”图像(例如均匀光照下的灰度板)。
- 利用图像中的恒定灰度区域。
空间滤波
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/67.png)
频率域滤波
使用频率域滤波可以有效地分析并消除周期噪声。
- 在傅里叶变换中,周期噪声在对应于周期干扰的频率处显示为集
中突发的能量。 - 可以使用选择性滤波器(带阻滤波器、带通滤波器和陷波滤波器)
来分离噪声。
逆滤波
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/68.png)
逆滤波的除法运算是对应像素相除
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/69.png)
图像重建
由投影重建图像
假设背景和前景都是均匀的,并且前景和背景有不同的吸收特性。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/70.png)
增加投影的方向
- 在实际应用中改变投影方向时只需要考虑180°范围的角度变化。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/72.png)
X射线计算机断层成像(CT)
X射线计算机断层成像(CT)使用X射线从多个不同的方向对物体进行扫描,从而获取物体内部结构的三维表示。
- 用X射线照射物体,得到二维图像,然后通过反投影得到三维图像。从不同角度重复这一过程就能获得物体内部结构的三维图像。
- 计算机断层成像对物体进行切片,通过照射得到切片的二维图像,再把多个切片组合起来得到物体内部结构的三维图像。
- 计算机断层成像更为经济实用。
使用平行射线束滤波反投影重建
总结上面的分析,滤波器反投影方法如下:
1、计算每一投影的一维傅里叶变换。
2、将每个傅里叶变换乘以滤波器传递函数|ω|(注意这个传递函数是经过加窗的)。
3、计算每个滤波后的变换的一维傅里叶逆变换。
4、对步骤3得到的所有一维逆变换进行积分(求和)。*在实际中,除考虑加窗外还需要考虑取样率,包括射线的数量和角度的增量。
彩色图像处理
假彩色图像处理
分层后将灰度级在分层平面之上的像素编码为一种颜色,将灰度级在该平面之下的像素编码为另一种颜色。平面上的灰度级可赋予两种颜色中的任一种,也可赋予第三种颜色。从而得到一幅只有两种(或三种)颜色的图像。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/73.png)
灰度级分层
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/74.png)
图像压缩和水印
三种主要的数据冗余
- 编码冗余
图像传输过程中使用信源编码和信道编码。
- 空间和时间冗余
在大多数图像中,像素是空间相关的和时间相关的。像素的灰度值可通过(空间或时间)相邻像素的灰度值进行预测。
- 无关信息
压缩数据最简单的方法之一是从数据中删除无关的数据。-在数字图像压缩中,人类视觉系统所忽略的信息,或与图像预期应用无关的信息都可以删除。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/75.png)
度量图像信息
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/76.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/77.png)
图像压缩模型
图像压缩系统通常由编码器和解码器组成。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/78.png)
两种编码
无损编码( lossless coding)
- 不会造成图像信息的损失
- 去除相关性
有损编码(lossy coding)
-
会造成图像信息的损失
-
去除相关性
-
去除无法观察的信息
Huffman编码
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/79.png)
Golomb编码(哥伦布编码)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/80.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/81.png)
Golomb-Rice 编码(哥伦布-莱斯码)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/82.png)
Exp-Golomb 编码(指数哥伦布码)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/83.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/84.png)
实际图像编码算法中使用0阶指数哥伦布码
形态学图像处理
预备知识
形态学运算是用集合来定义的,在图像处理中使用两类像素集合的形态学。
- 目标元素,通常定义为前景像素集合。
- 结构元(structuring element) ,可以用前景像素或背景像素来定义。有时也包含所谓“不关心”的像素。
数字图像通常是矩形阵列,而集合通常是任意形状的。
- 形态学在数字图像处理中的应用要求将集合嵌入到矩形阵列中。
- 为所有不是目标集合成员的像素分配一个背景值。
- 结构元也用类似的方法处理
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/85.png)
反射
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/86.png)
平移
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/87.png)
腐蚀和膨胀
腐蚀
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/88.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/89.png)
膨胀
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/90.png)
B对A的膨胀是所有位移z的集合,条件是B相对于其原点反射后的前景元素与A的至少一个元素重叠。膨胀腐蚀类似于空间卷积,会逐步滑过集合A。但是膨胀腐蚀是以集合运算为基础的,是非线性运算;而卷积是乘积求和,是线性运算。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/91.png)
腐蚀和膨胀的对偶性
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/92.png)
总结
腐蚀是一种收缩或细化运算,而膨胀会“增长”或“粗化”二值图像中的目标。粗化的方式和宽度受所用结构元的大小和形状控制。
开运算与闭运算
在形态学运算中,开运算平滑物体的轮廓,断开狭窄的连接,消除细长的突出;闭运算平滑物体的轮廓,弥合狭窄的断裂和细长的沟壑,消除小孔,填补轮廓中的缝隙。
开运算
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/93.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/95.png)
闭运算
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/94.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/96.png)
开运算与闭运算的对偶性
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/97.png)
图像分割
边缘模型
边缘模型分类可根据其灰度剖面进行分类。
- 台阶模型,在1像素距离上的两个灰度级之间出现一个过渡。
- 斜坡模型,实际中受光学系统和电子器件噪声影响,数字图像中的边缘往往是模糊的并且带有噪声,可建模为一个灰度斜坡,斜坡的斜度与边缘的模糊程度成反比。
- 屋顶模型,用于对通过一个区域的线进行建模,边缘的宽度由线的宽度和尖锐度决定。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/98.png)
根据导数的性质,对于从暗到亮过渡的灰度斜坡
- 在斜坡开始处和斜坡上,一阶导数为正,在恒定亮度区域,一阶导数为0。
- 在斜坡开始处,二阶导数为正,在斜坡结束处,二阶导数为负,在斜坡上,二阶导数为0,在恒定亮度区域,二阶导数为0。
- 从亮过渡到暗的灰度斜坡,符号与上面相反。
- 零灰度轴和二阶导数极值间的连线的交点,称为二阶导数的零交叉点(或过零点)。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/99.png)
- 一阶导数的幅度可用于检测图像中的某个点是否存在一个边缘。
- 二阶导数的符号可用于判断一个边缘像素是位于边缘的暗侧还是亮侧。
- 对图像的每个边缘,二阶导数生成两个值。
- 二阶导数的过零点可用于确定粗边缘的中心位置。
图像梯度及其性质
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/100.png)
梯度算子
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/101.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/102.png)
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/103.png)
特征提取
完成图像分割后,需要把分割后的像素集转换为适合计算机进一步处理的形式。
一般来说,分割后的步骤是特征提取,特征提取包括两个方面:
- 特征检测,在图像、区域或边界中发现特征。
- 特征描述,把定量属性分配给检测到的特征。
背景知识
特征的定义
特征( feature)是待标记(label)或区分( differentiate)的明显属性或描述。
- 特征能帮助我们为图像中的目标分配唯一标记的属性。特征能有效地区分图像或图像集合。
特征用于区分不同的目标或不同的图像
- 特征应独立于位置、旋转和缩放,独立于照明水平和传感器与场景之间的视角变化。
- 在提取特征之前,应尽可能对输入图像进行归一化处理。
不变的特征和协变的特征
对特征而言,独立( independent)一词通常有两种含义:
- 不变的,如果对正在被描述的实体应用一组变换中的任意一个变换后,一个特征描述子的值保持不变,则我们说这个特征描述子相对于这组变换是不变的。
- 协变的,如果对正在被描述的实体应用一组变换中的任意一个变换后,在特征描述子中产生了相同的结果,则我们说这个特征描述子相对于这组变换是协变的。
例,不变的
- 描述子,区域的“面积”
- 变换,仿射变换(平移、反射、旋转)
例,协变的
- 描述子,区域的“面积”
- 变换,仿射变换(缩放)
局部特征和全局特征
特征可分为局部(local)特征和全局( global)特征。-一个特征可能既属于局部特征又属于全局特征。
例,局部的
- 区域的面积
- 假设一幅图像有10个区域,对于各个区域而言,面积是局部特征。
例,全局的
- 区域的面积
- 如果要知道面积的总量,则面积是一个全局特征。
尺度不变特征变换(SIFT)
SIFT (scale-invariant feature transform)将图像数据变换为相对于局部图像特征的尺度不变坐标,用于提取图像中的不变特征。
-
当不同图像的性质相似(尺度相同、方向相似等)时,角检测和MSER适合作为整体图像特征。
-
当出现尺度变化、旋转、光照变化、视点变化等情况时,适合使用SIFT。
-
SIFT特征(称为关键点,keypoint)对图像尺度和旋转是不变的,并且对仿射失值、三维视点变化、噪声和光照变化都具有很强的鲁棒性。
-
SIFT的输入是一幅图像,输出是一个n维特征向量,向量的元素是不变的特征描述子。
SIFT算法
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/104.png)
知识点串讲
简述什么是统计排序滤波
统计排序滤波器是非线性滤波器,它的响应基于滤波器所包含区域的像素的排序。由排序结果确定一个值,并将其替代中心像素的值,可实现所期望的操作。
- 中值滤波器,使用邻域内像素灰度值的中值,对于消除椒盐噪声尤其有效。
灰度变换的对数变换的作用
对数变换,满足:s=clog(1+r)
- 对数变换可将范围较窄的低灰度值映射为范围较宽的灰度级,同时将范围较宽的高灰度值映射为范围较窄的灰度级。
- 可利用灰度变换扩展图像中较暗像素的值,同时压缩较亮像素的值。
- 反对数变换与对数变换功能相反。
简述数字图像的成像模型
用二维函数f(x,y)表示图像,在空间坐标(x, y)处f的值是一个标量,其物理意义由图像源决定,其值与物理源辐射的能量成正比,因此
$$
0 \leq f(x,y) < \infty
$$
f(x,y)可由两个分量表征
- 入射分量,入射到被观察场景的光源照射量
- 反射分量,被场景中物体反射的照射量
则f(x, y)可由入射分量和反射分量的乘积表示:
$$
f (x, y)= i(x, y)r(x, y)
$$
其中
$$
0 \leq i(x,y) < \infty,0 \leq r(x,y) \leq 1
$$
-
入射分量的性质取决于光源
-
反射分量限制在0(全吸收)和1(全反射)之间,其性质取决于被成像物体的特性
-
一般来说,自然图片的光照一般是均匀渐变的,所以i应该是低频分量,而不同物体对光的反射是具有突变的,所以r是高频分量。
锐化掩蔽的步骤
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/51.png)
MxN大小的图像,频率域滤波的步骤
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/58.png)
平面线束反投影的步骤
总结上面的分析,滤波器反投影方法如下:
1、计算每一投影的一维傅里叶变换。
2、将每个傅里叶变换乘以滤波器传递函数|ω|(注意这个传递函数是经过加窗的)。
3、计算每个滤波后的变换的一维傅里叶逆变换。
4、对步骤3得到的所有一维逆变换进行积分(求和)。*在实际中,除考虑加窗外还需要考虑取样率,包括射线的数量和角度的增量。
假彩色图像灰度分层的步骤
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/74.png)
开运算闭运算的定义
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/105.png)
尺度不变特征变换步骤
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/104.png)
数字图像主要来源
- 利用电磁波谱成像
- 声波、超声波成像
- 电子束成像
- 计算机合成图像
三种边缘模型
-
台阶模型,在1像素距离上的两个灰度级之间出现一个过渡。
-
斜坡模型,实际中受光学系统和电子器件噪声影响,数字图像中的边缘往往是模糊的并且带有噪声,可建模为一个灰度斜坡,斜坡的斜度与边缘的模糊程度成反比。
-
屋顶模型,用于对通过一个区域的线进行建模,边缘的宽度由线的宽度和尖锐度决定。
线性滤波运算
空间滤波器把图像中每个像素的值替换为该像素及其邻域的函数值。
- 线性空间滤波器,执行的运算是线性的。
- 非线性空间滤波器
线性空间滤波器在图像f的像素和滤波器核w之间执行乘累加运算。
- 滤波器核可看作一个矩阵,其大小定义了运算的邻域,其系数决
定了滤波器的性质。
![](/2022/12/28/%E3%80%90DIP%E3%80%91%E6%9C%9F%E6%9C%AB%E5%A4%8D%E4%B9%A0/106.png)