计算机视觉应用 · 互动课堂

计算机视觉的第一步是采集：通过摄像头、红外传感器、激光扫描仪等把外界光信号转为电信号。

模拟图像空间坐标 $(x,y)$ 与亮度 $f(x,y)$ 均为连续量，例如老式胶片。
数字图像需把模拟图像离散化：对坐标的离散化叫采样，对亮度的离散化叫量化。

这些离散点称为像素（pixel）。一张数字图像 = 一个矩阵 $\bm{I}\in\mathbb{R}^{H\times W\times C}$，其中 $H$ 为高，$W$ 为宽，$C$ 为通道数。

· 什么是“量化级数”？

量化级数 = 一个像素能表示多少个不同的亮度值。它由位深（bit depth）决定：$n$ bit 对应 $2^n$ 个级数。

为什么常用 8 bit？因为人眼在中等亮度下大约能分辨 100—200 级灰阶，256 级已远超感知阈值。
但红外热像仪需要 16 bit——温度范围跨度大（−20 ℃ 到 +400 ℃），8 bit 的 256 级不够分辨 0.1 ℃ 这样的细微温差。

当图像直方图集中在某个狭窄区间（如隧道照片大量像素灰度在 50—90），细节就难辨认。 均衡化将像素灰度重新分布，让累积分布函数尽可能接近线性。

其中 $p_r$ 是原图灰度概率密度，$T$ 把任意分布“拉直”。

💡 这个公式在做什么？三步直觉

1. 统计：$p_r(w)$ 就是“灰度值 $w$ 在图中出现的频率”。$p_r(80)$ 高，说明很多像素灰度都在 80 附近。
2. 累加：$\int_0^r p_r(w)\,dw$ 是 累积分布函数（CDF），表示“灰度 $\le r$ 的像素占比”。 例如 CDF(80) = 0.6 意味着 60% 的像素灰度不超过 80。
3. 缩放：乘以 $L-1=255$，把 $[0,1]$ 的占比变成 $[0,255]$ 的新灰度。

核心思想可以一句话概括：把“出现得多”的灰度区间在数轴上拉开，把“出现得少”的灰度区间压缩。 数学上等价于“令输出图像的 CDF 接近一条直线”——这就是“理想直方图是均匀分布”的几何含义。

· 均值滤波（线性）— 直觉

核心动作：用 $3\times 3$ 窗口内 9 个像素的平均值，替代中心像素。

为什么有效？高斯噪声是零均值的随机扰动——9 个相邻像素的噪声有正有负，相加趋近于 0。所以取平均后，噪声被“抹平”。

为什么对椒盐失效？椒盐噪声是 0 或 255 的极端值，不是零均值。一个 255 的盐点拉高了平均值，整个窗口都会被它“污染”。

· 中值滤波（非线性）— 直觉

核心动作：用 $3\times 3$ 窗口内 9 个像素的中位数，替代中心像素。即把 9 个值排序，取正中间那个。

为什么对椒盐有效？中位数完全不受极端值影响——一个 255 的盐点在排序后落在最右端，被中位数自然丢弃。
为什么能保边缘？均值滤波的“平均”会把边缘两侧的亮像素和暗像素混合，让边缘变模糊；中位数总是取已有的某个像素值，不创造新值，所以边缘锐利。

边缘是图像中灰度突变的位置。在数学上，边缘对应梯度幅值大的点：

由于图像是离散的，我们用差分近似导数。“差分近似导数”是什么意思？看下方图示：

最常用的近似算子是 Sobel：

$G_x$ 检测竖直方向的边缘（因为它在水平方向上做差分），$G_y$ 反之。

· 直方图是怎么“统计”出来的？

本质就是计数。三步操作：

1. 准备 256 个“格子”（bin），分别对应灰度 0、1、2、… 、255。每个格子的计数器初始为 0。
2. 遍历图像每一个像素，读取它的灰度值 $g$。
3. 对应灰度的格子计数 $+1$，即 hist[g] += 1。

遍历完所有像素，hist 就是一个 256 元素的数组，hist[k] = “灰度等于 k 的像素总数”。把它画成柱状图，就是直方图。

彩色图就独立做三遍：分别统计 R、G、B 通道，得到三条曲线。

· 第一直觉：什么是“共生”？

“灰度共生”意思是：统计相邻两个像素的灰度组合，分别出现了多少次。

形象类比：把每对相邻像素看成一个“投票卡”，卡上写着 (左像素灰度, 右像素灰度)。GLCM 就是投票统计表。

• 如果图像很平滑（如混凝土素面），相邻像素值差不多，投票集中在 (50,50)、(55,55) 等“对角线附近”。
• 如果图像很粗糙（如砂岩颗粒），相邻像素值跳跃大，投票散布在 (30,200)、(150,40) 等“远离对角线”的位置。

· 形式化定义

$\Delta x, \Delta y$ 是“邻居方向”（如水平向右 $(\Delta x, \Delta y)=(1,0)$、对角 $(1,1)$）。$P(i,j)$ 就是上面的投票数。

· 四个统计量的直觉对照

课程下半段我们重点学深度学习方法，但传统特征不会过时—— 它们仍广泛用于小样本、高可解释性要求、嵌入式部署场景。

· k 近邻（k-NN）

思想极其朴素：“和你相似的人就是一伙的”。给一张待分类图像 $\bm{x}$，从训练集中找距离最近的 k 个邻居，投票决定 $\bm{x}$ 的类别。

常用距离：欧氏 $\sqrt{\sum(x_i-y_i)^2}$、曼哈顿 $\sum|x_i-y_i|$、余弦相似度。
优点：零训练成本；缺点：预测慢（要遍历整个训练集），高维下“距离”失真。

· 支持向量机（SVM）

寻找一个最大间隔超平面把两类样本分开：

对非线性问题可用核技巧：把样本映射到高维空间再分。
优点：小样本下表现稳定、理论完备；缺点：训练复杂度高，多分类需特殊处理（OvR、OvO）。

· 随机森林（RF）

多棵决策树投票（Bagging）。每棵树训练时随机抽样样本和特征，降低过拟合风险，对噪声鲁棒。
在工业 CV 软件里仍是常用的“开箱即用”分类器。

传统方法的瓶颈：特征是手工设计的，工程师必须问“对裂缝分类有用的特征是什么”。 CNN 的革命在于：把特征提取本身也变成一个可学习的过程。

卷积：把一个小卷积核（kernel）滑过整张图像，每个位置做点积。

关键洞察：

• 局部连接：每个输出像素只看输入的一个小局部 → 学习局部模式
• 参数共享：同一卷积核在整张图上重复使用 → 学习平移不变的特征
• 不同的卷积核 = 不同的特征检测器（边缘、纹理、角点……）

· 池化（Pooling）

把一个区域（如 $2\times 2$）的像素压成一个：最大池化取最大值，平均池化取平均。
作用：降维（减少计算量）、平移不变性（小幅位移不影响结果）、扩大感受野。

· 全连接层（FC）

把最后的特征图展平成一维向量，接 softmax 输出每类的概率。

观察：网络从 7 层涨到 152 层，错误率从两位数降到个位数——但不是简单地堆深度。 ResNet 的成功在于它解决了“深网络反而更难训练”的梯度消失问题。

目标检测的核心问题有四个：

1. 分类问题：每个候选区域属于哪个类别
2. 定位问题：目标可能在图像任何位置
3. 大小问题：目标的尺度差异很大（远处一条 5 px 的裂缝 vs 近处占据半张图）
4. 形状问题：目标可能有各种长宽比

因此，目标检测的损失函数自然由两部分组成：

其中 $\mathcal{L}_{\text{cls}}$ 是分类损失（交叉熵），$\mathcal{L}_{\text{loc}}$ 是回归损失（Smooth L1），$\lambda$ 是权重。
为什么有两项？因为“分对类”和“框得准”是两个独立的目标。

交并比（Intersection over Union）：预测框与真实框的交集面积 ÷ 并集面积。

约定：

• IoU $\ge$ 0.5 → 视为“检测正确”（PASCAL VOC 标准）
• IoU $\ge$ 0.7 → 高精度场景（如医学影像、桥梁裂缝）
• IoU = 1 → 完全重合

问题：检测算法常对同一目标输出多个高度重叠的框（例如同一条裂缝被框了 3 次，置信度分别 0.95、0.88、0.72）。 我们需要保留最好的、去掉冗余的。这就是 NMS。

算法（伪代码）：

工程选型口诀：要快用 YOLO，要超准用 R-CNN。

· 基于阈值的分割

最简单：选一个阈值 $T$，灰度 $< T$ 的像素归类 1，$\ge T$ 归类 2。

问题：阈值怎么选？经典自动方法是 Otsu（最大类间方差法）。

· 基于区域的分割

区域生长法：从一个“种子点”开始，把邻居中与种子相似的像素加进来，相似准则可以是灰度差、颜色差、梯度等。
分裂合并法：先粗划分，再根据相似性分裂或合并子区域（四叉树思想）。

· 基于边缘的分割

先用 Sobel/Canny 检测边缘，再把边缘连成闭合轮廓，轮廓内即为一个区域。

FCN（Fully Convolutional Network，2015）：第一个端到端的语义分割网络。

问题：经典 CNN 末尾是全连接层，输出固定维度（如 4 类的 softmax）。但分割要输出和输入图同样大小的标签图，怎么办？

FCN 的回答：把全连接层换成1×1 卷积，再用反卷积/上采样把特征图恢复到原图大小。

Mask R-CNN（2017）= Faster R-CNN + 分割分支。

对每个 RoI（感兴趣区域），并行预测：

1. 类别 $\hat{c}$（分类分支）
2. 边界框 $\hat{\bm b}$（回归分支）
3. 分割掩码 $\hat{\bm M}$（分割分支：一个 $m\times m$ 的二值图）

关键技巧 RoIAlign：把不同大小的 RoI 用双线性插值精确对齐到固定尺寸，避免了 RoIPool 的量化误差——这对分割边界精度至关重要。

其他经典实例分割算法

• FCIS — 在全卷积特征图中直接分割，避免重复计算
• YOLACT — 引入注意力机制，超快
• PANet — 多尺度特征聚合，精度高
• DeepMask / SharpMask — 锚点 + 分层聚合

关键工程经验：渗漏水有平滑纹理，剥落有粗糙纹理——这是经典的“加入领域知识”提升模型性能的例子。 实际系统常用 GLCM 纹理特征作为 CNN 的辅助输入。

实际工程趋势：人机结合——CV 做粗筛与量化，工程师做最终判定与新型病害发现。

• Cha, Y.-J. et al. (2017). Deep Learning-Based Crack Damage Detection Using Convolutional Neural Networks. Computer-Aided Civil and Infrastructure Engineering.
• Spencer, B.F. et al. (2019). Advances in Computer Vision-Based Civil Infrastructure Inspection and Monitoring. Engineering.
• Dorafshan, S. et al. (2018). Comparison of Deep Convolutional Neural Networks and Edge Detectors for Image-Based Crack Detection. Construction and Building Materials.
• Github：microsoft/SyntheticDataForCV（合成数据辅助小样本训练）
• 开源工具：OpenCV（传统 CV）、MMDetection（检测）、MMSegmentation（分割）

🎓 恭喜你完成了 3 课时的计算机视觉学习！

本课带你走过：

• 从光信号到数字图像的采样与量化过程
• 图像预处理三剑客：增强、去噪、边缘检测
• 四类传统图像特征及它们在土木图像中的应用
• 从 kNN/SVM/RF 到 LeNet→ResNet 的分类方法演化
• 目标检测的IoU、NMS，YOLO 与 R-CNN 的取舍
• 三种分割任务及其在隧道病害中的实际意义
• 一个完整的盾构隧道衬砌病害自动识别系统架构

下一步建议：

• 动手实践：用 OpenCV + Python 实现一个混凝土裂缝二值化程序（不到 50 行代码）
• 读经典论文：ResNet（He, 2015）、YOLOv1（Redmon, 2016）、Mask R-CNN（He, 2017）
• 用开源框架：MMSegmentation 在公开裂缝数据集（如 CrackForest）上跑通分割 baseline