C++ OpenCV照片转扫描文件
人气:0一、背景
前段时间都是基于Python的OpecCV进行一些学习和实践，但小的知识点并没有应用到实际的项目中；并且基于Python的版本的移植性、效率性都较差，在包含硬件的项目中往往都是采用基于C++的版本；
因此本次项目实战专题主要是基于C++的版本，并且从大的任务中剖析小的知识点，实际项目中算法的选型也是比较难的部分，根据需求和任务选用不同的算法，这才是真的掌握了知识点；
本次项目是照片转扫描文件，可以参考下面网址中的案例：
这已经是一个落地且成熟的项目了，下面将结合多个知识点进行实现；
二、基础知识
首先需要明确实现该任务的几个步骤：
1、视角转换：不规则四边形转变为矩形（使用透视变换算法）；
2、背景降噪：去掉图中的一些噪声点（使用中值滤波算法）；
3、颜色变换：二值化图像，使得呈现黑白扫描图（使用自适应高斯阈值算法）；
投影变换算法介绍：
图1代表仿射变换，只需要6个自由度，并且约束条件是原来平行的线依旧平行，只需三对点对就可以求得未知参数值；
图4代表投影变换，需要四对点对，有8个自由度，可以将任意四边形变换为指定的四边形形状；
降噪算法介绍：
中值滤波算法示意图：
找到滑窗中中值的数，替换中间区域的数值；
原理上是将一些较亮、较暗的点进行降噪，也就是降噪的作用；
像高斯滤波和均值滤波，考虑到一个全局信息，是起到一个平滑的作用；
三、方案一：自动检测点
1、读取图片文件（进行了指定尺寸缩放）
// 读取图片
Mat readFile(String imagePath, int minEdge = 1080) {
Mat image = imread(imagePath);
int width = image.size().width;
int height = image.size().height;
int minline = min(width, height);
float ratio = minEdge * 1.0 / minline; // 得到缩放比例
int processWith = width * ratio;
int peocessHeight = height * ratio;
Mat resultImg; // 保存处理后图像
resize(image, resultImg, Size(processWith, peocessHeight));
return resultImg;
}
这里再定义一个显示图像的方法：
// 显示图片
void visualize(String winName, Mat image) {
namedWindow(winName, WINDOW_NORMAL);
imshow(winName, image);
waitKey(0);
}
2、创建直线类并计算两条直线的交点
先定义一个直线类，包含两个端点；
假设已知两条直线上的两点，怎么求得交点呢？
可以参考这个网址中的数学公式：https://en.wikipedia.org/wiki/Line%E2%80%93line_intersection
// 返回两条直线的交点
Point2f linesIntersect(Line lin1, Line lin2) {
// 这里直接根据网上的数学公式求得
int x1 = lin1.p1.x, y1 = lin1.p1.y;
int x2 = lin1.p2.x, y2 = lin1.p2.y;
int x3 = lin2.p1.x, y3 = lin2.p1.y;
int x4 = lin2.p2.x, y4 = lin2.p2.y;
float D = (x1 - x2) * (y3 - y4) - (y1 - y2) * (x3 - x4);
if (fabs(D) > 1e-6) {
return Point2f(
((x1 * y2 - y1 * x2) * (x3 - x4) - (x1 - x2) * (x3 * y4 - y3 * x4)) / D,
((x1 * y2 - y1 * x2) * (y3 - y4) - (y1 - y2) * (x3 * y4 - y3 * x4)) / D);
}
return Point2f(-1, -1);
}
3、图像边缘检测Canny
Mat canny, gray; cvtColor(image, gray, COLOR_BGR2GRAY); double threshold_low = threshold(gray, canny, 0, 255, THRESH_BINARY | cv::THRESH_OTSU); Canny(gray, canny, threshold_low, threshold_low * 2); return canny;
注意：进行Canny边缘检测的效果和图像的大小有关，可以适当对大图进行缩放；
4、通过霍夫变换进行直线检测
检测到的直线分为两类，一类是水平线，一类是竖直线；
为了得到外边缘框的直线，可以先根据直线的外接矩形长宽比分为水平和竖直线，再根据中点的位置，找到边缘直线；
如上图所示，如果x>y，则将该直线分为水平线，如果y>x，则将该直线划分为水平线；
随后再根据中心点的坐标大小确定边缘线；
// 进行霍夫直线检测，保存所有检测到的直线，并且确保直线大于4条
vector<Vec4i> lines;
// 这里的参数需要根据图像大小等因素进行微调
HoughLinesP(canny, lines, 1, CV_PI / 180, 80, height/5, 200);
if (lines.size() < 4) {
cout << "Find only" << lines.size() << "lines, return directly" << endl;
}
// 将直线分为水平线和垂直线
vector<Line> horizontals, verticals;
Mat tmp = image.clone();
for (auto v : lines) {
double w = fabs(v[0] - v[2]), h = fabs(v[1] - v[3]);
Line tmp_line(Point(v[0], v[1]), Point(v[2], v[3]));
if (w > h) horizontals.push_back(tmp_line);
else verticals.push_back(tmp_line);
// 下面两行代码是实现绘制直线
//line(tmp, Point(v.val[0], v.val[1]), Point(v.val[2], v.val[3]), Scalar(255, 0, 0), 8);
//visualize("hough test", tmp);
}
// 确保水平线和垂直线至少有两条
if (horizontals.size() < 2 || verticals.size() < 2) {
cout << "Not enough edge lines... " << endl;
}
// 将水平和垂直线按中心点位置进行排序，这里的两个排序函数需要自己实现
sort(horizontals.begin(), horizontals.end(), cmpHeight);
sort(verticals.begin(), verticals.end(), cmpWidth);
// 绘制出找到的直线
line(tmp, horizontals[0].p1, horizontals[0].p2, Scalar(255, 0, 0), 8);
line(tmp, horizontals[horizontals.size()-1].p1, horizontals[horizontals.size() - 1].p2, Scalar(255, 0, 0), 8);
line(tmp, verticals[0].p1, verticals[0].p2, Scalar(255, 0, 0), 8);
line(tmp, verticals[verticals.size()-1].p1, verticals[verticals.size() - 1].p2, Scalar(255, 0, 0), 8);
visualize("hough test", tmp);
排序函数的实现：
// 对水平线进行排序
bool cmpHeight(const Line& l1, const Line& l2) {
return l1.center.y < l2.center.y;
}
// 对垂直线进行排序
bool cmpWidth(const Line& l1, const Line& l2) {
return l1.center.x < l2.center.x;
}
5、求单应性矩阵
现在已知图像上目标的四个点坐标，通过点对关系，求得二者之间的单应性变换矩阵；
int dst_width = 1080, dst_height = 1920;
vector<Point2f> dst_pts;
dst_pts.push_back(Point(0, 0));
dst_pts.push_back(Point(dst_width - 1, 0));
dst_pts.push_back(Point(0, dst_height - 1));
dst_pts.push_back(Point(dst_width - 1, dst_height - 1));
Mat warpedImg = Mat::zeros(dst_height, dst_width, CV_8UC3);
Mat homo = getPerspectiveTransform(ori_pts, dst_pts);
warpPerspective(image, warpedImg, homo, warpedImg.size());
visualize("result", warpedImg);
结果图：
6、降噪和二值化
降噪采用中值滤波，阈值过滤采用自适应的二值化；
void postProcess(Mat& image) {
medianBlur(image, image, 7);
cvtColor(image, image, COLOR_BGR2GRAY);
threshold(image, image, 0, 255, THRESH_BINARY | cv::THRESH_OTSU);
}
四、方案二：用户点选目标区域
方案一是完全基于自动化的方式，用户只需要传入图像，程序会自动选择合适的区域；
优点在于其节省了用户的人工成本，使得程序更为简便；
缺点在于算法具有局限性，对背景及区域选取有要求，比如不能在区域外出现干扰物体，也无法满足用户的一些特别需求，比如选定大区域中的小区域；
方案二的优势在于其强大的灵活性，用户可以根据自己的需求选择相应的区域，程序将对所选区域进行转换；
1、命令行解析
加入命令行参数的功能，用户可以从命令行传入参数；
int main(int argc, char** argv)
{
const String keys =
"{help h usage ? | | print this message }"
"{path |D: / project / OpenCV / card.jpg| path to file }"
;
// 采用opencv命令行解析的方式
CommandLineParser myParser(argc, argv, keys);
String path = myParser.get<String>("path");
cout << path << endl;
}
2、鼠标事件
主要实现用户点击鼠标时的一些交互功能：
// 这几个参数为默认参数
void onMouse(int event, int x, int y, int flags, void* userdata) {
// 当点数为四个时，判断当前用户鼠标选取的拖动点是哪一个
if (srcPts.size() == 4) {
for (int i = 0; i < 4; i++) {
Point2f v = srcPts[i];
if ((event == EVENT_LBUTTONDOWN) & (abs(v.x - x) < 20) & (abs(v.y - y) < 20)) {
isDragging = true;
drag_index = i;
}
}
}
// 用户点击鼠标左键时，加入点
else if (event == EVENT_LBUTTONDOWN) {
srcPts.push_back(Point2f(x, y));
}
// 取消拖动
if (event == EVENT_LBUTTONUP) {
isDragging = false;
}
// 如果鼠标移动并且一直按着，就改变原来的点
if ((event == EVENT_MOUSEMOVE) && isDragging) {
srcPts[drag_index].x = x;
srcPts[drag_index].y = y;
}
}
3、主函数实现
定义了鼠标函数之后，需要将其中的操作在窗口进行展示：
namedWindow(winNameOri, WINDOW_NORMAL);
namedWindow(winNameRes, WINDOW_NORMAL);
setMouseCallback(winNameOri, onMouse, nullptr);
bool done = false;
while (!done) {
if (srcPts.size() < 4) {
img = oriImg.clone();
for (int i = 0; i < srcPts.size(); i++) {
circle(img, srcPts[i], 10, Scalar(255, 255, 0), 5);
putText(img, labels[i].c_str(), srcPts[i], FONT_HERSHEY_SIMPLEX, 1, Scalar(255, 255, 255), 2);
}
imshow(winNameOri, img);
}
if (srcPts.size() == 4) {
img = oriImg.clone();
for (int i = 0; i < 4; i++) {
circle(img, srcPts[i], 10, Scalar(255, 255, 0), 5);
line(img, srcPts[i], srcPts[(i + 1) % 4], Scalar(0, 255, 0), 5);
putText(img, labels[i].c_str(), srcPts[i], FONT_HERSHEY_SIMPLEX, 1, Scalar(255, 255, 255), 2);
}
imshow(winNameOri, img);
}
4、结果展示
后面的求取单应性矩阵以及降噪和二值化同方案一一致，在这里就不进行展示了；
结果图：
五、总结
本次项目是基于C++实现的，后续我也用Python进行了代码的转换，但在直线检测部分用相同函数却得到不同的效果，这个问题还没有进行解决；
采用C++进行编写代码，能够对整个项目的每个变量以及流程更加熟悉，本次项目可以说是一个多个知识点的集合项目，不仅仅包含边缘检测、直线检测、图像变换等，其中也有很多值得思考的小点；
加载全部内容