最近在复习OPENCV的知识，学习caffe的深度神经网络，正好想起以前做过的车牌识别项目，可以拿出来研究下
以前的环境是VS2013和OpenCV2.4.9，感觉OpenCV2.4.9是个经典版本啊！不过要使用caffe模型的话，还是要最新的OpenCV3.3更合适！
一、车牌图片库
里面有数字 “0-9”，字母“A-Z”的训练图片各50张。
测试车牌图片当时是从他人得到已经定位到车牌的图片，类似如下：
目标当然就是对这些车牌图片进行预处理，单字符分割，单字符识别！
二、预处理
图像的预处理做来做去就是滤波去噪，光照补偿，灰度/二值化，形态学基本操作等等。这些图片都是自然场景得到所以基本的去噪操作可以做一下，然后为了单字符分割，灰度化和形态学可以结合效果调整。
光照补偿其实一直是个问题，大多数有直方图均衡化，亮度参考白，利用公式统计补偿图片。这方面也可以结合图像增强方法来做！笔者当时觉得前两者对大多数场景已经适用。
二值化可以使用 cv::threshold函数，如：
第一行imread()，由于flag设为1所以读的是彩图，采用cvtColor函数转化为灰度图。如果你读入就是灰度图可以省略第二行代码。第三行就是转化为二值化函数，阈值100可以修改，在灰度对比不明显是有必要！
如果预处理做的好，某些小的白色区域是可以去掉的。这个效果也可以识别。
同时可以发现车牌外围被一圈白色包围，如若能去除外围白色，对于单字符分割更有益。但其实通过寻找列像素之间的变化，白色区域只是影响了阈值不会对结果太大影响。
如果想要使用直方图均衡化，OPENCV有equalizeHist(inputmat, outputmat)；非常方便，但是效果不好。
使用直方图均衡化后的上述车牌二值化图片：
效果更惨烈了，因为均衡化就是让直方图的像素分布更加平衡，上图黑色多，均衡之后自然白色多了，反而不好！
二、单字符分割
单字符分割主要策略就是检测列像素的总和变化，因为没有字符的区域基本是黑色，像素值低；有字符的区域白色较多，列像素和就变大了！
列像素变化的阈值是个问题，看到很多博客是固定的阈值进行检测，除非你处理后的二值化图像非常完美，不然有的图片混入了白色区域就会分割错误！而且对于得到分割宽度如果太小也应该使用策略进行剔除，没有一定的宽度限制分割后的图片可能是很多个窄窄的小区域。。。
笔者思路也很简单：
首先统计所有列像素的总和，取其列像素的均值作为参考标准之一（也可以选用其他数学指标参考），列像素的阈值Tsum设置为列像素均值的百分比（如60%，是情景定）。
利用cutLeft()函数对图片进行列扫描，将列像素超过阈值的列标记为左边，再继续寻找右边，将满足阈值的右边进行标记。左右相减即可得到宽度分割字符。
考虑到车牌中只有7个字符，所以先判断得到宽度大小，如果小于总宽的七分之一视为干扰放弃；其实也可以加大到总宽的8分之一（因为车牌中间可能有连接符）。
getColSum()函数是求一列的像素和，这里用到了.at<> 方式，其实还有别的方法也可以，只要获得当前的像素值，并累加整列即可！
上图车牌的分割效果：
因为第三张有车牌的连接符，所以导致第三张和第四张稍有瑕疵，但总体分割还是满意的！
三、单字符识别
只论字符识别其实有不少选择方案，一开始笔者尝试了ORB特征，想利用特征匹配计算相似度来判断最优的字符结果。ORB特征相比SURF/SIFT更加快速，而且特征不变性也不错。但是在匹配时发现单字符的图片像素点太少，提取的特征点数极少，无法得到较好的匹配结果，只能放弃！
其实也有模板匹配来做字符识别的，但是OPENCV提供的模板匹配对于从同一副图片提取的模板图去匹配样本图效果很好，不是同一副图片时效果很一般。因为笔者用OPENCV的模板匹配一般用来找重复区域。
OCR识别是可以完全用在此处的，OCR识别甚至可以识别汉字，安装OCR的库之后就可以尝试一番！
笔者最后选择了神经网络ANN来做字符分类识别，利用SVM也可以都是分类器之一。使用神经网络可以和caffe的mnist模型有所对比的感觉！
ann10函数主要完成读取图片训练ANN网络的功能。
注意点：
修改图片文件类型 fileform；
修改训练图片路径 perfileReadPath等；
修改训练图片数量 sample_mun_perclass；
修改训练类别数 class_mun;(34类是因为IO与10很像，所以少了两类)；
image_cols和image_rows根据自己图片情况修改；
predictann函数就是调用ann10函数生成的网络模型文件，进行预测分类的功能。
上述车牌的单字符识别效果如下：
可以看到有的相似度很高，有的却很低，也有一些识别错误的，我不再显示。。。
相比之前使用的caffe mnist识别率真的是差距有点大，以后有机会将mnist的模型来识别车牌字符试试~~
度盘失效了，附上我的github地址，里面会传数据集和完整代码！欢迎大家star 和 fork 我~~