在MATLAB环境下利用USB摄像头採集字符图像。读取一帧保存为图像。然后对读取保存的字符图像，灰度化。二值化，在此基础上做倾斜矫正。对矫正的图像进行滤波平滑处理，然后对字符区域进行提取切割出单个字符。识别方法一是採用模板匹配的方法逐个对字符与预先制作好的字符模板比較，假设结果小于某一阈值则结果就是模板上的字符；二是採用BP神经网络训练。通过训练好的net对待识别字符进行识别。最然后将识别结果通过MATLAB下的串口工具输出51单片机上用液晶显示出来。
keyword： 倾斜矫正。字符切割。模板匹配，BP神经网络。液晶显示
Abstract
In the MATLAB environmentusing USB camera capture the character images, saved as an image reading, thenread the saved character images, grayscale, binary, on this basis do tilt correction,the correction image smoothing filter, and then extract the characterregionsegmentation of a single character, and then one by one using a templatematching method of character with good character template is a pre-production,if the result is less than a certain threshold, the result is a template of thecharacter. Second, theBP neural network trained by the trained net to identifythe character towards recognition The results will identify the most and thenthe serial port through the MATLAB tool output 51 under microcontroller withLCD display.
Keyword: Tilt correction, character segmentation,template matching, liquid crystal display
一 引言：
光学字符识别(OCR,Optical Character Recognition)是指对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。已有30多年历史，近几年又出现了图像字符识别（image character recognition，ICR）和智能字符识别（intelligent character recognition，ICR）。实际上这三种自己主动识别技术的基本原理大致同样。
关于字符识别的方法有非常多种，最简单的就是模板匹配，还有依据採集到的字符用BP神经网络或者SVM来训练得到结果的方式。本文主要针对模板匹配的方式，在MATLAB环境下编程实现。
二 字符图像获取：
在MATLAB下利用image acquisition toolbox获取视频帧。并保存图像在project目录内。
摄像头採用普通的USB摄像头，因为这样的摄像头拍摄的照片延时比較大，所以先用image acquisition toolbox下的对视频进行预览，调整出最佳的效果来，採集的图像效果越好则识别率越高。 依据測试，实验选择640*480的视频获取窗体。颜色空间选取为RGB空间，获取一帧后保存为jpg的存储格式。
三 字符预处理
3.1字符矫正
因为摄像头拍摄的图像存在一定存在的倾斜度。在切割字符区域时，应先对字符进行矫正。步骤例如以下：
将通过摄像头获取的保存帧图像灰度化。然后对其进行边缘提取，再在1到180度角内对图像进行旋转，记录下边缘提取后的图像在x轴方向上的投影，当x轴方向上的投影最小的时候即表示图像中字符平行于y轴，已经完毕矫正。此时记录下旋转的倾斜角。
然后利用imrotate函数实现对字符图像的矫正。
3.2 字符区域切割：
在第三步完毕对字符图像的倾斜矫正后。将图像分别做x轴和y轴方向上的投影既能够知道字符区域在x轴上的像素分布范围和y轴上的像素分布范围，然后对依据这个范围对图像做切割，在MATLAB中表示为：
goal=I(ix1:iy1,jx1:jy1);
当中goal为切割后的图像，I为切割前的图像，ix1和ix2分别为x轴上投影的像素范围的起始坐标值和终止坐标值，iy1和iy2分别为y轴上投影的像素范围的起始坐标值和终止坐标值。
3.3 单个字体切割：
在切割得到的字符区域图像上，仅仅须要做y轴上的投影就能够知道每一个字符在y轴上的分布区间。然后利用这个分布区间就能够切割出单个字符。
3.4 单个字体裁剪
在第五步切割出来的字符基础上进一步对字符的像素区域进行裁剪，原理也是分别做x轴，y轴方向上的投影。求的字符的区间再做剪裁。
四 模板字符识别
4.1字符模板制作：
模板的要求是与要识别的字符的字体格式一致，实验中採用word上的标准字符，通过截图软件截图后依照3-6步的处理过程制作出须要的字符模板，从0到9共10个数字，A到Z共26个字母。
4.2 字符模板归一化
在满足识别率的条件下，尽量採用小模板识别能够提神运算速度。详细的模板大小，能够依据后面的与待识别字符的比較中调节。
4.3识别过程：
将待识别字符与字符模板做相同的归一化处理，然后遍历与字符模板比較。处理方法为先和字符模板做差，然后计算做差后的图像的总像素值，假设小于每个阈值。则表示该待识别字符和该模板是同一个字符，这样就完毕了一次识别。
循环对要识别的字符做相同的处理就能够识别出全部的字符。将结果保存在字符串中。
五 BP神经网络字符识别
BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络。是眼下应用最广泛的神经网络模型之中的一个。BP网络能学习和存贮大量的输入-输出模式映射关系。而无需事前揭示描写叙述这样的映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值。使网络的误差平方和最小。BP神经网络模型拓扑结构包含输入层（input）、隐层(hide layer)和输出层(outputlayer)。
BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息。并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，依据信息变化能力的需求。中间层能够设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完毕一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。
当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差降低到能够接受的程度。或者预先设定的学习次数为止。
BP神经网络模型BP网络模型包含其输入输出模型、作用函数模型、误差计算模型和自学习模型。
（1）节点输出模型
隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1)
输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2)
f-非线形作用函数；q -神经单元阈值。
图1 典型BP网络结构模型
（2）作用函数模型
作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数。一般取为(0,1)内连续取值Sigmoid函数： f(x)=1/(1+e) （3）
（3）误差计算模型
误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：
Ep=1/2×∑(tpi-Opi) (4)
tpi- i节点的期望输出值。Opi-i节点计算输出值。
（4）自学习模型
神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-须要设定期望值和无师学习方式-仅仅需输入模式之分。自学习模型为
△Wij(n+1)= h ×Фi×Oj+a×△Wij(n) （5）
h -学习因子；Фi-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因子。
5.1 训练样本制作：
在不同分辨率和不同倾斜角度下分别採集几组图片作为训练样本。本实验为了节省计算时间，依据须要仅仅做12345ABCDE这10个字符的识别，因此仅仅各採集了10组数据。不同分辨率下5组，不同倾斜角度下5组。然后依照2-4上的操作过程的对字符进行处理，获得32*32大小的训练样本共100个。
5.2设计BP神经网络
利用MATLAB下的神经网络工具设计一个，以字符图像的x轴y轴像素值为输入特征作为输入层的输入。以logsig函数作为隐含层。隐含层设计节点25个，输出层就是预期的结果。共十种可能，所以有输出层有十种输出。
net=newff(pr,[25 1],{'logsig' 'purelin'},'traingdx', 'learngdm');
net=train(net,p,t)%训练
并保存训练结果save name net
5.3 BP训练
首先对待识别字符预处理。然后读取读取训练好的网络load name net。通过sim函数对字符进行识别，结果输出，保存在一个字符串内。
六 识别结果发送下位机
利用MTLAB下的串口工具发送识别出的结果给下位机。下位机为51核的单片机，然后在单片机内经过程序处理驱动LM1602液晶显示结果。
5.1 MATLAB下的串口工具：
在Matlab6.0以上版本号中新增的设备控制工具条（instrument control toolbox）具备支持计算机与其他具有串口的外部设备之间的通信的功能。其特点例如以下：
a、支持基于串行接口（RS-232、RS-422、RS-485）的通信；
b、通信数据支持二进制和文本（ASCII）两种方式；
c、支持异步通信和同步通信。
d、支持基于事件驱动的通信（亦称中断方式）。
5.2 下位机处理
5.2.1主控电路
主控芯片採用基于51核的STC12A50S8，51单片机是对眼下全部兼容Intel 8031指令系统的单片机的统称。
·8位CPU·4kbytes 程序存储器(ROM)(52为8K)
·256bytes的数据存储器(RAM)（52有384bytes的RAM）
·32条I/O口线·111条指令，大部分为单字节指令
·21个专用寄存器
·2个可编程定时/计数器·5个中断源，2个优先级（52有6个）
·一个全双工串行通信口
·外部数据存储器寻址空间为64kB
·外部程序存储器寻址空间为64kB
·逻辑操作位寻址功能·双列直插40PinDIP封装
·单一+5V电源供电
CPU：由运算和控制逻辑组成，同一时候还包含中断系统和部分外部特殊功能寄存器。
RAM：用以存放能够读写的数据，如运算的中间结果、终于结果以及欲显示的数据；
ROM：用以存放程序、一些原始数据和表格；
I/O口：四个8位并行I/O口。既可用作输入，也可用作输出。
T/C：两个定时/记数器。既能够工作在定时模式，也能够工作在记数模式。
五个中断源的中断控制系统；
一个全双工UART（通用异步接收发送器）的串行I/O口，用于实现单片机之间或单片机与微机之间的串行通信。
片内振荡器和时钟产生电路，石英晶体和微调电容须要外接。
最高振荡频率为12M。
5.2.2 液晶显示电路
实验中显示模板採用1602字符型液晶。它是工业字符型液晶，可以同一时候显示16x02即32个字符。602液晶模块内部的字符发生存储器（CGROM)已经存储了160个不同的点阵字符图形，这些字符有：阿拉伯数字、英文字母的大写和小写、经常使用的符号、和日文假名等，每个字符都有一个固定的代码，比方大写的英文字母“A”的代码是01000001B（41H），显示时模块把地址41H中的点阵字符图形显示出来，我们就能看到字母“A”。
由于1602识别的是ASCII码，试验能够用ASCII码直接赋值，在单片机编程中还能够用字符型常量或变量赋值。如'A’。
5.2. 3 串口通信图：
因为单片机的串口输出为TTL电平，与PC机通信是须要採用转换为RS232电平，实验中使用美信公司的MAX232芯片。它是美信公司专门为电脑的RS-232标准串口设计的单电源电平转换芯片,使用+5v单电源供电。
七 总结：
本实验完毕了usb摄像头的视频帧图像採集，并对採集图像进行了数字图像处理，採用模板匹配和BP神经网络训练的方式对字符进行识别。并利用MATLAB下的串口工具和下位机单片机通信。发送识别结果显示在字符液晶上。
试验中存在的问题：一是。对图像字符进行切割的时候，假设图像採集的分辨率过低的话会出现字符断裂的情况，这时候要做的就是对字符进行连通域检測。二是在做本实验的程序都是针对特定字符进行处理的，没有做自适应的字符个数检測。三是BP训练样本数太少，所以训练后的网络对字符的识别结果并不好。这些都须要兴许的改进。
八參考文献：
[ 1] 王鹏.基于神经网络的手写体字符识别 北京工业大学 , 2002
[ 2] 闫雪梅 ,王晓华 ,夏兴高. 基于 PCA和 BP神经网络算法的车牌字符识别 北京理工大学信息科学技术学院 2007
[ 3] 金城 二维图像特征研究 浙江大学博士论文 2006
[ 4] MATLAB2010R image processing tools