ABSTRACT VISION BASED HANDWRITTEN CHARACTER RECOGNITION Özcan Öksüz M.S. in Computer Engineering Supervisor: Asst. Prof. Dr. Uğur Güdükbay September, 2003 Online automatic recognition of handwritten text has been an ongoing research problem for four decades. It is used in automated postal address and ZIP code and form reading, data acquisition in bank checks, processing of archived institutional records, automatic validation of passports, etc. It has been gaining more interest lately due to the increasing popularity of handheld computers, digital notebooks and advanced cellular phones. Traditionally, human-machine communication has been based on keyboard and pointing devices. Online handwriting recognition promises to provide a dynamic means of communication with computers through a pen like stylus, not just an ordinary keyboard. This seems to be a more natural way of entering data into computers. In this thesis, we develop a character recognition system that combines the advantage of both on-line and off-line systems. Using an USB CCD Camera, positions of the pen-tip between frames are detected as they are written on a sheet of regular paper. Then, these positions are used for calculation of directional information. Finally, handwritten character is characterized by a sequence of writing directions between consecutive frames. The directional information of the pen movement points is used for character pre-classification and positional information is used for fine classification. After characters are recognized they are passed to LaTeX code generation subroutine. Supported LaTeX environments are array construction, citation, section, itemization, equation, verbatim and normal text environments. During experiments a recognition rate of 90% was achieved. The main recognition errors were due to the abnormal writing and ambiguity among similar shaped characters. Keywords: pattern recognition, character Recognition, on-line recognition sys tems, LaTeX. iii

ÖZET GÖRÜŞ TABANLI ELYAZISI HARF TANINMASI Özcan Öksüz Bilgisayar Mühendisliği, Yüksek Lisans Tez Yöneticisi: Asst. Prof. Dr. Uğur Güdükbay Eylül, 2003 Etkileşimli otomatik el yazısı tanınması son 40 yıldır araştırma konusu olmuştur. Otomatik posta adresi ve ZIP kodu okunmasında, formlara girilen bilgilerin okun masında, banka çeklerinden bilgi alınmasında, kurumsal arşivlerin işlenmesinde, otomatik olarak pasaportların denetlenmesinde vb kullanılmıştır. Avuçiçi bil gisayarların, sayısal taşınır bilgisayarların ve gelişmiş cep telefonlarının popüler olmasından dolayı son zamanlarda çok ilgi görmüştür. Geleneksel olarak insan ve bilgisayar iletişimi klavye ve fare ile sağlanmaktadır. Kalem benzeri aletle etk ileşimli elyazısı tanıma bilgisayarla, klavye dışında dinamik iletişim kurma yolları sunar. Bu bilgisayara veri girişinin daha doğal yolla yapılmasını sağlamaktadır. Bu tezde, hem etkileşimli, hem de etkileşimsiz sistemlerin avantajını kullanan bir karakter tanıma sistemi sunulmuştur. Standart video kamera kullanılarak, karakterler kağıt üzerine yazılırken, kalemin uç noktası bulunup kaydedilmiştir. Sonra kaydedilen koordinatlar yönlerin hesaplanmasında kullanılmıştır. Sonunda, elyazısı karakter bir dizi yazı yönünün birbiri ardısıra görüntülerde değişmesiyle bulunmuştur. Kalem hareketinin yön bilgisi karakterin temel sınıflandırılmasında, pozisyonu ise karakterin bulunmasında kullanılmıştır. Karakterler bulunduk tan sonra, LaTeX kodu hazırlama metoduna yollanmıştır. Desteklenen LaTeX çevrebirimleri, dizi hazırlanması, referans, bölüm, listeleme, formül, harfi harfine ve normal yazıdır. Deneylerde harflerin 90% oranında doğru tanıma yüzdesine erişilmiştir. Temel tanıma hataları düzensiz yazımdan ve benzer şekilli harflerin belirsizliğinden kaynaklanmaktadır. Anahtar sözcükler: desen tanıma, karakter tanıma, etkileşimli tanıma sistemleri, LaTeX. iv

53