Đề tài Nhận dạng ký tự số bằng mạng Neuron

§Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 1 MỞ ĐẦU Kỹ thuật nhận dạng hiện nay đang được nhiều người quan tâm, bởi đây là một ngành khoa học có rất nhiều ứng dụng trong khoa học kỹ thuật, tin học, sinh học và cả trong lĩnh vực an ninh quốc gia. Nó là một bộ phận quan trọng trong các hệ thống thông minh; được sử dụng trong việc dò tìm, xử lý số liệu và hỗ trợ ra quyết định,… Nói một cách tổng quát thì nhận dạng là một bộ môn khoa học có liên quan một cách hữu cơ đến việc phân lớp, tính toán các độ đo. Bài toán nhận dạng ký tự là một bài toán con trong lớp bài toán nhận dạng và xử lý ảnh. Có rất nhiều phương pháp khác nhau để giải quyết bài toán này và phương pháp áp dụng mạng neuron đã mang lại hiệu quả khá cao. “Nhận dạng ký tự số bằng mạng neuron ” là nội dung đề tài. Để nhận dạng các ký tự số tôi lựa chọn “Mạng neuron 2 lớp lan truyền ngược sai số”. Mặc dù đã có nhiều cố gắng trong quá trình thực hiện nhưng đề tài không thể tránh được những thiếu sót mong sự góp ý của thầy giáo và các ban. Tôi xin chân thành cảm ơn sự hướng dẫn của Thầy giáo TS. Đào Thanh Tĩnh – Khoa CNTT – HVKTQS, xin cảm ơn sự góp ý quý báu của các bạn học viên . Người thực hiện. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 2 m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng n¬ ron i. tæng quan vÒ nhËn d¹ng NhËn d¹ng lµ qu¸ tr×nh ph©n lo¹i c¸c ®èi t−îng ®−îc biÓu diÔn theo mét m« h×nh nµo ®ã vµ g¸n cho chóng vµo mét líp (g¸n cho ®èi t−îng mét tªn gäi) dùa theo nh÷ng quy luËt vµ c¸c mÉu chuÈn. Qu¸ tr×nh nhËn d¹ng dùa vµo nh÷ng mÉu häc biÕt tr−íc gäi lµ nhËn d¹ng cã thµy hay häc cã thµy (supervised learning); trong tr−êng hîp ng−îc l¹i gäi lµ häc kh«ng cã thµy (non supervised learning). Chóng ta sÏ lÇn l−ît giíi thiÖu c¸c kh¸i niÖm nµy. 1.1 Kh«ng gian biÓu diÔn ®èi t−îng, kh«ng gian diÔn dÞch Kh«ng gian biÓu diÔn ®èi t−îng C¸c ®èi t−îng khi quan s¸t hay thu thËp ®−îc, th−êng ®−îc biÓu diÔn bëi tËp c¸c ®Æc tr−ng hay ®Æc tÝnh. Nh− trong tr−êng hîp xö lý ¶nh, ¶nh sau khi ®−îc t¨ng c−êng ®Ó n©ng cao chÊt l−îng, ph©n vïng vµ trÝch chän ®Æc tÝnh, ®−îc biÓu diÔn bëi c¸c ®Æc tr−ng nh− biªn, miÒn ®ång nhÊt, v...,v. Ng−êi ta th−êng ph©n c¸c ®Æc tr−ng nµy theo c¸c lo¹i nh−: ®Æc tr−ng t« p«, ®Æc tr−ng h×nh häc vµ ®Æc tr−ng chøc n¨ng. ViÖc biÓu diÔn ¶nh theo ®Æc tr−ng nµo lµ phô thuéc vµo øng dông tiÕp theo. ë ®©y ta ®−a ra mét c¸ch h×nh thøc viÖc biÓu diÔn c¸c ®èi t−îng. Gi¶ sö ®èi t−îng X (¶nh, ch÷ viÕt, dÊu v©n tay, v...,v) ®−îc biÓu diÔn bëi n thµnh phÇn (n ®Æc tr−ng): X = {x1, x2,..., xn}; mçi xi biÓu diÔn mét ®Æc tÝnh. Kh«ng gian biÓu diÔn ®èi t−îng th−êng gäi t¾t lµ kh«ng gian ®èi t−îng X ®−îc ®Þnh nghÜa: X = {X1, X2,..., Xm} trong ®ã mçi Xi biÓu diÔn mét ®èi t−îng. Kh«ng gian nµy cã thÓ lµ v« h¹n. §Ó tiÖn xem xÐt chóng ta chØ xÐt tËp X lµ h÷u h¹n. Kh«ng gian diÔn dÞch Kh«ng gian diÔn dÞch lµ tËp c¸c tªn gäi cña ®èi t−îng. KÕt thóc qu¸ tr×nh nhËn d¹ng ta x¸c ®Þnh ®−îc tªn gäi cho c¸c ®èi t−îng trong tËp kh«ng gian ®èi §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 3 t−îng hay nãi lµ ®· nhËn d¹ng ®−îc ®èi t−îng Mét c¸ch h×nh thøc gäi Ω lµ tËp tªn ®èi t−îng: Ω = {w1, w2,...,wk} víi wi, i = 1, 2,..., k lµ tªn c¸c ®èi t−îng Qu¸ tr×nh nhËn d¹ng ®èi t−îng f lµ mét ¸nh x¹ f: X ---> Ω víi f lµ tËp c¸c quy luËt ®Ó ®Þnh mét phÇn tö trong X øng víi mét phÇn tö trong Ω. NÕu tËp c¸c quy luËt vµ tËp tªn c¸c ®èi t−îng lµ biÕt tr−íc nh− trong nhËn d¹ng ch÷ viÕt (cã 26 líp tõ A ®Õn Z), ng−êi ta gäi lµ nhËn d¹ng cã thµy. Tr−êng hîp thø hai lµ nhËn d¹ng kh«ng cã thµy. §−¬ng nhiªn trong tr−êng hîp nµy viÖc nhËn d¹ng cã khã kh¨n h¬n. 1.2 M« h×nh vµ b¶n chÊt cña qu¸ tr×nh nhËn d¹ng 1.2.1 M« h×nh ViÖc chän lùa mét qu¸ tr×nh nhËn d¹ng cã liªn quan mËt thiÕt ®Õn kiÓu m« t¶ mµ ng−êi ta sö dông ®Ó ®Æc t¶ ®èi t−îng. Trong nhËn d¹ng, ng−êi ta ph©n chia lµm 2 hä lín: - Hä m« t¶ theo tham sè. - Hä m« t¶ theo cÊu tróc. C¸ch m« t¶ ®−îc lùa chän sÏ x¸c ®Þnh m« h×nh cña ®èi t−îng. Nh− vËy, chóng ta sÏ cã 2 lo¹i m« h×nh: m« h×nh theo tham sè vµ m« h×nh cÊu tróc. • M« h×nh tham sè sö dông mét vÐct¬ ®Ó ®Æc t¶ ®èi t−îng. Mçi phÇn tö cña vÐct¬ m« t¶ mét ®Æc tÝnh cña ®èi t−îng. ThÝ dô nh− trong c¸c ®Æc tr−ng chøc n¨ng, ng−êi ta sö dông c¸c hµm c¬ së trùc giao ®Ó biÓu diÔn. Vµ nh− vËy ¶nh sÏ ®−îc biÓu diÔn bëi mét chuçi c¸c hµm trùc giao. Gi¶ sö C lµ ®−êng bao cña ¶nh vµ C(i,j) lµ ®iÓm thø i trªn ®−êng bao, i = 1, 2,..., N (®−êng bao gåm N ®iÓm). Gi¶ sö tiÕp : x0 = 1 1N i N = ∑ xi §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 4 y0 = 1 1N i N = ∑ yi lµ to¹ ®é t©m ®iÓm. Nh− vËy, moment trung t©m bËc p, q cña ®−êng bao lµ: µpq = 1 1N i N = ∑ (xi-x0)p(yi-y0)q (1) VÐct¬ tham sè trong tr−êng hîp nµy chÝnh lµ c¸c moment µij víi i=1, 2,...,p vµ j=1, 2,...,q. Cßn trong sè c¸c ®Æc tr−ng h×nh häc, ng−êi ta hay sö dông chu tuyÕn , ®−êng bao, diÖn tÝch vµ tØ lÖ T = 4piS/p2, víi S lµ diÖn tÝch, p lµ chu tuyÕn. ViÖc lùa chän ph−¬ng ph¸p biÓu diÔn sÏ lµm ®¬n gi¶n c¸ch x©y dùng. Tuy nhiªn, viÖc lùa chän ®Æc tr−ng nµo lµ hoµn toµn phô thuéc vµo øng dông. ThÝ dô , trong nhËn d¹ng ch÷, c¸c tham sè lµ c¸c dÊu hiÖu: - sè ®iÓm ch¹c ba, ch¹c t−, - sè ®iÓm chu tr×nh, - sè ®iÓm ngoÆt, - sè ®iÓm kÕt thóc, 1.2.2 B¶n chÊt cña qu¸ tr×nh nhËn d¹ng Qu¸ tr×nh nhËn d¹ng gåm 3 giai ®o¹n chÝnh: - Lùa chän m« h×nh biÓu diÔn ®èi t−îng. - Lùa chän luËt ra quyÕt ®Þnh (ph−¬ng ph¸p nhËn d¹ng) vµ suy diÔn qu¸ tr×nh häc. - Häc nhËn d¹ng. Khi m« h×nh biÓu diÔn ®èi t−îng ®· ®−îc x¸c ®Þnh, cã thÓ lµ ®Þnh l−îng (m« h×nh tham sè) hay ®Þnh tÝnh (m« h×nh cÊu tróc), qu¸ tr×nh nhËn d¹ng chuyÓn sang giai ®o¹n häc. Häc lµ giai ®o¹n rÊt quan träng. Thao t¸c häc nh»m c¶i thiÖn, ®iÒu chØnh viÖc ph©n ho¹ch tËp ®èi t−îng thµnh c¸c líp. ViÖc nhËn d¹ng chÝnh lµ t×m ra quy luËt vµ c¸c thuËt to¸n ®Ó cã thÓ g¸n ®èi t−îng vµo mét líp hay nãi mét c¸ch kh¸c g¸n cho ®èi t−îng mét tªn. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 5 Häc cã thµy (supervised learning) Kü thuËt ph©n lo¹i nhê kiÕn thøc biÕt tr−íc gäi lµ häc cã thµy. §Æc ®iÓm c¬ b¶n cña kü thuËt nµy lµ ng−êi ta cã mét th− viÖn c¸c mÉu chuÈn. MÉu cÇn nhËn d¹ng sÏ ®−îc ®em s¸nh víi mÉu chuÈn ®Ó xem nã thuéc lo¹i nµo. ThÝ dô nh− trong mét ¶nh viÔn th¸m, ng−êi ta muèn ph©n biÖt mét c¸nh ®ång lóa, mét c¸nh rõng hay mét vïng ®Êt hoang mµ ®· cã c¸c miªu t¶ vÒ c¸c ®èi t−îng ®ã. VÊn ®Ò chñ yÕu lµ thiÕt kÕ mét hÖ thèng ®Ó cã thÓ ®èi s¸nh ®èi t−îng trong ¶nh víi mÉu chuÈn vµ quyÕt ®Þnh g¸n cho chóng vµo mét líp. ViÖc ®èi s¸nh nhê vµo c¸c thñ tôc ra quyÕt ®Þnh dùa trªn mét c«ng cô gäi lµ hµm ph©n líp hay hµm ra quyÕt ®Þnh. Hµm nµy sÏ ®−îc ®Ò cËp trong phÇn sau. Häc kh«ng cã thµy(unsupervised learning) Kü thuËt häc nµy ph¶i tù ®Þnh ra c¸c líp kh¸c nhau vµ x¸c ®Þnh c¸c tham sè ®Æc tr−ng cho tõng líp. Häc kh«ng cã thµy ®−¬ng nhiªn lµ khã kh¨n h¬n. Mét mÆt, do sè líp kh«ng ®−îc biÕt tr−íc, mÆt kh¸c nh÷ng ®Æc tr−ng cña c¸c líp còng kh«ng biÕt tr−íc. Kü thuËt nµy nh»m tiÕn hµnh mäi c¸ch gép nhãm cã thÓ vµ chän lùa c¸ch tèt nhÊt. B¾t ®Çu tõ tËp d÷ liÖu, nhiÒu thñ tôc xö lý kh¸c nhau nh»m ph©n líp vµ n©ng cÊp dÇn ®Ó ®¹t ®−îc mét ph−¬ng ¸n ph©n lo¹i. Nh×n chung, dï lµ m« h×nh nµo vµ kü thuËt nhËn d¹ng ra sao, mét hÖ thèng nhËn d¹ng cã thÓ tãm t¾t theo s¬ ®å sau: TrÝch chän ®Æc tÝnh biÓu diÓn ®èi t−îng ph©n líp ra quyÕt ®Þnh §¸nh gi¸ tr¶ lêi Khèi nhËn d¹ng H 1 S¬ ®å tæng qu¸t mét hÖ nhËn d¹ng Qu¸ tr×nh tiÒn xö lý §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 6 II. m¹ng n¬ ron nh©n t¹o vµ NhËn d¹ng theo m¹ng neuron. 2.1 Bé n·o vµ neuron sinh häc: Tr−íc tiªn, cÇn xem xÐt mét sè kh¸i niÖm c¬ b¶n vÒ bé n·o còng nh− c¬ chÕ ho¹t ®éng cña m¹ng n¬ ron sinh häc. TiÕp theo, ®Ó tiÖn theo dâi, ë ®©y sÏ ®Ò cËp ®Õn mét øng dông cña m¹ng n¬ ron trong nhËn d¹ng ch÷ viÕt. C¸c nhµ nghiªn cøu sinh häc vÒ bé n·o cho ta thÊy r»ng c¸c n¬ ron (tÕ bµo thÇn kinh) lµ ®¬n vÞ c¬ së ®¶m nhiÖm nh÷ng chøc n¨ng xö lý nhÊt ®Þnh trong hÖ thÇn kinh, bao gåm n·o, tuû sèng vµ c¸c d©y thÇn kinh. Mçi n¬ ron cã phÇn th©n víi nh©n bªn trong (gäi lµ soma), mét ®Çu thÇn kinh ra (gäi lµ sîi trôc axon) vµ mét hÖ thèng d¹ng c©y c¸c d©y thÇn kinh vµo (gäi lµ dendrite). C¸c d©y thÇn kinh vµo t¹o thµnh mét l−íi dµy ®Æc xung quanh th©n tÕ bµo, chiÕm diÖn tÝch kho¶ng 0,25 mm2, cßn d©y thÇn kinh ra t¹o thµnh trôc dµi cã thÓ tõ 1 cm cho ®Õn hµng mÐt. §−êng kÝnh cña nh©n tÕ bµo th−êng chØ lµ 10-4m. Trôc d©y thÇn kinh ra còng cã thÓ ph©n nh¸nh theo d¹ng c©y ®Ó nèi víi c¸c d©y thÇn kinh vµo hoÆc trùc tiÕp víi nh©n tÕ bµo c¸c n¬ ron kh¸c th«ng qua c¸c khíp nèi (gäi lµ synapse). Th«ng th−êng, mçi n¬ ron cã thÓ gåm vµi chôc cho tíi hµng tr¨m ngµn khíp nèi ®Ó nèi víi c¸c n¬ ron kh¸c. Ng−êi ta −íc l−îng r»ng l−íi c¸c d©y thÇn kinh ra cïng víi c¸c khíp nèi bao phñ diÖn tÝch kho¶ng 90% bÒ mÆt n¬ ron . C¸c tÝn hiÖu truyÒn trong c¸c d©y thÇn kinh vµo vµ d©y thÇn kinh ra cña c¸c n¬ ron lµ tÝn hiÖu ®iÖn vµ ®−îc thùc hiÖn th«ng qua c¸c qu¸ tr×nh ph¶n øng vµ gi¶i phãng c¸c chÊt h÷u c¬. C¸c chÊt nµy ®−îc ph¸t ra tõ c¸c khíp nèi dÉn tíi c¸c d©y thÇn kinh vµo sÏ lµm t¨ng hay gi¶m ®iÖn thÕ cña nh©n tÕ bµo. Khi ®iÖn thÕ nµy ®¹t tíi mét ng−ìng nµo ®ã, sÏ t¹o ra mét xung ®iÖn dÉn tíi trôc d©y thÇn kinh ra. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 7 Xung nµy ®−îc truyÒn theo trôc, tíi c¸c nh¸nh rÏ khi ch¹m tíi c¸c khíp nèi víi c¸c n¬ ron kh¸c sÏ gi¶i phãng c¸c chÊt truyÒn ®iÖn. Ng−êi ta chia lµm hai lo¹i khíp nèi: khíp nèi kÝch thÝch (excitatory) hoÆc khíp nèi øc chÕ (inhibitory). Ph¸t hiÖn quan träng nhÊt trong ngµnh nghiªn cøu vÒ bé n·o lµ c¸c liªn kÕt khíp thÇn kinh kh¸ mÒm dÎo, cã thÓ biÕn ®éng vµ chØnh ®æi theo thêi gian tuú thuéc vµo c¸c d¹ng kÝch thÝch. H¬n n÷a, c¸c n¬ ron cã thÓ s¶n sinh c¸c liªn kÕt míi víi c¸c n¬ ron kh¸c vµ ®«i khi, l−íi c¸c n¬ ron cã thÓ di tró tõ vïng nµy sang vïng kh¸c trong bé n·o. C¸c nhµ khoa häc cho r»ng ®©y chÝnh lµ c¬ së quan träng ®Ó gi¶i thÝch c¬ chÕ häc cña bé n·o con ng−êi. PhÇn lín c¸c qu¸ tr×nh xö lý th«ng tin ®Òu x¶y ra trªn vá n·o. Toµn bé vá n·o ®−îc bao phñ bëi m¹ng c¸c tæ chøc c¬ së cã d¹ng h×nh thïng trßn víi ®−êng kÝch kho¶ng 0,5 mm, ®é cao 4 mm. Mçi ®¬n vÞ c¬ së nµy chøa kho¶ng 2000 n¬ ron. Ng−êi ta chØ ra r»ng mçi vïng n·o cã nh÷ng chøc n¨ng nhÊt ®Þnh. §iÒu rÊt ®¸ng ng¹c nhiªn chÝnh lµ c¸c n¬ ron rÊt ®¬n gi¶n trong c¬ chÕ lµm viÖc, nh−ng m¹ng c¸c n¬ ron liªn kÕt víi nhau l¹i cã kh¶ n¨ng tÝnh to¸n, suy nghÜ, ghi nhí vµ ®iÒu khiÓn. Cã thÓ ®iÓm qua nh÷ng chøc n¨ng c¬ b¶n cña bé n·o nh− sau: -Bé nhí ®−îc tæ chøc theo c¸c bã th«ng tin vµ truy nhËp theo néi dung (Cã thÓ truy xuÊt th«ng tin dùa theo gi¸ trÞ c¸c thuéc tÝnh cña ®èi t−îng) -Bé n·o cã kh¶ n¨ng tæng qu¸t ho¸, cã thÓ truy xuÊt c¸c tri thøc hay c¸c mèi liªn kÕt chung cña c¸c ®èi t−îng t−¬ng øng víi mét kh¸i niÖm chung nµo ®ã - Bé n·o cã kh¶ n¨ng dung thø lçi theo nghÜa cã thÓ ®iÒu chØnh hoÆc tiÕp tôc thùc hiÖn ngay khi cã nh÷ng sai lÖch do th«ng tin bÞ thiÕu hoÆc kh«ng chÝnh x¸c. Ngoµi ra, bé n·o cßn cã thÓ ph¸t hiÖn vµ phôc håi c¸c th«ng tin bÞ mÊt dùa trªn sù t−¬ng tù gi÷a c¸c ®èi t−îng. - Bé n·o cã kh¶ n¨ng xuèng cÊp vµ thay thÕ dÇn dÇn. Khi cã nh÷ng trôc trÆc t¹i c¸c vïng n·o (do bÖnh, chÊn th−¬ng) hoÆc b¾t gÆp nh÷ng th«ng tin hoµn toµn míi l¹, bé n·o vÉn cã thÓ tiÕp tôc lµm viÖc. -Bé n·o cã kh¶ n¨ng häc. §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 8 So s¸nh kh¶ n¨ng lµm viÖc cña bé n·o vµ m¸y tÝnh M¸y tÝnh Bé n·o ng−êi §¬n vÞ tÝnh to¸n Bé xö lý trung t©m víi 105m¹ch logic c¬ së M¹ng 1011 n¬ ron Bé nhí 109 bit RAM 1011 n¬ ron 1010 bit bé nhí ngoµi víi 1014 khíp nèi thÇn kinh Thêi gian xö lý 10-8 gi©y 10-3 gi©y Th«ng l−îng 109 bit/gi©y 1014 bit/gi©y CËp nhËt th«ng tin 105 bit/gi©y 1014 n¬ ron/gi©y DÔ dµng thÊy r»ng bé n·o con ng−êi cã thÓ l−u gi÷ nhiÒu th«ng tin h¬n c¸c m¸y tÝnh hiÖn ®¹i; Tuy r»ng ®iÒu nµy kh«ng ph¶i ®óng m·i m·i, bëi lÏ bé n·o tiÕn hãa chËm, trong khi ®ã nhê nh÷ng tiÕn bé trong c«ng nghÖ vi ®iÖn tö, bé nhí m¸y tÝnh ®−îc n©ng cÊp rÊt nhanh. H¬n n÷a, sù h¬n kÐm vÒ bé nhí trë nªn hoµn toµn thø yÕu so víi sù kh¸c biÖt vÒ tèc ®é tÝnh to¸n vµ kh¶ n¨ng xö lý song song. C¸c bé vi xö lý cã thÓ tÝnh 108 lÖnh trong mét gi©y, trong khi ®ã m¹ng n¬ ron xö lý chËm h¬n, cÇn kho¶ng vµi miligi©y ®Ó kÝch ho¹t. Tuy nhiªn, bé n·o cã thÓ kÝch ho¹t hÇu nh− cïng mét lóc t¹i rÊt nhiÒu n¬ ron vµ khíp nèi, trong khi ®ã ngay c¶ m¸y tÝnh hiÖn ®¹i còng chØ cã mét sè h¹n chÕ c¸c bé vi xö lý song song. NÕu ch¹y mét m¹ng n¬ ron nh©n t¹o trªn m¸y tÝnh, ph¶i tèn hµng tr¨m lÖnh m¸y ®Ó kiÓm tra mét n¬ ron cã ®−îc kÝch ho¹t hay kh«ng (tiªu phÝ kho¶ng 10-8 x 102 gi©y/n¬ ron). Do ®ã, dÇu bé vi xö lý cã thÓ tÝnh to¸n nhanh h¬n hµng triÖu lÇn so §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 9 víi c¸c n¬ ron bé n·o, nh−ng xÐt tæng thÓ bé n·o l¹i tÝnh to¸n nhanh h¬n hµng tû lÇn. C¸ch tiÕp cËn m¹ng n¬ ron nh©n t¹o cã ý nghÜa thùc tiÔn rÊt lín cho phÐp t¹o ra c¸c thiÕt bÞ cã thÓ kÕt hîp kh¶ n¨ng song song cao cña bé n·o víi tèc ®é tÝnh to¸n cao cña m¸y tÝnh. Tuy vËy, cÇn ph¶i cã mét kho¶ng thêi gian dµi n÷a ®Ó c¸c m¹ng n¬ ron nh©n t¹o cã thÓ m« pháng ®−îc c¸c hµnh vi s¸ng t¹o cña bé n·o con ng−êi. Ch¼ng h¹n, bé n·o cã thÓ thùc hiÖn mét nhiÖm vô kh¸ phøc t¹p nh− nhËn ra khu«n mÆt ng−êi quen sau kh«ng qu¸ 1 gi©y, trong khi ®ã mét m¸y tÝnh tuÇn tù ph¶i thùc hiÖn hµng tû phÐp tÝnh (kho¶ng 10 gi©y) ®Ó thùc hiÖn cïng thao t¸c ®ã, nh−ng víi chÊt l−îng kÐm h¬n nhiÒu, ®Æc biÖt trong tr−êng hîp th«ng tin kh«ng chÝnh x¸c, kh«ng ®Çy ®ñ. H×nh 2 . CÊu t¹o n¬ ron sinh häc 2.2. M« h×nh m¹ng neuron nh©n t¹o: M¹ng n¬ ron nh©n t¹o (Artificial Neural Network) gäi t¾t lµ MNR bao gåm c¸c nót (®¬n vÞ xö lý, n¬ ron) ®−îc nèi víi nhau bëi c¸c liªn kÕt n¬ ron. Mçi liªn kÕt kÌm theo mét träng sè nµo ®ã, ®Æc tr−ng cho ®Æc tÝnh kÝch ho¹t/ øc chÕ gi÷a c¸c n¬ ron. Cã thÓ xem c¸c träng sè lµ ph−¬ng tiÖn ®Ó l−u gi÷a th«ng tin dµi h¹n trong m¹ng n¬ ron vµ nhiÖm vô cña qu¸ tr×nh huÊn luyÖn (häc) m¹ng lµ cËp nhËt c¸c träng sè khi cã thªm c¸c th«ng tin vÒ c¸c mÉu häc, hay nãi mét c¸ch kh¸c, c¸c träng sè ®−îc ®iÒu chØnh sao cho d¸ng ®iÖu vµo ra cña nã m« pháng hoµn toµn phï hîp m«i tr−êng ®ang xem xÐt. Khíp nèi Nh©n D©y TK vµo Trôc tõ n¬ ron kh¸c Trôc Khíp nèi §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 10 Trong m¹ng, mét sè n¬ ron ®−îc nèi víi m«i tr−êng bªn ngoµi nh− c¸c ®Çu ra, ®Çu vµo. 2.2.1. M« h×nh n¬ ron nh©n t¹o H×nh 3 . M« h×nh n¬ ron nh©n t¹o Mçi n¬ ron ®−îc nèi víi c¸c n¬ ron kh¸c vµ nhËn ®−îc c¸c tÝn hiÖu sj tõ chóng víi c¸c träng sè wj. Tæng c¸c th«ng tin vµo cã träng sè lµ: Net = Σ wj sj. Ng−êi ta gäi ®©y lµ thµnh phÇn tuyÕn tÝnh cña n¬ ron. Hµm kÝch ho¹t g (cßn gäi lµ hµm chuyÓn) ®ãng vai trß biÕn ®æi tõ Net sang tÝn hiÖu ®Çu ra out. out = g ( Net ). §©y lµ thµnh phÇn phi tuyÕn cña n¬ ron. Cã 3 d¹ng hµm kÝch ho¹t th−êng ®−îc dïng trong thùc tÕ: Hµm dÊu    >= <− = 01 01)( xneu xneu xsign hoÆc    >= <− = θ θ xneu xneu xsign 1 1)( Hµm d¹ng b−íc    >= < = 01 00)( xneu xneu xstep hoÆc    >= < = θ θ xneu xneu xstep 1 0)( Hµm kÝch ho¹t Net = Σ g out Hµm vµo §Çu ra C¸c liªn kÕt vµo C¸c liªn kÕt ra sj wj §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ----------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------- HV Lª TiÕn C«ng. 11 Hµm sigmoid )(1 1)( θα +−+= xexsigmoid ë ®©y ng−ìng θ ®ãng vai trß lµm t¨ng tÝnh thÝch nghi vµ kh¶ n¨ng tÝnh to¸n cña m¹ng n¬ ron. Sö dông ký ph¸p vÐct¬, S = (s1,...,sn) vÐct¬ tÝn hiÖu vµo, W=( w1,..., wn) vÐct¬ träng sè, ta cã out = g( Net ) , Net = SW. Tr−êng hîp xÐt ng−ìng θ, ta dïng biÓu diÔn vÐct¬ míi S'=( s1,...,sn, θ), W'=( w1,..., wn,-1) 2.2.2. M¹ng n¬ ron M¹ng n¬ ron lµ hÖ thèng bao gåm nhiÒu phÇn tö xö lý ®¬n gi¶n (n¬ ron) ho¹t ®éng song song. TÝnh n¨ng cña hÖ thèng nµy tuú thuéc vµo cÊu tróc cña hÖ, c¸c träng sè liªn kÕt n¬ ron vµ qu¸ tr×nh tÝnh to¸n t¹i c¸c n¬ ron ®¬n lÎ. M¹ng n¬ ron cã thÓ häc tõ d÷ liÖu mÉu vµ tæng qu¸t hãa dùa trªn c¸c d÷ liÖu mÉu häc. Trong m¹ng n¬ ron, c¸c n¬ ron ®ãn nhËn tÝn hiÖu vµo gäi lµ n¬ ron vµo vµ c¸c n¬ ron ®−a th«ng tin ra gäi lµ n¬ ron ra. 2.2.3. Ph©n lo¹i m¹ng neuron Theo kiÓu liªn kÕt n¬ ron: Ta cã m¹ng n¬ ron truyÒn th¼ng (feel-forward Neural Network) vµ m¹ng n¬ ron qui håi (recurrent NN). Trong m¹ng n¬ ron truyÒn th¼ng, c¸c liªn kÕt n¬ ron ®i theo mét h−íng nhÊt ®Þnh, kh«ng t¹o thµnh ®å thÞ kh«ng cã chu tr×nh (Directed Acyclic Graph) víi c¸c ®Ønh lµ c¸c n¬ ron, c¸c cung lµ c¸c liªn kÕt gi÷a chóng. Ng−îc l¹i, c¸c m¹ng qui håi cho phÐp c¸c liªn kÕt n¬ ron t¹o thµnh chu tr×nh. V× c¸c th«ng tin ra cña c¸c n¬ ron ®−îc truyÒn l¹i cho c¸c n¬ ron ®· gãp phÇn kÝch ho¹t chóng, nªn m¹ng håi qui cßn cã kh¶ n¨ng §Ò tµi Xö lý ¶nh NhËn d¹ng ký tù sè b»ng m¹ng neuron. ---------------------------------------