scieee AI-readable full text Open interactive document viewer

On scalable spiking convnet hardware for cortex-like visual sensory processing systems

Camuñas Mesa, Luis Alejandro; Pérez Carrasco, José Antonio; Zamarreño Ramos, Carlos; Serrano Gotarredona, María Teresa; Linares Barranco, Bernabé

Abstract

This paper summarizes how Convolutional Neural Networks (ConvNets) can be implemented in hardware using Spiking neural network Address-Event-Representation (AER) technology, for sophisticated pattern and object recognition tasks operating at mili second delay throughputs. Although such hardware would require hundreds of individual convolutional modules and thus is presently not yet available, we discuss methods and technologies for implementing it in the near future. On the other hand, we provide precise behavioral simulations of large scale spiking AER convolutional hardware and evaluate its performance, by using performance figures of already available AER convolution chips fed with real sensory data obtained from physically available AER motion retina chips. We provide simulation results of systems trained for people recognition, showing recognition delays of a few miliseconds from stimulus onset. ConvNets show good up scaling behavior and possibilities for being implemented efficiently with new nano scale hybrid CMOS/nonCMOS technologies.

Full text

k   !"#$%&"' (")*"++ ,!-.,!/!,0"$%1"23456" /7 +t}}}}}} }}}}}}} }}}}  } !}}}}"} }}}}}}#}  }}}$}}!} }}}}}}}} }}}}}!}}}} }!#}%}}} }}}} }!}}}}}} }}}! }}}!}!}! }}}}}!}}} }}!}}}}} #} &}}}}!}}}! } } }}}!}}! }!}}#} }}} }}}}!}} !!}}}}}}'%('% # ,, ,35859: ;" :35<3& +:" .0 =:35>5?3@?6@: A?B@:"  " : .0:/ "7.30 /:1"  :" :" .60= )1k:" " :" .B0 )::" : " .20:: ".80!::".>0 $)C)1):1(::  /:: .30!,):; ?8@" .60!,):"  .0?>@" .B0 /:?D@" .20AE:" ; ?<@ k:::" 355>" )::: :; ::: ?33@+:":= " :: ::;?36@ ,:,:" :" : :" : ?3B@?38@:: ?3>@,:: :": ":: :::k:?3D@ !k:!k1!k :?3<@" :: :" :: ,: :" ":: : ; 9: ::$: : :: ,, = 3:: , F.2340" : ::6G / .:0" ::: /: ": ?8@):.:0 :6G /: :: 9:" : " : ) ::  ):" .0 ::): .::0 F" ::k :::" ::. :0: F":: : ):"  .0"  ,::: F::  F"  " :  w#})*}}}!}}w}w} ,,, + ):::  ,"  6PHI3P: 6424P,": :8P":: F":: :8P ):: :.0 ::=:": ::" :842 " :" :: .: 0 :: ::?5@ ("  :):355>?33@:": :" :.: ::0 :::  ): :: :?36@ )::: :  ,$/(: $/(.$/(0 :::: :F; $/(3553: ::?35@?64@":: :: $/(: " : F?63@"  ?66@?6B@"?62@"?68@?6>@ ?6D@+$/(: ?6<@" ?65@?B4@" ?B3@ $/(:: :.:0: ?B6@?BB@ " : :.:?B2@: ?3B@0:: $/(; ?32@?38@ $/( :: /:: ?3B@?32@": ?B8@ = 6 $/(?B>@" : F3 ):F :F .0:.:0: :.:P0 /:": :"  ): J$/J )::: :: : ,$/(:" :::::6G =B::$/( : ," :: 1: 9:::.0 ::" :.0  ):: ($!)::: ($!:K:1: :,": :"  ):"?3B@ : ! (.0" :"  : F" : ":: $/(::= B =:" : " : : =2:::, 6G/: .:=B0 /: :" 3  k: ::  " :   ?BD@:: :: "F F3 F6 FB /: $(+,)/(L/kG/( G,*,)$ +E G/kG/( F3 F6 FB (: =$) (F $ w#}+*}}}}}} w#},*}}}}}- 5mm L( w#}.*}}!}}} :/:: ):":": :: "): : :::::: .0 ,:: ::6G ::6G =:": ::" "   ):6G = 2: +::: "::: :.0" : :::?3D@!.0 :::: ,+: ":: $/(": ::: :$/(:$,$( ?38@" ::$/(:. " :" :" :0 =*$$/( ):$,$(28" 8 "F5 "";:BP "::2k" $/(::: ::=2.:34D 34330,: :: :$/(:": $/(?B<@=8: :$/( H:I$::":: :::::: :.:0 .::: :"::0): :.H=I= 80: $/(, ::" ::" "  "  ):"  :$/(:1: :): ::$/(: : $"=>:: 62*:2>): 236<36< :" 3B4 :: /:1:344644 ?3B@ $ .34"0  F" : : .0" :  = >:: "::<4P $*: " ::?8@ = ;F = D: &:: $/( ):: :.0$/(?3>@: $B .0 B6B6)::D): *" " : 88" : ":88" :: ):. 0::& :" :" :& :":;$":: : ,:": <>M ):& :" :" :&:" : ;"   84<4 w#}/*}0}}}}}}}}!}} +}}}}#    w#}1*}2}}}!}}}!}}3}!}! !!}} } } } } }}  }}}}}# w#}4*}}!}}}}!}}  !}}}}!}}}} .3<6D0:::  ,,):, $/(: : ?3B@?38@"?B8@ ):F:: ::"  &, :"  ::: ?B5@ $!k :::":: !k?24@,:: " !k: :" ::  ):"   $.;0 : F" : ::" ::::::: =:": "F: :)G.0?23@?26@" ::: !  ,,, 9:::: :: ::" :": :::$/(: ,N$ ):/E63>DDD.$+$+0" :)/644>33DB44B43.$!$)$60 )/644534>B54243.E$k0" $ 4>),4323D.+0 #$ $::'(=E:: N( ?3@ K =:" H=/  !   $::/"Ig" 8"2"B66BBB"k35>5 ?6@ K =:  9" H $:: (:"Ig"6" B"B88B>8"!3553 ?B@ AA+"H,":" )"I"! $./0""!$7!,)"68868<"3558 ?2@  +  A " H*: ), ("Igg ?8@ ) "  "  +:" ! (:"  ) " H( k;( : !:"Ig g"65"B"23326>"!:644D ?>@ #""H: "IggP.,0"644D ?D@ (  # 9" H$  :  7:"Ig .,!4<0"3>43>D"644< ?<@ (""!"$/"KK"E!  A"H ( $k( G"I"6>.607364322"=6445 ?5@ G(""Hk:*/"I g26"<"3>8D3>><"$644D ?34@   *" / "  +" , G"  " H !:7):!"I ?33@ ):"G =&" !" H  :: "IB<378646"355> ?36@ ):""H7(: "IP8<>47<8D>2"6442 ?3B@ (*""J$:!: +/"Jg g"8B"36"682<68>>"G644> ?32@( *" " Jk ()$/( 6G :+"Jg "35"D"335>3635"#644< ?38@( *" " J$,$(7$ 28" 8!" 36*1$/($ :  k;(  )"Jg "64"5"323D32B<"6445 ?3>@ :"  :"  ) GO" H$ 36<36< 364+ B49 $::((,:"I g"2B"6"8>>8D>"=644< ?3D@"H$<4)36<)=k:>8 !k"Ig,4D"5<55"=644D ?3<@G +   K K :" H!k=*$7 : : :  "I 3>"<<<544"6448 ?35@! " g P PP" :G ):"  ,):"$"3553 ?64@#&&""H$:"I g"2"86B86<"!355B ?63@/ " " J$:"Jg "B<"6<3652"644B ?66@=(""J$36<36<"364+ :"Jg "B<"6B686BBB"644B ?6B@:"  $ +" H$ ))=!k, :k:/F&"I,///)," 38"B"B2>B8D"!:644D ?62@!$&:"H$$/(,:"Igg P.,$64480"6D836D82"K"#"6448 ?68@K $ ': K +:" Hk : :"IgP83"2">8D>D8"$6442 ?6>@# " H$: :   :$/("Igg 82"D"3222328<"#644D ?6D@ :"  :"  ) G" J$ 36<36< 364+ B49 $::((,:"J g"2B"6"8>>8D>"=644< ?6<@* :" " H$  ,: : $: ,$=/"Ig"28" >44>4>"!355< ?65@:"H$!:+:,, $!k"Ig g"82"8"5<3P55B"!644D ?B4@! k" " HQ  , "Ig"88"34"B3>4>5"644< ?B3@))""H/+,:$, "IggP">22>2D",$6448 ?B6@""H$:"I gB6"6"3DD3<>"=355D ?BB@) A 9 :" " H:  :"Igg86">"3425>4"6448 ?B2@)*""H$/(: "IgggF 2>"5"34>234D3"3555 ?B8@  !" " H= $/( :  "I 644< ,///,   C .,$4<0"  >86>88"!644< ?B>@K +:" H + :: E $/"Ig gg"  2D"  8"  23>2B2"6444 ?BD@G$""H(k +7 "IPB<24"8B528"6443 ?B<@#$%&""Hk:$/( "IgFg"644D ?B5@G+""H):!!="I28B" <4<B"3!644< ?24@G +   K K :" H!k=*$7 : : :  "I 3>"<<<544"6448 ?23@++)*"H! )G"I R:711::13434316445B4343SB3!:"6445 ?26@++)*"H/!  $$: :: "Ig"#6445 ?2B@#$%&""Hk:$: $:)G!"Igg6434