Neocortical frame-free vision sensing and processing through scalable Spiking ConvNet hardware

Camuñas Mesa, Luis Alejandro; Pérez Carrasco, José Antonio; Zamarreño Ramos, Carlos; Serrano Gotarredona, María Teresa; Linares Barranco, Bernabé

doi:10.1109/IJCNN.2010.5596366

Neocortical frame-free vision sensing and processing through scalable Spiking ConvNet hardware

Camuñas Mesa, Luis Alejandro; Pérez Carrasco, José Antonio; Zamarreño Ramos, Carlos; Serrano Gotarredona, María Teresa; Linares Barranco, Bernabé

Published: 2010
Publisher: IEEE Computer Society
DOI: 10.1109/IJCNN.2010.5596366
Repository: idus.us.es
Language: en

Abstract

This paper summarizes how Convolutional Neural Networks (ConvNets) can be implemented in hardware using Spiking neural network Address-Event-Representation (AER) technology, for sophisticated pattern and object recognition tasks operating at mili second delay throughputs. Although such hardware would require hundreds of individual convolutional modules and thus is presently not yet available, we discuss methods and technologies for implementing it in the near future. On the other hand, we provide precise behavioral simulations of large scale spiking AER convolutional hardware and evaluate its performance, by using performance figures of already available AER convolution chips fed with real sensory data obtained from physically available AER motion retina chips. We provide simulation results of systems trained for people recognition, showing recognition delays of a few miliseconds from stimulus onset. ConvNets show good up scaling behavior and possibilities for being implemented efficiently with new nano scale hybrid CMOS/nonCMOS technologies.

Full text

Ù Ù ìì J     Ù ÙÙ     !"#!"# $%     &       $ ' !    (    $$%  ')% !"# %$ $!"#$    $$  !"#   ' *     $    %   $       ' Ù           $     $ +),+) '    ! " # $  $ %&'$ "$( )*+,-$.!!!$ )# $' )#$'  #.!" $  '!)$$ $ (!"! "  $(   . $ #  # "  )$!$(/01/*1 ì"()$)#)!  ! $'   $2 3    "4  ! ' .!"# " !!! ' )# '  ' .!" ! $2!#)($.     5ðW ) ( !  ! ' $( #  !    )  !! #  #/,163$' 4  #  $7 3$' 4 ! ' #!$()$7   " ) $( /81    !    # & '$    . # $ ! !  #  "  ' 90 $  $     )2 *: ) 2         /*1 .!  $!")/+1/;1!!) '$  )# # !  $$ $.  "  )($( (!/01/*1/+1/0,1&(0!. #$  !!      . "  6  6.2 <." "   $ # '$" 2 #!!!(!)"  ! (! ) $ )# ! )   )    (! )# . $( (  !   #= $  !(!  !  $"(  ( )$     " # /081 # ! ) " !  .   !. ! (#  %  $$!( ! $( $) #) ( ) >"$ 3>4   $( (!.! (#!!.$ $"( ! $( %  ( $7  )   ##>.$$0??0!  !! )/0+1/*81!)!)# . #  $!!.( > ! )   #  (   $  (! #  %#  /0@1 $2 (/0;1/0A1"/0?1$ /*-1/*01  )/**1>! )   # # /*+1/*@1 $  .2  .2 /*;1/*A1  "  # ) " .  .2 /*?1  > "  $( !$ .! !. 2  3 (! # ) 4 !"   ) $$ /8,1/881 <."  .   )#!$2  "  !$ ) " )  3.! /8+1  .! 2  ##  /,-14 ! ! $   ) ( (   > "6  )# $  )7 ( $$  ) $$ /,01/8-1 "  >  #$() 2  "  !$!")$>!')$'  " !( $2 ( /,-1/,01   # (  .! $'    2#( /8@1 ! !$ .!!  $ ( )# 2 "  3,*',*  /,-14  $  ) ,'0-? BB!$  )   ) ( ) 2  (   2   # !!   )  !     )    > ) # > 3"  4    )  !(!  (!) ì9: 2 ! .!  (  !$ 3( 6.2!$ ! (# /,*1 .! "      $ !$4  .!   % #$ # ! (#   2  $)   )  " !  ! "      .(  () "#"#$$  <#"6$2("6  0?+? <)   C  $ ! (  $7   $(   # (  "  ' "( ! 0?A0 6)  $   ! "  6  6.2 3"64 . ( # $$ )# &2!0?@?/A1/?1!" $)#Dì /0-1!($#$() (   $( .! (    "#  !.!! E"  3>649$B80-?*" $ > F '-.$Ù 3 4$$ . !>'$  $$ " $.F3046>.! $B$((( "(!. $#$  )  $! (( $$  3*4 &  BG( .!('( ") $!$$ 3,49! (.! $"" !2(384  .!  .! ) " "  3+4  .! !.( ( 3@4 HBì! (B 6 .! $  !2 ( >'$   ! ! '$ ( "6304((.!)7(  # /*1 3*4 (   .! ( (  ) (  (  # 3)  4 /,81 3,4 6> ì) .!   (( $(  ( /,+13846DI.!) ( (  #)7( " "()/,@1 G ! ! !  0??@ !$  ! ! !" #$) $()7( 2!$!#" " #! $2/,A1!(!" $&.2  $2( "6 .!!  $ # )( '$   #!(!$)7(./,?1 ! 9ì(.!".( ! $ # $ " $  !    $2(   !.  $ # $2( !.  "6 $( /,-1/8-1  "    )# !(! # $2(/**1.)($$!! )"6!2. (!.2 $2(($(.!! !. ! ( !  6.2G!$ /,*1  (    G  !#) GBG ! ( /8*1 .     !(! # #  $! ("2  ! ! )  ! $$.". ($$"6!. $2( ('$ $2(" !$!. !) ( (  ' 2  )7 ( C $  )!"     !!2(! .!$ $2("6#)( $ .!.(! (#" &"&>")9 (( &(* !$ ).&   >") (  $( # >!   $ #!$. $%!.!! !$(#>!$)#$! ($( (!!"((! $(#!" $' " ) (#$!).")" $.!>!$' "3 # .Z 4.!  $$#3!(  #/0@1.!$(!)($' /*014 >"!$(#!#$ .!.(&!$(#$ !"&(, !! ( ). )! $  ! $ 3&4  #)$ð:(! 0"!$$3! !(!$4)! $)#!"!!$( # ! $3043.!   #¢4!!$(#!$ ! ! ( (%( ( 5& $ W ) ! 5(W   " )   ! )  &( , $'  5W  #!" #!.".!  # ¢=  ! $( # >"  $  !#  ..!>"ì#3!4&$( (    " #  #   " "  #     .! !(! %# % #() !!   ! " $ 6 ! (  $)  )0 ((".!$ !( #&#/+81 &( 8 $"      #$  $   >)!./8@1!!!.$ $ 34(0*A'0*A$'  /**1 !  (  $ "   *: "  !$ $(.!;';$' " ) $' !     " 3.!!  #    Z 4"# (!#!( "  *+J&(834!.!0+--"( )# !  ( ) A- .! )"( . $ '/. ' " $' '0.       "    $' '1.2.  -/34-/3  5//6'4 $ %   ' 7$4 '            38-988' !4 $$$%$ $$ :4: 7 /;'$ -98'088       38 $   '   . 2(!"" !$$!" .! #)K0+-' !*:#  (  ! "  !$ .  ( ! . $"&(83)4!.!,--$"$)# ! "  !$ ( !  A- ! ;'; 2 #$ # % ). +  *- $$    $"$$"!"    ! "  !$ ! $( $ " $$.! #0--*--% #$$ $" .  9 ($"6<. ( # > !.( $(    ) )   ( !!      )  )2 /8-1 !  )  ! )  #!#!> 2).!   ! " ) #  5( W   !  > $  (  $$ /8-1/801  #$  "6 ! 3&(04 #)%  # 380-4!.!!$" *: ($ $   > # ( ' $   3!  (  4.!!$(" #) $ ' !$  (   ( > # (  # $.! )2 .!  ( ( ()$/*1!2. (3#  !$  (4  ! #  $ #   *:     # >'$  "6 #    ! ( $$  # !" "    !   $ # C!  ( ) "6 $  !   .2  ! (   ( $) #2. ($ #!! )      # ! )   3$' 4    # .! ! )    !   ' )#$$ 3! "  2 .(!4 % # )  #$      # .! ! ) G!!!! #!$(  3 $   $   !.4    # )# ! )  %  # .!!    )    !(   (" $$  ! $()#( $ #3 2. (4!  .2!! ) #$   % # .! ! )   % # "6  "# $$ (  ()    ) $2(!.$  9>(#B>#$2( (  (  )      $2( ( !)$2(!(! #(# . $(&(+!.#$ * 5$ W $2" ()0!)   (    ) *-8-  $ ! $2  # !()+")!.!  !!$2  #$"!(!+" (" (!.!$# #.! ( 3)4)# #!((  !((.&!.!(  !(!$! #+-("$)! $" .!!$ #$((#3" ! )   4 $2 (  ) (#!!(! #(#!$ #># !(!$2    )#  # !((   !(( .<."!!  2(   $$! !    ! (# /8;1 ) ! (# $    ((  ) 7 $)  .!  ( $   #  ) $ ' .!   ( .  ( .  ! ( ((($2 ."# ! !$   0??@ /,A1 !  ! ! )  (  $! ( 3!   $!($!4$. !.#!!" " #($2 !$  " $ $2$( "  !  2 ( ! $)   $(!#$( #./,?1 9>" !$ &( @   "    $$ > 2 /8A1 .! $'  #    #  $' " %#0 !    $'     !$ %( $  3$2"4 .!3!4).! ! ( $2 "  3#$ #  !   4 >!$' ($2Z.! !$ (  )  $$ ) !     L >"L ! " !$    !   ! ( "   $2  ! $( "( $'     ! $(>" "!$(" (!)!$' Z.!!!*:2  &(;!.!$ ( #( > "  !$    $'  # .! ! $'    B  .! ( "   C!! !$"3("4 !!  ! $'     (  $" 3("4 $ " ! "  2     ! 2 ! $!2  )# !2 0B*-8- +B* '9.< 0  G!   ( ! !" ) $$ !  2 ( /+,1 .! !   ! "  ! $' %# 0 * , >!$ >M>6G:> :ì I :>G:> 0 * , "!$ & % 2 '=.#!"# ':.!"#; !$' #N ! B(!$( !("$  ! )  ' )  ! $'      '     2!.# 2#(/,-1 $ .! #( # 8,'+8*$#$!$!))! -,+ÐG$$!($!!.&(A! () 2!,*',*#$' .!$$'  ,',** ! #!     8+--',--Ð* !  2   ,*',* @) . @--'*;--Ð*! B(! !@--',0--Ð*!   !  2 ! >) *= $    2(! !$'  #.! ?+@'0-0,Ð* !.&(A!  )# ! 0A)     !   ! F!(() 2! $ '!$  ! >   !(! ! !$    ,*',* $'      $ $  0*A'0*A !$ $. $$)!!$!(!$!2 ").@@0?A &( ? !.  $ $  ! $  $ $!!2( ( ! "  !$!!$ . $(.!,'+2 (!.#!  $ " 3 ! @A;- $   %O  2O4 .  ( 0- $ " 3%O  2O  !!.0-$ 4! #).!! ("!!(("0;;  !!(!$$!2  !$ &( 0- !. ! (    $$  (+---$3" $4!" !$   .!  $ "  . $( . $$    !$ 3     !$4 (  +2$"(! ".!" !$ $(.!2 !$$ !(! !$$$ )!$!!$ .  #!7#!!!$$$  9 # $ 3.4 "6   ! " !  "      $ $$ #   . $(2% #.. $"    !.    .  $$ . ) ) !!  > "     2 !  !.  &( ; &! !      ( (  () # $() # ! )#"6 ! )$  # &(00!.$  !"! *:# "  >!  $() 2 "  3 2!&(;4 $   >! "$"# (!).$" (!)>!  $(.!  () !!("!$ $    ! $  )# !   "   $$!" $ )# !  "    $ )# !    .!  !  !(! ! $$ $ $34    # #  !. ! # )#    !    ) $   ! *:  )# (($$  () ! !*: #&!!$))#$ ( . .!! ("  "6   .  (  #   () ! *: &(00)$ $!# #( .!" "  !$ .!       ) $  .! ( !$  ! #$   6.2!$ 364 $)   !(   !  '3.4$ '>.?$!"#  '-8.#9888  5mm "  M '--.Ù !   $ !$ /,*1  $  ) 3 64  ) !) !! # $!# 9>ì9: ì2  &( 00 ! > 2  $ )# * . ! #)   2!#$ì9:3 ." ( ( (4ì9:) # . . " ( ' ì   .! 0--( $ ì9:      /8?1  #   $  !     # <."$#ì9: 2  .   $ #  2$   " #! C!     )  (  #)  3  PQ4        #! ( .   %  "#! C$$$$!.!!)   $  " #! %2 # !  '$  !(/+-1   2! ."#$ "#  2()." $! (! !$&(0*!.! ) 2 (  ! (  " $  >/+01!!.&(0,  (()#!>%( !  ! "  !.  &( 08      2 "#(+ #".! # !(  (    !)  !!" #.!! . %2 #.(.!"!"   (! $ $)  " ! .!!$.$)!" ( () (!$.!  .("# !/+*1 R#ì" !"   ) $"!.! (# $2("6)><."!$ ! (   !. # !"  ) $ # )) #! (>#$!9 # /8-1 .!!    > !$ 3  "  !$ .2  !$  ( !$4 $ &)>($$(  ! 9 #   8+2    $  +  #$$  %" ?(($ #2)7.!, # <."!# #!8"  G)" # $#>!.! ! "  .!!.&(003.!)0-; () 0-00#$4!$"  !   #  .! ) ( (   "6.!>!..!"" $") ># /+81&(0@!.'$   $! > 2$ 5! W !! ! ! .        ! " ! !" "  !(! ! !  ("3!Z4 (3.!!!".( '-/.?;# +" '-0. '-1.;$+ '-9.$?;!"# '-=."4   / Ù$' ! $!# ! 4!$ !#3 25& W &(0@4) $!# " $ > " ) 2! )!" #  ( (  #  !!2( (  $   $   ! .# .     $ (   #$!# #" ) >!$B  ! ! !) #" .! $ (  $!#  > !.  .  ) #. !$ $#    " '$  &( 0; !. !       )2  *8 )   .! 8    @ !$80*A'0*A$'  (.$. 2((!  () 0,-2 " "    $ ! $  ! "  .  >! "   B!$  ) 0--*--$$$"/,-1. $"3)0-$(2 4"   $".$"% #! #). $$ .""  ! 342()! .$   &( 0; !.  ! "     !"$(!8-  )2  ) #$  (   # !  (  "  $( 2  ! ! ) /*1 & $  )7 (  (  % &( 0A !.  '$  "6   ( !  .! >   ! $ "   . . $ .!  $!#  $   34 >  /**1 .! )"($$ . 2($. 2($),2$ 32 "$49 $' #..$  ,*',*!$2("  .2!; #! #   )   )2  #  )$ ( ! #   )  +'+ 2    )2 ! #  )$ (! #() +'+2  )2  '!  "! #   #  )  $$ ! # .    !(! )2 $$( (  ( $  "  ! $  . ! !  !  ! )7  (  .  .! .  ( !.(   (   )" A@J  ( . $  "(  # ). +-A-  " 30A*;$ 4.!( () !(!$ # . R6! (#$  # > "  !$ $ )# ( .. ! 2  "#  $' ! % $ .!!   #  !   !   $(  2    $ # .  .(.! (.  "!!)($.!!(! $ ) $) #$/++1! .!#) !.&(*-34$" *  " " $   0?;8 /+?1 )  " )   #/++1G)7"'$ !"  ! #$       $$ 6  ) ((" ) G9ì! (#.! #$ 3.!!%! (%4))   "(  $   !$ ( $G ) !%   Gì 2 ( /+@1!.&(0?!#$"%. $F304$ .!!!#)  Q (  .!  ! .(!  3*4  $   .!! !# !(  ! .(! .!!  " ( %! .. !".! !. .  !(   .!   !  " (  ' !!   & '$  &( *- !. #) ! ( " (    .!!  )  )# !  .( %/@01/@*1 304   !( !. !((%304.!$ (   &( *0 !.     !  )         /@-1     ")       6G $ (!&(*-3)4$$  ! ""   !   .(!    ( $ (    '-:.<!"#7        $ $  !"#' '-3.Ù !"# 2 G 1 '->.+)'" '! +)'! $'"   $%        $' v MR v MR f( ) v th −v th v MR + − (a) (b) '/8.+ $% %  5 f () R RR max min sat        K Sð   K      Z      ) )# ! "  &( *-34    # )(  .! $2( ( $2:$ # #/+;1 $2$$ # 3:4     ( ! ( # $  /@,1  ! '   ! (  (! 3 $  4 '$ ($2)$3)4!" "  $.   (! /@81/@;1 !( # '$ ") ( :!" )$)#"  ($ . . /@A1  : ! !(  #$ .(! ¢  '$    ¹  !   ). ! $#$ $2    ! $#$$2$ #¢K¹3¢4.!¢ !!$!:¹)$  '$ /@A1!.&(**34& $"¢!. )$#$.(!¢r- .!!. )(T¢T&("¢!. )$#$.(!¢-.!!. )(  T¢T  C  #  /+;1/+A1 !   3%3044 .  )# .#!$2( (   ! !$!. &( **3)4$)#¢(!$#$ )#F0!!.(!$!.&(**34 ! #).!! !))#     $!# (  '$ ! $ ! $) #!) ( #$!(!)" #$!$) ) ( :/+;1    ! !  $  !$ ( #   !  (:/+A1 I(!$.$$)! (#$$2(!)2 $ &(*,!.$) ($ ( :$2(".$$:$( !$ #!! $2)" !!.$ ) 2(! %6(.!$ " ()#!(!( $  .!  $    (" )2 $ ! ((!$! $  $$ !   (  3( "4  !  .(C!"!( !!! c $ $2&(**3)4. )((:( !!$ $23 ($"$2 $  ( ("  4   $  .    ) $"  !!(($!!!F34 ! ( 3)4)!$$2 )2!(!!$ ( 34"#! $ (  ( ( $2 $   "  ! $2 " (   .  ! ' # #$ ! ! " $ (  $2 ). .    I( ! ( .! !      &( *0 . $ " )!"  $  !$ ! 8'8  . # !.  &( *, G # !  *  #$ .!*--$$238+ 4.!*+ " #).!. !  .! ##$!. !(!  .!  !  ! ! .     ( !  $ :.! # 2 ). ./@-1:.2 #  . ) #   ) '  Gì 2 .2..!"#$) .!"6 R  C !" !. !.  $  "6 .! $2( !.$$!$(2ì(  #!") ()!"  ) ($( #" ) !.(! .!  ).!$!# >!$ R2. ( ! .2 . $$ )# >I ( *0@;;; 364 $! ( >*--@00;,--,-0 36*4  >*--?0-@,?-8-0 39Iì6G4    ( -@-080; 3 #4  . $$ )#   ! !$)#&I! !$ R /01 )(>( C UU#!$ ()#  $  6  ## $==" A6;BA$$0--+0-*A0??+ /*1   ì .    !  !)   (( 5) G)7 ( .! 'ì2!W " *?6,$$8008*@!*--; /,1   !$!   ð  G' I"#,>0??- /81 > : ðc G' I"#*--* /+1 :9 : )!ì! 5$ &%# "#   %9 'Wc" **$$+8+++? 0?A* /@1  :9  > D  6 <$  5! G  :  "# %9 'Wc" **$$ +,0+880?A* /;1  < !   ì & #   & 9  5V"   (   $  2#  ' $  &%#W " ,?@$$0,,80,+00?;@ /A1 N&2! 59 & >' )#   #6.2   (!! > W"  +68$$,**,,,G0?@? /?1 N &2!  6 C2 5<.  $! ! ()#!6(W" * 6,$$,++,@+#0??0 /0-1 DìD(5"  6.2($! Wð ))3>4)(F$$*++*+A0??+ + −C v ivi ig MR MR R sat sat g NOTA '/-.+    Z   '//. ;$'4 $4$ $' !'   R11 R12 R13 R14 R21 R22 R23 R24 R31 R32 R33 R34 R41 R42 R43 R44 VREF VREF VREF '/0.$$ $ /001 DììD(<5)ì( $$ :(==ð" A@600$$ **;A*,*86")0??A /0*1  6) 5>"   "  6  6.2  9 (W" ?68$$@A+@?@ 0??A /0,1  ì.  ì       2 5& (F  "   6  6.2 $$!W  " A60$$?A00,0??; /081 <D2!)5 (&>' 99ì>$ #(#!(!W ð" 8*$$*-8@*-+,*--; /0+1  "   c    !: !   ! (#0??0 /0@1 >       L )$! (  ( L ð " ,A$$*A0*?8*--, /0;1 & L0*A'0*A$' 0*-#(" !$('Lð " ,A$$*,*+*,,,*--, /0A1 !!25)&$2G( .!G!$<(>% Wc " 0+6,$$,8@,+;!*--; /0?1 ! 5">(!$Wð 3*--+4$$*;+0*;+8N)$*--+ /*-1 N  (!    N ! 5G$ " (    $! !$W" +08$$@+;@;+$*--8 /*01      5   .! !$  )  $!$2)>"#W " +8;$$088808+A #*--; /**1  ì!  !   : )W2 5 0*A'0*A 0*- ,-C #!9!$ "#!(W " 8,6*$$+@@+;@&)*--A /*,1 N !5$!!$ !  V$  (W ðð     3??4$$0**-$0??? /*81 ì 5 #$$! W " 8$$+*,+*A#0??, /*+1  .)(! 6NC< )  5  ( 9ì !$ .! #!   # & >'W" 8+$$@--@-@#0??A /*@1 9 !  ì " !2 5> >F  !  ! C!>"$W " +8$$8A+?*--; /*;1 ! 5 !$ 6$! $$  G "#W " +86+$$?A0X??,#*--; /*A1  G    5V   $2) .2  9ì .2W" ++60-$$,0@-@?*--A /*?1 ' 5>"((.!"  6.2W$$@88@8;*--+ /,-1  L6$! ì#!$ $2>"(9#L " +,60*$$*+8A*+@@:)*--@ /,01      LG   > *: "  <.6$!$2 (L " 0?6;$$00?@0*0? #*--A /,*1 9(  5A- 0*A&ìG6.2!$@+ GWð-;$$?A??&) *--; /,,1 ì   D ì 5$!  6.2  ( (W /,81 9 5$" ((.!"  .2Wðc394*--; /,+1  )   C 5  !    (( $(F$ .2.! 2 (Wð 3ì-A4$$0@-0@;*--A /,@1 < >2NN"2( I   D ì 5ì( ì(( 9   G :"(W*@3*4F0*-088&)#*--? /,;1 <   >  ì   :" 9 9$2 5  $$9!F!9W /,A1  !$:& 5$$(! !" #W,A0F+*-*0??@ /,?1 !$ 5$26F " $(.!$2$ W+A@-FA+;@8*--8 /8-1      L9F  8+26 +#$ 0*B > <. #(ì(( #  <(! $ 9  G)7 (  2(L  " *-6?$$080;08,A$)*--? /801& (  9  ì " ì   9     " 5>    :)(((Wð $$,*+,,*+@3*--@4N34#*--@ /8*1 :  2"  N N ì2!" 5Gì &F  ()  !  !#) (   .! .  "W 0@$$AAA?--*--+ /8,1 9 5(  #!W " ,*6*$$0;;0A@&)0??; /881  D C !    56$! $    !#$ W" +*6@$$0-8?@-*--+ /8+1  5>( (!" $(#W " 8@6?$$0-@80-;0$0??? /8@1 ì  5& # ( > " !$ " $(W  *--A >>>  #$  H # 3-A4 $$ @+*@++#*--A /8;1 :2Rì6NC:<5G!  >    W" 8*6A( *--; /8A1 N ! 5 "# . 6$! !$ I(  >"W    "  8; 6 + $$ 80@8,8*--- /8?1 6B>B>@880??+  ðc ððcð 6" 0+0??+ /+-1 C &N )?@68-! 0?8? /+01      5ì9:   > 2 .! )  $$) #Wð$$ @88@8;*--A /+*1  5ì.$.ì9:"> 2.!) $$) #W*--? /+,1 :  56.2((2G (F$2($$ #(  "#W,A8-$$+,?8+*--0 /+81  5G!$ .>9 (<.Wð*--; /++1 :2" 5!(&W" 8+,$$ A-A,0#*--A /+@1 :  2"  N N ì2!" 5Gì &F  ()  !  !#) (   .! .  "W 0@$$AAA?--*--+ /+;1 ì5'$  $2:$ #6 #$W !$FBB! ! B0-0-0B$*--?,-0-0r,0!*--? /+A1 ì5>'$ (  $" #! $2( 6$! 6! (# #W #*--? /+?1 ìG!5!( W"  0A+$$+-;+0?0?;0 /@-1       5G 6$! $2( !  #!:"#Wð *-0- /@01 ìG!N(5":"#W " @86*$$*-?**,0?;@ /@*1    5$2(:$ ì(  " 6"W$$A+?**--A /@,1 Cì<5C!#$2Y<)) ( "  "'$W@? +-,+0+0??, /@81 % !$5I$"ì(9 & !(!$2(:$ #W,3*4F,0 F0-0,;0B7 $)--,--,0*--; /@+1  %   #   !$ 5$2 ( :$  #&!$($2W ìG6>,304F0,;;F0-0,;0B7 $---0,;;*--A /@@1 % #!$5$": $2ì(W6 $*00*+?0*;@*--? /@;1  %  > <(  :   !$ 5G  !&( (  $2 (:$  #F  >ì(!W6*--?*?38,4F0,8A8?, /@A1 5#$ !$$$ F $$2(#$(!$#$ #$W 0A3*840-8@80-8;*0??A