L` ApprenDssage ArDficiel

Transcription

415'"
BC"&@@-+'D2253+"&-DE7*+1""
A57+"5.F"G)''/+2"(+H@)-+11+2"
!"  #$%%&'()*'+,$-'..'("+("(I78+2"522)7*/+2"
#> 
J> 
6I78+2"
&'51K2+2"G+"(&/0'%1'()2%324230'..'()
#> 
,)H@-/8+'2*)'"
J> 
4-/G*7D)'"
L> 
:G+'DE75D)'"G+"2).2M2/N.+'7+2"
L>  "&'51K2+2"GC'%('+5.')3')(&/0'%1'()
&'()*'+",)-'./0)12"
&3-)45-*26+78"9":;<&"""=:&"%#$"
5'()*'+>7)-'.+0)12?53-)@5-*2(+78>A-"
#> 
,1.2(+-*'3"
J> 
,1522*E75D)'"2.@+-O*2/+"
P>  &@@-+'D2253+)'%6.27%'"+("+'O*-)''+H+'("%$%)(*89$%%82-')
#> 
B+"75G-+"G."-3-+("
J> 
B+"@-)Q1RH+"G+"1C).Q1*"
L> 
&@@-)78+2"+H@*-*N.+2"
%>  ":$%1.0(2$%())
!"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
J" !"#$%"
W.@+-O*2/""O2>";)'"2.@+-O*2/"
]785'D11)'"GC5@@-+'D2253+"
'%
S X"YU!"Z"!"VZ"U!#Z"!#VZ"["Z"U!$%Z"!$VZ"["Z"U!&Z"!%V\"
:'(-)G.7D)'"
(%
^)'7D)'"G+"G/7*2*)'"&'
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
L" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
P" !"#$%"
&@@-+'D2253+"(0,'-42(&)_"5'51K2+"2(5D2DN.+"
&@@-+'D2253+"2.@+-O*2/"_"5'51K2+"2(5D2DN.+"
m
REmp (h) =
! l ( h(x ), u )
i
i
i = 1
•  4-*'7*@+"_"
∀h ∈ H :
–  `'"2+"G)''+"H""
!
"
P R(h) > REmp (h) + G(H, m, δ) < 1 − δ
m
–  `'"78+-78+"&"!"H""A5*25'("@+."GC+--+.-"2.-"S"""
–  a'"+2@/-5'("N.+"&";'-8),'0)3<'--'0-"2.-"G+2"+F+H@1+2"b"O+'*-"
•  c-5*"2*"
–  d)''/+2"*>*>G>"
R(h) =
#
l ( h(x),u) P(x, y) dxdy
–  a'O*-)''+H+'("2(5D)''5*-+"
X "Y
•  B+e)'"+22+'D+11+"_ ""
!
()*+,-,'' ()*+,-,'3/4$,'
./01$2,'
56+'107$/0,8'
B)*"G+"
@-)Q5Q*1*(/"
0)*'(+"2.-"X"""Y"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
–  ,)'(-f1+-"15"S"75@57*(/"T"G+"H"""
%" !"#$%"
&@@-+'D2253+"2.@+-O*2/"_"1+"752"G+"15"-/3-+22*)'"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
g" !"#$%"
&@@-+'D2253+"2.@+-O*2/"_"1+"752"G+"15"-/3-+22*)'"
h : Rd → R
•  =8()G+"O-5*+"')D)'"G+"*'+,()
•  =8()G+"')D)'"G+"1$--&.89$%)(+H@)-+11+"
–  452"G+"')D)'"G+"H/H)*-+"b"7)'(-f1+-"
–  6).2"1+2"@)*'(2"2)'("/N.*O51+'(2"
• 
()()"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
h" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
$" !"#$%"
&@@-+'D2253+"5-DE7*+1"_"Q*15'"
•  &'51K2+"(8/)-*N.+"
–  W.-().("8,,-'%9((87')(0,'-42(&)
d)''/+2"(+H@)-+11+2"
–  d)''/+2)2"23")
+("(I78+2"522)7*/+2"
–  a'O*-)''+H+'("(*89$%%82-')
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
i" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#j" !"#$%"
6I78+2"GC5'51K2+"G+"2/N.+'7+2"U(+H@)-+11+2V"
•  >5?'*)'%)($2)
–  W/N.+'7+"GC57*G+2"5H*'/2"
–  W/N.+'7+2"G+"2)'2"
–  =)'G+"2(5D)''5*-+"
•  @%('+5.')3')(&/0'%1'())
–  ,).-Q+2"G+"7)'2)HH5D)'2"/1+7(-*N.+2"
–  =)'G+"2(5D)''5*-+"
9610:$74)6;''
1,'70*+,;<,'
a'O*-)''+H+'("(*89$%%82-'"
C6%.4/4$76;'
1,'70*+,;<,7'
#M"=..>'?;@:$A;,'
•  A.0B)3')3$%%&'()
–  ;/7+22*(/"GC.'"5@@-+'D2253+"+'M1*3'+"
JM"=14.24)6;'B'%6;1,''
–  a'O*-)''+H+'("2(5D)''5*-+")."')'"2(5D)''5*-+"
;6;'724)6;;4$/,'
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
##" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#J" !"#$%"
d)''/+2"(+H@)-+11+2"_"0%')2/N.+'7+"
d)''/+2"(+H@)-+11+2"_"0%')2/N.+'7+"
•  ,5-57(/-*2DN.+
•  DE'F2@;E'DE'F2@#E'F2@"E'F2'D'
""
–  B+2"F$"'+"2)'("@52"*>*>G>"
•  W/N.+'7+"E'*+")."')'""
•  B+2"F$"@+.O+'("k(-+"2(-.7(.-/2"
)C8)(&/0'%1'"+2("7)'2*G/-/+"7)HH+"0%)$5?'*)
–  F$"! Y2KHQ)1+2\"
•  `'"+'"78+-78+"25"2(-.7(.-+"""
–  F$"!"#"
•  </3-+22*)'"
–  F$"X"O+7(+.-"
•  B)*"G+"3/'/-5D)'"2).2M057+'(+"U+>3>"785l'+"G+"=5-m)OV"
–  F$"X"3-5@8+"
•  4-)7+22.2"2).2M057+'("2(5D)''5*-+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#L" !"#$%"
d)''/+2"(+H@)-+11+2"_"0%')2/N.+'7+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#P" !"#$%"
d)''/+2"(+H@)-+11+2"_".'"'%('+5.')G+"2/N.+'7+2"
Plan Time series structure Time series sources Motivations for mining time series Internships on machine learning fr
Time series structure
•  6I78+2"
•  :'G+F/+2")."')'"@5-"1+2"HkH+2"*'2(5'(2"
!" 
=-&3219$%)G+"15"2.*(+"G+"15"2/N.+'7+""""US"G6/,<47);A"TV"
D" 
E%8.F(')G+"15"2/N.+'7+"
•  d+"HkH+"1)'3.+.-")."')'"
A set of observations made sequentially in time:
n
, n = 1, . . . , N }
V = {v1:T
n
•  4).-"*'(+-@-/(5D)'"
•  :'G+F5D)'"
•  a>3>"
•  ["
L> 
–  ,).-2"G+"Q).-2+2"
<+78+-78+"G+"($0(6(&/0'%1'("A-/N.+'(+2")."5(K@*N.+2"
–  ,)'2)HH5D)'2"/1+7(-*N.+2""
•  +'"G*n/-+'(2"1*+.F"
•  +'"G*n/-+'(+2"25*2)'2"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#%" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#g" !"#$%"
d)''/+2"(+H@)-+11+2"_".'"'%('+5.')G+"2/N.+'7+2"
•  6I78+2"
#>  ",1522*E75D)'"2.@+-O*2/+"
•  :.8(('-)0%')%$04'..')(&/0'%1'"G5'2".'+"71522+"7)''.+"G+"2/N.+'7+2"
•  ]O+'(.+11+H+'(""@).-"A5*-+"G+2",-&3219$%()2.-"1C5O+'*-"
a'O*-)''+H+'("%$%)(*89$%%82-'"
J>  ",5(/3)-*25D)'""""US"<:+72,/$;A"TV"
•  6-).O+-"G+2"18*&7$-2'()G+"2/N.+'7+2"
L>  "<+N.k(+2"
•  ,8+-78+-"1+2"2/N.+'7+2"@-)78+2"GC.'+"2/N.+'7+"-+N.k(+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#h" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#$" !"#$%"
a'"3/'/-51"_".'+"2+.1+"2/N.+'7+"
•  &@@-+'D2253+"b"@5-D-"GC.'"o.F"G+"G)''/+2"
•  6I78+2"
a'O*-)''+H+'("
–  =-&3219$%)3').8)(02*'"G+"15"2/N.+'7+"
2(5D)''5*-+"
DE'F2@;E'DE'F2@#E'F2@"E'F2''F2I"'JD'
–  E,,-'%9((87')'%6.27%'"U)'M1*'+"1+5-'*'3V"
5F2@;E'H2@;8E'DE'5F2@#E'H2@#8E'5F2@"E'H2@"8E'5F2E'H28'D'5F2I"E'H2I"8"p"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#i" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Jj" !"#$%"
q.+11+2"G)''/+2"(+H@)-+11+2"p"
•  "&'51K2+"G+"2/N.+'7+2"3/')H*N.+2"
–  &'51K2+"G+"15"(*-01*0-')
–  ,1522*E75D)'!('7+'%*89$%)+'""*'(-)'2"O2>"aF)'2"
&'51K2+""
•  "6+F(+2"!"G)7.H+'(2"
G+"2/N.+'7+2"*'G*O*G.+11+2"
–  G3'%9H189$%)G+"_"&Q2(-57("r"*'(-)G.7D)'"r"["
–  G3'%9H189$%)G+2"(K@+2"GC5-3.H+'(2"
•  "W/N.+'7+2"O*G/)"
–  I'7+'%*89$%)+'"s).-'51"(/1/O*2/"r"@.Q"r""["
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
J#" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
JJ" !"#$%"
J0'.()+$3K.'())
E%8.F('-)@).-"7)H@-+'G-+"
@).-"1+2"2/-*+2"(+H@)-+11+2"p"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
JL" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
JP" !"#$%"
B5"-+@-/2+'(5D)'"G+2"2/N.+'7+2"
&'51K2+"!"7)H@-/8+'2*)'"GC.'+"2/N.+'7+"
#>  "L-0*')
#>  "=/(8)G+2"5'51KDN.+2"
–  &@-R2"@-/(-5*(+H+'(2"
J>  "<+@-/2+'(5D)'2"S"8%8.F9/0'("T"
L>  "</3-+22*)'"
–  45-"1$+52%82($%)3')1$+,$(8%*'("78)*2*+2"G5'2".'"G*7D)''5*-+"
–  ,)H@)25'(+2")-(8)3)'51+2"
P>  "<+78+-78+"G+"2(-.7(.-+2"
L>  "=)G/1*25D)'"G5'2".'+"1.8((')3<MF,$*MK('()
–  d5'2"71522+"G+"H)GR1+2"
•  t-5HH5*-+2"
•  ,85l'+2"G+"=5-m)O"
•  t-5HH5*-+2"
•  </2+5.F"G+"'+.-)'+2"
•  =)GR1+2"G+"=5-m)O"
•  ["
J%" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
N-8%(;$-+&')3')A$0-2'-"G*27-R(+"
• 
6-5'2A)-H/+"+'"$%3'.'O'()G*27-R(+"
• 
E,,-$B2+89$%)87-&7&'"@5-"H)-7+5.F"
• 
["
K6;;0,7'0$/)123./%
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
!"#$%&''(")*#&+*",-%".%
<+@-/2+'(5D)'2"5'51KDN.+2"
+*#$%-$(*$-/
• 
K6;;0,7')*+,+-./%
J>  "&'51K2+"+'",)H@>":'G+@>"U:,&V"
Jg" !"#$%"
&'51K2+-"15"2/N.+'7+"
%2345'4624758496474:;-;2<:7
•  :,&""
U":'G+@+'G+'(",)H@)'+'("&'51K2*2V"
00,"+$%+1&+%&22%$)3$'+%!45%
&($%($&2%6&27$8/
1<=4@5F-74=
?"77#1,
8*)H.9,
8.7#4&
#-;-5)=-9;2>4
#-;-5#2/;-;4=
?<:5#-;-5)=-9;2>4
J)"7
2+*+"&+"$*4,
8.7#4&
2.)+#7
:.#>>"$"#1+&,
*24/4A2745
*<@B:<32-@
2"1(34*)
'B3.<@2/
5*43#
'--)./"0*+".1
=)##&
&->4@4;7
6*17.0,
8*--"1(&
'94/;6-@
:4"--#7
;*+*
!"#$#%"&#
'(()#(*+#,
'--)./"0*+".1
--...//.
!
"! #! $! %! &!! &"!
!
"! #! $! %! &!! &"!
!
"! #! $! %! &!!&"!
!
"! #! $! %! &!! &"!
!
"! #! $! %! &!!&"!
!
"! #! $! %! &!!&"!
!
"! #! $! %! &!!&"!
-
#$%
#&%
'(#
)*+)
*))
*,)
-
*24/4A274
,2:4-6
)996<C23-;2<:
.
.
.
/
E1+#)-.4*+".1
/
';62:H7
[email protected]"$
'(()#(*+#
'--)./"0*+".1,,
D6;E<:<63-@
?<:
,<A46
F<I:=2:H
5*43#,
I*&#7
?**)
F2GD6;E<:<63-@
;*3@#$A"#&, :.">4#+&
7@1,,,1,B,C
;"&$)#+#,
<.3)"#),
=)*1&>.)0
;"&$)#+# :A#@D&A#9
:.&"1# !.4D1.0"*4&,
=)*1&>.)0
2D04#+&
24.-#,
I*&#7
.
'01
U^-)H"c*3u-*)"+("51Z"#ii$V>"L4%.:,7'6G'9?M'7$A;4:7E'7&6N$;A'
4/)G4<27'./61+<,1'O!'O:$;P$;AE'74<<41,7E'O$);A'4;1'<4/1$4<'
<!<:,>'Q6/',4<&'6G'2&,'R'.67$)6;7'7&6N;E'2&,'2N6'6/2&6A6;4:'
1$/,<)6;7'6G'2&,'7,;76/7'4/,'.:6-,1>"
<+@-/2+'(5D)'"O+7()-*+11+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
6#()#&&".1
'7*-+"9#
F*+3)*4
!"#$#%"&#
G*1(3*(#,
:.1&+*1+
'--)./"0*+".1
Jh" !"#$%"
U^-)H"c*3u-*)"+("51Z"#ii$V>"S$;,'$;1,.,;1,;2'<6%.6;,;27'
G6+;1'G/6%'2&,'9?M'1424>'Q6/',4<&'<6%.6;,;2'2&,':,TE'O4<P'
4;1'/$A&2'3$,N7'6G'2&,'U,:1'.4-,/;7'A,;,/42,1'O!'2&,7,'
<6%.6;,;27'4/,'7&6N;'V'G+::':$;,'724;17'G6/'%4A;,)<'W+X'
<6%$;A'6+2'G/6%'2&,'&,41E'4;1'16-,1':$;,'2&,'W+X'$;N4/17>"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
J$" !"#$%"
=)G/1*25D)'2"G+2"2/-*+2"(+H@)-+11+2"
•  S",1522*N.+2"T"
–  t-5HH5*-+2"
–  ,85l'+2"G+"=5-m)O"
<+78+-78+"G+"($0(6(&/0'%1'();-&/0'%*'("
–  ["
•  "=)*'2"71522*N.+2"
–  </2+5.F"G+"'+.-)'+2"-/7.--+'(2"
–  S"<+2+-O)*-"7)[email protected]'3"T"
–  ["
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Ji" !"#$%"
W).2M2/N.+'7+2"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Lj" !"#$%"
d+.F"7)'(+F(+2"G*n/-+'(2"
•  `'"2.@@)2+""
•  <+78+-78+"G+"H)DA2"2/N.+'D+12"A-/N.+'(2"
–  &1@85Q+("E'*"
#>  d5'2".'+"L#)(*89/0'
–  6+H@2"G*27-+(""""Uv"2/-*+2"(+H@)-+11+2V"
""
•  41.2*+.-2"@522+2"@)22*Q1+2"
•  aF+H@1+2"
J>  d5'2".'"P$*)3')3$%%&'()
–  K,7'<:$,;27'4<&,24;2'+;'6/1$;42,+/'.6/24O:,E'4<&Y2,;2'76+3,;2'+;,'
•  6-5*(+H+'("S"b"15"O)1/+"T"
$%./$%4;2,'.:+7'24/1'5,2'1,7'<4/26+<&,7'1Z,;</,8'
–  K,7'.4),;27'<6%%,;[4;2'B'./,;1/,'*+6)1$,;;,%,;2':,'%01$<4%,;2'F'7,'
%,-,;2'B'76+\/$/'1,'%4+X'1,'2]2,'.:+7$,+/7'7,%4$;,7'.:+7'24/1'
–  ^0A+:4/$207'14;7':4'70*+,;<,'1,'.4*+,27'_Càb`'2/4;7$24;2'7+/'+;'/07,4+'
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
L#" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
LJ" !"#$%"
<+78+-78+"G+"2).2M2(-.7(.-+2"A-/N.+'(+2"
<+78+-78+"G+"2).2M2/N.+'7+2"A-/N.+'(+2"
1. DÉFINITIONS ET PROBLÉMATIQUE
29
•  @%('+5.')3<2*'+("I"X"YO*\>""
telles que fS ! σ. L’ensemble des motifs séquentiels pour la valeur σ dans la base de données D
•  W)*(".'+"Q52+"G+"G)''/+2"D""
•  E"X"PUIV"+2("1C+'2+HQ1+"G+"().2"1+2"&4K%'+'%*()@)22*Q1+2"
est noté FSeqs(D, σ).
(2.3)
FSeqs(D, σ) := {S | Support(S, D) ! σ}
•  W)*("$*".'"/O/'+H+'("
•  %"S"(-5'257D)'2"T"7"7)'2D(./+2"GC*(+H2"O'
Avec 0 < σ " 1 dans le cas où σ est un seuil de fréquence et 0 < σ " |D| dans le cas où σ est un
•  w'+"(&/0'%1')+2(".'+"1*2(+")-G)''/+"$
seuil de support.
#"Mx"$J"Mx"["Mx"$'""
INTRODUCTION
–  ""I"X"Y&Z"yZ",Z"dZ"aZ"^\"
La propriété suivante est considérée comme la propriété centrale pour la construction d’algo-
24
•  B5"-+78+-78+"G+"2).2M2(-.7(.-+2"A-/N.+'(+2"U+>3>"2).2M2/N.+'7+2V"
rithmes efficaces d’extractions de motifs.
–  ""&"Mx"&y"Mx"y,d"Mx"&a"
Propriété 1 (Antimonotonie [AIS93]). Soit S ! et S deux séquences. Si S ! ! S alors Support(S ! ) !
•  I$0(6(&/0'%1'()Support(S) (ou f
sur la base de données.
+2("G+"7)H@1+F*(/"7517.15()*-+"+F@)'+'D+11+"
–  ""&"Mx"&"
S!
! fS ).
La propriété suivante est une conséquence de la propriété 1.
– Des méthodes d’échantillonnages
motifs 2.
séquentiels
pour les
de Quelle que soit S telle que S ! ! S, S est une
–  ""&"Mx"a"pour les
Propriété
Soit S ! une séquence
nonbases
fréquente.
données statiques et les flots
de
données
:
Ces
méthodes
se
basent
sur
l’échantillonnage
séquence
non
fréquente.
–  ""&y"Mx"y"Mx"a"
par réservoir. Nous introduisons des garanties sur la précision de l’échantillon et sa complé-
En effet, d’après cette propriété, Support(B) " Support(A) < σ, donc B n’est pas fréquent.
–  ""&a"
tude ainsi qu’un algorithme de pré-traitement du flot dans le cadre de l’extraction de motifs
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
LL" !"#$%"
séquentiels sur les flots.
Id. Séquence
Séquences
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
1
LP" !"#$%"
(a, b)(a, b)(b, d, e)
– Un algorithme d’extraction de motifs séquentiels multidimensionnels
2 sur les
(a, b, c, d, e)(b, e)
flots : Nous proposons un algorithme d’extraction de motifs séquentiels multidimension3
(b, c, e)
nels sur les flots de données. L’espace de recherche associé à cette problématique4 étant très(a, c)(b, c, e)
5
(c)(c)(d)(b, c, e)
vaste, nous proposons un algorithme permettant un parcours efficace de cet espace
de re-
=)DA2"2/N.+'D+12"G5'2".'+"yd"2(5DN.+"
=)DA2"2/N.+'D+12"G5'2".'+"yd"2(5DN.+"
cherche et permettant d’extraire de la connaissance en temps quasi-réel.
Tab. 2.1: La base de données transactionnelles exemple
Tout au long de ce mémoire nous utiliserons la base
de données
exemple suivante
Table
Exemple
2.3. Considérons
la base de(voir
données
D du chapitre 1 et représentée dans la table 2.1.
•  aF+H@1+"
60% (i.e. pour qu’une séquence s soit retenue, il
Avecbase
un seuil
fréquence minimum
de 53 soit
1.2) afin d’illustrer les différentes
propositions. Cette
seradecomplétée
dans la σpartie
Flot
•  =.1D@1+2"@522+2"@)22*Q1+2"
20
•  &13)-*(8H+2"N.*"2)'("G+2"+F(+'2*)'2"G+"&@-*)-*"
Client
Date
C1
01/04/2008
{Pain,Cola}
C1
02/04/2008
C1
04/04/2008
C1
18/04/2008
{Pain,Yaourt}
C2
11/04/2008
C2
12/04/2008
C2
C3
INTRODUCTION
faut qu’au
moins
séquencessont
dans disponibles
la base de données la supportent), les séquences fréquentes
de Données pour pouvoir prendre en compte d’une part
le fait
que trois
les données
sont alors les suivantes :
dynamiquement mais également qu’elles peuvent avoir
plusieurs dimensions.
Items
Id. Séquence
Séquences
{Chips,Pain}
1
(a, b)(a, b)(b, d, e)
{Pain}
2
(a, b, c, d, e)(b, e)
{Chips}
3
(b, c, e)
{Chocolat}
4
(a, c)(b, c, e)
29/04/2008
{Yaourt, Pain, Chocolat}
05/04/2008
{Chips,Pain}
5
(c)(c)(d)(b, c, e)
C3
12/04/2008
{Yaourt,Pain}
C4
06/04/2008
{Chips}
C4
07/04/2008
{Chips}
C4
08/04/2008
{Yaourt}
Fig. 1.2: Une base de données exemple contenant 4 clients (4 séquences de transactions)
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
transactions. Nous définissons formellement la problématique de l’extraction de motifs dans le
chapitre mais intuitivement, si nous considérons la base de données illustrée dans la Table 1.2,
nous recherchons à extraire des séquences du type : !(chips)(pain, yaourt)" que l’on peut traduire
par X% des clients ont acheté des chips puis après ont acheté du pain et des yaourts.


"a# : 3





"b# : 5






 "c# : 4
FSeqs(D, σ) =
"d# : 3



 "e# : 5











"(a)(b)# : 3 "(c)(b, e)# : 3 



"(a)(e)# : 3 "(a)(b, e)# : 3 





"(b, c)# : 4


"(b, e)# : 5




"(c)(b)# : 3





"(c, e)# : 4




"(c)(e)# : 3
Tab. 1.2: La base de données transactionnelles exemple
4
L%" !"#$%"
Organisation du mémoire
Le mémoire est organisé de la manière suivante :
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Lg" !"#$%"
<+78+-78+"G+"2).2M2/N.+'7+2"A-/N.+'(+2"
Frequent subsequence mining
Problem formulation
Problem formulation
•  <+78+-78+"G+2"2).2M2/N.+'7+2"G+"2.@@)-("x"H*'z2.@@)-("
•  B<&*8,')3')7&%&-89$%)+2(",.0()1$+,.'B'"N.+"7+11+"@).-"1+2"*(+H2+(2>""
•  d5'2"1+"752"G+2"2/N.+'7+2Z"*1"+F*2(+"G+.F"H5'*R-+2"GC/(+'G-+".'+"
2/N.+'7+"@5-".'"*(+H"_""
TID
1
2
3
4
5
–  1C+F(+'2*)'"G+"2/N.+'7+"UI6@B*'%(2$%V""
•  BC*(+H"+2("50).(/"b"15"2/N.+'7+"7)HH+"').O+1"*(+H2+("
–  1C+F(+'2*)'"GC*(+H2+("UG6)@B*'%(2$%V>""
•  BC*(+H"+2("50).(/"5."G+-'*+-"*(+H2+("G+"15"2/N.+'7+"b"/(+'G-+>"
Database D:
Database D:
TID
1
2
3
4
5
Transaction
A → AB → BCD → E
CE → AB → F → CDE
BE → B → AF → ACE
A → E → BF
BCD → AF → ABF
Transaction
A → AB → BCD → E
CE → AB → F → CDE
BE → B → AF → ACE
A → E → BF
BCD → AF → ABF
we are searching for
subsequence in the transactions
t ∈ D that
we are searching
for subsequence in the transactions t ∈ D that
B5"2).2M2/N.+'7+""='@c=""
occurs in at least min_support transactions.occurs in at least min_support transactions.
5".'"=*'z2.@@)-("X"L"
for example, the sequence A → A occurs in 3 transactions.
•  W)*("2"X"⟨U5VUQV⟩".'+"2/N.+'7+Z""
–  .'+"G)6@B*'%(2$%"G+"15"2/N.+'7+"5O+7"1C*(+H"7"G)''+"15"2/N.+'7+"2C"2.*O5'(+"_"2C"X"⟨U5VUQZ"1V⟩>""
–  w'+"I6@B*'%(2$%"G+"15"2/N.+'7+"5O+7"1C*(+H"7"G)''+"15"2/N.+'7+"2CC"2.*O5'(+"_"2CC"X"⟨U5VUQVQ1R⟩>"
Department of Computer Science
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Robert Kessl (CS CAS)
Lh" !"#$%"
<+78+-78+"G+"2).2M2/N.+'7+2"A-/N.+'(+2"
• 
–  dC.'+"@-)@-*/(/"GC5'DMH)')()'*7*(/"
• 
The hyperlattice
–  tW4"
–  W@5G+"
–  4-+EFW@5'"
–  ["
L$" !"#$%"
18. March 2010
Problem of sequential pattern mining first introduced in:
• 
AB → A
��
B → AB ��
��
�
��
��
��
��
��
��
��
��
��
��
�
��
�
��
��
�
��
��
.
.
.
...
AB ��
A→A
�
�
� B→A
�
� ��
�
�
�
�� B → A
�
�
��
��
��
��
��
�
�
�
��
�� B ��
A ��
C
��
�
�� D �� E
��
��
�
��
��
�
��
� �
��
∅
�
• 
Some efficient sequential pattern mining algorithms have been proposed in:
–  M. Zaki. Spade: An efficient algorithm for mining sequences. Machine Learning, 40:31–
60, 2001.
–  J. Ayres, J. Gehrke, T. Yiu, and J. Flannick. Sequential pattern mining using a bitmap
representation. In Proc. of ACM SIGKDD, pages 429–435, 2002.
!"#$%"
Meet of α, β is the set of minimal uppper bounds, denoted by α ∧ β.
Join of α, β is the set of all maximal lower bounds, denoted by α ∨ β.
The Itemset Enumeration Tree was described in:
–  R. J. Bayardo. Efficiently mining long patterns from databases. In Proc. of ACM
SIGMOD, pages 85–93, 1998.
top � of the lattice L is � = ∞.
bottom ⊥ of the lattice L is an empty sequence ∅
Li" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Let α, β be two sequences, then:
An extension to episodes (i.e. combinations of events with a partially specified order)
was proposed in:
–  H. Mannila, H. Toivonen, and A. Verkamo. Discovering Frequent episodes in sequences. In
Proc. of ACM SIGKDD, pages 210–215, 1995.
Part of the lattice of all sequences L:
–  t/'/-51*25D)'2"G+"
1C513)-*(8H+"&@-*)-*"
6 / 30
–  R. Agrawal and R. Srikant. Fast algorithms for mining association rules. In proc. of VLDB,
pages 487-499, 1994.
–  dC.'"(-+*11*2"2.-"1+2"2/N.+'7+2"
E.7$-2*M+'()
18. March 2010
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Références (1/2)
•  aF@1)*(5D)'"
• 
18. March 2010
8 / 30
6 / 30
Références (2/2)
• 
Closed sequential pattern mining:
–  X. Yan, J. Han, and R. Afshar. Clospan: Mining closed sequential patterns in large databases. In
Proc. of SDM, 2003.
–  J.Wang and J. Han. Bide: Efficient mining of frequent closed sequences. In Proc. of IEEE ICDE,
pages 79–90, 2004.
• 
B+2"3-5HH5*-+2"
Mining association rules in temporal and spatio-temporal databases:
–  T. Abraham and J. F. Roddick. Incremental meta-mining from large temporal data sets. In ER ’98:
Proceedings of the Workshops on Data Warehousing and Data Mining, pages 41–54, 1999.
–  X. Chen and I. Petrounias. Mining temporal features in association rules. In Proc. of PKDD, pages
295–300, London, UK, 1999. Springer-Verlag.
–  I. Tsoukatos and D. Gunopulos. Efficient mining of spatiotemporal patterns. In Proc. of the SSTD,
pages 425–442, 2001.
• 
Discovering temporal patterns of Interval-based Events:
–  P. Kam and A. W. Fu. Discovering temporal patterns of Interval-based Events. In Proc. of
the DaWak, pages 317–326, London, UK, 2000. Springer-Verlag.
!"#$%"
t-5HH5*-+2"U5.()H5(+2V"
t-5HH5*-+2"U5.()H5(+2V"
5"Q"5"5"5"Q"Q"5"5"Q"Q"5"Q"Q"5"Q"Q"5"["
a
a
1
•  E,,-'%9((87')G+"3-5HH5*-+2"
–  {"@5-D-"GC.'"/785'D11)'"G+"2/N.+'7+2"@)2*DO+2"U+("'/35DO+2V"
b
2
b
–  &13)-*(8H+2"GC*'A/-+'7+"3-5HH5D751+"
a
b
4
a
b
a
b
a
b
b
PJ" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
b
3
a
b
a
a
b
a
b
a
b
b
a
b
•  q.+2D)'2""
a
b
a
b
a
b
–  &.()H5(+"75')'*N.+"p"U.'*7*(/"pV"
b
4+.("2+-O*-"b"15"@-/G*7D)'"
–  &@@-+'D2253+"p"
a
b
a
b
a
b
a
b
b
–  a("2*"Q-.*("p"
b
–  :G+'DE75D)'"G+2"/(5(2"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
PL" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
PP" !"#$%"
,85l'+2"G+"=5-m)O"
•  :'(-)G.7D)'"G+"@-)Q5Q*1*(/2"2.-"
1+2"(-5'2*D)'2"
–  =+*11+.-+"()1/-5'7+"5."Q-.*("
–  &@@-+'D2253+"G+"H5(-*7+"G+"
(-5'2*D)'"
S$3K.'()3')S8-T$4"
•  I0,,$(')
–  4-)7+22.2"2(5D)''5*-+"
–  =/H)*-+"b".'"/(5("
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
P%" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
|==""U|*GG+'"=5-m)O",85*'2V"
Pg" !"#$%"
|=="+("2+3H+'(5D)'"
#"L"P"%"L"P"g"J"P"%"J"P"%"#"#"#"J"P"%"L"J"%"J"J"%"P"L"
",517.1+-"15"2/N.+'7+"15"@1.2"@-)Q5Q1+"GC/(5(2"7578/2"UG/2"@*@/2V"5K5'("+'3+'G-/"7+}+"2/N.+'7+"G+"D-53+2"
a>3>"`'"25*("N.+"15"2/N.+'7+"+2("*22.+"G."D-53+"@5-"U)3&("2.77+22*O+H+'(Z"7857.'"
/(5'("Q*5*2/"GC.'+"H5'*R-+"2@/7*EN.+ ""
,)G*'3"
452253+2"
"'B$%("~MMx"2%*-$%("
!)
V"X)
E))V"X)
:))V"VY)
W))V"VZ)
N))V"VY)
V"!)
&6t"
6&&"
!)
V"!)
E))V"DU)
G%*'-7'%') :))V"DU)
W))V"DU)
N))V"DU)
V"X)
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Ph" !"#$%"
!"#$%"
d/E'*D)'2"
,85l'+"G+"=5-m)O")Q2+-O5Q1+"
P"("X"(t" "n")" =" x"n" X"(t" "n"-1" ")" =" x"n"-1" ",...,"X"(t" 1" ")" =" x1" ")" =" P"("X"(t" "n")" =" x"n" X"(t" "n"-1" ")" =" x"n"-1" ")"
Ex: Une suite de lancers de dés 1,3,2,5,3,6,2,4
qui devient par abus de notation
P"("X"(t" "n")" =" x"n" X"(t" "n"-1" ")" =" x"n"-1" ")" =" P"("x"n" x"n"-1" ")"
Si à l ’instant ti, on a observé la réalisation xi de X(t) alors
P"("X"(t" "n")" %"x"n" X"(t" "n"-1" "),...,"X"(t" 1" ")")" =" P"("X"(t" "n")" %"x"n" X"(t" "n"-1" "))"
Exemple:
Alphabet & = {‘A’,’C’,’G’,’T’}
Séquence :
ACGCCTAGGCTAGCTTATCG
L’état courant d’un système contient toute l’information pour prédire son état futur.
!"#$%"
!"#$%"
4-)@-*/(/2"G"C.'+"785l'+"G+"=5-m)O"
<+@-/2+'(5D)'"G"C.'+"785l'+"G+"=5-m)O"
Formellement, il suffit de définir:
•  L’espace d’états: l’alphabet ! = {x1,..., xM} des réalisations possibles de X(t)
Probabilité d’une séquence O = (x1, ..., xn)
•  La matrice de transition
P"("x"n","x"n"-1" ",...,"x1" ")"=" P"("x"n" x"n"-1" ",...,"x1" ")""' P"("x"n"-1" ",...,"x1" ")"
A = {aij= P(xj|xi)}
•  Les probabilités de départ " = {#i = P(xi)}
P"("x"n","x"n"-1" ",...,"x1" ")"=" P"("x"n" x"n"-1" ")""' P"(x" "n"-1" "x"n"-"2",...,"x1"")""' P"(x" "n"-"2",...,"x1" ")"
Représentation Graphique
....."
Exemple:
P"("x"n","x"n"-1" ",...,"x1" ")"=" P"("x"n" x"n"-1" ")""' P"(x" "n"-1" "x"n"-"2")""'...""' P"("x"2" x1" ")""'P"(x" 1" ")"
0.4
X(t):Temps
Neige
! = {‘ neige ’,‘ pluie ’, ’soleil ’}
n"
P"(O
" )" "=" P"("x"n","x"n"-1" ",...,"x1" ")"=" P"(x
" 1" ")""' (' P"(x
" "n" x"n"-1" ")"
A=
t"="2"
& 0.4 0.3 0.3 #
$
!
$ 0.2 0.6 0.2 !
$ 0.1 0.1 0.8 !
%
"
" = {0.02 , 0.4, 0.58}
!"#$%"
0.02
0.3
0.58
0.6
0.2
Pluie
0.3
0.1
0.2
Soleil
0.1
0.4
0.8
%J" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
=-&42(2$%)b"1"C5*G+"GC.'+"785l'+"G+"=5-m)O"
aF+H@1+"G"C5@@1*75D)'"G"C.'+"785l'+"G+"=5-m)O"
Application:
Système d!’événements complet :
M"
P"("X"(t" ")"="x"i")"=" )' P" "("X"(t" ")"="x"i" X"(t" "-"1)" "="x"j")""' P"("X"(t" "-"1)" "="x"j")" "
j"=1" "
Représentation Graphique
Quelle est la probabilité qu ’il fasse ‘ Soleil ’,
5 jours de suite ?
0.4
P(Soleil, Soleil, Soleil, Soleil, Soleil)=
Neige
0.58*0.8*0.8*0.8*0.8 =0.2375
0.02
0.6
0.3
0.58
P(Neige, Neige, Pluie, Pluie, Soleil)=
0.2
Pluie
0.3
0.1
0.2
]
Hypothèse de stationnarité :
P"("X"(t" ")"="x"i" X"(t" "-"1)" "="x"j")"=" P"(x" "i" x"j")"="ai"","j"
0.1
Soleil
Quelle est la probabilité qu ’il fasse ‘ Soleil ’ dans 3 jours ?
0.4
P( X (3) =' S ' ) = P(' S ' ' N ' ) ! P( X (2) =' N ' ) + P(' S ' ' P' ) ! P( X (2) =' P' ) + !
0.8
0.02*0.4*0.3*0.6*0.2=0,000288
[
P(' S ' ' S ' ) ! P( X (2) =' S ' )
m
!a
ij
m
=1
!"
j =1
i
!
P( X (3) =' S ' ) = 0.3 * (0.4 * 0.02 + 0.2 * 0.4 + 0.1* 0.58) + 0.2 * (0.3 * 0.02 + ...
0.6 * 0.4 + 0.1* 0.58) + 0.8 * (0.3 * 0.02 + 0.2 * 0.4 + 0.8 * 0.58) = 0.5446
=1
i =1
!"#$%"
!"#$%"
=-&42(2$%)b"1"C5*G+"GC.'+"785l'+"G+"=5-m)O"
=)GR1+2"G+"=5-m)O"b"/(5(2"7578/2"
M"
P"("X"(t" "3")"="x"k" X"(t"1" ")"="x"i")"=")' P"("X"(t" "3")"="x"k" X"(t" "2")"="x"j")"P"("X"(t" "2")"="x"j" X"(t"1" ")"="x"i")"
j"=1" "
Principe : La séquence observée est une fonction de probabilité d’une chaîne de
Markov sous-jacente (cachée)
Système
Quelle est la probabilité qu’il fasse ‘ Soleil’ dans 3 jours sachant qu’il neige aujourd’hui ?
0.4
N
0.3
0.3 P 0.2
N
0.3
S
Observations
S
S
N
P
S
P
S
Etat interne
(caché)
s1
s2
s1
s3
s2
s2
s1
S
0.8
P( X (3) =' S ' X (1) =' N ') = P(' S ' ' N ' ) ! P(' N ' ' N ') + P(' S ' ' P' ) ! P(' P' ' N ') + !
Attention, la fonction d’émission de chaque état est probabiliste !!
P(' S ' ' S ' ) ! P(' S ' ' N ') = 0.3 * 0.4 + 0.2 * 0.3 + 0.8 * 0.3 = 0.42
!"#$%"
!"#$%"
w'"+F+H@1+"G+"|=="
d/E'*D)'"G"C.'"H)GR1+"G+"=5-m)O"7578/"U|==V"
S = {‘ Printemps ’, ’Eté ’, ‘ Automne ’, ’Hiver ’}
! = {‘ N ’, ’P ’, ’S ’}
A = {ai,j} modèle ergodique
E = {ej(.)} loi multinomiale
N=0.1
P=0.45
S=0.45
Printemps
e1(.)
s1
e3(.)
A
s2
N=0.01
P=0.13
S=0.86
e2(.)
0.25
!"#$%"
!"#$%"
L"N.+2D)'2"*H@)-(5'(+2"
4-)Q1RH+"#_""](5'("G)''/2".'"|=="dX~!ELE"E=E?x"+(".'+"2/N.+'7+""
"""""""""""""""""""""")Q2+-O/+""e'X"X#Z>>>Z"X_Z"
•  f+,::,',72':4'./6O4O$:$20'1Z+;,'70*+,;<,'16;;0,'J'
!  "Algorithme Forward"
•  f+,::,',72':4'2/4g,<26$/,':4'.:+7'./6O4O:,'.6+/':4'./61+<)6;'1Z+;,'70*+,;<,'
16;;0,'J"
4-)Q1RH+"J_""](5'("G)''/2".'"|=="d"+(".'+"2/N.+'7+")Q2+-O/+"eZ"
–  4-.55.%./3%56%/@4-.+).%A%0./%@363/%)6)(@/%4-$%6%56%B1*868$5$3@%&6!$&65.%
0C67*$1%.+D.+01@%!%?"
• 
N=0.05
P=0.55
S=0.4
s3
–  4-.55.%./3%56%716$/.&856+).%9:;%<%=>%0.%;%/-$76+3%=%?%
• 
0.25
Automne
0.25
q.+"@+.(M)'"A5*-+"5O+7".'"|=="p"
• 
Hiver
0.25
Eté
"
N=0.2
P=0.5
S=0.3
!  "Algorithme de Viterbi"
•  C6%%,;2'4../,;1/,':,7'.4/4%Y2/,7'1Z+;'d99'024;2'16;;0'+;',;7,%O:,'1,'
70*+,;<,7'J'
4-)Q1RH+"L_""{"@5-D-"GC.'"+'2+HQ1+"GC)Q2+-O5D)'2"X"XYX#Z>>>Z"X;\Z"
!  "Algorithme Forward-Backward (Baum-Welch)"
–  )*&&.+3%6E-/3.1%5./%B616&231./%0-%=FF%=X~!ELE"E=E?x"B*-1%
&6!$&$/.1%56%716$/.&856+).%0.%5C.+/.&85.%0C6BB1.+,//6D.%4U;""dV"?%
!"#$%"
!"#$%"
L"N.+2D)'2"*H@)-(5'(+2""U#V"
q.+11+"+2("15"@-)Q5Q*1*(/"GC.'+"2/N.+'7+"G)''/+"p"
•  f+,::,',72':4'./6O4O$:$20'1Z+;,'70*+,;<,'16;;0,'J'
•  B5"@-)Q5Q*1*(/"N.+"15"(-50+7()*-+"7jZ"7#Z"[7_I""5*("/(/"2.*O*+"+("N.+"15"2/N.+'7+"
X#Z"[Z"X_"5*("/(/"@-)G.*(+"+2("_"
•  f+,::,',72':4'2/4g,<26$/,':4'.:+7'./6O4O:,'.6+/':4'./61+<)6;'1Z+;,'70*+,;<,'
16;;0,'J"
•  C6%%,;2'4../,;1/,':,7'.4/4%Y2/,7'1Z+;'d99'024;2'16;;0'+;',;7,%O:,'1,'
70*+,;<,7'J'
U+'"2.@@)25'("N.+"G/Q.("!"E'"2)'("1+2"2+.12"/(5(2"2*1+'7*+.F"2.-"15"(-50+7()*-+V"
!"#$%"
!"#$%"
q.+11+"+2("15"@-)Q5Q*1*(/"GC.'+"2/N.+'7+"G)''/+"p"
q.+11+"+2("15"@-)Q5Q*1*(/"GC.'+"2/N.+'7+"G)''/+"p"
•  W*")'"@522+"@5-"1+2"/(5(2"#"#"L"
•  B5"@-)Q5Q*1*(/"2.-"().2"1+2"78+H*'2"+2("_""
S
:7*Z")'"2.@@)2+"G+.F"/(5(2"2*1+'7*+.F"_"
G/@5-("7j"+("5--*O/+"7_Ä#"
! 
! 
!"#$%"
Mais le nombre de chemins peut être exponentiel en la longueur de la
séquence …
L’algorithme Forward permet de calculer cela efficacement
!"#$%"
BC513)-*(8H+"^)-Å5-G"
BC513)-*(8H+"^)-Å5-G"
•  B5"@-)Q5Q*1*(/"G+"15"2.*(+"GC)Q2+-O5D)'2"O X"UX#Z"[Z"X_VZ""/(5'("G)''/"1+"
H)GR1+"dZ"+2("_""
•  W)*("$PU$V"15"@-)Q5Q*1*(/"GCk(-+"G5'2"1C/(5("P"5@-R2"5O)*-")Q2+-O/"1+2"
$"@-+H*+-2"75-57(R-+2"G+"15"2/N.+'7+"e"""
•  ;).2"O).1)'2"7517.1+-"$SUhVZ"15"@-)Q5Q*1*(/"GCk(-+"G5'2"1C/(5("E'51"
5@-R2"5O)*-")Q2+-O/"().(+"15"2/N.+'7+"e"""
•  `-")'"5"1+2"-+15D)'2"_"
•  `'"@+.("2CK"@-+'G-+"-/7.-2*O+H+'("
•  dC)Ç""
:$+,.'B2*&)'%)>QGHR)[)
!"#$%"
!"#$%"
BC513)-*(8H+"^)-Å5-G"
• 
BC513)-*(8H+"^)-Å5-G"
t-I7+"b"15"@-)@-*/(/"G+"=5-m)OZ"*1"'C+2("@52"'/7+225*-+"GC+F@1*7*(+H+'("/'.H/-+-"
().2"1+2"78+H*'2>"`'"@+.(".D1*2+-"15"@-)3-5HH5D)'"GK'5H*N.+"b"15"@157+>"
•  :'*D51*25D)'"_"
–  $jUjV"X"j"
Probabilité d’être dans l’état de départ et d’avoir observé
0 caractère de la séquence
–  $PUjV"X"j""""""@).-"().2"1+2"P"N.*"'+"2)'("@52"G+2"/(5(2"2*1+'7*+.F"
•  </7.-2*)'"
–  "</7.-2*)'"@).-"1+2"/(5(2"/H+}+.-2"U$'X"#Z"[Z"_V"
–  4).-"1+2"/(5(2"2*1+'7*+.F"
! 
E.g. calculer $4(i) en utilisant $2(i-1), $4(i-1)
:$+,.'B2*&)'%)>QG#HR)80).2'0)3')>QGHR)[)
!"#$%"
!"#$%"
BC513)-*(8H+"^)-Å5-G""_""+F+H@1+"
BC513)-*(8H+"^)-Å5-G""_""+F+H@1+"
•  ](5'("G)''/+"15"2/N.+'7+""e"X"TAGA"
!"#$%"
BC513)-*(8H+"^)-Å5-G""_""+F+H@1+MJ"
!"#$%"
BC513)-*(8H+"^)-Å5-G""_""+F+H@1+MJ"
•  4).-"15"2.*(+"GC)Q2+-O5D)'2"e'_'4'4'O'O""
!"#$%"
!"#$%"
L"N.+2D)'2"*H@)-(5'(+2""U2.*(+V"
BC513)-*(8H+"G+"c*(+-Q*"
•  f+,::,',72':4'./6O4O$:$20'1Z+;,'70*+,;<,'16;;0,'J'
•  f+,::,',72':4'2/4g,<26$/,':4'.:+7'./6O4O:,'.6+/':4'./61+<)6;'1Z+;,'70*+,;<,'
16;;0,'J"
•  C6%%,;2'4../,;1/,':,7'.4/4%Y2/,7'1Z+;'d99'024;2'16;;0'+;',;7,%O:,'1,'
70*+,;<,7'J'
!"#$%"
!"#$%"
&13)-*(8H+"G+"c*(+-Q*"
&13)-*(8H+"G+"c*(+-Q*U2.*(+V"
De G à D avec d(si,t,sj,t+1)=ai,j*ej(xt+1)
Système
Observations
x1
x2
xT-1
xT
s?
s?
s?
s?
Problème: Étant donnés un HMM H et une séquence observée O, quelle est la
séquence d’états S = si1,…,siT qui a la probabilité maximale d’avoir engendré O ?
!"#$%"
Principe d ’optimalité de Bellman
x1
x2
x3
xN-1
xN
s1
s1
s1
s1
s1
s2
s2
s2
s2
s2
si
si
si
si
si
sL-1
sL-1
sL-1
sL-1
sL-1
sL
sL
sL
sL
sL
!"#$%"
&13)-*(8H+"G+"c*(+-Q*"UE'V"
&13)-*(8H+"G+"c*(+-Q*"
Probabilité du meilleur début de chemin de taille t finissant par si
•  %2U$V"_"@-)Q5Q*1*(/"G."H+*11+.-"78+H*'"5H+'5'("b"1C/(5("7$"b"1C*'2(5'("2""
"""""""""U5@-R2"1+2"2"@-+H*R-+2")Q2+-O5D)'2V"
%" t"("i")" =" max" P"("x"1","x"2",...," x"t"," s"i"("t")" =" s"i" H" )"
S"
%"1"(i" ")" ="#"i" *"e"i"("x"1")"
Règle d ’induction:
%"t" 1"(i" ")" =" max" ("%"t"("j")"*"a"ji")"*"e"i"(x" "t"+1" ")"
+"
j" ="1.." m
" "
! 
Par récurrence, on calcule :
Il faut stocker les m meilleurs débuts de chemin
Résultat: Prendre le chemin qui maximise ! n (i )
Complexité: •  en temps * (m2*n)
! 
•  en espace * (m*n) (un chemin par état)
En gardant la trace, lors du calcul, de la suite d’états qui donne le meilleur
chemin amenant à l’état si à t, dans un tableau &.
!"#$%"
&13)-*(8H+"G+"c*(+-Q*"
!"#$%"
BC513)-*(8H+"G+"c*(+-Q*""_""+F+H@1+"
•  :'*D51*25D)'"
–  %jUjV"X"#"""r"%PUjV"X"j"Z""@).-"().2"1+2"/(5(2"P"')'"2*1+'7*+.F))
•  </7.-2*)'""
–  @).-"1+2"/(5(2"/H+}+.-2"U$X#Z"[Z"hV"_"
–  @).-"1+2"/(5(2"2*1+'7*+.F"_"
•  6+-H*'5*2)'"
•  <+().-"_
"W.*O-+"1+2"@)*'(+.-2"+'"5--*R-+"b"@5-D-"G+"7h""""
!"#$%"
!"#$%"
&13)-*(8H+"G+"c*(+-Q*"_"+F+H@1+"
&13)-*(8H+"G+"c*(+-Q*"_"+F+H@1+"U2.*(+V"
•  q.+11+"+2("15"H+*11+.-+"S"+F@1*75D)'"T"@).-"15"2.*(+"_"4'4'O'O"p"
•  ^*'51+H+'("_"
… la meilleure suite d’états
expliquant a a b b est :
1233
!"#$%"
!"#$%"
&13)-*(8H+"G+"c*(+-Q*"_"52@+7(2"@-5DN.+2"
•  B5" H.1D@1*75D)'" G+" @-)Q5Q*1*(/2" @-)G.*(" ().0).-2" G+2" ')HQ-+2" (-R2" @+D(2Z"
N.*"@+.O+'("7)'G.*-+"b"G+2"+--+.-2"GC5--)'G*2"2.-"1+2")-G*'5(+.-2"
•  :1" A5.(" G)'7" ().0).-2" +n+7(.+-" 1+2" 7517.12" +'" +2@57+" 1)35-*(8H*N.+" G5'2"
<+78+-78+"G+"($0(6(&/0'%1'();-&/0'%*'("
1+N.+1" 1+2" @-)G.*(2" G+O*+''+'(" G+2" 2)HH+2" +(" 1+2" ')HQ-+2" -+2(+'("
-5*2)''5Q1+2""
Complexité: •  en temps * (L2*t)
•  en espace * (L*t)
(L : nb d’états, t : taille de la
séquence observée)
(un chemin par état)
!"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
$P" !"#$%"
W).2M2/N.+'7+2"A-/N.+'(+2"_"H)DO5D)'"
W/N.+'7+2"(+H@)-+11+2"_"-+@-/2+'(5D)'"
•  :8-81*&-2(89$%)GC.'+"2/N.+'7+"
•  &1@85Q+("E'*"
–  a>3>"2).2M2/N.+'7+2"A-/N.+'(+2"+("8*2()3-5HH+"
•  W/N.+'7+2"G*27-R(+2"5O+7"/DN.+}+2"(+H@)-+11+2"G5'2";>"
•  :.8(('+'%*)GC.'+"').O+11+"2/N.+'7+"G5'2".'+"71522+"G+"
2/N.+'7+2"
–  45-"7)H@5-5*2)'"G+2"2).2M2/N.+'7+2"A-/N.+'(+2"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
$%" !"#$%"
$g" !"#$%"
B5"H/(8)G+"G+2"+$F'%%'()+$52.'("
&'51K2+-"@).-",-&32-').8)(02*')
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
$h" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
$$" !"#$%"
" ""&'51KÉ*'3"DH+"2+-*+2"H+5'2"Q-+5m*'3"G)Å'"
""""""@52("G5(5"*'()"7)H@)'+'(2"5'G"(8+'"@-)0+7(M"
""""""*'3"(8+H"*'()"(8+"A.(.-+"
" """&"DH+"2+-*+2"(K@*7511K"852"A).-"7)H@)'+'(2_"
"""""""2/,;1Z"7,476;4:$2!Z"<!<:,7Z"5'G"/4;16%"34/$4)6;"
!"#$%"
!"#$%"
4<`dw,6"`<"Wa<c:,a"da=&;d"
6*H+"W+-*+2"Ñ",)H@)'+'(2"
# ""^)-+752(+-2".2.511K"522.H+"(85("(8+"-5'G)H"
""""O5-*5D)'2"5-+"5O+-53+G").(")O+-"DH+>"
# ""68+2+"-5'G)H"+--)-2"5-+")Ü+'"522.H+G"()"Q+"
""""')-H511K"G*2(-*Q.(+G"Å*(8"5"H+5'")A"É+-)>"
6:=a"
Öa&<"#""""""""""""""""""""Öa&<"J""""""""""""""""""""Öa&<"L""""""""""""""""""""Öa&<"P"
!"#$%"
!"#$%"
" "&22.H+2"G+H5'G"Å*11"2(5K"A5*-1K"2(+5GK")O+-"DH+>"
" ""&"2N6@%6;2&'H)O*'3"5O+-53+"A)-+752("*2"A).'G"QK"
"""""2.HH*'3"(8+"G+H5'G"G.-*'3"(8+"@52("(Å)"@+-*)G2"
"""""5'G"G*O*G*'3"QK"á"J"à">"
^)-+752("X""
ä"
;''":W"6|a";w=ya<"`^"4a<:`dW":;"6|a"=`c:;t"&ca<&ta"
" ""â*(8"+578"@522*'3"@+-*)GZ"(8+"H)2("-+7+'("G+H5'G"
"""""*2"411,1"()"(8+"2.Hr"(8+"+5-1*+2("G+H5'G"*2"1/6..,1>"
"""""68*2"2H))(82").("28)-(M(+-H"*--+3.15-*D+2"*'"(8+"""
"""""G5(5"2+-*+2>"
" "":("852"')"2/,;1Z"7,476;4:Z")-"<!<:$<4:'7)H@)'+'(2>"
!"#$%"
!"#$%"
" ""=5m+2"(8+"A)-+752("H)-+"-+2@)'2*O+"()"785'3+2>"
Year
Demand
Forecast
1
110
-
2
100
-
3
120
4
140
5
170
" """w2+G"Å8+'"(8+-+"*2"5"2/,;1')-".4-,/;>'"â+*38(2"
""""""@157+"H)-+"+H@852*2")'"-+7+'("O51.+2>"
" """d+7*G*'3"(8+"Å+*38(2"-+N.*-+2"2)H+"+F@+-*+'7+"
""""""5'G"3))G"1.7mã"
Waca<&B"âa:t|6W"W|`wBd"ya"6<:adZ"&;d"6|a"`;aW"â:6|"
"6|a"B`âaW6"^`<a,&W6"a<<`<"W|`wBd"ya"WaBa,6ad"
!"#$%"
!"#$%"
N\]@@)6)=@]G>#)
å
"U"Å+*38("*'"@+-*)G"$"VU"57(.51"O51.+"*'"@+-*)GV"
å
""""""""""""""""""""""""""""""
P(8"
4+-*)G" X"
^)-+752("
"U"Å+*38(2"V"
ç#jC"
-+@-+2+'(2"
(8+"2.H")A"
(8+"Å+*38(2"
X" ##h".'*(2"
Period
Weight
Demand
Most recent
8
120
2nd Most recent
1
100
3rd Most recent
1
110
!"#$%"
!"#$%"
aF@)'+'D51"2H))(8*'3"H)G+1"
A2-(*)>-3'-)$-)=-2+8-F))^'-(2$%)
N\]@@)6)=@]G>#)
&"H)O*'3"5O+-53+"(+78'*N.+"(85(")'1K"-+N.*-+2"(8+"
152("@+-*)G"57(.51"G+H5'G"5'G"(8+"152("@+-*)G""
A)-+752(+G"G+H5'G"A)-"*'@.(>"
%(8""
4+-*)G" X"
^)-+752("
X" #LP".'*(2"
Period
Weight
Demand
Most recent
8
140
2nd Most recent
1
120
3rd Most recent
1
100
6|a"
;aâ"
^`<a,&W6"
é"
B&W6"
&,6w&B"
da=&;d"
#"M"é"
B&W6""
^`<a,&W6ad"
da=&;d"
68+"'+Å"A)-+752("*2"+N.51"()"(8+")1G"A)-+752("5G0.2(+G"QK"5"A-57D)'")A"(8+"+--)-"
U"152("@+-*)G"57(.51"G+H5'G"9"152("@+-*)G"A)-+752("V">""68+"2H))(8*'3"7)+è7*+'("
U"é"V"*2"5"Å+*38("A)-"(8+"152("57(.51"G+H5'G>"
!"#$%"
!"#$%"
aF@)'+'D51"2H))(8*'3"H)G+1"
&WWw=:;t""6|&6""é""X"
aF@)'+'D51"2H))(8*'3"+F5H@1+"
>h"Z""6|a";aê6"^`<a,&W6":W_"
&WWw=:;t""6|&6""é""X"
>h"U"#jj".'*(2"V"Ä"U"#"M">h"VU"##j".'*(2"V"
>h"U"#Jj".'*(2"V"Ä"U"#"M">h"VU"#jL".'*(2"V"
hj"Ä"LL"X"#jL".'*(2"
B52("&7(.51"
d+H5'G"
>h"Z""6|a";aê6";aâ"^`<a,&W6":W_"
$P"Ä"Lj>i"X"##P>i".'*(2"
B52("
^)-+752("
B52("&7(.51"
d+H5'G"
!"#$%"
68+"2H))(8*'3"7)+è7*+'("
B52("
^)-+752("
!"#$%"
</3-+22*)'"U1*'/5*-+V"
# """68+"2KHQ)1"*2"4:.&4"U"é"V"
# """:("75'"522.H+"5'K"O51.+"Q+(Å++'"j"5'G"#"*'71.2*O+"
68*2"(+78'*N.+"E(2"5"(-+'G"1*'+"(8-).38"5""
2+-*+2")A"8*2()-*751"G5(5"@)*'(2"5'G"(8+'""
@-)0+7(2"(85("(-+'G"1*'+"*'()"(8+"A.(.-+"A)-"
Q)(8"H+G*.H"5'G"1)'3M-5'3+"A)-+752D'3>"
# """:("@157+2"5"Å+*38(")'"(8+"152("57(.51"@+-*)G"G+H5'G"
# """68+"O51.+")A"4:.&4'-+2.1D'3"*'"(8+"1)Å+2("A)-+752(""
"""""+--)-"*2"2+1+7(+G"A)-"(8+"H)G+1>"
!"#$%"
!"#$%"
</3-+22*)'"U1*'/5*-+V"
</3-+22*)'"U1*'/5*-+V"
ÖM&ê:W":;6a<,a46"_"6|a""
4`:;6"`;"6|a"ca<6:,&B"&ê:W"6|&6"
6|a"<at<aWW:`;"B:;a",<`WWaW"
â+"*G+'DAK"5"2(-5*38("1*'+"(85("H*'*H*É+2"(8+"2.H"
)A" (8+" 2N.5-+2" )A" (8+" O+-D751" G*2(5'7+2" A-)H" (8+"
-+3-+22*)'"1*'+"()"+578")A"(8+"57(.51")Q2+-O5D)'2>"
6|a"4<ad:,6ad"c&Bwa"
""U"^`<a,&W6"V"
í"
Ö"X"5"Ä"Q"ê"
6|a"W4a,:^:ad"c&Bwa"`^"çêC"
U"6:=a"V"
Ö"&ê:W"
6|:W"&BW`":=4B:aW"6|&6"6|a"
=a&;"Wqw&<ad"a<<`<"U=WaV"
:W"=:;:=:ëad"
6|a"WB`4a"`^"6|a"Ba&W6MWqw&<aW"B:;a_""
6|a"<&6a"`^",|&;ta"
":;"çÖC"t:ca;",|&;ta":;"
6:=a"çêC"
ê"&ê:W"
=Wa":W"&"=a&Ww<a"
`^"^`<a,&W6"a<<`<"
`<:t:;"
!"#$%"
!"#$%"
</3-+22*)'"U1*'/5*-+V"
##(8"Öa&<"^`<a,&W6"
Ö"M":;6a<,a46"
WB`4a"
##(8"Öa&<"
Wc=2"@).-"15""-&7-'((2$%"
í"
Ö"X"5"Ä"Q"U"ê"V"
í"
Ö""X""iJ>gggh"Ä""#j>igih"U"##"V"
""J#L>LLLL".'*(2""X""iJ>gggh""Ä"#Jj>gggh"
!"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#j$" !"#$%"
q.+11+2"G)''/+2"(+H@)-+11+2"p"
=-&3219$%)G+"15"2.*(+"G+"15"2/N.+'7+"
•  4-/G*7D)'"G+"7).-2"Q).-2*+-2"
•  "=/(8)G+2"71522*N.+2"1*'/5*-+2"+("')'"1*'/5*-+2"
–  45-"+F(-5@)15D)'"
–  &.()-+3-+22*O+"_"&<=&"r"&<:=&"r"["
–  45-"7)H@5-5*2)'"G+"7).-Q+2"+("71522*E75D)'"2.@+-O*2/+")."')'"
–  &<,|Z"t&<,|Z"["
•  <+7)''5*225'7+"G+"15"@5-)1+"
–  ;)'"*>*>G>"
•  "&.(-+2"H/(8)G+2"_"1*'/5*-+2"+("')'"1*'/5*-+2"
–  ;)'"2(5D)''5*-+"
–  Wc="
–  6-5*(+H+'("S"b"15"O)1/+"T"
–  6d;;"
–  <+78+-78+"+("*G+'DE75D)'"G+"2).2M2/N.+'7+2"
–  <+2+-O)*-"7)[email protected]'3"
–  t-5'G+"O5-*5Q*1*(/"*'(-5"+("*'(+-M1)7.(+.-"
–  ["
–  d)''/+2"2.@+-O*2/+2"G*2@)'*Q1+2"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#ji" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Wc="+(",-&3219$%)G+"2/N.+'7+"
• 
Wc="+("-/3-+22*)'"
S$9489$%)
• 
–  4-)Q1RH+"_"-+@-/2+'(5D)'"+')7-8%3')32+'%(2$%"_"S"7.-2+")A"G*H+'2*)'51*(K"T"
–  =5*2).'()I^S)%')($%*"U@-+2N.+V",8()('%(25.'()_).8)32+'%(2$%"G+"1C+2@57+"
• 
##j" !"#$%"
G3&'))
^)'7D)'"G+"@+-(+"_"
$ 
</3-+22*)'"1*'/5*-+"_"
$ 
W)*("b"H*'*H*2+-"_"
$ 
t/'/-51*25D)'"_"
–  4-+'G-+"1+2"+'(-/+2"2.-".'+"A+'k(-+"31*225'(+"YF(M'Z"F(M'Ä#Z"[Z"F(M#\"
–  4).-"@-/G*-+"F(")."F(Ä+""
–  Wc="1*'/5*-+")."')'"
–  4-)Q1RH+2"_""
•  B+2"F(M'Z"F(M'Ä#Z"[Z"F(M""'+"2)'("@52"*>*>G>""""""U@52"7)'A)-H+"b"15"(8/)-*+V"
•  </3153+"G+";""""U@-*2+"+'"7)H@(+"G."@522/V"
•  ,8)*F"G."')K5."
• 
4+-A)-H5'7+2")Q(+'.+2""
–  y)''+2""
–  =5*2"@52"Q*+'"H+*11+.-+2"N.+"H)GR1+2"&<"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
###" !"#$%"
!"#$%"
Wc="+("-/3-+22*)'"
:11.2(-5D)'"
-,5*
!"#$%&"'("$')*'#+,'
'
'
•  :11.2(-5D)'"
1.6
0.6
1.4
0.4
1.2
0.2
1
0
0.8
-0.2
0.6
-0.4
0.4
-0.6
9,,,
D%?&;&;'
sample
interpolation
alpha
H?<&I?)&";
5,,,
8
1
0.8
:";)(<$*=&4>(?%'3@A B4C
2
1.8
0.2
0
−2
-0.8
−1.5
−1
−0.5
0
0.5
1
1.5
8,,,
+,,,
6,,,
-1
2
-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
,
,
-,
6+,
67,
+5,
8,,
8-,
!
D&A3@6EF5B6G+,,8B6+C
!"#$%&!"#$%&'(!)*+,&-./0!#1!%&0!"-$2-$!30+0.4#*.5!
!
!
##L" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
:11.2(-5D)'"
-"¦ ?
8,,,
9,,,
+,,,
9,,,
"ìS"w2*'3"2.@@)-("O+7()-"H578*'+2"A)-"
1)'3M(+-H"G*2785-3+"@-+G*7D)'"TZ"Jjjgî"
+,,,
6,,,
6,,,
,
,
A@D*
,
,
A@D*
-,
6+,
67,
+8,
-,
6+,
67,
+8,
!
*HI43%J3K
*/L;/*M"%3?@4)
*/NN*M"%3?@4)
*1O;*M"%3?@4)
!
E&B3A65F8C6G6557C6+D
:,,,
*HI43%J3K
*/L;/*M"%3?@4)
*/NN*M"%3?@4)
*1O;*M"%3?@4)
9
;"<)(=$*>&4?(@%'3*AB C4D
8,,,
9,,,
+,,,
AID*
+,
9,
& ? . L! $ M !
"#$"!
"..!
/0$!
!
!
:,
AID*
-,
6,
+,
9,
8,
:,
E&B3A6555C6G+,,9C6+D
-,
!
!"#$%&%"#$"!%&'()*+,-!"..!%&'()*+,-!/0$!%&'()*+,!*12!&3+('4(2!%5&6!7*8!29':1;!,<(!
!,'*:1:1;!=(':&2-!*12!738!29':1;!,<(!4*5:2*,:&1!=(':&2>!
!"#$%&%"#$"!%&'()*+,-!"..!%&'()*+,-!/0$!%&'()*+,!*12!&3+('4(2!%5&6!7*8!29':1;!,<(!
!
,'*:1:1;!=(':&2-!*12!738!29':1;!,<(!4*5:2*,:&1!=(':&2>!
!
'()*+%,%?('%&'@*1)(!:12:)(+!&%!"..!*12!/0$!@&2(5+>!
E&B3A6555C6G+,,9C6+D
!
!
'()*+%,%?('%&'@*1)(!:12:)(+!&%!"..!*12!/0$!@&2(5+>!
$&2(5!
8,
A'*:1:1;B!
6789&
CDC>EF!
CJC>HE!
CKH>FF!
:;66&
G>HICC!
G>HIKJ!
G>HIHD!
•  &.(-+2"5O5'(53+2"
(678"9:";<%=;87>%?<8%"<@A:%<A=B76"<#%%
6,,,
,
6,
!
–  &1)-2"N.+"1+2"<;2"()HQ+'("2).O+'("G5'2"G+2"H*'*H5"1)75.F"
+,,,
,
,
2&0.0! -"¦! *+! %&0! +,-'0)! 4-'70E! -"! *+! %&0! #.*/*$-'! 1'#2! 4-'70! -$)! -9*$E! -9-S! -.0E!
.0+G0,%*40'(E!%&0!9*$*979!-$)!9-S*979!#1!1'#2!+0.*0+5%
–  W).O+'("H+*11+.-+2"N.+"_"&<=&Z"&<:=&Z"</2+5.F"G+"'+.-)'+2"
!
!
'(()*+',*-.%-!%/01%,-%!)-2%(345*+,*-.%%
–  :H@1/H+'(+"1+"W<="_"-/2*2(+"Q*+'"5."2.-M5@@-+'D2253+"
C&0!#@U0,%*40!#1!%&0!G.0)*,%*#$!9#)0'!*+!%#!/0$0.-'*V0!-!.0'-%*#$+&*G!#1!%&0!1#''#2*$/!
1#.9R!
9,,,
6,,,
,
L;TM!
!
8,,,
9
;"<)(=$*>&4?(@%'3*AB C4D
:,,,
9,,
E&B3A65F8C6G6557C6+D
9,,
-" / - 9*$
!
- 9-S / - 9*$
•  4+-A)-H5'7+2"+'"@-/G*7D)'"
9
;"<)(=$*>&4?(@%'3*AB C4D
9
;"<)(=$*>&4?(@%'3*AB C4D
8,,,
!"#$%"
,)'71.2*)'2"2.-"1+2"Wc="+'"-/3-+22*)'"
*HI43%J3K
*/L;/*M"%3?@4)
*/NN*M"%3?@4)
*1O;*M"%3?@4)
:,,,
*HI43%J3K
*/L;/*M"%3?@4)
*/NN*M"%3?@4)
*1O;*M"%3?@4)
:,,,
-,5
!"#$%&"'(()*+&,-.+)*&/0.1#$-"&2)*&3)$%4+-*/&5#".10*%-&(*-5#.+#)$&
&
&
-,5
!"#$%&"'(()*+&,-.+)*&/0.1#$-"&2)*&3)$%4+-*/&5#".10*%-&(*-5#.+#)$&
&
&
! 6*/7.0!8!+&#2+!%&0!9#$%&'(!1'#2!)-%-!1.#9!:-$7-.(!;<=>!%#!?0,09@0.!ABB85!C&0!
)-%-! +0%!ìS"w2*'3"2.@@)-("O+7()-"H578*'+2"A)-"1)'3M(+-H"G*2785-3+"@-+G*7D)'"TZ"Jjjgî"
1.#9! :-$7-.(! ;<=>! %#! ?0,09@0.! ;<<D! *+! 7+0)! 1#.! %.-*$*$/E! 2&*'+%! %&-%! 1.#9!
:-$7-.(! ;<<<! %#! ?0,09@0.! ABB8! *+! 7+0)! 1#.! 4-'*)-%*#$5! F%! *+! 40.(! *9G#.%-$%! %#! +,-'0!
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
10-%7.0+! @01#.0! -GG'(*$/! HI"!
-$)! JKK! %#! G.0)*,%*#$! LH-.'0E! ;<<=M5! C&0! 9-*$! ##P"
-)4-$%-/0!*+!%#!-4#*)!-%%.*@7%0+!*$!/.0-%0.!$790.*,!.-$/0+!)#9*$-%*$/!%&#+0!*$!+9-''0.!
$790.*,! .-$/0+5! J$#%&0.! -)4-$%-/0! *+! %#! -4#*)! $790.*,-'! )*11*,7'%*0+! )7.*$/! %&0!
,-',7'-%*#$5! N-./0! -%%.*@7%0! 4-'70+! 9*/&%! ,-7+0! $790.*,-'! G.#@'09+! @0,-7+0! O0.$0'!
4-'70+! 7+7-''(! )0G0$)! #$! %&0! *$$0.! G.#)7,%+! #1! 10-%7.0! 40,%#.+E! +7,&! -+! %&0! '*$0-.!
O0.$0'!-$)!%&0!G#'($#9*-'!O0.$0'5!F%!*+!.0,#990$)0)!%#!'*$0-.'(!+,-'0!0-,&!-%%.*@7%0!%#!
%&0!.-$/0!LP;E!Q;M!#.!LBE!;M5!F$!%&0!9#)0''*$/!G.#,0++E!%&0!)-%-!+0%+!#1!.*40.!1'#2!20.0!
+,-'0)!%#!%&0!.-$/0!@0%200$!B!-$)!;!-+!1#''#2+R!
$&2(5!
A'*:1:1;B!
0*5:2*,:&1B!
6789&
:;66&
6789&
:;66&
0*5:2*,:&1B!
"#$"!
CDC>EF!
G>HICC!
CJC>GD!
G>HCFD!
6789&
:;66&
"..!
CJC>HE!
G>HIKJ!
CDL>KH!
G>HEFD!
CJC>GD!
G>HCFD!
/0$!
CKH>FF!
G>HIHD!
CJI>LI!
G>HKEI!
CDL>KH!
G>HEFD!
!
CJI>LI!S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
G>HKEI!
!
L;WM!
2&0.0!!$!*+!-$!$X)*90$+*#$-'!*$G7%!40,%#.!,#$+*+%*$/!#1!4-.*-@'0+!/;E!YE!/"E!YE!/$E!-$)!
&' *+! %&0! #7%G7%! 4-.*-@'05! F$! 1'#2! 9#)0''*$/E! 4-'70+! #1! /"! 9-(! @0! 1'#2! 4-'70+! 2*%&!
)*110.0$%! %*90! '-/+! -$)! %&0! 4-'70! #1! &! *+! /0$0.-''(! %&0! 1'#2! *$! %&0! $0S%! G0.*#)5!
•  =&:W"
Z0$0.-''(E!%&0!$79@0.!#1!-$%0,0)0$%!4-'70+!*$,'7)0)!*$!%&0!40,%#.!!$'*+!$#%!O$#2$!*$!
-)4-$,05!?0%0.9*$*$/!%&0!$79@0.!#1!.7$#11!4-'70+!*$4#'40+!1*$)*$/!%&0!'-/+!#1!.7$#11!!
–  ,)H@1+F*(/"+'(-+"Ù_JV")."Ù_LV"2*"_"1)'3.+.-"G+"15"2/N.+'7+"
!
'
'
!"#$%&'()*ø*+,,-*./01*2%344*!
##%" !"#$%"
! M1!&'2('!,&!<*4(!,<(!+*@(!3*+:+!&%!)&@=*':+&1-!,<(!+*@(!,'*:1:1;!*12!4(':%:)*,:&1!
+(,+! *'(! 9+(2! %&'! *55! @&2(5+>! A<(! +)*,,('! =5&,+! &%! &3+('4(2! 2:+)<*';(+! 4('+9+! %&'()*+,!
! M1!&'2('!,&!<*4(!,<(!+*@(!3*+:+!&%!)&@=*':+&1-!,<(!+*@(!,'*:1:1;!*12!4(':%:)*,:&1!
2:+)<*';(+!&%!"#$"-!"..!*12!/0$!@&2(5+!*'(!+<&61!:1!N:;>!L>!N:;9'(!H!+<&6+!,<(!
+(,+! *'(! 9+(2! %&'! *55! @&2(5+>! A<(! +)*,,('! =5&,+! &%! &3+('4(2! 2:+)<*';(+! 4('+9+!
%&'()*+,!
=('%&'@*1)(+!&%!,<(!,<'((!='(2:),:&1!@&2(5+!29':1;!,<(!,'*:1:1;!*12!4*5:2*,:&1!=(':&2+>!
2:+)<*';(+!&%!"#$"-!"..!*12!/0$!@&2(5+!*'(!+<&61!:1!N:;>!L>!N:;9'(!H!+<&6+!,<(!
A*35(!C!+<&6+!,<(:'!=('%&'@*1)(!:12:)(+>!M,!:+!2(@&1+,'*,(2!,<*,-!6<(1!(@=5&O(2!%&'!
=('%&'@*1)(+!&%!,<(!,<'((!='(2:),:&1!@&2(5+!29':1;!,<(!,'*:1:1;!*12!4*5:2*,:&1!=(':&2+>!
%5&6!='(2:),:&1!:1!$*16*1-!,<(!/0$!(P<:3:,+!+&@(!*24*1,*;(+!&4('!"#$"!*12!"..!
A*35(!C!+<&6+!,<(:'!=('%&'@*1)(!:12:)(+>!M,!:+!2(@&1+,'*,(2!,<*,-!6<(1!(@=5&O(2!%&'!
@&2(5+>!Q9':1;!,<(!4*5:2*,:&1-!,<(!)&''(5*,:&1!)&(%%:):(1,!&%!,<(!/0$!@&2(5!:+!G>HKEI-!
%5&6!='(2:),:&1!:1!$*16*1-!,<(!/0$!(P<:3:,+!+&@(!*24*1,*;(+!&4('!"#$"!*12!"..!
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
##g" !"#$%"
Simple
Recurrent Networks
</2+5."2*H@1+"G+"a1H5'"
Truncating the unfolded network to just one time step reduces it to a Simple Recurrent
Network (which is also known as an Elman network):
Outputs
WOH
Hidden Units
]&('80B)3')%'0-$%'()-&10--'%*()
WHH
WIH
U6*H+"d+15K";+.-51";+(Å)-m2"_"6d;;V"
Inputs
Hidden Units
Time t
Time t-1
In this case, each set of weights now only appears only once, so it is possible to apply the
gradient descent approach using the standard backpropagation algorithm rather than full
BPTT.
This means that the error signal will not get propagated back very far, and it will
•  B5"@1.2"2*H@1+"G/@+'G5'7+"(+H@)-+11+"_".'"@52"G+"(+H@2"
be difficult for the network to learn how to use information from far back in time. In
–  d*è7*1+"GC5@@-+'G-+"G+2"G/@+'G5'7+2"1)*'(5*'+2"G5'2"1+"(+H@2"
practice, this approximation proves to be too great for many practical applications.
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
L12-10
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
##h" !"#$%"
Unfolding Over Time
d/@+'G5'7+2"@1.2"1)*'(5*'+2"
##$" !"#$%"
</2+5.F"-/7.--+'("
The recurrent network can be converted into a feed-forward network by unfolding over time:
•  t/'/-51*25D)'"
Outputs
WOH
The simplest form of fully recurrent neural network is an MLP with the previous set of
hidden unit activations feeding back into the network along with the inputs:
Hidden Units
WIH
Inputs
Time t
A Fully Recurrent Network
WHH
Outputs
Hidden Units
WIH
Inputs
Time t-1
WHH
h(t+1)
Hidden Units
WIH
Hidden Units
WHH
x(t)
Inputs
Time t-2
Delay
h(t)
Inputs
This means all the earlier theory about feed-forward network learning follows through.
•  wD1*25D)'"G+"1C513)-*(8H+"G+"-+(-)M@-)@535D)'"71522*N.+"
L12-7
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
h(t+1)
##i" !"#$%"
Note that the time t has to be discretized, with the activations updated at each time step.
The time scale might correspond to the operation of real neurons, or for artificial systems
any time step size appropriate
for the given problem can be used. A delay unit#Jj"
needs
to
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
!"#$%"
be introduced to hold activations until they are processed at the next time step.
L12-3
6d;;"""US"6*H+"d+15K";+.-51";+(Å)-m2"TV"
]&('-4$2-):$+,09%7"
Figure 4. A depiction of the training and test sets used.
5.4
Controlling Overfitting
](5@+2"
Highly noisy data has often been addressed using techniques such as weight decay, weight
#> stopping
4-/(-5*(+H+'(2"
elimination and early
to control overfitting [61]. For this problem we use early
stopping with a difference: the stopping point is chosen using multiple tests on a separate
J> 
d*27-/D25D)'"UW`=V"
segment of data, rather than using a validation set in the normal manner. Tests showed that
using a validation set in the normal manner seriously affected performance. This is not very
L>  6d;;"Ua1H5'V"
surprising because there is a dilemma when choosing the validation set. If the validation
set is chosen beforeP> 
the training
data (in terms of the temporal order of the series), then
aF(-57D)'"GC5.()H5(+2"
the non-stationarity of the series means the validation set may be of little use for predicting
performance on the test
If the validation set is chosen after the training data, a problem
%>  set.6-5G.7D)'"+'"-R31+2"
occurs again with the non-stationarity – it is desirable to make the validation set as small
as possible to alleviate this problem, however the set cannot be made too small because it
needs to be a certain size in order to make the results statistically valid. Hence, we chose
#J#" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
to control overfitting by setting the training time for an appropriate stopping point a Figure
priori.3. The pre-processed, delay embedded series is converted into symbols using a self-organizing
Simulations with a separate segment of data not contained in the main data (see appendix
map. A
An Elman neural network is trained on the sequence of symbols.
for more details) were used to select the training time of 500 epochs.
We note that our use of a separate segment of data to select training set size and training time
are not expected to be ideal solutions, e.g. the best choice for these parameters may change
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#JJ" !"#$%"
11
15
=-&3219$%)_"S"-+2+-O)*-"7)[email protected]'3"T"
4-/G*7D)'"_"S"-+2+-O)*-"7)[email protected]'3"T"
B+2"<;"-/7.--+'(2"2)'("U(-R2V"G*è7*1+2"b"+'(-5l'+-"U@5-"3-5G*+'(V"
A
W*3'51"b"S"5@@-+'G-+"T"
A
A
4-*'7*@+"
B
–  wD1*25D)'"GC.'"-/2+5."-/7.--+'(""
%$%)838,*89;)[[)
S"a78)2"T"B
–  E,,-'%3-').'+"1$01M')3')($-9')1*'/5*-+"
teacher
d(n)
teacher
A
output neuron
activation y(n)
4+-A)-H5'7+2"
"reservoir" with three traces xi(n)
–  #jjj"A)*2"@1.2"@-/7*2"2.-"@-/G*7D)'"G+"
7+-(5*'2"2K2(RH+2"GK'5H*N.+2"
–  #+-"2.-"(I78+2"G*O+-2+2"
• 
• 
• 
• 
B
wi
<+7)''5*225'7+"G+"O)K+11+2"+'"05@)'5*2"
<+7)''5*225'7+"G+"78*n-+2"@5-1/2"
4-/G*7D)'"G+"7).-2"Q).-2*+-2""
["
!"#$%&'()*)#&+,+-.'/'0+1+2'&'0(%)0+*%34#5)6/+.440%.*7'&+5%+
0'*#00'65+6'#0.8+6'59%0$&+50.)6)6/+:;+<%34#5'0+=*)'6*'+
2'()'9;+>??@A+
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#JL" !"#$%"
!
teacher
d(n)
d(n)
W)-D+"
G/2*-/+"
output neuron
wi
wi
A
activation y(n)
!"#$%&$%!'"#$%&'()*(+,#+-*.-*#+/#*0&#*%1(,&'#234#!'+**&'"#+5&%61('#7(*0#*0&#)+%%&)*#
"reservoir" with three
B traces xi(n)
)+,*(,-1*(+,#!8+6('"9#!("#:&1%,(,;#*0&#<=#1**%1)*+%9#>0%&&#81?.6&#1)*(51*(+,#*%1)&8#+/#output neuron !
(,*&%,16#,&-%+,8#1%&#80+7,9#>0&@#A&)0+A#*0&#*&1)0&%#8(;,16#!""#9#B/*&%#*%1(,(,;C#*0&#
activation y(n)
!"#$%&$%!'"#$%&'()*(+,#+-*.-*#+/#*0&#*%1(,&'#234#!'+**&'"#+5&%61('#7(*0#*0&#)+%%&)*#
'&8(%&'#+-*.-*#(8#%&D)%&1*&'#/%+?#*0&#&)0+#8(;,168#*0%+-;0#+-*.-*#)+,,&)*(+,8#!'+**&'#
teacher
)+,*(,-1*(+,#!8+6('"9#!("#:&1%,(,;#*0&#<=#1**%1)*+%9#>0%&&#81?.6&#1)*(51*(+,#*%1)&8#+/#
B
1%%+78"#70+8&#7&(;0*8##$#1%&#*0&#%&8-6*#+/#*0&#*%1(,(,;#.%+)&'-%&9#
"reservoir"
with three traces xi(n)
d(n)
(,*&%,16#,&-%+,8#1%&#80+7,9#>0&@#A&)0+A#*0&#*&1)0&%#8(;,16#!""#9#B/*&%#*%1(,(,;C#*0&#
!i
w
!
'&8(%&'#+-*.-*#(8#%&D)%&1*&'#/%+?#*0&#&)0+#8(;,168#*0%+-;0#+-*.-*#)+,,&)*(+,8#!'+**&'#
!
teacher
1%%+78"#70+8&#7&(;0*8##$#1%&#*0&#%&8-6*#+/#*0&#*%1(,(,;#.%+)&'-%&9#
$%&'(!)*!+&*,(*-!,!&,.-/0!122!)%(3!4555!.*6&/.'!"+,77*-!(3*!8&*'*&9/%&8#!,.-!/.*!/6(:6(!
!"#$%&$%!'"#$%&'()*(+,#+-*.-*#+/#*0&#*%1(,&'#234#!'+**&'"#+5&%61('#7(*0#*0&#)+%%&)*#
d(n)
!
output neuron
wi
.*6&/.;!<0:/&(,.(7=>!(3*!/6(:6(!.*6&/.!),'!*?6%::*-!)%(3!&,.-/0!+/..*+(%/.'!(3,(!:&/@*+(!A,+B!
!
)+,*(,-1*(+,#!8+6('"9#!("#:&1%,(,;#*0&#<=#1**%1)*+%9#>0%&&#81?.6&#1)*(51*(+,#*%1)&8#+/#
activation y(n)
%.(/!(3*!&*'*&9/%&!"$%C;!DE#;!F!G555!'(*:!(*,+3*&!'*?6*.+*!!"4#>;;;>!!"G555#%),'!C*.*&,(*-!H&/0!
$%&'(!)*!+&*,(*-!,!&,.-/0!122!)%(3!4555!.*6&/.'!"+,77*-!(3*!8&*'*&9/%&8#!,.-!/.*!/6(:6(!
(3*!IJK!*?6,(%/.!,.-!H*-!%.(/!(3*!/6(:6(!.*6&/.;!L3%'!*M+%(*-!(3*!%.(*&.,7!.*6&/.'!(3&/6C3!(3*!
"reservoir"
with
three
traces
x
(
n
)
(,*&%,16#,&-%+,8#1%&#80+7,9#>0&@#A&)0+A#*0&#*&1)0&%#8(;,16#!""#9#B/*&%#*%1(,(,;C#*0&#
i
.*6&/.;!<0:/&(,.(7=>!(3*!/6(:6(!.*6&/.!),'!*?6%::*-!)%(3!&,.-/0!+/..*+(%/.'!(3,(!:&/@*+(!A,+B!
!
output neuron
/6(:6(!H**-A,+B!+/..*+(%/.';!FH(*&!,.!%.%(%,7!(&,.'%*.(>!(3*=!'(,&(*-!(/!*M3%A%(!'='(*0,(%+!
%.(/!(3*!&*'*&9/%&!"$%C;!DE#;!F!G555!'(*:!(*,+3*&!'*?6*.+*!!"4#>;;;>!!"G555#%),'!C*.*&,(*-!H&/0!
'&8(%&'#+-*.-*#(8#%&D)%&1*&'#/%+?#*0&#&)0+#8(;,168#*0%+-;0#+-*.-*#)+,,&)*(+,8#!'+**&'#
activation y(n)
%.-%9%-6,7!9,&%,(%/.'!/H!(3*!(*,+3*&!'*?6*.+*!"$%C;!DE#;!!
!"#$%&$%!'"#$%&'()*(+,#+-*.-*#+/#*0&#*%1(,&'#234#!'+**&'"#+5&%61('#7(*0#*0&#)+%%&)*#
(3*!IJK!*?6,(%/.!,.-!H*-!%.(/!(3*!/6(:6(!.*6&/.;!L3%'!*M+%(*-!(3*!%.(*&.,7!.*6&/.'!(3&/6C3!(3*!
!
1%%+78"#70+8&#7&(;0*8##
"reservoir" with three traces xi(n)
#JP" !"#$%"
$#1%&#*0&#%&8-6*#+/#*0&#*%1(,(,;#.%+)&'-%&9#
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
)+,*(,-1*(+,#!8+6('"9#!("#:&1%,(,;#*0&#<=#1**%1)*+%9#>0%&&#81?.6&#1)*(51*(+,#*%1)&8#+/#
/6(:6(!H**-A,+B!+/..*+(%/.';!FH(*&!,.!%.%(%,7!(&,.'%*.(>!(3*=!'(,&(*-!(/!*M3%A%(!'='(*0,(%+!
!
L3*!H,+(!(3,(!(3*!%.(*&.,7!.*6&/.'!-%':7,=!'='(*0,(%+!9,&%,.('!/H!(3*!*M+%(%.C!*M(*&.,7!'%C.,7!%'!
(,*&%,16#,&-%+,8#1%&#80+7,9#>0&@#A&)0+A#*0&#*&1)0&%#8(;,16#!""#9#B/*&%#*%1(,(,;C#*0&#
%.-%9%-6,7!9,&%,(%/.'!/H!(3*!(*,+3*&!'*?6*.+*!"$%C;!DE#;!!
!
+/.'(%(6(%/.,7!H/&!NK2'O!(3*!%.(*&.,7!.*6&/.'!06'(!)/&B!,'!8*+3/!H6.+(%/.'8!H/&!(3*!-&%9%.C!
!"#$%&$%!'"#$%&'()*(+,#+-*.-*#+/#*0&#*%1(,&'#234#!'+**&'"#+5&%61('#7(*0#*0&#)+%%&)*#
!
'&8(%&'#+-*.-*#(8#%&D)%&1*&'#/%+?#*0&#&)0+#8(;,168#*0%+-;0#+-*.-*#)+,,&)*(+,8#!'+**&'#
!
'%C.,7;!2/(!*9*&=!&,.-/07=!C*.*&,(*-!122!3,'!(3%'!:&/:*&(=>!A6(!%(!+,.!*HH*+(%9*7=!A*!A6%7(!%.(/!,!
)+,*(,-1*(+,#!8+6('"9#!("#:&1%,(,;#*0&#<=#1**%1)*+%9#>0%&&#81?.6&#1)*(51*(+,#*%1)&8#+/#
L3*!H,+(!(3,(!(3*!%.(*&.,7!.*6&/.'!-%':7,=!'='(*0,(%+!9,&%,.('!/H!(3*!*M+%(%.C!*M(*&.,7!'%C.,7!%'!
1%%+78"#70+8&#7&(;0*8##$#1%&#*0&#%&8-6*#+/#*0&#*%1(,(,;#.%+)&'-%&9#
&*'*&9/%&!"'6::/&(%.C!/.7%.*!(*M(#;!!
(,*&%,16#,&-%+,8#1%&#80+7,9#>0&@#A&)0+A#*0&#*&1)0&%#8(;,16#!""#9#B/*&%#*%1(,(,;C#*0&#
+/.'(%(6(%/.,7!H/&!NK2'O!(3*!%.(*&.,7!.*6&/.'!06'(!)/&B!,'!8*+3/!H6.+(%/.'8!H/&!(3*!-&%9%.C!
!
$%&'(!)*!+&*,(*-!,!&,.-/0!122!)%(3!4555!.*6&/.'!"+,77*-!(3*!8&*'*&9/%&8#!,.-!/.*!/6(:6(!
!
'&8(%&'#+-*.-*#(8#%&D)%&1*&'#/%+?#*0&#&)0+#8(;,168#*0%+-;0#+-*.-*#)+,,&)*(+,8#!'+**&'#
'%C.,7;!2/(!*9*&=!&,.-/07=!C*.*&,(*-!122!3,'!(3%'!:&/:*&(=>!A6(!%(!+,.!*HH*+(%9*7=!A*!A6%7(!%.(/!,!
!
.*6&/.;!<0:/&(,.(7=>!(3*!/6(:6(!.*6&/.!),'!*?6%::*-!)%(3!&,.-/0!+/..*+(%/.'!(3,(!:&/@*+(!A,+B!
<(!%'!%0:/&(,.(!(3,(!(3*!8*+3/8!'%C.,7'!A*!&%+37=!9,&%*-;!L3%'!),'!*.'6&*-!A=!,!':,&'*!
1%%+78"#70+8&#7&(;0*8##
&*'*&9/%&!"'6::/&(%.C!/.7%.*!(*M(#;!!
$%&'(!)*!+&*,(*-!,!&,.-/0!122!)%(3!4555!.*6&/.'!"+,77*-!(3*!8&*'*&9/%&8#!,.-!/.*!/6(:6(!
$#1%&#*0&#%&8-6*#+/#*0&#*%1(,(,;#.%+)&'-%&9#
%.(*&+/..*+(%9%(=!/H!4P!)%(3%.!(3*!&*'*&9/%&O!(3%'!+/.-%(%/.!7*('!(3*!&*'*&9/%&!-*+/0:/'*!%.(/!
6K@+2"G+"(I78+2"
#>  "&@@-+'D2253+"')'"2.@+-O*2/"U71.2(+-*'3V"
&'51K2+""
–  a>3>"-+78+-78+"G+"@-)E12"(K@+2"G+"7)'2)HH5(+.-2"
GC'%('+5.'("G+"2/N.+'7+2"
J>  "&@@-+'D2253+"2.@+-O*2/"
–  ,1522+H+'("G+"').O+11+2"2/N.+'7+2"
•  a>3>"7)'2)HH5D)'"/1+7(-*N.+"/1+O/+"!"')'"/1+O/+"+'(-+"#$8"+("Jj8"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#J%" !"#$%"
q.+2D)'2"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#Jg" !"#$%"
q.+2D)'2"
•  6-).O+-"1+2"P"2/N.+'7+2"1+2"@1.2"@-)78+2"GC.'+"2/N.+'7+"G)''/+"
•  6-).O+-"1+2"2/N.+'7+2"b"H)*'2"G+","GC.'+"2/N.+'7+"G)''/+"
#>  "]',-&('%*89$%)G+2"2/N.+'7+2"
•  d*2(5'7+2"71522*N.+2"
•  a.71*G*+''+"
J>  "E.27%'+'%*)+'(-+"2/N.+'7+2"
•  ;)-H+2"G*O+-2+2"
–  4-/2.@@)2+'(".'"+2@57+"O+7()-*+1"
":1"A5.("*-8%(;$-+'-)15"-+@-/2+'(5D)'"G+2"2/N.+'7+2"
L>  "=+2.-+"G+"2*H*15-*(/")."G+"32(*8%1')
•  d*2(5'7+2"@).-"1+2"2/N.+'7+2"
•  K!;4%$<'_$%,'i4/.$;A"Ud6âV"
•  K$724;<,7'1Z01$)6;'
•  L6+7@70*+,;<,'<6%%+;,':4'.:+7':6;A+,'
•  ["
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#Jh" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#J$" !"#$%"
B5"-+@-/2+'(5D)'"G+2"2/N.+'7+2"
#>  "y-.(+"
Contexte
Appariement de séries temporelles
Apprentissage app discriminants
Classification de séries
Applications
Conclusion
J>  ""<+@-/2+'(5D)'2"S"5'51KDN.+2"T"
Contexte
Appariement de séries temporelles
Apprentissage app discriminants
–  45-"7)HQ*'5*2)'"G+"7)H@)25'(+2"78)*2*+2"G5'2".'"G*7D)''5*-+"
–  ,)H@)25'(+2")-(8)3)'51+2"
q.+11+"32(*8%1'"@).-"1+2"2/N.+'7+2"
Caractéristiques
des alignements standards
Caractéristiques des alignements standards
L>  "</3.15-*(/"2.@@)2/+"
Définition Un alignement de taille r (max(T1 ,Définition
T2 ) <•  ,85l'+2"G+"=5-m)O"
r <Un
T1alignement
+ T2 )
de taille r (max(T1 , T2 ) <
•  t-5HH5*-+2"
•  </2+5.F"G+"'+.-)'+2"
(Sankoff & Kruskal 1983, Cuturi & al 2007)
Φ : {1..r} → {1..T1 } × {1..T2 } telle que :
� Φ(1) = (1; 1)
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
�
�
#Ji" !"#$%"
Φ(r) = (T1 ; T2 )
(Sankoff & • Kruskal
1983, Cuturi & al 2007)
[""
–  4-)Q1RH+"G+"15"7)H@5-5*2)'"
Φ : {1..r}
→ {1..T1 } × {1..T2 } telle que :
� Φ(1) = (1; 1)
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#Lj" !"#$%"
Φ(r) = (T1 ; T2 )
∀t ∈ BC51*3'+H+'("
[1, r − 1], Φ(t + 1) = Φ(t) + Ψ(t) où Ψ(t)
� ∀t ∈
∈ C[1, r −
1], Φ(t + 1) = Φ(t) + Ψ(t) où Ψ(t
&1*3'+H+'("@5-"d6â"
(par ex : {(1; 1), (1; 0), (0; 1)})
(par ex : {(1; 1), (1; 0), (0; 1)})
�
Alignement des observations simultanées
•  ]',-&('%*89$%)5-0*')
–  4-)Q1RH+2"
Alignement
tenant
compte des
délais
7)H@5-*2)'>"""^,41$;A'j'=11$76;@i,7:,!'`+O:$<4)6;E'"klmE',1$2,1'O!'L4;P6\E'K43$1'n'o/+7P4:E'p67,.&'q>E'""
Alignement
des observations
simultanées
W5'm)nZ"d>"+("ñ-.2m51Z"s>"U#i$LV>"""6*H+"Å5-@2Z"2(-*'3"+G*(2Z"5'G"H57-)H)1+7.1+2"_"(8+"(8+)-K"5'G"@-57D7+")A"2+N.+'7+"
•  6-R2"3-5'G+"G*H+'2*)'"
•  452"'/7+225*-+H+'("HkH+"G*H+'2*)'"
–  d6â"UdK'5H*7"6*H+"â5-@*'3V"
•  4-*'7*@+"
–  ,)ï("522)7*/"b"5@@5-*+H+'("1)751"U+>3>"HkH+"@-)E1"1)751V"
–  ,)ï("522)7*/"b"G/@157+H+'("')'"2*H.1(5'/"G5'2"1+"(+H@2"
–  =*'*H*25D)'"G+"15"2)HH+"G+2"7)ï(2"
•  ,517.1""
–  4-)3-5HH5D)'"GK'5H*N.+"
–  </51*25Q1+"+'M1*3'+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#L#" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#LJ" !"#$%"
Aligne
!"#$%&''(")*#&+*",-%".%
<+@-/2+'(5D)'2"5'51KDN.+2"
+*#$%-$(*$-/
• 
6-5'2A)-H/+"G+"^).-*+-"G*27-R(+"
• 
6-5'2A)-H/+"+'")'G+1+}+2"G*27-R(+"
• 
&@@-)F*H5D)'"53-/3/+"@5-"H)-7+5.F"
• 
["
%2345'4624758496474:;-;2<:7
00,"+$%+1&+%&22%$)3$'+%!45%
&($%($&2%6&27$8/
1<=4@5F-74=
?"77#1,
8*)H.9,
8.7#4&
#-;-5)=-9;2>4
J)"7
2.)+#7
:.#>>"$"#1+&,
*24/4A2745
*<@B:<32-@
2"1(34*)
'B3.<@2/
5*43#
'--)./"0*+".1
=)##&
&->4@4;7
"! #! $! %! &!! &"!
!
"! #! $! %! &!! &"!
!
"! #! $! %! &!!&"!
!
"! #! $! %! &!! &"!
!
"! #! $! %! &!!&"!
!
"! #! $! %! &!!&"!
!
"! #! $! %! &!!&"!
-
#$%
#&%
'(#
)*+)
*))
*,)
-
*24/4A274
,2:4-6
)996<C23-;2<:
.
.
.
/
E1+#)-.4*+".1
/
'7*-+"9#
F*+3)*4
!"#$#%"&#
G*1(3*(#,
:.1&+*1+
'--)./"0*+".1
';62:H7
[email protected]"$
'(()#(*+#
'--)./"0*+".1,,
6#()#&&".1
6*17.0,
8*--"1(&
'94/;6-@
:4"--#7
;*+*
!"#$#%"&#
'(()#(*+#,
'--)./"0*+".1
:.0(*'-2%7)G+"2/N.+'7+2"
--...//.
!
#-;-5#2/;-;4=
?<:5#-;-5)=-9;2>4
2+*+"&+"$*4,
8.7#4&
D6;E<:<63-@
?<:
,<A46
F<I:=2:H
5*43#,
I*&#7
?**)
F2GD6;E<:<63-@
;*3@#$A"#&, :.">4#+&
7@1,,,1,B,C
;"&$)#+#,
<.3)"#),
=)*1&>.)0
;"&$)#+# :A#@D&A#9
:.&"1# !.4D1.0"*4&,
=)*1&>.)0
2D04#+&
24.-#,
I*&#7
.
'01
<+@-/2+'(5D)'"O+7()-*+11+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#LL" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
B5"7)H@5-5*2)'"_"H+2.-+2"G+"G*2(5'7+"
#LP" !"#$%"
,1.2(+-*'3"+'"-+@-/2+'(5D)'"O+7()-*+11+"
•  "<+@-/2+'(5D)'2"A)'G/+2"2.-"1+2"48.'0-()
•  oMH)K+''+2"
–  <+@-/2+'(5D)'2"S"Q-.(+2"T")."S"5'51KDN.+2"T"
–  W5'2")%,'N4/.$;A"
•  ,1522*E75D)'"8*/-5-78*N.+"527+'G5'(+"
8"+,$(5$91:#'$;1<&6(&.=
•  ().(+2"1+2"')-H+2"B@"
!"#$%#&#'()$*+,+$-(&(&.$/0.1'(,"2$3'#4(5(,#67$
–  &O+7")%,'N4/.$;A""
•  ,1.2(+-*'3"2@+7(-51"
J ,<A465.<I:=2:H534-:75;E4547;23-;4=5=27;-:/452:5;E4564=I/4=579-/45275-@A-B75@4775
;E-:5<654PI-@5;<5;E45=27;-:/452:5;E45<62H2:-@579-/4Q
•  dK'5H*7"DH+"Å5-@*'3"
J• +64-;45-:5*--)./"0*+".1
<K5;E45=-;-L5AE2/E5A2@@5K2;52:53-2:5
d*2(5'7+"GC/G*D)'"
343<6BL5B4;564;-2:75;E454774:;2-@5K4-;I6475<K52:;4647;
•  ["
•  d*2(5'7+"G+"^-/78+("
(
J )996<C23-;4@B57<@>45;E4596<.@435-;5E-:=52:53-2:5343<6B
•  "<+@-/2+'(5D)'2"A)'G/+2"2.-"1+2"1$+,$-*'+'%*()
>+:$*+,+
'
$,
%&
J 1-M45NE<94KI@@B5>46B5K4AO5-//477475;<5;E45<62H2:-@5=-;-5<:5=27M5
–  W*3'+"G+"15"@+'(+"r"G/-*O/+2"
;<5/<:K2635;E457<@I;2<:5<.;-2:4=52:5';495"L5<65;<53<=2KB5;E45
7<@I;2<:57<52;5-H64475A2;E5;E457<@I;2<:5A45A<I@=5E->45<.;-2:4=5<:5
;E45<62H2:-@5=-;-
–  ,)+è7*+'(2"G+"4+5-2)'"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
91*-%",2: ;"(<-%*.%+1$%
&''(")*#&+*",%&22";-%
!"#$%&'"()*+),
!)(*'+ %
#L%" !"#$%"
1
# !K " $ & " "
" &!
"
/??'1@(2+,(1&$
1'$
A>#?'#5#&,+,(1&B
!"#)$,*',+
!"#)$,*',+ %
#
8
" &!
N&)" $ &)"$! ONK9" $ &9" O"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
=";$(%>"7,8*,?%#$&,-%+1&+%."(%&22%@%&,8%
!A%;$%1&6$B !"#)$,*',+ ' !)(*'+
#Lg" !"#$%"
1. PRÉSENTATION DES DONNÉES
149
,1522*E75D)'"2.@+-O*2/+"G+"2/N.+'7+"
discriminants. Ce qui est d’intérêt est d’extraire un profil discriminant pour chacune des deux
• 
saisons. Nous avons à l’issue du processus d’apprentissage, effectué une classification fondée
sur ces profils pour vérifier la capacité de notre approche à discriminer les séries. Ces tests
B+"@-)Q1RH+"
de classification ont été effectués sur la base de trois tirages aléatoires d’un échantillon de 60
par classe pour le jeu d’apprentissage et de 30 séries pour le jeu test, par une méthode
–  séries
a>3>",)'2)HH5D)'"/1+7(-*N.+"@).-"G+2"2/-*+2"G+2"71522+2"â5-H"+(",)1G"G."0+."G+"G)''/+2"7)'22+52)'>"
classification de type "k plus proches voisins".
" de
"ì|+Q-5*1Z"t>"+("51>Z"aF@1)-5()-K"5'51K2*2")A"A.'7D)'51"G5(5"O*5"71.2(+-*'3"5'G")@DH51"2+3H+'(5D)'>"Jj#jî"
:.8((2H189$%)(0,'-42(&'"G+"2/N.+'7+2"
=5*"M"W+@(+HQ-+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#Lh" !"#$%"
`7()Q-+"M"&O-*1"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Figure 52 – Consommation électrique pour des séries des classes Warm et Cold du jeu de
données consseason.
1.2.b
:.8((2H189$%)(0,'-42(&'"G+"2/N.+'7+"
#L$" !"#$%"
Pic de consommation
Pour répondre au second problème d’anticipation d’un pic de consommation, nous avons
divisé les séries en deux catégories : celles qui ont une consommation forte sur la période
18h-20h et celles qui ont une consommation faible. Pour cela, nous avons dans un premier
temps, calculé la moyenne pour chaque série de ces valeurs. Nous déterminons la médiane sur
cet ensemble de 349 moyennes. Enfin, en laissant un intervalle de 20% entre les deux, nous
_&Y7,'1,'C01/$<'Q/4%O6+/A'5hbME'#r"m8'
divisons la population en deux classes : les 40% de séries prenant en moyenne les valeurs les
plus hautes sur cette période et les 40% prenant les valeurs les plus faibles.) Ce qui nous
dans ce cas était d’être capable de prédire un éventuel pic de consommation à
–  intéressait
&@@-+'D2253+""
l’avance, c’est-à-dire de reconnaître, au sein des instants précédant la période critique, des
signes
discriminant les deux comportements. Nous avons à nouveau effectué une classification
•  G+".<8,,8-2'+'%*)#N`"@).-"5.3H+'(+-"1+"7)'(-52(+"+'(-+"71522+2"
fondée sur les couplages appris pour vérifier la capacité de notre approche à discriminer les
H*'*H*25'("15"O5-*5'7+"*'(-5M71522+2"+("H5F*H*25'("15"O5-*5'7+"*'(+-M71522+2"
séries. Les– tests
de classification ont été effectués sur la base de trois tirages aléatoires d’un
échantillon
de
30 séries par classe pour le jeu d’apprentissage et de 60 séries pour le jeu test.
•  G+),$23()8(($12&()80B)2%(*8%*("G5'2".'+"H/(-*N.+"*'G.*(+""
Les séries sont classées par une méthode de classification de type "k plus proches voisins", sur
UMx"*'2(5'(2"G*27-*H*'5'(2V"
la base des instants correspondant à la période 0h-16h.
:.8((2H189$%)(0,'-42(&'"_"+F+H@1+"
• 
•  &@@-)78+2 ""
–  mM;;"
–  Wc="
–  ["
•  q.+2D)'2"_"
•  ,517.1"GC.'",-$H.)+$F'%)a)1.8((')
–  q.+11+"-+@-/2+'(5D)'"p"
–  wD1*25D)'"G+"PM@@O"
•  d+2"2/N.+'7+2"
•  &O+7".'+"G*2(5'7+"*'G.*(+"@5-"15"@852+"GC5@@-+'D2253+"
•  d+2"71522+2""
–  q.+11+"G*2(5'7+"p"
–  6+2(2""
•  W.-"7).-Q+2"5-DE7*+11+2"
•  W.-"7).-Q+2"G+"7)'2)HH5D)'"/1+7(-*N.+"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#Li" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#Pj" !"#$%"
complexité du jeu, il est judicieux de s’autoriser plus de voisins. Nous testons donc plusieurs
valeurs pour le nombre de voisins K.
Pour se rendre compte de la complexité du jeu, nous représentons le résultat d’un MDS
(Multidimensional-Scaling [Cox]) pour les deux distances usuelles Euclidienne et DTW.
Nous observons sur ces figures 54 et 55 un fort recouvrement des classes, qui dénote des
ensembles complexes de séries temporelles. Les distances usuelles dE et dtw sont incapables
de séparer les classes efficacement.
Nous appliquons donc une classification KNN sur la base de la distance proposée au
chapitre précédent. Nous présentons à présent les résultats obtenus pour les deux jeux de
données.
:.8((2H189$%)(0,'-42(&'"_"+F+H@1+"
•  &@@-+'D2253+"G+2"S"25*2)'2"T"
154
152
CHAPITRE 6. APPLICATIONS À DES DONNÉES ÉLECTRIQUES
3
–  #$%%&'())
•  LPi"0).-2"
Résultats
Problème de la catégorisation Nous voyons sur la figure 56, les appariements intra et
inter appris au cours de l’algorithme. L’appariement intra fait état d’une figure en damier,
•  <+1+O/"().(+2"1+2"#jH'"_""#PP"H+2.-+2"!"0).-"
montrant l’alternance entre des zones de faibles et fortes consommation. L’appariement inter
•  ]785'D11)'2"GC5@@-+'D2253+"
"X"gj"2/N.+'7+2"
a dégagé l’importance
de la zone marquée en rouge pour la discrimination de ces séries.
•  ]785'D11)'2"G+"(+2("
Nous
sur la figure 57, que les deux classes sont bien séparées. Cela met en avant
" observons
"X"Lj"2/N.+'7+2"
la capacité de la métrique à caractériser les classes.
(a) Appariement intra
3. RÉSULTATS
153
Table 3 – Taux d’erreur de
k
1nn
3nn
5nn
7nn
(a) Jeu Level
(b) Jeu Saison
(a) Jeu Level
B+2"\SS)U2.*(+V"
(b) Appariement inter
Figure 56 – Appariements appris pour une série "faible consommation" à l’issue d’une itération
la classification K plus proches voisins (%)
de dtw
d
23.9 28.3
9.4
22.8 31.1 12.8
20.0 30.0 20.5
22.2 30.6 11.1
BC5@@-+'D2253+"
Les résultats de classification étayent ce propos. La métrique apprise surpasse largement
les métriques usuelles dans des tâches de classification.
Figure 57 – Les proximités induites par la métrique apprise (tendances saisonnières).
Figure 54 – Les proximités entre les séries temporelles induites par la DE pour les deux
jeux conslevel et consseason.
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#P#" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#PJ" !"#$%"
(b) Jeu Saison
Figure 55 – Les proximités entre les séries temporelles induites par la DTWpour les deux
jeux conslevel et consseason.
6I78+2"GC5@@-+'D2253+"+("G+"@-/G*7D)'"
L"N.+2D)'2"*H@)-(5'(+2""U2.*(+V"
•  f+,::,',72':4'./6O4O$:$20'1Z+;,'70*+,;<,'16;;0,'J'
•  :.8((2H189$%"GC.'+"2/N.+'7+)
•  ](5'("G)''/2".'"+'2+HQ1+"G+"|=="-+@-/2+'(5'("G*n/-+'(+2"71522+2"G+"2/N.+'7+2""
+(".'+"2/N.+'7+"(+2("
•  f+,::,',72':4'2/4g,<26$/,':4'.:+7'./6O4O:,'.6+/':4'./61+<)6;'1Z+;,'70*+,;<,'
16;;0,'J"
•  Trouver quel HMM +F@1*N.+"1+"H*+.F"15"2/N.+'7+"
" "
":1"A5.("G)'7"8,,-'%3-').'"|=="!"71522+"
•  C6%%,;2'4../,;1/,':,7'.4/4%Y2/,7'1Z+;'d99'024;2'16;;0'+;',;7,%O:,'1,'
70*+,;<,7'J'
•  E,,-'%9((87')U2.@+-O*2/V"
•  ](5'("G)''/2".'"H)GR1+"+("G+2"2/N.+'7+2"GC5@@-+'D2253+"
•  Trouver les paramètres d’un modèle"@+-H+}5'("G+"-+'G-+"7)H@(+"5O+7".'+"3-5'G+"
@-)Q5Q*1*(/"G+2"2/N.+'7+2"GC5@@-+'D2253+"U1+"Q.("/(5'("G+"3/'/-51*2+-"b"GC5.(-+2"
2/N.+'7+2V"
!"#$%"
!"#$%"
&13)-*(8H+"G+"y5.HMâ+178"
&13)-*(8H+"G+"y5.HMâ+178"
4-*'7*@+"_""""utiliser une procédure de réestimation qui affine le modèle
petit à petit selon les étapes :"
•  `'"2.@@)2+"G*2@)2+-"GC.'"/785'D11)'"G+"2/N.+'7+2"*>*>G>""L"X"YL#Z"[Z"L%\"
•  `'"78+-78+"b"5@@-+'G-+"1+2"@5-5HR(-+2"'"GC.'"|=="_"''X"U?E'=E'#V"
–  ,8)*2*-".'"+'2+HQ1+"*'*D51"G+"@5-5HR(-+2"_"-j"
•  `'"78+-78+"G)'7"_"
–  ,517.1+-"-#"b"@5-D-"G+"-j"Z"@.*2"-J"b"@5-D-"G+"-#Z"+(7>"
–  </@/(+-"0.2N.Cb".'"7-*(R-+"G+"E'"
4).-"785N.+"/(5@+".Z")'"78+-78+"-.Ä#"O/-*E5'("_""
2)*("_""
On utilise pour cela une procédure EM
!"#$%"
&@@1*75D)'"G+"@S)5.F"H/15'3+2"G+"t5.22*+''+2"
!"#$%"
&@@1*75D)'"G+"@S)5.F"H/15'3+2"G+"t5.22*+''+2"
•  W)*("1+"-+1+O/"G+2"(5*11+2"GC.'"/785'D11)'"G+"@+-2)''+2"
</2.1(5("G+"a="5@-R2"#j"*(/-5D)'2"
LZ,X.:$*+,@2@$:'.4/'+;'%0:4;A,'1,'A4+77$,;;,7'J'
!"#$%"
!"#$%"
a="@).-"G+2"H/15'3+2"G+"t5.22*+''+2"
:11.2(-5D)'"_"71.2(+-*'3"5O+7"a="+("G+2"35.22*+''+2"
437
9.2. Mixtures of Gaussians
"ìy*28)@"UJjjgVZ"S"45}+-'"<+7)3'*D)'"5'G"=578*'+"B+5-'*'3"TZ"@>PLhî"
&13)-*(8H+"
2
2
2
0
0
0
−2
−2
−2
2
0
(a)
2
0
−2
−2
2
L=2
0
(b)
2
0
(d)
2
0
(c)
2
0
(f)
2
L = 20
0
−2
−2
−2
2
L=5
0
−2
L=1
−2
−2
0
(e)
2
−2
Figure 9.8 Illustration of the EM algorithm using the Old Faithful set as used for the illustration of the K-means
algorithm in Figure 9.1. See the text for details.
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#Pi" !"#$%"
&13)-*(8H+"a="3/'/-51"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
Section 9.4
&13)-*(8H+"
#%j" !"#$%"
and the M step, for reasons that will become apparent shortly. In the expectation
step, or E step, we use the current values for the parameters to evaluate the posterior
probabilities, or responsibilities, given by (9.13). We then use these probabilities in
the maximization step, or M step, to re-estimate the means, covariances, and mixing coefficients using the results (9.17), (9.19), and (9.22). Note that in so doing
we first evaluate the new means using (9.17) and then use these new values to find
the covariances using (9.19), in keeping with the corresponding result for a single
Gaussian distribution. We shall show that each update to the parameters resulting
from an E step followed by an M step is guaranteed to increase the log likelihood
function. In practice, the algorithm is deemed to have converged when the change
in the log likelihood function, or alternatively in the parameters, falls below some
threshold. We illustrate the EM algorithm for a mixture of two Gaussians applied to
the rescaled Old Faithful data set in Figure 9.8. Here a mixture of two Gaussians
is used, with centres initialized using the same values as for the K-means algorithm
in Figure 9.1, and with precision matrices initialized to be proportional to the unit
P
matrix. Plot (a) shows the data points in green, together with the initial
configuration of the mixture model in which the one standard-deviation contours for the two
&13)-*(8H+"G+"y5.HMâ+178"
•  """""""""""""""""_""@-)Q>"N.+Z"/(5'("G)''/2".'+"2/N.+'7+"e "+(".'"
|=="G+"@5-5HR(-+"-Z"7+"2)*("1C/(5("7$"N.*"5*("/H*2"*2"G5'2"eP"+("
1C/(5("7g"N.*"5*("/H*2"*2Ä#"""
W)*("@5-"G/E'*D)'"G+2"A)'7D)'2"A)-Å5-G"+("Q57mÅ5-G"_""
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#%#" !"#$%"
!"#$%"
&13)-*(8H+"G+"y5.HMâ+178"
&13)-*(8H+"G+"y5.HMâ+178"
•  W)*("5.22*"""""""""""""15"@-)Q5Q*1*(/"N.+"1+"2*RH+"75-57(R-+"/H*2"G5'2"15"
2/N.+'7+"eP"2)*("/H*2"@5-"1C/(5("7g""""
•  B+2"').O+5.F"@5-5HR(-+2"2+"G/G.*2+'("G+2"5'7*+'2"+'"-/+2DH5'("#Z"?"+("="
@5-"7)H@(53+"2.-"15"Q52+"GC5@@-+'D2253+"_"""
`'"5"15"-+15D)'"_""
!"#$%"
&13)-*(8H+"G+"y5.HMâ+178"
!"#$%"
&13)-*(8H+"G+"y5.HMâ+178"
•  W)*("_""
!"#$%"
!"#$%"
&13)-*(8H+"G+"y5.HMâ+178"_"+F+H@1+"
&13)-*(8H+"G+"y5.HMâ+178"_"+F+H@1+"
! 
Après 15 itérations :
! 
Après 150 itérations :
•  a'"@5-(5'("G."|=="G+"@5-5HR(-+2"-j"_""
! 
On a :
! 
Après une itération :
1
1
3
<N"_"5@@-+'D2253+"2.-".'+"2+.1+"2/N.+'7+"*7*Z"
0.5
0.5
"""""""H5*2",8()8,,-'%9((87'),8-)1b0-"75-"|=="(-)@"1*H*(/>"
2
!"#$%"
&13)-*(8H+"y5.HMâ+178"_"-+H5-N.+2"
0.18
0.82
!"#$%"
,)'71.2*)'2"2.-"1+2"|=="
•  B+2"\SS)2)'("G+2"H)GR1+2"@-)Q5Q*1*2(+2"GC/H*22*)'"G+"2/N.+'7+2"
•  a="7)'O+-3+"O+-2".'"+2%2+0+).$18."G+"15"1)3"O-5*2+HQ15'7+"
•  C<2%298.2(89$%"'C+2("@52".'+"78)2+"A57*1+"G5'2"1+"752"G+2"|=="
•  BC513)-*(8H+"G6/N4/1@O4<PN4/1"@+-H+("G+"7517.1+-"15"@-)Q5Q*1*(/"N.C.'"|=="
5*("/H*2".'+"2/N.+'7+"G)''/+"
•  BC513)-*(8H+"G+"s$2,/O$'@+-H+("GC+2DH+-"15"2/N.+'7+"15"@1.2"@-)Q5Q1+"GC/(5(2"
7578/2"5K5'("@-)G.*("15"2/N.+'7+")Q+-O/+"
–  45-D-"G+"@1.2*+.-2"|==j"
–  W+"-+@)-(+-"b"15"1*}/-5(.-+"2.-"1+"2.0+("
•  BC513)-*(8H+"G+"q4+%@i,:7&"@+-H+("GC50.2(+-"1+2"@5-5HR(-+2"GC.'"|=="@5-"
H5F*H.H"G+"O-5*2+HQ15'7+"b"@5-D-"GC.'"+'2+HQ1+"G+"2/N.+'7+2"
GC5@@-+'D2253+"
•  BC5@@-+'D2253+"G+"15"2(-.7(.-+"GC.'"|=="+2(".'",-$5.K+')32c12.'"')'"
+'7)-+"H5l(-*2/"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#%i" !"#$%"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#gj" !"#$%"
B+"752"G+"15"S"71522*E75D)'",-&1$1'"T"
150
B+"@-)Q1RH+"G+"15"
:.8((2H189$%),-&1$1')G+"2/N.+'7+2"
•  B+"32.'++'))
Figure 53 – Consommation électrique pour des séries des classes Low et High du jeu de
données conslevel.
A partir de ces deux jeux de données, nous allons à présent apprendre les appariements
–  41.2")'"5}+'G"
discriminants associés par la méthode introduite précédemment.
•  =+*11+.-+"+2("15"@-/G*7D)'"
2
Mise en place de l’apprentissage
=5F*H*2+-".'+"2)-(+"
•  =)*'2"*'(/-+225'(+"+11+"+2("
GC'(,&-8%1')3')782%)
Nous détaillons ici le choix des paramètres pour les différentes étapes de l’algorithme et
les différences que nous considérons pour résoudre les deux problèmes présentés ci-dessus.
2.1
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#g#" !"#$%"
4-/G*7D)'"GC.'+"2/N.+'7+"
• 
a'"(+'5'("7)H@(+"G+"1C5@@-+'D2253+"2.-"L''
#gJ" !"#$%"
Problème de la prédiction précoce Dans le cadre du second problème, nous appliquons
l’algorithme en initialisant la matrice de voisinage avec un bloc spécifique. Afin d’apprendre
des alignements dans le but de faire de la prédiction précoce, nous assignons des poids nuls
à toutes les arêtes liant des instants de la seconde série situés après l’instant 16h. En effet,
l’objectif étant de faire de la classification par un procédé "k plus proches voisins", nous
connaissons l’information sur les séries d’apprentissage, tandis que l’information est cachée
sur la base de série Test. La sortie de l’algorithme nous donne les liens discriminant les deux
profils sur la base des premiers instants.
,1522*E75D)'"@-/7)7+"
• 
Initialisation de la matrice
Problème de la S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
caractérisation des saisons Dans le cadre du premier problème, nous
appliquons l’algorithme classique, en initialisant l’apprentissage avec un couplage complet.
La sortie de l’algorithme nous donne les alignements caractéristiques au sein des classes et
nous permet d’initialiser les apprentissages inter-classes.
1) Early classifier: - A number of early classification
models have been proposed in the literature.
- In this paper, we choose to exploit an approach based on
several classifiers trained on parallel [6].
- Description of the approach here.
&@@-+'D2253+"2.-""
P0B)3')3$%%&'("
2) clustering: In order to make a good estimation of the
ìd578-5).*Z"y)'G.Z",)-'./0)12"UJj#%Z"2.QH*(+GV>"
expected cost fτ (xt ), ∀τ ∈ {1, . . . , T } (see Equation (4)), we
S"?4/:!'C:477$U<4)6;'6G'_$%,'L,/$,7''
need to partition the time series into different clusters with
47'4'L,*+,;)4:'K,<$7$6;'94P$;A"Tî"
respect
to the following constraints: a) each cluster should
contain time series with similar shapes and, b) all the clusters
should give different confusion matrices.
Figure 2. The first curve represents an incoming time series xt . The second
curve represents the expected cost fτ (xt ) given xt , ∀τ ∈ {0, . . . , T − t}.
- to achieve this clustering task under constraints a) and b)
we propose a simple method that we illustrate in Algorithm
(3).
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
an additional time step compensates the reduction of the
misclassification cost.
- Finally, Algorithm (2) summarizes a possible development of the decision function T rigger(xt , M) in Algorithm
(1). The Boolean function T rigger(xt , M) is initialized to
#gL" !"#$%"
Algorithm 3 Clustering algorithm
Input:
• D = RT × Y: a set of n labeled time series
1: Predict the labels of
� all time series
� in D;
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#gP" !"#$%"
415'"
#>  :11.2(-5D)'"
J>  q.+12"G+2*G+-5(5"p"
L>  <+@-/2+'(5D)'"GC.'"o.F"G+"G)''/+2"
&@@-+'D2253+"+'M1*3'+""
P>  y5(78"O2>"+'M1*3'+"
%>  w'"@-)Q1RH+"S"2*H@1+"T"_"7)HQ*+'"GC/1/H+'(2"G*n/-+'(2"G5'2".'"o.F"p"
%$%)(0,'-42(&)
g>  ,)'2(-.7D)'"G+"S"-/2.H/2"T"G+"o.F"G+"G)''/+2"
#> 
&@@-)78+"S"25H@1*'3MQ52+G"T"
J> 
&@@-)78+"S"H*7-)M71.2(+-*'3"T"
h>  ,)'71.2*)'2""
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#g%" !"#$%"
`'1*'+"37>"y5(78"H)G+""
`M8*)2()0%(0,'-42('3).'8-%2%7)d)
•  =*'*'3"G5(5"*'")-G+-"()"E'G"'+Å"m')Å1+G3+""
•  ;)"*G+5"5Q).("(8+"+F@+7(+G"-+2.1("
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
#gg" !"#$%"
W.HH5-*É*'3"G5(5"2(-+5H2"
`MF)3$)f')%''3)*$)(0++8-2g')38*8)(*-'8+()d)
• 
• 
• 
68+"%0+5'-")A"(.@1+2"*'"2%H%2*'"[""
68+*-"'+2((2$%)-8*'"*2"@)(+'D511K"4'-F)M27M)[""
68+"M8-3f8-'"-+2).-7+2"5-+".2+2*'3"U,4wZ"<&="Ñ":!`V"
L8*1M)+$3')e)
• 
&'"+'D-+"38*8('*)2()8482.85.'"""
• 
68+"+F5H@1+2"75'"Q+"@-)7+22+G"('4'-8.)9+'())
• 
`'8T)1$%(*-82%))'"(8+"7)[email protected]'3"DH+"
• 
68+"32(*-2509$%")A"G5(5"G)+2"%$*)1M8%7'))O+-"DH+"
`M8*)2()8)(0++8-F)d)
• 
• 
• 
&"1$+,81*)-',-'('%*89$%))A"(8+"@52("(.@1+2"
â*(8"5"7)'(-)11+G"+'+$-F)(,81'h)8110-81F"5'G".8*'%1F""
â8*78"511)Å2"()"/0'-F"56/'4;4:!t,8"(8+"8*2()-K")A"(8+"
2(-+5HZ"*'"5'"8,,-$B2+8*'3)f8F)
>%.2%'),-$1'((2%7)e)
• 
• 
• 
• 
6.@1+2"5-+"'+2O'3)$%')5F)$%')
6.@1+2"8-'),-$1'(('3)$%)*M')PF)G.+"()"(8+*-"8*38"-5(+"
56;,'.477'4:A6/$2&%78%
]'8.69+'"7)[email protected]'3"5:6N':42,;<!8'
#gh"
68+"32(*-2509$%")A"(.@1+2)1M8%7'())O+-"DH+"51/$T8' !"#$%"
68+")Q0+7DO+"*2"()"+8B2+2g')*M')8110-81F))A"(8+"N.+-*+2Z"
3*O+'"*'1M%218.)1$%(*-82%()U2(-+5H"-5(+Z",4wZ"<&="Ñ":!`V"
#g$"
!"#$%"
6Å)"(K@+2")A"2.HH5-K"
^150)1+(M=5-D'"Wm+(78"ì#î"
=-$5.'+)(*8*'+'%*e)
I,'12H1)(0++8-2'()e)"G+G*75(+G"()"5"2*'31+"N.+-K"56/'G,N8"))
• 
A.8?$.'*6S8-9%)IT'*1M)e)5@@-)F*H5(+2"(8+"'.HQ+-")A".'*N.+")Q0+7(2"*'"5"2(-+5Hr""
• 
L.$$+)A2.*'-)e"+è7*+'(1K"(+2(2"*A"5'"+1+H+'("*2"5"H+HQ+-")A"5"2+(r"
• 
:$0%*6IT'*1M)e"+è7*+'(1K"E'G2"(8+"P"H)2("A-+N.+'("+1+H+'(2")A"5"2+(r"
• 
:$0%*6S2%)IT'*1M)e""+'.H+-5(+2"(8+"'.HQ+-")A"+1+H+'(2"Å*(8"5"@5-D7.15-"O51.+Z"
)-"Å*(8*'"5'"*'(+-O51")A"O51.+2>""
• 
I"*2"5"7)11+7D)'")A"i"+1+H+'(2"_"W"X"Y2#Z"2J"[>"2;\"
• 
6Å)"+1+H+'(2")A"W"+8F)5')23'%918.""
• 
W"*'71.G+2")'1K"A"G*2D'7("+1+H+'(2"
• 
68+")Q0+7DO+"*2"()"+è7*+'(1K"'(9+8*')A"*'"(+-H2")A_"
– 
6*H+"7)H@1+F*(K"5e;,'.477'4:A6/$2&%8'
– 
W@57+"7)H@1+F*(K"
– 
4-)Q5Q*1*2D7"3.5-5'(++2"""""
W'%'-21)(0++8-2'()e)511)Å"5"15-3+"-5'3+")A"N.+-*+2")'"5'K"@52("@+-*)G""
• 
I*-'8+I8+,)e)Q52+G")'"2.77+22*O+"Å*'G)Å*'3"5'G"25H@1*'3r""
• 
:.0I*-'8+)e"Q52+G")'"H*7-)M71.2(+-*'3r"
• 
#'%I*-'8+)e"Q52+G")'"+O)1O*'3"H*7-)M71.2(+-*'3r"
\$f)+8%F))
#gi" !"#$%"
#hj" !"#$%"
:11.2(-5D)'"
^150)1+(M=5-D'"Wm+(78"ì#î"
\8(M);0%19$%)e)&5>8))
•  6)"Q+}+-".'G+-2(5'G"(8+"1M8..'%7')$;)3'*'-+2%2%7)*M')18-32%8.2*F)$;).8-7')
"rr"r""r'
('*("1+(ó2"*H53*'+"(85("K)."85O+"5"#g"785-57(+-":d"5'G"F$0j3).2T')*$)1$0%*)*M')
%0+5'-)$;)32(9%1*)G#("(85("K).óO+"2++'"*'"K).-"1)32>"|+-+"*2"5'"+F5H@1+_"
&22)7*5(+2"5'"+1+H+'()2*"Å*(8"5"0%2;$-+.F)3-8f%)52%8-F)48.0'))
• 
(:I>)*2"5)3'*'-+2%2(91"A.'7D)'"
r"r""r""'
• 
J"*2"(8+"1+'3(8")A"Q*'5-K"O51.+2"5;+%O,/'6G'O$278""
rrr""rr"'
• 
J%*2"5'"*'(+3+-"2.78"(85(""
r"r"rr""'
• 
"<5'G)H"O51.+2"5-+"0%2;$-+.F)3-8f%)Å*(8*'"%"#0, 2
"rrr"r"r'
PAghQA7gjL#jg7QJ"
•  68+2+"#g"785-57(+-2"-+@-+2+'("#J$"Q*(2>"g%ñ":d2"Å).1G"-+N.*-+"#"H+35QK(+")A"
2@57+>"W.@@)2+"Å+"-+7+*O+")O+-"L"Q*11*)'"+O+'(2"@+-"G5KZ"5'G"+578"+O+'("852"
5'":d>"68)2+":d2"-+N.*-+"L$PZjjjZjjjZjjj"Q*(2")-"ZU)72785F*'()$;)(*$-87'>"&'G"
2w ! F
w
!1$%
G%*029$%)e))
(85("*2"0.2("(8+"2@57+"(85("(8+":d"E+1G"-+N.*-+2ã"
t*O+'"5"15-3+"2+(")A"-5'G)H"Q*'5-K"O51.+2Z"
•  |)Å"7).1G"Å+"+2DH5(+"(8+"'.HQ+-")A"G*2D'7(":d"*'"5"1)3p"
1""""")A"(8+H"Q+3*'"Å*(8"á#à"
2
#"
#
#"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
• 
rr"rrr""'
#h#" !"#$%"
1""""")A"(8+H"Q+3*'"Å*(8"á##à"
4
#
#
#"
1""""")A"(8+H"Q+3*'"Å*(8"á###à"
8
1
""""")A"(8+H"Q+3*'"Å*(8"m"á#à"
2k
#hJ" !"#$%"
^150)1+(M=5-D'"Wm+(78"ì#î"
^150)1+(M=5-D'"Wm+(78"ì#î"
E)(2%7.'6,8(()8.7$-2*M+)e)
"rrrrrrr'
rr"rrrrr'
"rrrrrrr'
r"rrrrrr'
^="Wm+(78"
^'u'r'
q'u'rrrrrrrrrrrrrr''''''
&548'u'r"rr""""r""r"r'''''''''25&5488'u'r"rrrrrrrrrrrr''''''
C$189$%)$;)*M')H-(*)k!l)f2*M2%)(:I>))
"3:I>"*2"(8+"A.'7D)'"Å8*78"m++@2")'1K"(8+"E-2("á#à"5<6+;);A'G/6%':,T8Z""
)(8+-"Q*(2"5-+"2+("()"ájà""""'
:'@.("G5(5"
2(-+5H"
@B8+,.')e''''''&52*8'u'r"rr""""r""r"r'''''''''25&52*88'u'r"rrrrrrrrrrrr''''''
^="Wm+(78"
^'u'#'
q'u'r"rrrrrrrrrrrr''''''
&5O8'u'"rrr"r"rr""r""'''''''''25&5O88'u'"rrrrrrrrrrrrr''''''
rrr"rrrr'
:'@.("G5(5"
2(-+5H"
r"rrrrrr'
L-/$*+%*'%8$+61M%J*10/%N))
"K"*2"(8+"A.2*)'")A"511"(8+"Q*'5-K"Å)-G2"3:(:(2>>%%
O!'+7$;A'2&,'e^'6.,/426/'1,;62,1'O!'""'
!
K%O%""""rrrr'
P%O%Q'
N
B = ! t(h(si ))
i=1
])*2"(8+"-5'm")A"(8+"E-2("ájà"5<6+;);A'G/6%':,T8"Å*(8*'"K>"
685("*2"5"-8%3$+)48-285.')-'.8*'3)*$)A)[))
^="Wm+(78"
^'u'#'
q'u'""rrrrrrrrrrrr''''''
:'@.("G5(5"
2(-+5H"
!
$
R = # MAX t(h(si ))& +1
" N
%
#hL" !"#$%"
^150)1+(M=5-D'"Wm+(78"ì#î"
#hP" !"#$%"
^150)1+(M=5-D'"Wm+(78"ì#î"
E)(2%7.'6,8(()8.7$-2*M+)e)
:'@.("G5(5"
2(-+5H"
:'@.("G5(5"
2(-+5H"
^="Wm+(78"
^'u'#'
q'u'""rrrrrrrrrrrr''''''
&5<8'u'rrr"r""rr"r""r'''''''''25&5<88'u'rrr"rrrrrrrrrr''''''
E)(2%7.'6,8(()8.7$-2*M+)e)
:'@.("G5(5"
2(-+5H"
^="Wm+(78"
^'u'v'
q'u'""r"rrrrrrrrrr''''''
^="Wm+(78"
^'u'v'
q'u'""r"rrrrrrrrrr''''''
• 
68*2"2*'31+M@522"513)-*(8H"*2"5G5@(+G"()"38*8)(*-'8+()
• 
A'f),2'1'()$;)2%;$-+89$%)'++G"()"Q+"(*$-'3"*'"(8+"<&="
• 
])*2"5"-5'G)H"O5-*5Q1+"2.78"(85("_"
E(R) ! log 2 ! F
#h%" !"#$%"
#hg" !"#$%"
^150)1+(M=5-D'"Wm+(78"ì#î"
\$f)*$)'(9+8*')@Q]R)d)
:'@.("G5(5"
2(-+5H"
d+(+-H*'*2D7"
-))D'3")A"&57$8'''
• 
^150)1+(M=5-D'"Wm+(78"ì#î"
,)11+7D)'")A"&"Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^%'u'v'
q%'u'""r"rrrrrrrrrr''''''
:'@.("G5(5"
2(-+5H"
,)11+7D)'")A"&"Wm+(78"
d+(+-H*'*2D7"
-))D'3")A"&57$8'''
68+"E-2("Q*(2")A"&57$8"5-+".2+G"()"5n+7("+578"+1+H+'("()"5"2m+(78"
F 2 E ( R)
!
m
!
8U2#V"X"VV!!jj#jjj#j#""Mx"#j##"X"L"Mx"2#"*2"5n+7(+G"()"(8+"m2&"2m+(78"
a578"Wm+(78"7).'(2"5@@-)F*H5(+1K"Aa+"G*2D'7("+1+H+'(2)
#hh" !"#$%"
,)'71.2*)'2"
S"BC&@@-+'D2253+"&-DE7*+1"A57+"5.F"G)''/+2"(+H@)-+11+2"T""""""U&>",)-'./0)12V""
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^="Wm+(78"
^%'u'v'
q%'u'""r"rrrrrrrrrr''''''
m
*A"%'u'"RZ"(8+"P"E-2("Q*(2")A"&57$8'-+@-+2+'("(8+":d")A"(8+"7)--+2@)'G*'3"Wm+(78"
• 
\$f)*$)'(9+8*')@Q]R)d)
#hi" !"#$%"
W()7852D7"5O+-53+"
1
Rm
m m"
F ! 2 i=1
!
#h$" !"#$%"

L` ApprenDssage ArDficiel

Transcription

Documents pareils

Module de Platine Murale - Distributeur Passif 5V ou 12V DC

TESTEUR BOUGIES DE PRECHAUFFAGE 12V

Grand Var Sud Toulon - Est

lampe led g4 - 1,2w - 12v

Télécharger la fiche technique gamme

GROUPE ELECTROGENE R1700i

Fiche Transformateur 230V 12V Allume-cigare 1A

GAMME W 12V 40.08570.70, 40.08571.70, 40.08572.70

ALIMENTATION DE SECOURS 11400mAh (42Wh) REF :

ABK-902 Alimentation électrique 12V5A avec chargeur de batteries