Sur les représentations mixtes des groupes de Lie résolubles exponentiels

Publ. Mat. 46 (2002), 179–199 SUR LES REPR´ ESENTATIONS MIXTES DES GROUPES DE LIE R´ ESOLUBLES EXPONENTIELS A. Baklouti, A. Ghorbel et H. Hamrouni Abstract Let Gbe an exponential solvable Lie group, Hand Atwo closed connected subgroups of Gand σa unitary and irreducible representation of H. We prove the orbital spectrum formula of the Up-Down representation ρ(G, H, A, σ) = IndG Hσ|A. When Gis nilpotent, the multiplicities of such representation turns out to be uniformly infinite or finite and bounded. A necessary and sufficient condition for the finiteness of the multiplicities is given. The same results are obtained when Gis exponential solvable Lie group, Hand Aare invariant. 1. Introduction Soit Gun groupe de Lie r´esoluble exponentiel d’alg`ebre de Lie get H⊂Gun sous-groupe ferm´e connexe. Soient πet σdeux repr´esentations unitaires et irr´eductibles de Get de Hrespectivement. H. Fujiwara a d´etermin´e des formules explicites de d´esint´egration en irr´eductibles des repr´esentations IndG Hσet π|Hen termes de spectre et de multiplicit´es de repr´esentations (voir [8]et[9]). On se demande si on peut obtenir des formules analogues pour des repr´esentations qui font intervenir `ala fois des repr´esentations induites et des restrictions de repr´esentations. C’est en fait ce qu’on appelle dans ce travail des repr´esentations mixtes ou de type mixte. Plus pr´ecis´ement, ce sont des repr´esentations de la forme ρ(G, H, A, σ)=Ind G Hσ|A. L’objet de ce travail est l’´etude de ce type de repr´esentations. Comme motivation, l’´etude de telles repr´esentations porte un grand int´erˆet sachant que la d´ecomposition des repr´esentations mixtes et leur entrelacement nous fournit de nouvelles d´esint´egrations lisses de L2(G) pour les groupes exponentiels (voir [1]). 2000 Mathematics Subject Classification. 22 E 27. Mots-cl´es. Groupe exponentiel, repr´esentation unitaire, orbite, d´esint´egration, polarisation, ensemble semi-alg´ebrique. 180 A. Baklouti, A. Ghorbel, H. Hamrouni Une autre motivation vient originalement de la th´eorie des actions ergodiques comme l’explique R. L. Lipsman dans [12]. Ce dernier auteur ´etudie le spectre et les multiplicit´es d’un type particulier de repr´esentations mixtes pour des groupes de Lie nilpotents connexes et simplement connexes. C’est la repr´esentation ρ(G, H, A) = IndG H1|A (1) qui ´etait l’objet de l’´etude en supposant que Hest un sous-groupe ferm´e de Get Aun sous-groupe ab´elien de G. Plus pr´ecis´ement, l’auteur a d´etermin´e un spectre concret et une formule de multiplicit´es explicite en utilisant la m´ethode des orbites. Notre premier objectif dans cet article est d’´ecrire des formules de d´esint´egration des repr´esentations mixtes pour tous les groupes de Lie r´esolubles exponentiels sans restrictions sur les sous-groupes Het Aet sur la repr´esentation σ∈ˆ H.Un autre objectif de ce travail est de d´eterminer des conditions n´ecessaires et suffisantes pour lesquelles les multiplicit´es des repr´esentations intervenant dans les composantes isotypiques de ρ(G, H, A, σ) sont finies presque partout. Pour acqu´erir de telles conditions, il faut d´ej`a que la repr´esentation τ(σ)=Ind G Hσsoit `a multiplicit´es finies et que pour presque tout π∈spectre(τ(σ)) la repr´esentation π|Asoit encore `a multiplicit´es finies. Ces derni`eres conditions ne sont g´en´eralement pas suffisantes pour assurer la finitude des multiplicit´es de la repr´esentation ρ(G, H, A, σ). Quand Gest nilpotent, nous d´emontrons que les multiplicit´es de la repr´esentation mixte ρ(G, H, A, χ) sont uniform´ement infinies ou uniform´ement finies et born´ees. Nous exhibons aussi dans ce cas une condition n´ecessaire et suffisante pour la finitude de ces multiplicit´es. Ici, χ d´esigne un caract`ere unitaire de H. Cette condition porte manifestement sur les sous-groupes Het Aet leurs actions sur certains espaces en faisant intervenir des ensembles semi-alg´ebriques. Le fait de travailler en utilisant un caract`ere unitaire ne repr´esente aucune perte de g´en´eralit´es dans ce cas. En effet, toutes les repr´esentations unitaires et irr´eductibles sont monomiales et le r´esultat est d´eductible pour une repr´esentation quelconque σde H. Quand le groupe Gest exponentiel et As’av`ere une polarisation G-invariante pour certains ´el´ements g´en´eriques, nous montrons que les multiplicit´es de la repr´esentation ρ(G, H, A, σ)co¨ıncident avec celle de τ(σ) et sont uniformes, donc ne d´ependent pas de A. Lorsque les sous-groupes Het Asont invariants (et Gest exponentiel), nous montrons que la repr´esentation mixte ρ(G, H, A, χ) est sans multiplicit´es ou `a multiplicit´es uniform´ement ´egales `a l’infini. Nous donnons alors des conditions n´ecessaires et suffisantes pour la finitude dans ce cas. Repr´ esentations Mixtes des Groupes Exponentiels 181 L’´etude de telles repr´esentations pourrait ˆetre faite plus g´en´eralement sur des groupes localement compacts. Mackey a ´etudi´elad´esint´egration de telles repr´esentations quand Aet Hsont r´eguli`erement li´es (voir [17]). D’autre part J. Ludwig prouve dans le Lemme 4.2 de [16] que si Het Asont des sous-groupes normaux d’un groupe localement compact Get A⊂H, alors le support de la repr´esentation mixte ρ(G, H, A, σ) est de la forme (σ|A)g,g∈Go`u(σ|A)g(a)=σ(g·a·g−1), a∈A. 2. G´en´eralit´es Soit Gun groupe de Lie r´esoluble exponentiel d’alg`ebre de Lie g, c’est `a dire un groupe de Lie r´eel tel que l’application exponentielle: exp: g−→ G soit un diff´eomorphisme. Soit gl’espace dual de g. Le groupe Gagit sur gpar la repr´esentation coadjointe. Pour tout fdans g,ond´efinit la forme bilin´eaire altern´ee Bfsur g×gpar Bf(X,Y )=f([X,Y ]). Si a est une sous-alg`ebre de g, on note a(f)={X∈g/Bf(X,a)=0}et a⊥={l∈g:l|a=0}o`ul|ad´esigne la restriction de l`a a.Sia⊂ a(f), on dit que aest une sous-alg`ebre isotrope pour Bf. On note aussi S(f,g) l’ensemble des sous-alg`ebres isotropes pour Bf. Etant donn´eun ´el´ement hde S(f,g), on note χfle caract`ere unitaire de H= exp(h) d´efini par χf(exp(Y)) = eif(Y),Y∈h.(2) Ce caract`ere induit une repr´esentation unitaire τ=τ(f)=Ind G Hχf de G. Soit σune repr´esentation de Hassoci´ee `a l’orbite ΩH σ, qui agit sur un espace de Hilbert Hσet construisons la repr´esentation τ(σ) = IndG Hσ. Nous allons pr´eciser dans ce qui suit la fa¸con avec laquelle on d´efinit la repr´esentation τ(σ). Soient dg une mesure de Haar `a gauche sur Get ∆G la fonction module de Gde sorte que l’on a: G F(gx−1)dg =∆ G(x)G F(g)dg (x∈G) pour toute fonction Fappartenant `a l’espace K(G) des fonctions continues sur G`a support compact. Il est bien connu que ∆G(x)=|det Ad x|−1(x∈G). On note ∆H,G le caract`ere de H`a valeurs dans R+d´efini par ∆H,G(h)=∆H(h) ∆G(h). 182 A. Baklouti, A. Ghorbel, H. Hamrouni On a, pour Xdans h, ∆H,G(exp X) = exp(Tr adg/hX). Soit K(G, H) l’espace des fonctions num´eriques Fcontinues sur G,`a support compact modulo Het qui v´erifient: F(gh)=∆ H,G(h)F(g)(g∈G, h ∈H). Gagit sur cet espace par translation `a gauche. On sait ([5]) que, `a un scalaire multiplicatif pr`es, il existe une et une seule forme lin´eaire positive G-invariante sur K(G, H). On la note νG,H et on l’´ecrit sous la forme d’une int´egrale: νG,H(F)=G/H F(g)dν(g). Si ∆H=∆ Gsur H,νG,H (c’est par exemple le cas quand Hest un sous-groupe normal de G) est une mesure G-invariante sur l’espace homog`ene G/H. On note K(σ, h,G) l’espace des fonctions Fcontinues sur G`a valeurs dans Hσet qui v´erifient: F(gh)=∆ 1/2 H,G(h)σ(h)−1F(g)(g∈G, h ∈H) et dont le support est compact modulo H.SiFappartient `a K(σ, h,G), la fonction g→ ||F(g)||2 σappartient `a K(G, H) et l’on pose: F2=G/H ||F(g)||2 σdν(g). La repr´esentation induite τ(σ) = IndG Hσde Gse r´ealise par translation `a gauche dans l’espace de Hilbert Hτ(σ) compl´et´edeK(σ, h,G,|| · ||) muni de la norme d´efinie ci-dessus. Soit M(f,g) l’ensemble des ´el´ements de S(f,g) de dimension maximale et I(f,g) le sous-ensemble de S(f,g) form´e des sous-alg`ebres h telles que τ(f) soit irr´eductible. Alors il est bien connu qu’un ´el´ement h de S(f,g) est dans I(f,g) si et seulement si hv´erifie la condition de Pukanszky, `a savoir que H·f=f+h⊥,h⊥d´esignant l’orthogonal de h dans g; on dira dans ce cas que hest une polarisation de Pukanszky. Cette derni`ere condition est vraie pour tout ´el´ement de M(f,g) lorsque Gest nilpotent. Repr´ esentations Mixtes des Groupes Exponentiels 183 Lorsque hne v´erifie pas la condition de Pukanszky, alors la repr´esentation τ(f) n’est plus irr´eductible. On la d´ecompose en une int´egrale hilbertienne de repr´esentations unitaires irr´eductibles. C’est le sousespace affine Γf=Γ τ(f)=f+h⊥qui porte la mesure de d´esint´egration de τ(f). Notons ˆ Gle dual unitaire de G, soit Θ: g→ˆ Gl’application de Kirillov-Bernat, le dual unitaire de G,ˆ Gest param´etr´e par l’espace des orbites coadjointes g/G au moyen de la bijection induite ¯ Θ: g/G →ˆ G (cf. [5]). Pour π∈ˆ Gon note ΩG π=Θ −1(π) l’orbite associ´ee. Soit q:g→het p:g→ales projections canoniques de het a. Il existe sur la sous-vari´et´e q−1(ΩH σ)degune mesure ˜µbien d´etermin´ee par la mesure canonique sur ΩH σet par la mesure de Lebesgue sur l’orthogonal de hdans g. On prend une mesure finie sur g´equivalente `a˜µqu’on note aussi ˜µ. Nous prenons l’image µde ˜µpar l’application de KirillovBernat. D’apr`es H. Fujiwara (cf. [8]), la repr´esentation τ(σ) satisfait la formule orbitale du spectre; `a savoir que: τ(σ)≃⊕ G·q−1(ΩH σ)/G nσ φπφdνσ G,H(φ),(3) o`uνσ G,H est l’image par l’application q−1(ΩH σ)→G·q−1(ΩH σ)/G de la mesure naturelle sur q−1(ΩH σ)⊂get nσ φest le nombre des H-orbites contenues dans q−1(ΩH σ)∩G·φ(voir aussi [2], [7]et[14]). Gardons nos hypoth`eses, G= exp(g) un groupe de Lie r´esoluble exponentiel, H= exp(h)etA= exp(a) deux sous-groupes de G. Consid´erons maintenant une repr´esentation unitaire et irr´eductible πassoci´ee `a une orbite coadjointe Ωπ=Ω G π⊂gd’une forme lin´eaire f. Soit π|A la restriction de π`a Aet µπune mesure finie sur Ωπ´equivalente `a la mesure G-invariante. Alors d’apr`es H. Fujiwara (cf. [9]), la restriction π|Asatisfait la formule orbitale du spectre, c’est `a dire: π|A=⊕ p(Ωπ)/A nψ πσψdµπ G,A(ψ)(4) o`unψ π= #[(Ωπ∩p−1(A·ψ))]/A et µπ G,A est la mesure image de la mesure canonique sur Ωπpar l’application Ωπ−→ p(Ωπ)/A (voir aussi [3] et [13]). 184 A. Baklouti, A. Ghorbel, H. Hamrouni 2.1. Repr´esentations mixtes. D´efinition 2.1. Soit Gun groupe de Lie, Het Adeux sous-groupes de Get σune repr´esentation de H. On appelle repr´esentation mixte ou de type mixte la repr´esentation ρ(G, H, A, σ) = IndG Hσ|A.(5) Lorsqu’on remplace la repr´esentation unitaire σde Hpar un caract`ere unitaire χf, la repr´esentation sera tout simplement not´ee par ρ(G,H,A,f). Alors, il est clair que ρ(G, H, G, σ)=τ(σ)etρ(G, G, A, σ)=σ|A. D’autre part, si le produit AH est un sous-groupe ferm´edeG, alors le th´eor`eme du sous-groupe de Mackey nous permet d’affirmer que ρ(AH,H,A,σ)≃ρ(A, A ∩H, A, σ|A∩H)≃IndA A∩H(σ|A∩H). Si Gest r´esoluble exponentiel et si σest une repr´esentation unitaire irr´eductible de H, alors σest une repr´esentation monomiale, c’est `a dire induite d’un caract`ere unitaire. Notons σ≃IndH Bχlo`ul∈g, B= exp(b)etb∈I(l|h,h). Alors il est imm´ediat que ρ(G, H, A, σ)≃ρ(G, B, A, l).(6) Ainsi l’´etude de la repr´esentation mixte (5) quand σ∈ˆ Hpourra ˆetre effectu´ee sur des repr´esentations mixtes de type ρ(G, H, A, f). C’est ce qu’on trouve d’ailleurs dans beaucoup de r´ef´erences. Dans ce texte, certains de nos r´esultats seront exprim´es pour des repr´esentations de type mixte d’ordre g´en´eral comme dans (5). La relation (6) s’av`ere parfois tr´es utile pour transf´erer certains r´esultats ´etablis sur des repr´esentations mixtes de type ρ(G, H, A, f)`a des repr´esentations mixtes g´en´erales. Quand A=H, la repr´esentation ρ(G, H, H, σ) sera not´ee tout simplement ρ(G, H, σ). 3. D´esint´egration des repr´esentations mixtes Dans cette section, nous allons ´ecrire la d´esint´egration de la repr´esentation ρ(G, H, A, σ) tout en donnant une description explicite de l’espace de d´esint´egration, des mesures et des multiplicit´es des repr´esentations unitaires irr´eductibles qui apparaissent dans cette d´ecomposition. Le r´esultat principal de cette section est: Repr´ esentations Mixtes des Groupes Exponentiels 185 Th´eor`eme 3.1. Soit Gun groupe de Lie r´esoluble exponentiel, Het A deux sous-groupes ferm´es connexes de Get σune repr´esentation unitaire et irr´eductible de H. Alors la repr´esentation mixte ρ(G, H, A, σ)satisfait la formule orbitale du spectre `a savoir: ρ(G, H, A, σ)=⊕ [p(G·q−1(ΩH σ))]/A mσ(ψ)ρψdµσ G,H,A(ψ), o`uµσ G,H,A est la mesure image de (dg טµ)sur G×q−1(ΩH σ)au moyen des applications G×q−1(ΩH σ)→G·q−1(ΩH σ)→pG·q−1(ΩH σ)→pG·q−1(ΩH σ)/A et mσ(ψ)=  Ω∈[G·q−1(ΩH σ)∩G·p−1(ψ)]/G nσ Ωnψ Ω (7) o`unσ Ω= #[(Ω ∩q−1(ΩH σ))]/H et nψ Ω= #[(Ω ∩p−1(A·ψ))]/A. Remarque. Quand Gest nilpotent, Aest ab´elien et σ=1 H,ila´et´e prouv´e dans [12,Th´eor`eme 3.1] que la repr´esentation ρ(G, H, A)d´efinie par la relation (1) satisfait la formule orbitale du spectre, `a savoir ρ(G, H, A)=⊕ p(G·h⊥) nψχψdψ et nψ= Ω∈[G·h⊥∩G·p−1(ψ)]/G nσ Ωnψ Ω. Preuve du Th´eor`eme 3.1: La preuve de ce th´eor`eme repose sur les d´esint´egrations de l’induite unitaire τ(σ) et des restrictions πφ|A,o`uπφest la repr´esentation lie´e`a la forme lin´eaire φ∈q−1(ΩH σ). D’apr´es la formule (3) nous avons τ(σ)=⊕ G·q−1(ΩH σ)/G nσ φπφdνσ G,H(φ). Ilenr´esulte: ρ(G, H, A, σ)=⊕ G·q−1(ΩH σ)/G nσ φπφdνσ G,H(φ)|A =⊕ G·q−1(ΩH σ)/G nσ φπφ|Adνσ G,H(φ). D’autre part nous avons d’apr`es la formule (4): πφ|A=⊕ p(G·φ)/A nψ φγψdµπφ G,A(ψ). 186 A. Baklouti, A. Ghorbel, H. Hamrouni Ainsi: ρ(G, H, A, σ)=⊕ G·q−1(ΩH σ)/G nσ φ⊕ p(G·φ)/A nψ φγψdµπφ G,A(ψ)dνσ G,H(φ) =⊕ G·q−1(ΩH σ)/G ⊕ p(G·φ)/A nσ φnψ φγψdµπφ G,A(ψ)dνσ G,H(φ) =⊕ S m(ψ,φ)γψdµπφ G,A(ψ)⊗dνσ G,H(φ) (8) o`uS= G·φ∈[G·q−1(ΩH σ)]/G p(G·φ)/A. Remarquons tout d’abord que la projection pest Ad∗(A)-´equivariante c-`a-d p◦Ad∗(a)=Ad ∗(a)◦p. Comme G·q−1(ΩH σ) est G-invariant, p(G·q−1(ΩH σ)) est A-invariant. Ainsi S=[p(G·q−1(ΩH σ))]/A.(9) Notons ˜µσ G,H,A la mesure sur p(G·q−1(ΩH σ)) obtenue par image de (dg טµ) sur G×q−1(ΩH σ) au moyen des applications G×q−1(ΩH σ)→ G·q−1(ΩH σ)→p(G·q−1(ΩH σ)). Quitte `a transporter la mesure ˜µσ G,H,A sur p(G·q−1(ΩH σ)) par l’application p(G·q−1(ΩH σ)) →p(G·q−1(ΩH σ))/A, nous obtenons la mesure µσ G,H,A sur [p(G·q−1(ΩH σ))]/A d´ecrite dans le th´eor`eme. D’autre part d’apr´es les formules (3), (4) la mesure νσ G,H est l’image de (dg טµ) par l’ application G×q−1(ΩH σ)→G·q−1(ΩH σ)et pour G·φ∈(G·q−1(ΩH σ))/G la mesure µπφ G,A est l’image de la mesure canonique sur G·φpar l’application G·φ→p(G·φ)/A. Comme la classe de la mesure canonique sur l’orbite G·φest l’image de la mesure de Haar dg par l’application G→G·φ, alors µπφ G,A est l’image de dg par l’application G→G·φ→p(G·φ)/A. Ainsi moyennant l’´egalit´e (9) on peut voir que, lorsque G·φvarie dans (G·q−1(ΩH σ))/G, le produit tensoriel des mesures µπφ G,A et νσ G,H nous donne ´egalement la mesure µσ G,H,A sur [p(G·q−1(ΩH σ))]/A. Toutes ces remarques et la formule (8) nous permettent d’affirmer que ρ(G, H, A, σ)=⊕ p(G·q−1(ΩH σ))/A m(ψ)ρψdµσ G,H,A(ψ) pour certaine fonction multiplicit´es m(ψ) que nous allons prouver qu’elle coincide avec la fonction donn´ee dans (7). Pour ψ∈a,onpose Mψ(σ)=φ∈G·q−1(ΩH σ); G·φrencontre p−1{A·ψ}. Repr´ esentations Mixtes des Groupes Exponentiels 187 Comme p−1{A·ψ}=A·p−1{ψ}, il est clair que Mψ(σ) est G-invariant et que Mψ(σ)=G·q−1(ΩH σ)∩G·p−1(ψ). Ainsi l’ensemble Mψ(σ)ne d´epend que de l’orbite A·ψ. On d´eduit alors la fonction multiplicit´es m(ψ)=  G·φ∈[Mψ(σ)]/G nσ G·φnψ G·φ= Ω∈[Mψ(σ)]/G nσ Ωnψ Ω. D’apr´es la d´efinition de la fonction de multiplicit´es nψ Ω, on peut voir que la fonction mest constante sur chaque A-orbite. Ainsi on d´eduit la formule de d´esint`egration d´ecrite dans le th´eor`eme. Comme r´esultat imm´ediat du Th´eor`eme 3.1, nous d´eduisons la d´esint´egration centrale en repr´esentations unitaires irr´eductibles de la repr´esentation mixte ρ(G, H, A, σ). Soit Mψ(σ), l’ouvert dense de Mψ(σ) form´e par les ´el´ements dont la G-orbite est de dimension maximale. Quand σ=χf, on note Mψ(σ)=Mψet Mψ(σ)=Mψ. Corollaire 3.2. Soit Gun groupe de Lie r´esoluble exponentiel, Het A deux sous-groupes ferm´es connexes de Get σune repr´esentation unitaire et irr´eductible de H. Soit βla mesure image de la mesure µσ G,H,A sur [p(G·q−1(ΩH σ))]/A par l’application de Kirillov-Bernat KA:a/A →ˆ A. Alors ρ(G, H, A, σ)≃⊕ ˆ A m(γ)γdβ(γ).(10) Une repr´esentation γ=γψ,ψ∈aintervient dans la d´ecomposition (10) si et seulement si ψ∈p(G·q−1(ΩH σ)). Les multiplicit´es m(γψ)de ρ(G, H, A, σ)qui sont donn´ees comme dans (7) sont finies β-presque partout si et seulement si τ(σ),πφ|Asont `a multiplicit´es finies pour presque tout φ∈q−1(ΩH σ)et [Mψ(σ)]/G est `a cardinal fini pour presque tout ψ∈p(G·q−1(ΩH σ)). 4. Multiplicit´es des repr´esentations mixtes Soit Wune vari´et´e, on dit qu’une propri´et´e {Pw,w∈W}est vraie g´en´eriquement sur W, si elle est vraie en tout point de Wsauf sur un ensemble n´egligeable relativement `a une classe de mesure donn´ee sur W. Nous supposons toujours que Gest un groupe de Lie r´esoluble exponentiel, Het Asont deux sous-groupes ferm´es connexes de G. Il est bien connu que lorsque Gest compl`etement r´esoluble, les multiplicit´es des repr´esentations τ(σ) pour σ∈ˆ Het π|Asont uniform´ement infinies 194 A. Baklouti, A. Ghorbel, H. Hamrouni D’autre part, nous avons: πx|A≃⊕ R ρx,y dy o`uρx,y est la repr´esentation dans ˆ Aassoci´ee `a l’orbite A·(xe 1+ye 2). D’o`u τ|A≃⊕ R2 π◦ x,y dx dy. D’autre part le sous-groupe Aest de codimension 2 = 1 2dG, mais l’hypoth`ese AdG([a,a]) ⊂h∩ker fdu Corollaire 4.5 n’est pas v´erifi´ee alors que m(ψ) = 1 pour tout ψg´en´erique dans p(G·Γτ). 5. Cas des sous-groupes invariants Dans toute cette section, nous supposons que Gest un groupe de Lie r´esoluble exponentiel; Het Asont deux sous-groupes ferm´es connexes, normaux de G. Pour ψ∈a∗, soit Bψ=Γ f∩G·p−1(ψ), alors il est clair que Bψest un ensemble analytique (i.e. ensemble des z´eros communs d’une famille finie de fonctions analytiques) et que Mψ=G·B ψ. Comme dans la section pr´ec´edente on pose dHla dimension maximale des H-orbites dans G·Γfet dAla dimension maximale des A-orbites dans G·Γfet soit d Ala dimension maximale des A-orbites dans p(G·Γf). Conform´ement au cas nilpotent, g´en´eriquement sur Γf, les dimensions des G-orbites, H-orbites, A-orbites dans G·Γfsont maximales ainsi que la dimension des A-orbites dans p(G·Γf). Soient φ∈Γf,g∈Get ψ=p(g·φ)∈p(G·Γf). Notons k=(a∩h)φ=(a∩h)f={X∈g:f[X,a∩h]=0}, et K= exp(k)={g∈G:g·φ|a∩h=φ|a∩h}. Soient les sous-espaces wde g,ude aet vde htelle que g=w⊕(a+h),h=v⊕(a∩h),et a=u⊕(a∩h). Nous allons commencer par prouver le lemme suivant: Lemme 5.1. Bψ=˜ φ+p(K·φ)+(a+h)⊥, o`u˜ φest la forme lin´eaire sur gd´efinie par ˜ φ=fsur vet ˜ φ=0ailleurs. En particulier, les ensembles Bψet Mψsont connexes. Repr´ esentations Mixtes des Groupes Exponentiels 195 Preuve: Soit ψ=p(g·φ)∈p(G·Γf) pour un certain g∈Get φ∈Γf. Remarquons tout d’abord que Bψ=(φ+h⊥)∩G·(φ+a⊥)=∅.Un ´el´ement lde g∗est dans Bψsi et seulement si ls’´ecrit sous la forme l= φ+α=k·φ+βpour certaines formes lin´eaires α∈h⊥,β∈a⊥et un ´el´ement k∈G. Comme k·φ=φsur h∩a, alors k∈K. Ainsi α=k·φ−φsur aet β=φ−k·φsur h. Posons Fl’application: K×(a+h)⊥→g∗d´efinie par (k,ϕ)→ k·φ+β(k)+ϕ, avec β(k)∈a⊥ et est d´efinie par β(k)=f−k·fsur vet β(k) = 0 sur w. alors Bψest contenu dans l’image de K×(a+h)⊥par l’application F. Inversement soit lun ´el´ement de cette image; l=k·φ+β(k)+ϕ. Alors on peut ´ecrire lsous la forme l=f+αavec α∈h⊥d´efinit par α=k·φsur uet α=ϕ+k·φ−fsur w; et donc lest un ´el´ement de f+h⊥.Demˆeme, nous voyons que l=k·φ+γavec γ∈a⊥d´efinit par γ=β(k) sur vet γ=ϕsur wet donc lest un ´el´ement de G·φ+a⊥. Ceci nous conduit au fait que Bψest l’image de K×(a+h)⊥par F. Ainsi on peut voir que Bψ=˜ φ+p(K·φ)+(a+h)⊥,tout en consid´erant les ´el´ements de p(K·φ) comme des ´el´ements de g∗par extension triviale. Nous sommes prˆets maintenant `a prouver le r´esultat principal de cette section. Th´eor`eme 5.2. Soient Gun groupe de Lie r´esoluble exponentiel; H et Adeux sous-groupes ferm´es connexes, normaux de Get χfun caract`ere unitaire de H. Alors les multiplicit´es de la repr´esentation mixte ρ(G, H, A, f)sont uniform´ement infinies ou uniform´ement ´egales `a un. Une condition n´ecessaire et suffisante pour que ρ(G, H, A, f)soit sans multiplicit´es est que pour presque tout ψ∈p(G·Γf)nous ayons dim Bψ= dH=dA−1 2d A. Preuve: Conform´ement `a la formule (7), nous voyons que m(ψ)=1ou +∞. En effet, si m(ψ)<∞, alors #[Mψ]/G<∞et pour toute Ω g´en´erique dans G·Γf,nΩ=nψ Ω= 1. Posons donc Mψ= m  i=1 G·φi, o`u les G·φisont des orbites g´en´eriques. Ce qui donne que Bψ= m  i=1 G·φi∩Γf= m  i=1 H·φi=Bψcar pour toute forme lin´eaire φ∈Γf, dim H·φ= dim H·f. Nous avons H·φi=φi+adh·φi=φi+adh·f, par suite H·φiest un ferm´e et ouvert de Bψqui est connexe. Ainsi m=1etBψ=H·φpour un certain φdans Γf, ce qui donne que 196 A. Baklouti, A. Ghorbel, H. Hamrouni Mψ=G·φet m(ψ) = 1. Prouvons maintenant que: m(ψ)=1 ⇐⇒ dim Bψ= dim H·φ= dim A·φ−1 2dim A·ψ.(14) En effet, supposons d’abord que m(ψ) = 1. Dans ce cas, nous avons Mψ=Mψ=G·φ,nG·φ=1etnψ G·φ= 1. Ainsi, Bψ=H·φet donc dim Bψ= dim H·φ= dim A·φ−1 2dim A·p(φ). R´eciproquement, si dim Bψ= dim H·φ, alors H·φest un ouvert de la variet´e Bψ, qui est connexe. Vu que H·φest un ferm´e, nous avons Bψ=H·φ. Aussi Mψ=G·φet Bψ=Mψ∩Γf=Γ f∩G·φ=H·φ. Ceci nous conduit au fait que nG·φ= 1, ainsi dim G·φ=2H·φet le fait que dim H·φ= dim A·φ−1 2dim A·ψnous permet de d´eduire que nψ G·φ= 1. Ceci termine la preuve de (14). Maintenant, remarquons que dim Bψ= dim p(K·φ)+ dim(a+h)⊥= dim K·p(φ)+dim(a+h)⊥qui est g´en´eriquement constant sur Γf. Ainsi les multiplicit´es de ρ(G, H, A, f) sont uniform´ement un ou l’infinie. Corollaire 5.3 (Alignement au cas nilpotent).Les hypoth`eses sont celles du th´eor`eme pr´ec´edent. Alors la repr´esentation ρ(G, H, A, f)est sans multiplicit´es si et seulement si pour presque tout ψ∈p(G·Γf), Mψest une vari´et´e dont la dimension v´erifie dim Mψ=2dH=2dA−d A. Preuve: Supposons que Mψest une vari´et´e dont la dimension v´erifie dim Mψ=2dH=2dA−d A. Posons Mψ=∪i∈IG·φi. Alors pour tout i∈I; dim G·φi≤dim Mψ= 2 dim H·φi≤dim G·φi. Ainsi dim Mψ= dim G·φiet donc toute orbite est un ouvert et par suite un ferm´edeMψ qui est connexe, on en d´eduit que Ia un seul ´el´ement et que Mψ=G·φ et donc dim G·φ= 2 dim H·φ. Finalement Bψ=G·φ∩Γf=H·φ, d’o`u dim Bψ= dim H·φ. L’hypoth`ese dim H·φ=dA−1 2d Aet le Th´eor`eme 5.2 nous permettent de d´eduire que la repr´esentation ρ(G, H, A, f) est sans multiplicit´es. R´eciproquement si les multiplicit´es de ρ(G, H, A, f) sont uniform´ement finies, alors pour presque tout ψ∈p(G·Γf), m(ψ) = 1. Dans ce cas Mψ=G·φqui est une vari´et´eavecφest un ´el´ement g´en´erique dans Γfv´erifiant ψ=p(g·φ). Aussi nψ G·φ=nG·φ= 1 et donc dim Mψ= dim G·φ=2dH=2dA−d A. Corollaire 5.4. Soient Gun groupe de Lie r´esoluble exponentiel; H et Adeux sous-groupes ferm´es connexes, normaux de Get χfun caract`ere unitaire de H. Supposons que [a,a]⊂h∩ker fet dim g/a=1 2dG. Si τest `a multiplicit´es finies, alors ρ(G, H, A, f)est sans multiplicit´es. Repr´ esentations Mixtes des Groupes Exponentiels 197 Preuve: Les hypoth`eses nous conduisent au fait que aest une polarisation commune `a tous les ´el´ements dont la dimension de la G-orbite est maximale de Γf. Les Th´eor`emes 3.6 et 5.2, nous permettent de conclure. Nous allons maintenant ´etudier le cas particulier o`u A=H. Proposition 5.5. Soit Gun groupe de Lie r´esoluble exponentiel, Hun sous-groupe ferm´e connexe, normal de Get χfun caract`ere de H. Alors: ρ(G, H, f)≃m(f,h)⊕ p(G·f) χψdµπf G,H(ψ)≃m(f,h)πf|H, o`um(f,h)=1ou l’infini selon que h∈M(f,g)ou non. Preuve: Soit K=Hf={g∈G:g·(f|h)=f|h}. L’espace de la repr´esentation ρ=ρ(G, H, f) est L2(G/H, f). Pour ξ∈ L2(G/H, f), nous avons ρ(h)ξ(g)=χg·f(h)ξ(g)∀h∈H, ∀g∈G, et L2(G/H, f)=L2(G/K)⊗L2(K/H, f)≃⊕ Ω L2(K/H, ϕ)dµf G,H(ϕ), o`uΩ=G·f|h=G/K. Ainsi, si H=K, alors Hest une polarisation de Pukanszky en fet ρ≃⊕ Ωχϕdµf G,H(ϕ)≃πf|H.SiH=K, alors ρ≃⊕ Ω∞χϕdµf G,H(ϕ)≃∞πf|H. Exemples 5.6. Soit Gun groupe de Lie r´esoluble exponentiel d’alg`ebre de Lie g. On sait que (IndG {e}1) est la repr´esentation r´eguli`ere gauche λG qui se r´ealise sur L2(G) par λG(g)ξ(x)=ξ(g−1x) pour tout g,x ∈Get ξ∈L2(G). Ici f=0etH={e}. Donc hn’est pas une polarisation en f,etρ(G, {e},0) = λG|{e}≃∞·1. Prenons maintenant Hun sous-groupe normal de codimension 1 dans Gtel que hsoit subordonn´ee `a fet p:g→hla projection canonique. Notons g=h⊕RX.Sig(f)⊆h, alors hest une polarisation en fet on a ρ(G, H, f)≃⊕ Rχp(exp tX·f)dt.Sig(f)⊂ h, dans ce cas hn’est pas une polarisation en fet on a ρ(G, H, f)≃∞χp(f). Soit enfin Gle groupe de Boidol, son alg`ebre de Lie gest engendr´ee par les vecteurs A,X,Y,Ztels que [A, X]=X;[A, Y ]=−Y;[X, Y ]=Z. Prenons fα=αZ;α=0. SiH= exp(RZ), alors hn’est pas une polarisation en fα, ainsi m(f,h)=+∞et ρ(G, H, fα)≃∞χαZ. 198 A. Baklouti, A. Ghorbel, H. Hamrouni Si H= exp(RZ⊕RX) alors hn’est pas une polarisation en faussi car hn’est pas maximale et m(f,h)=+∞. On obtient ρ(G, H, fα)≃ ⊕ R∞χ(αZ+βX)dβ. Remerciements. Nous remercions vivement le Professeur R. L. Lipsman pour nous avoir envoyer ses articles sur le sujet. Nous remercions aussi le referee pour les modifications qu’il les a sugg´er´ees et pour avoir proposer des preuves plus simples pour le Lemme 5.1 et la Proposition 5.5. R´ef´erences [1] A. Baklouti, Nouvelle d´esint´egration lisse de L2(G) pour les groupes r´esolubles exponentiels, J. Lie Theory 8(1) (1998), 25–50. [2] A. Baklouti et J. Ludwig,D´esint´egration des repr´esentations monomiales des groupes de Lie nilpotents, J. Lie Theory 9(1) (1999), 157–191. [3] A. Baklouti et J. Ludwig, Entrelacement des restrictions des repr´esentations unitaires des groupes de Lie nilpotents, Ann. Inst. Fourier (Grenoble) 51(2) (2001), 395–429. [4] R. Benedetti et J.-J. Risler,“Real algebraic and semi-algebraic sets. Actualit´es Math´ematiques”, Hermann, Paris, 1990. [5] P. Bernat, N. Conze, M. Duflo, M. L´ evy-Nahas, M. Ra¨ ıs, P. Renouard et M. Vergne,“Repr´esentations des groupes de Lie r´esolubles”, Monographies de la Soci´et´e Math´ematique de France 4, Dunod, Paris, 1972. [6] J. Bochnak, M. Coste et M.-F. Roy,“G´eom´etrie alg´ebrique r´eelle”, Ergebnisse der Mathematik und ihrer Grenzgebiete (3) 12, Springer-Verlag, Berlin, 1987. [7] L. Corwin, F. P. Greenleaf et G. Gr´ elaud, Direct integral decompositions and multiplicities for induced representations of nilpotent Lie groups, Trans. Amer. Math. Soc. 304(2) (1987), 549–583. [8] H. Fujiwara, Repr´esentations monomiales des groupes de Lie r´esolubles exponentiels, in: “The orbit method in representation theory” (Copenhagen, 1988), Progr. Math. 82, Birkh¨auser Boston, Boston, MA, 1990, pp. 61–84. [9] H. Fujiwara, Sur les restrictions des repr´esentations unitaires des groupes de Lie r´esolubles exponentiels, Invent. Math. 104(3) (1991), 647–654. [10] H. Fujiwara, Repr´esentations monomiales des groupes de Lie nilpotents, Pacific J. Math. 127(2) (1987), 329–352. Repr´ esentations Mixtes des Groupes Exponentiels 199 [11] A. A. Kirillov, Unitary representations of nilpotent Lie groups, (Russian), Uspehi Mat. Nauk 17(4) (1962), 57–110. [12] R. L. Lipsman, The up-down formula for nil-homogeneous spaces, Ann. Mat. Pura Appl. (4) 166 (1994), 291–300. [13] R. L. Lipsman, Restricting representations of completely solvable Lie groups, Canad. J. Math. 42(5) (1990), 790–824. [14] R. L. Lipsman, Induced representations of completely solvable Lie groups, Ann. Scuola Norm. Sup. Pisa Cl. Sci. (4) 17(1) (1990), 127–164. [15] R. L. Lipsman, The multiplicity function on exponential and completely solvable homogeneous spaces, Geom. Dedicata 39(2) (1991), 155–161. [16] J. Ludwig, Dual topology of diamond groups, J. Reine angew. Math. 467 (1995), 67–87. [17] G. W. Mackey,“The theory of unitary group representations”, Chicago Lectures in Mathematics, University of Chicago Press, Chicago, Ill.-London, 1976. [18] A. Tarski,“A decision method for elementary algebra and geometry”, 2nd ed., University of California Press, Berkeley and Los Angeles, Calif., 1951. D´epartement de Math´ematiques Facult´e des Sciences de Sfax Route de Soukra 3038 Sfax Tunisie E-mail address:[email protected] E-mail address:[email protected] E-mail address:[email protected] Primera versi´o rebuda el 20 d’abril de 2001, darrera versi´o rebuda el 29 de novembre de 2001.