Пусть $G$ — дискретная группа отражений, соответствующая ограниченному многограннику Кокстера. По теореме Шёнфлиса-Бибербаха, группа $G$ является кристаллографической, т.е. подгруппа параллельных переносов $L\subset G$ является решёткой и имеет конечный индекс в $G$. Из этого вытекают два свойства:

зеркала всех отражений в $G$ разбиваются на конечное число классов параллельности, в каждом из которых имеется бесконечно много зеркал;
любая стенка любой камеры группы $G$ имеет вектор внешней нормали, лежащий в решётке $L$.

В самом деле, поскольку группа $dG$ конечна, дифференциалы всех отражений в $G$, а значит, и задающие их единичные нормали к зеркалам этих отражений образуют конечное множество. С другой стороны, для каждого зеркала $H$ можно найти вектор $\alpha\in L$, не параллельный $H$, и, по задаче 8.2, сопрягая отражение $r_H$ с параллельными переносами $g$ на векторы $k\alpha$ ($k\in\mathbb{Z}$), мы получим бесконечно много отражений $r_{gH}\in G$ с зеркалами $gH=H+k\alpha$, параллельными $H$. Наконец, для каждого зеркала $H_1$ можно взять параллельное ему зеркало $H_2$, и тогда по задаче 8.3б произведение отражений $r_{H_1}r_{H_2}$ есть параллельный перенос на вектор общей нормали к $H_1$ и $H_2$, который обязан лежать в решётке $L$.

Обозначение. Для любого вектора $\alpha\in\mathbb{R}^n$ обозначим через $r_{\alpha}$ линейный оператор отражения вдоль вектора $\alpha$ (зеркалом которого является ортогональное дополнение $H_{\alpha}$ к вектору $\alpha$).

Для каждой стенки $F$ каждой камеры $P$ группы $G$ рассмотрим кратчайший вектор $\alpha$ внешней нормали к $F$, лежащий в $L$. Тогда, очевидно, остальные векторы нормали к $F$, лежащие в $L$, имеют вид $k\alpha$ ($k\in\mathbb{Z}$). Совокупность $\Delta$ всех таких векторов $\alpha$ обладает следующими свойствами (задача 12.1):

множество $\Delta$ конечно, не содержит $0$ и порождает всё пространство $\mathbb{R}^n$;
$\Delta=-\Delta$, причём если $\alpha,\beta\in\Delta$ пропорциональны, то $\alpha=\pm\beta$;
$\forall\alpha,\beta\in\Delta:r_{\beta}(\alpha)=\alpha-k\beta\in\Delta$, причём $k\in\mathbb{Z}$.

Определение 1. Множество $\Delta$ векторов евклидова пространства $\mathbb{R}^n$, удовлетворяющее свойствам 1–3, называется системой корней. Фигурирующее в свойстве 3 целое число $k$ называется числом Картана пары корней $\alpha,\beta$ и обозначается как $\langle\alpha|\beta\rangle$; оно вычисляется по формуле $$ \langle\alpha|\beta\rangle=(\alpha|\beta^{\vee}),\quad\text{где}\quad\beta^{\vee}=\frac{2\beta}{(\beta|\beta)} $$ — вектор, называемый двойственным корнем к корню $\beta$.

Группа $W$, порождённая всеми отражениями $r_{\alpha}$ вдоль корней $\alpha\in\Delta$, назывется группой Вейля системы корней $\Delta$. Если $\Delta$ происходит из кристаллографической группы отражений $G$, как описано выше, то $W=dG\simeq G/L$.

Предложение 1. $W\subset O_n$ — конечная группа отражений. Все отражения в $W$ имеют вид $r_{\alpha}$ для некоторых $\alpha\in\Delta$.

Доказательство. Конечность группы $W$ вытекает из того, что она сохраняет конечное множество $\Delta$ (по свойству 3 системы корней), действуя на нём эффективно (по свойству 1). Для описания всех отражений в $W$ заметим, что их зеркала получаются из зеркал $H_{\alpha}$ порождающих отражений $r_{\alpha}$ $(\alpha\in\Delta)$ действием группы $W$ и поэтому имеют вид $wH_{\alpha}=H_{w(\alpha)}$, где $w\in W$ и $w(\alpha)\in\Delta$.

Камеры группы $W$ являются симплициальными конусами в $\mathbb{R}^n$ с вершиной в $0$. Они называются камерами Вейля системы корней $\Delta$. Пусть $C$ — фиксированная камера Вейля. Множество $\Pi\subset\Delta$ корней, являющихся внешними нормалями к стенкам камеры $C$, называется системой простых корней, ассоциированной с $C$. Это — тупоугольная система векторов, являющаяся базисом пространства $\mathbb{R}^n$.

Предложение 2. Пусть $\Delta$ — произвольная система корней. Тогда $\Delta$ содержится в решётке $L$, порождённой системой простых корней $\Pi$, ассоциированной с заданной камерой Вейля $C$ системы $\Delta$, причём группа Вейля $W$ сохраняет решётку $L$, и группа $\widetilde{W}=L\leftthreetimes W$ является кристаллографической группой отражений.

Обратно, всякая дискретная группа отражений $G$, соответствующая ограниченному многограннику Кокстера, имеет вид $G=L\leftthreetimes W$, где $L$ — решётка параллельных переносов, а $W$ — конечная группа линейных преобразований (при некотором выборе начала координат). При этом решётка $L$ порождена системой корней, ассоциированной с $G$, а $W=dG$ — группа Вейля этой системы корней.

Доказательство. Поскольку каждый корень является внешней нормалью к стенке какой-либо камеры Вейля и $W$ действует на множестве камер Вейля транзитивно, имеем $\Delta=W\Pi$. Поскольку $W$ порождается отражениями вдоль простых корней и ввиду свойства 3 системы корней, $\Delta\subset L$. Поскольку $W$ сохраняет множество $\Delta$, то сохраняет и порождённую им решётку $L$.

Для каждого корня $\alpha\in\Delta$ и любого $k\in\mathbb{Z}$ рассмотрим гиперплоскость $$H_{\alpha,k}=\{x\in\mathbb{R}^n\mid(x|\alpha^{\vee})=k\}$$ и отражение $r_{\alpha,k}$ с зеркалом $H_{\alpha,k}$. Легко видеть, что $r_{\alpha,k}=t_{k\alpha}r_{\alpha}$, где $t_{k\alpha}$ — параллельный перенос на вектор $k\alpha$ (в частности, $r_{\alpha,0}=r_{\alpha}$). Отсюда легко вытекает, что $\widetilde{W}$ порождается отражениями $r_{\alpha,k}$.

Обратно, для кристаллографической группы отражений $G$ рассмотрим ассоциированную с ней систему корней $\Delta$ и выберем в ней систему простых корней $\Pi=\{\alpha_1,\dots,\alpha_n\}$ (отвечающую некоторой камере Вейля). Возьмем перпендикулярные простым корням зеркала $H_1,\dots,H_n$ группы $G$. Поскольку простые корни линейно независимы, гиперплоскости $H_1,\dots,H_n$ пересекаются в единственной точке $o$, которую можно взять за начало координат. Отражения относительно $H_1,\dots,H_n$ порождают подгруппу $W\subset G$, изоморфную $dG$, откуда и возникает разложение в полупрямое произведение.

Заметим, что все отражения в группе $G$ имеют вид $r_{\alpha,k}$ ($\alpha\in\Delta$), поскольку зеркало любого отражения перпендикулярно некоторому корню $\alpha$ и, стало быть, имеет вид $H_{\alpha,k}$, причем $k\in\mathbb{Z}$, так как $t_{k\alpha}=r_{\alpha,k}r_{\alpha}$ — перенос на вектор из $L$. Но тогда $G=\widetilde{W}$, а значит, решётка $L$ порождена корнями.

Предложение 2 устанавливает взаимно однозначное соответствие между кристаллографическими группами отражений и системами корней.

Классификация систем корней.

Систему корней можно единственным способом разложить в дизъюнктное объединение ортогональных друг другу подсистем, каждая из которых уже не может быть разложена подобным образом: $\Delta=\Delta_1\sqcup\dots\sqcup\Delta_s$. Каждое из множеств $\Delta_i$ тоже является системой корней (в своей линейной оболочке). Эти подсистемы называются неразложимыми компонентами системы $\Delta$.

Группа Вейля системы $\Delta$ является прямым произведением групп Вейля её компонент, а любая камера Вейля — прямым произведением камер Вейля компонент: $W=W_1\times\dots\times W_s$, $C=C_1\times\dots\times C_s$. Отсюда, в частности, следует, что всякая система простых корней системы корней $\Delta$ является дизъюнктным объединением ортогональных друг другу систем простых корней компонент $\Delta_i$: $\Pi=\Pi_1\sqcup\dots\sqcup\Pi_s$.

Классификацию систем корней можно рассматривать с точностью до подобия. Однако разные неразложимые компоненты системы корней не связаны между собой никакими метрическими соотношениями, кроме ортогональности, и мы получим из данной системы корней бесконечно много новых систем, производя преобразования подобия её компонент с различными коэффициентами подобия. Естественно считать такие системы корней эквивалентными друг другу. Равносильное определение выглядит так:

Определение 2. Системы корней $\Delta$ и $\Delta'$ в евклидовом векторном пространстве $\mathbb{R}^n$ эквивалентны, если существует линейное преобразование $A:\mathbb{R}^n\to\mathbb{R}^n$, переводящее $\Delta$ в $\Delta'$ и удовлетворяющее условию: $\langle\alpha|\beta\rangle=\langle A\alpha|A\beta\rangle$, $\forall\alpha,\beta\in\Delta$.

В самом деле, поскольку $$\tag{1} \langle\alpha|\beta\rangle=2\frac{|\alpha|}{|\beta|}\cos\varphi,\quad\text{где $\varphi$ — угол между $\alpha$ и $\beta$,} $$ сохранение чисел Картана при преобразовании $A$ влечёт сохранение углов между корнями и отношений длин корней, не ортогональных друг другу. Отсюда следует, что на линейной оболочке каждой неразложимой компоненты $A$ является преобразованием подобия.

Будем классифицировать системы корней с точностью до эквивалентности. Проблема сводится к классификации неразложимых систем корней с точностью до подобия.

Заметим, что система корней $\Delta$ неразложима, тогда и только тогда, когда система простых корней $\Pi\subset\Delta$ неразложима: это следует из того, что группа Вейля $W$ порождается отражениями вдоль простых корней и $\Delta=W\Pi$. Поскольку по простым корням можно восстановить все остальные корни, достаточно классифицировать все неразложимые системы простых корней с точностью до подобия. Их удобно описывать с помощью графов, близких к схемам Кокстера.

Лемма. Для двух корней $\alpha,\beta$ имеются лишь следующие возможности (в таблице, $\varphi$ — угол между $\alpha$ и $\beta$, и, без ограничения общности, $|\alpha|\ge|\beta|$): $$ \begin{array}{|c|c|c|c|c|c|c|c|c|c|} \hline \varphi & 0 & \pi/6 & \pi/4 & \pi/3 & \pi/2 & 2\pi/3 & 3\pi/4 & 5\pi/6 & \pi \\ \hline |\alpha|/|\beta| & 1 & \sqrt3 & \sqrt2 & 1 & & 1 & \sqrt2 & \sqrt3 & 1 \\ \hline \langle\alpha|\beta\rangle & 2 & 3 & 2 & 1 & 0 & -1 & -2 & -3 & -2 \\ \hline \langle\beta|\alpha\rangle & 2 & 1 & 1 & 1 & 0 & -1 & -1 & -1 & -2 \\ \hline \end{array} $$

Доказательство. Из формулы (1) видно, что $\langle\alpha|\beta\rangle\cdot\langle\beta|\alpha\rangle=4\cos^2\varphi$. Поскольку числа Картана — целые, $\cos\varphi\in\{0,\pm1/2,\pm{\sqrt2}/2,\pm{\sqrt3}/2,\pm1\}$. Это (с учётом свойства 2 систем корней) даёт варианты для углов и для чисел Картана. Кроме того, если $\alpha$ и $\beta$ не ортогональны, то $\langle\alpha|\beta\rangle/\langle\beta|\alpha\rangle=|\alpha|^2/|\beta|^2$, что даёт варианты для длин.

Все варианты из таблицы реализуются (см. задачу 12.3). Поскольку система простых корней $\Pi$ тупоугольна, для простых корней $\alpha,\beta$ возможны варианты лишь из правой половины таблицы (последние 5 столбцов, кроме самого последнего).

Удобно сопоставить системе $\Pi$ ориентированный граф, называемый схемой Дынкина, вершины которого соответствуют простым корням, и две вершины соединяются ребром в том и только в том случае, когда корни не ортогональны. Кратность ребра равна модулю наибольшего из двух чисел Картана соответствующей пары корней, а направление, в случае кратного ребра, идёт от более длинного корня к более короткому (так что стрелку на ребре можно рассматривать как знак неравенства между длинами).

Схема Дынкина связана со схемой Кокстера соответствующей камеры Вейля $C$ следующим образом. У двух схем одно и то же множество вершин, соответствующих простым корням или ортогональным им стенкам камеры $C$. Однократные рёбра у схем Дынкина и Кокстера одинаковы, а числовые отметки кратных рёбер на схеме Кокстера равны удвоенным кратностям соответствующих рёбер на схеме Дынкина. Однако схема Дынкина является более тонким инвариантом, чем схема Кокстера, поскольку учитывает метрические соотношения между простыми корнями (выражающиеся в ориентации рёбер).

Ясно, что схема Дынкина определяется системой корней $\Delta$ и не зависит от выбора простых корней, а также определяет эту систему корней с точностью до эквивалентности. Неразложимые системы корней соответствуют связным схемам Дынкина.

Теорема. Связные схемы Дынкина — это $\mathsf{A}_n$, $\mathsf{B}_n$, $\mathsf{C}_n$, $\mathsf{D}_n$, $\mathsf{E}_6$, $\mathsf{E}_7$, $\mathsf{E}_8$, $\mathsf{F}_4$, $\mathsf{G}_2$:

Соответствующие им эллиптические схемы Кокстера обозначаются таким же образом. (Отметим, что двум разным схемам Дынкина $\mathsf{B}_n$ и $\mathsf{C}_n$ соответствует одна и та же схема Кокстера, в остальных случаях соответствие взаимно однозначно.)

Доказательство. Из списка связных эллиптических схем Кокстера получаем, что никаких схем Дынкина, кроме перечисленных в теореме, не существует (схемы Кокстера $\mathsf{H}_3$, $\mathsf{H}_4$, $\mathsf{I}_n$ при $n\ne3,4,6$ не соответствуют никаким схемам Дынкина). Покажем, что все эти схемы действительно реализуются.

Согласно предложению 2, любая параболическая схема Кокстера соответствует группе $\widetilde{W}$ для некоторой неразложимой системы корней $\Delta$. Выберем камеру Вейля $C$ системы $\Delta$ (тем самым выбрав систему простых корней $\Pi=\{\alpha_1,\dots,\alpha_n\}$) и рассмотрим единственную камеру $P$ группы $\widetilde{W}$ с вершиной в $0$, лежащую в $C$. Симплекс $P$ отсекается от конуса $C$ гиперплоскостью, перпендикулярной некоторому корню $\alpha_0$. Поэтому схема Кокстера конуса $C$ получается из схемы Кокстера симплекса $P$ удалением одной вершины, но так, чтобы не нарушить связность схемы.

Для четырёх параболических схем Кокстера есть только одна возможность: $\widetilde{\mathsf{A}}_n$$\to$$\mathsf{A}_n$, $\widetilde{\mathsf{C}}_n$$\to$$\mathsf{C}_n$, $\widetilde{\mathsf{D}}_n$$\to$$\mathsf{D}_n$, $\widetilde{\mathsf{E}}_6$$\to$$\mathsf{E}_6$.

Из схемы $\widetilde{\mathsf{B}}_n$ можно получить $\mathsf{B}_n$ или $\mathsf{D}_n$. Но поскольку $\mathsf{D}_n$ уже получена из $\widetilde{\mathsf{D}}_n$, а соответствие между системами корней и кристаллографическими группами отражений взаимно однозначно, то из $\widetilde{\mathsf{B}}_n$ получается $\mathsf{B}_n$.

Аналогично, из $\widetilde{\mathsf{E}}_7$ можно получить $\mathsf{E}_7$ или $\mathsf{A}_7$, но второй вариант исключается (уже получен из $\widetilde{\mathsf{A}}_7$). Из $\widetilde{\mathsf{E}}_8$ можно получить $\mathsf{E}_8$, $\mathsf{D}_8$ или $\mathsf{A}_8$, но два последних варианта исключаются (уже получены из $\widetilde{\mathsf{D}}_8$ и $\widetilde{\mathsf{A}}_8$, соответственно). Из $\widetilde{\mathsf{F}}_4$ можно получить $\mathsf{F}_4$ или $\mathsf{B}_4$, но второй вариант уже получен из $\widetilde{\mathsf{B}}_4$. А из $\widetilde{\mathsf{G}}_2$ можно получить $\mathsf{G}_2$ или $\mathsf{A}_2$, но второй вариант уже получен из $\widetilde{\mathsf{A}}_2$.

Таким образом, мы нашли все схемы Кокстера, соответствующие неразложимым системам корней. Остаётся понять, какие схемы Дынкина им соответствуют. Вопрос может возникнуть только для схем $\mathsf{B}_n$ и $\mathsf{C}_n$, соответствующих одной и той же эллиптической схеме Кокстера. Но поскольку эта схема получается из двух различных параболических схем $\widetilde{\mathsf{B}}_n$ и $\widetilde{\mathsf{C}}_n$, то обе схемы Дынкина реазизуются.

Построение систем корней.

Пример. Построим систему корней типа $\mathsf{A}_n$ по следующей схеме: вначале построим систему простых корней $\Pi$, потом породим отражениями вдоль простых корней группу Вейля $W$ и, наконец, построим всю систему корней $\Delta=W\Pi$.

Рассмотрим в евклидовом векторном пространстве $\mathbb{R}^{n+1}$ ортонормированный базис $\varepsilon_1,\dots,\varepsilon_{n+1}$ и подпространство $\mathbb{R}^n$, состоящее из векторов с нулевой суммой координат в этом базисе. Система векторов $\alpha_i=\varepsilon_i-\varepsilon_{i+1}\in\mathbb{R}^n$ ($i=1,\dots,n$) имеет схему Дынкина типа $\mathsf{A}_n$ и, стало быть, является множеством простых корней системы корней типа $\mathsf{A}_n$. Отражение $r_{\alpha_i}$ переставляет местами $\varepsilon_i$ и $\varepsilon_{i+1}$, оставляя на месте остальные $\varepsilon_j$. Поэтому $W\simeq S_{n+1}$ есть группа всех перестановок векторов $\varepsilon_1,\dots,\varepsilon_{n+1}$. Следовательно, $\Delta$ состоит из векторов $\alpha=\varepsilon_i-\varepsilon_j$, $1\le i< j\le n+1$.

Остальные системы корней можно построить по той же схеме (задачи 12.3-12.7)