Методический материал: Многопрограммная работа ЭВМ. Многомашинные и многопроцессорные вычислительные системы

Руководство для преподавателя по проведению учебного занятия 19 дисциплины «ОП.02 Архитектура аппаратных средств» (СИЭУиП). Включает дидактические цели, методику поэтапного изложения материала, разбор типичных студенческих ошибок и критерии проверки индивидуального практикума.

1. Дидактический профиль занятия и планируемые результаты

• Тема занятия по рабочей программе: «Многопрограммная работа ЭВМ. Многомашинные и многопроцессорные вычислительные системы» (§2.2, с. 9).
• Раздел курса: Тема 1.8. Параллельные вычислительные системы.
• Планируемый образовательный результат: сравнивает способы параллельной обработки и готовится обосновать конфигурацию.
• Оценочный продукт занятия: индивидуальная сравнительная схема плюс тренировочный кейс (сопоставление архитектурных моделей параллелизма: многопрограммность ОС vs многопроцессорные SMP/NUMA vs многомашинные кластеры MPI; уровни параллелизма ILP, TLP, DLP; протоколы когерентности кэш-памяти MESI/MOESI; топологии кластерных интерконнектов InfiniBand/RoCE/Ethernet; расчет ускорения для 4 вариантов вычислительных задач).
• Шкала оценивания: открытая 4-балльная шкала (корректность 2 б., объяснение 1 б., проверка 1 б.; сдача до следующей пары).

2. Методические рекомендации по изложению сложных тем

2.1. Разграничение понятий: многопрограммность, многопоточность и мультипроцессинг

Студенты часто смешивают программную псевдопараллельность на одном ядре и истинный аппаратный параллелизм. Преподавателю рекомендуется использовать наглядную аналогию:

• Многопрограммность (Time-Sharing) на 1 ядре: Один повар на кухне готовит 4 блюда, по очереди подходя к разным столам. Иллюзия одновременности создается высокой скоростью переключения, но суммарное физическое время работы не уменьшается.
• Многопроцессорность (SMP/NUMA): Четыре повара на одной кухне пользуются общим холодильником и специями (общая память). Возникают очереди у разделочной доски и необходимость координации (когерентность кэшей, блокировки).
• Кластер (MPI): Четыре изолированные кухни в разных зданиях, повара общаются только по рации или телефону (передача сообщений по сети). Отсутствует риск порчи чужих блюд, но доставка промежуточных ингредиентов требует времени (сетевая латентность).

2.2. Протокол MESI и физика ложного разделения (False Sharing)

Ключевой момент при объяснении протокола MESI — акцент на неделимости кэш-линии (64 байта). Необходимо подчеркнуть: кэш не отслеживает отдельные 4-байтные целые числа `int`. Если две независимые переменные разных ядер попали в один 64-байтный блок, они делят общую судьбу когерентности. Запись одного ядра принудительно инвалидирует кэш второго ядра, вызывая лавинообразные транзакции на системной шине.

2.3. Сетевой интерконнект: Ethernet против InfiniBand и концепция RDMA

Необходимо объяснить студентам, почему в суперкомпьютерах не используют обычный Ethernet с TCP/IP:

• В классическом TCP/IP накладные расходы операционной системы огромны: при каждом сетевом пакете происходит переход в режим ядра (Kernel Space), прерывание процессора, копирование байтов из пользовательской памяти в буферы сокетов ОС (`sk_buff`), расчет контрольных сумм. Суммарная задержка составляет 20–50 микросекунд.
• В HPC-приложениях с частыми барьерами синхронизации (например, шаги молекулярной динамики в 1 фемтосекунду) 50 мкс задержки означают миллионы потерянных тактов CPU. Технология RDMA (Remote Direct Memory Access) исключает операционную систему из цепочки передачи: сетевая карта напрямую читает память процесса (Kernel-Bypass, Zero-Copy) с задержкой менее 1 мкс.

3. Типичные ошибки обучающихся и методы их предотвращения

Типичная ошибка	В чем проявляется дефект понимания	Педагогический прием и контрпример
Путаница между процессами и потоками	Студент утверждает, что потоки имеют изолированную память, или что процессы разделяют общие переменные без специальных средств ОС.	Показать структуру каталога страниц: потоки процесса имеют один и тот же адрес CR3 и видят одинаковые виртуальные адреса кучи, а процессы имеют разные деревья MMU.
Игнорирование неделимости кэш-линии (False Sharing)	Студент считает, что если потоки пишут в разные переменные a и b, конфликта в кэше быть не может.	Разобрать размер строки кэша (64 байта). Показать, что sizeof(int) = 4 байта, поэтому в одну кэш-линию помещается 16 независимых целочисленных переменных.
Ошибки в состояниях MESI	Студент полагает, что при записи в строку состояния Shared запись происходит локально без уведомления шины.	Напомнить, что состояние Shared означает наличие копий у других ядер. Прямая запись без сигнала инвалидации приведет к рассинхронизации данных. Поэтому обязателен сигнал BusInval и сброс остальных кэшей в Invalid.
Завышение реального ускорения по Амдалу	Студент вычисляет ускорение для $n = 512$ при $s = 0.05$ и получает 400 раз (подставляет формулу Густафсона вместо Амдала).	Проверить асимптотический предел: $1 / s = 1 / 0.05 = 20$. Объяснить, что при фиксированном объеме задачи ускорение принципиально не может превысить теоретический потолок.
Нереалистичный выбор оборудования	В кейсе 1 (молекулярная динамика) или кейсе 3 (LLM) предлагается стандартная сеть Gigabit Ethernet.	Показать расчет баланса вычислений и коммуникаций: при задержке сети в 30 мкс время передачи градиентов или границ сетки в десятки раз превысит время полезного расчета, эффективность упадет ниже 10%.

4. Критерии оценивания практической работы (4-балльная шкала)

• 4 балла («отлично»): Безошибочно заполнена сравнительная таблица моделей параллелизма и состояний MESI; математически точно выполнены все расчеты ускорения ($S_A, S_G, E$); даны глубокие физические объяснения эффекта False Sharing и уровней ILP/DLP/TLP; индивидуальный кейс полностью обоснован с корректной спецификацией сетевого и вычислительного оборудования.
• 3 балла («хорошо»): Таблицы заполнены в целом верно (допущена 1 неточность в состояниях кэша или параметрах изоляции); расчеты ускорения верны, но допущена арифметическая ошибка округления; дано правильное, но неполное объяснение False Sharing; кейс решен, но спецификация интерконнекта обоснована поверхностно.
• 2 балла («удовлетворительно»): Допущены грубые неточности в принципах работы MESI; допущены ошибки в формулах Амдала/Густафсона; архитектура кейса выбрана верно, но отсутствует качественное обоснование узких мест и рекомендаций. Назначается доработка или собеседование на следующей паре.
• 0–1 балл («неудовлетворительно»): Практический лист не заполнен либо содержит системные ошибки (непонимание различий между кластером и SMP, путаница процессов и потоков, неверные расчеты). Назначается резервное домашнее задание `domashnee_zadanie.html`.