Всегда правильно начинать обучение с основ. А основа C# - это C++.

Если нужно писать свой двиг или изменять готовый - то С++ незаменим.
Если планируется работать с уже готовой технологией - то вполне достаточно одного C#.

Рекомендую присмотреться повнимательнее.

А вообще C# довольно простой язык, можно обойтись только MSDN.

Для начала надо определится, какой движок будем писать, игровой или просто графический. Графический движок может применяться не только в играх, но и в других областях. Игровой движок - только для игр, он должен обрабатывать не только графику, но и звук, ввод, ИИ, физику, сеть и т.д, но главное - он должен обрабатывать непосредственно игровой процесс.
Лично моя, далеко не самая компетентная рекомендация - для графического движка предпочтительнее OpenGL , для игрового DirectX.
Если пишем на OpenGL, то могу рекомендовать книги:
1) непосредственно по API OpenGL - М.Ву, Т.Девис "OpenGL Руководство к программированию"(дано всё необходимое и ничего лишнего)
2)по программированию движка -А.В.Боресков "Графика трехмерной компьютерной игры на основе OpenGL(книга представляет собой листинг движка, способного "читать" уровню из Quake2, с подробными комментариями)
3) Google и куча уроков в сети.

Но автора темы, видимо, больше интересует второй вариант- Игровой движок на DirectX.
Примерно это может выглядеть так:
Графический двиг(на основе Direct3d) - отвечает за отображение всех игровых обектов(данные получает игрового движка). Он должен содержать саму cцену, обеспечивать отображение сеток(моделей), источников света, ландшафта, системы частиц + интерфес пользователя. Чем выше автономность отдельных классов - тем лучше.
Движок ввода(на основе DirectInput) - отвечает за обработку клавы, мыши, джойстика и т.д. и передаёт данные в игровой движок.
Звуковой двиг(на основе DirectSound) - принимает данные из игрового и обеспечивает вывод звука.
Физический движок (может кстати являться непосредственной частью игрового)- принимает данные из игрового(перемещения, столкновения и т.д.), обрабатывает, возвращает обратно.
Искусственный интеллект (тоже может являться непосредственной частью игрового) - просчитывает реакции разных юнитов на возмущения(действия игрока, других юнитов или окружающей обстановки)
Сетевой движок(на основе DirectPlay) - отвечает за сетевое взаимодействие, принимает данные из игрового и возвращает туда же.

Ну и самый основной компонет - непосредственно движок самой игры, который принимает данные от Движка Ввода, Сетевого движка и много ещё чего, просчитывает все игровые процессы(перемещения, проверки столкновений, условия победы\поражения+ физику+ИИ) и возращает данные в графический, звуковой и сетевой движки.

Литература:
0) DirectX SDK - без него никуда
1) Андре Ламот естественно: "Программирование игр для Windows. Советы профессионала" и её продолжение "Программирование трехмерных игр для Windows. Советы профессионала по трехмерной графике и растеризации" (900 и 1400стр соответствено) ну очень серьёзные труды от авторитетного автора
2) 2 книги М.Фленова: "DirectX и с++. Искусство программирования" и "Искусство программирования игра на С++". В первой описываются основы DirectX, во второй пишется несложный игровой движок, она является непосредственным продолжением первой.
3) Г.Снук "3D ландшафты в реальном времени на С++ и DirectX9", тема ландшафта тут раскрыта лучше всего.

Ну и что конечно нужно хорошо знать высшую математику и физику.

Если конечной целью является создание игры, то лучше сразу отказаться от написания своего движка и взять готовый. Но вот если целью создания движка является прежде всего самообразование - то вперёд и с песней в путь... бескрайний.

P.S Движок - как ремонт, его нельзя закончить, его можно только забросить.

Линейная алгебра, векторная алгебра (матрицы(вектора) и действия над ними) - программирование графики и физики: элементарные преобразования(перенос, поворот, масштабирование), различные проецирования, системы координат и т.д, задания сил, ускорений и т.д.

Аналитическая геометрия (на плоскости и в пространстве)- программирование графики и физики: задание линий, плоскостей, поверхностей и т.д., проверка столкновений, расчёт расстояний и т.д.

Математический анализ (дифференцирование, интегрирование) - программирование физики: уравнения движения и его анализ. За моделирование физики автомобиля или летательного аппарата без знаний мат.анализа лучше не браться.

Теория функции комплексной переменной - программирование графики: необходима для правильного понимания кватернионов. Кватернион (четырёхмерный комплексный вектор) незаменим при программировании камеры. Камера на кватернионах работает в разы быстрее матричной.

Так что парни - нужна она, жаль сам раньше высшую математику недолюбливал.