суббота, 22 сентября 2012 г.

HELMER linux cluster - рендер ферма своими руками



Когда-то эта статья вдохновила меня на изучения сетевого рендера. Думаю, ее перевод будет интересен многим трехмерщикам. 

2008 год. http://helmer.sfe.se/

Это история Хелмера. История линукс-кластера, созданного в ящике для документов Хелмер, купленном в Икее.

руководство рендер ферма своими руками

Рендеринг это задача, предъявляющая высокие требования к CPU. Лучшим способом увеличить скорость рендера является распределения этой задачи на несколько компьютеров. Обычно рендер ферма это что-то большое, дорогое и жрущее море энергии. Я хотел построить что-то, что можно было бы поставить домой, что было бы тихим, не потребляло много энергии, да еще и подешевле. Комплектующие в наши дни стоят дешево, это причина купить интересное железо чтобы поиграться в свое удовольствие.





Я хотел использовать для этих целей  Intel Quad core с техпроцессом 65 nm или что-то получше. Я поискал в интернете и нашел 6 штук по приемлемой цене. Я поискал и нашел самую дешевую материнскую плату для этих процессоров, которой оказалась  Gigabyte S-series GA-G33M-DS2R/S2.
руководство рендер ферма своими руками
Мой кот внимательно исследовал и одобрил.
руководство рендер ферма своими руками
руководство рендер ферма своими руками


Следующий пункт, это оперативка.Каждая материнская плата могла использовать 8 Гб оперативки и я решил ставить на ноды память по максимуму. Я купил 12 планок по 4 Гб, и общий объем оперативной памяти на кластере составил 48 Гб.
руководство рендер ферма своими руками
руководство рендер ферма своими руками

Устанавливаю кулера, которые шли в комплекте с процессорами.


Следующей проблемой было купить хорошие корпуса, и вот тут то я столкнулся с проблемой. 6 корпусов стоили столько же, сколько стоило бы покупка еще одной материнской платы и процессора! Я решил поискать альтернативу.
руководство рендер ферма своими руками

Я нашел ящик для документов в Икее под названием "Helmer". Кто бы мог подумать, но ИКЕЯ выпускает мебель, совместимую с ATX форм-фактором.
руководство рендер ферма своими руками

Некоторые улучшения задней стенки Хелмера.
руководство рендер ферма своими руками

руководство рендер ферма своими руками

Блоки питания и вентиляторы располагаю зигзагом, для лучшего потока воздуха.

руководство рендер ферма своими руками
Первая, вторая и третья мат.карты установлены. Я замечаю, что что начал монтировать вентиляторы не с той стороны. Под материнские платы я устанавливаю 3мм оргстекло, чтобы избежать короткого замыкания.
руководство рендер ферма своими руками

руководство рендер ферма своими руками

Кровавая баня из проводов и комплектующих.

руководство рендер ферма своими руками

Начинаю клонировать диски. Я использую  Fedora 8  и команду "dd", чтобы клонировать диски с загрузочного образа.

> dd if=/dev/sda of=/dev/sdb

руководство рендер ферма своими руками


Сделано! Я использую софт  DrQueue для распределения работ. Все ноды подсоединены к гигабитному свитчу "3 com". Файловое хранилище - компьютер с процессором Via C7(потребление которой только 20 Вт), работающая под управлением  FreeNAS. Вместо кнопки включения питания для нод, я использовал простой кабель  подсоединенный к  jumper  "pwr" на материнских платах.

руководство рендер ферма своими руками

Инструкция, как я настроил  DrQueue можно найти тут

DrQueueHOW-TO.pdf
руководство рендер ферма своими руками


Наиболее потрясающая вещь, это то, что данная рендер ферма стоит как нормальный системник для рендера. При его конфигурация - этом 24 ядра по 2.4 ГГц, 48 Гб оперативки в сумме, и это потребляет лишь 400 Вт энергии. Данная рендер ферма издает шум как обычный системник, и не очень сильно греется.

руководство рендер ферма своими руками


Рендеры, которые я раньше делал всю ночь, теперь занимают 10-12 минут.

Небольшой рендер-тест. Сцена HelmerRendertest1.jpg cо штормом на море. 24 кадра в разрешении 4000х4000 пикселей.

На моем текущем компьютере  MacPro 2 x DualCore Xenon 2.66 Ghz с 4 GB ram заняло 552 минуты.
Хелмер сделал ту же работу за 64 минуты. Некоторые приближенные вычисления дают производительность Хелмера в операциях с плавающей точкой в 186  Gflops.

P.S. В нагрузке потребление рендер-фермы достигает 800Вт, это первый минус. Второй в том, что нижняя материнская плата сильно греется. Возможно потому, что верхние материнские платы охлаждаются и сверху, и снизу.

руководство рендер ферма своими руками


P.S.S. 2009-02-23

Хелмеру уже год. Он работает фантастически хорошо и уже отрендерил больше полумиллиона кадров анимации. Я планирую улучшить сеть, которая сейчас работает на обычном гигабитном свитче, что дает скорость обмена  25 MB/s. Для новых нод  я буду использовать  материнскую плату  Gigabyte EX58-UD5 для новых процессоров Intel i7. Пропускную способность сети я увеличил с  25 MB/s  до 750 MB/s.  В каждом системнике теперь  4x1TB винчестера WD, объединенных в raid-0 ради скорости - стабильность, это для слабаков :) Теперь я легко могу работать с огромными массивами видео-данных.

P.S.S.S. 2010-02-20

Хелмеру уже 2 года и он все еще работает. Изготовление Хелмера было достаточно сумасшедшим эпизодом моей жизни, при этом затея вышла далеко за рамки первоначального замысла. Uptime рендер фермы сумасшедший, она работает без перерыва и полна грязи и пыли - через нее прошло много кубометров воздуха. У Хелмера новое дополнение, это сервер i5 FreeNas емкостью 16 Тб . У меня есть планы на новую рендер ферму, и даже есть все комплектующие, но нет времени собрать ее. Хелмер так хорошо делает свою работу, что я не вижу смысла что-то менять.



6 комментариев:

  1. Этот комментарий был удален автором.

    ОтветитьУдалить
  2. Это Воодушевляет!
    Скажите а сколько денег в сумме заняла сборка?

    ОтветитьУдалить
  3. Это перевод статьи 2008 года. Тогда такой кластер стоил около 2600К долл. Сейчас одна нода на 3770К выйдет в районе 20 тыс.

    ОтветитьУдалить
  4. а можно подробнее что будете собирать? параметры i7 и оперативы?

    ОтветитьУдалить
    Ответы
    1. Это перевод чужой статьи.
      Я собирал на работе рендер-ферму из 7 i7-2600K, 1 920 и 1 965. 920 был мастером. Если интересно, могу рассказать подробнее.

      Удалить