Операция "Сервер" продолжается...

Благодаря поддержке JC, машинный парк пополнился сетевым хранилищем

На этот раз платформа - Supermicro, RAID6 от LSI

А вот это чудо теперь продается (кроме UPS),
для дома, для семьи - суперская штука...

Кому нужен QNAP TS-410, отдадим недорого, за 7000 руб. Без HDD.

Операция "Сервер" - завершена!

Последний, самый капризный сервер №10 домучен мною!
Встал в общую стойку и активно присоединился к рендеру....

До этого он без устали выдавал post beep код 1-5-4-2, что означало проблемы с питанием.
Честно сказать я так и не выяснил истинную причину сбоя, но решилось все до предельности странно...
Методом исключения был обнаружен винт в крепеже материнской платы, который НЕ надо вкручивать. Вкрутил - не работает, выкрутил - работает... Полный идеотизм, тем не менее сервер завелся и стабильно накручивает свои часы.

В целом система очень радует своей стабильностью.
Всё настроено так, что каждый сервер живет своей жизнью, обновляется, перезагружается когда ему вздумается, и снова встает на рендер автоматически.
В случае если Blender или Vue валятся по каким-то причинам, задание повторяется до техпор, пока не будет выполнено. То есть теперь не надо сутками следить за системой и проверять как там дела. Всё происходит само.

На этом история не закончится, в планах:

• каждый месяц добавлять +2 юнита, пока общее количество серверов не достигнет 16-ти. То есть до сентября добавится еще 6...

Но для того, чтобы этот план осуществился нам надо срочно доделать все начатые проекты, а именно:

• Crazy Balls
• Happy Jungle
• Breakdown
• Dart Race

По всем 4-ем фильмам сделано невероятно много, даже больше чем планировалось изначально. И хотя по первому фильму мы уже сейчас немного срываем сроки, у нас есть хороший запас прочности, который позволит на следующих проектах наверстать упущенное время.

100% права на все фильмы будут принадлежать "КБ Технологии Кино"
В перерывах между рендерами досчитывается "Снегурочка", все сцены из тех, что были завершены, уже сейчас пересчитаны на 60fps. И в этом проекте права распределяются 50\50 между нами и 4D Cinema.
Тоже самое произойдет и с другими фильмами, FPS будет поднят.
То есть теперь 60fps становится нашим внутренним стандартом.

Ну и к Новому Году пытаемся ввести еще один стандарт - Render Man
Уже сейчас для этого делается очень многое, но еще есть много вопросов.
При этом Vue xStream и любимый Blender 3D не просто останутся, они будут активно развиваться в новом пэйплайне, который возможно дополнится еще и 3D Coat.

"Операция Сервер" двигается к завершению

Запущено в эксплуатацию 7 новых серверов, на очереди еще один (видимо самый капризный).
Активно рендерим все подряд, получается интересная картина по производительности

Обнаружилось несколько "битых" модулей памяти, от чего не все (renderXX) машины имеют 32Гб памяти.
Как я уже и говорил ранее, подтвердилась разница по производительности между старыми и новыми серверами (старые render01-render02, новые render03-render09), из таблички BuckBurner можно видеть насколько велика разница. При этом разница между серверами ТОЛЬКО в материнских платах, сами процессоры и их частоты, а также модули памяти - одинаковы.

В целом получается примерно так: то, что ранее рендерилось около недели, сейчас рендерится менее чем за сутки. Что не может не радовать!

Всплыло несколько мелких глюков на отдельных серверах, не везде правильно работают фронт-панели. Но всё это уже на уровне мелкого тюнинга. В целом - система работает стабильно! Питания с натягом, но хватает (около 4кВт, две отдельные фазы по 2кВт). На будущее надо будет продумывать подачу питания отдельно, так как с нарастанием производительности (а это запланировано), потребуется больше мощности.

Температурный режим процессоров и в самом помещении - в пределах нормы, но тоже на пределе, то есть  с увеличением кол-ва машин, надо будет что-то городить.

Пока всё это выглядит так:

Продолжение следует...

+ 2 рендер ноды

Да, пока всего две ноды из всех запланированных запущены в работу.
Что интересно:

• Не смотря на то, что мы закупили все оооочень дешево, то есть примерно на 15 т.р. каждая нода обошлась дешевле чем ранее - прирост производительности - 5%. То есть старые ноды работают медленнее, хотя и дороже и новее. Материнки которые мы закупили сейчас, были выпущенны в 2010 году, и они "сделали"своих "сестричек", несмотря на то, что стоят на 5т.р. меньше. 
• Обожглись о китайские корпуса. Материнки без устали выдавали ошибку POST beep 1-5-4-2 (ошибка означает проблемы с питанием). Сами блоки питания сделаны на совесть и мощность в 400W для наших нод более чем достаточно, но... Милые сердцу китайцы меня в очередной раз поразили странным образом производства. Сделали крутой корпус, спаяли блок питания..., нафигачили туда вентиляторов... все здорово, но тупо плохо обжали контакты питания и покрыли (уверен намеренно ))) ) зеленой плесенью... Дерганье проводочков, царапанье контактов шилом, протирка спиртом - и все это начинает работать. И вот теперь спросите меня, хочу ли я отдать 20-30т.р. за крутой корпус? НЕТ!!! Лучше отверткой и шилом я сэкономлю конторское бабло. Пусть китайцы и далее строят корпуса. Русским они (корпуса) подходят. Нас хлебом не корми, дай только проблемы порешать...
• Один HDD оказался бракованным
• Несколько дней ранее я заходил в серверную и мне не нравился пластмассовый запах гари, я не мог понять в чем дело. Сегодня понял!!! Шнур питания, который шел в комплекте (ВНИМАНИЕ!!!) к СЕРВЕРНОМУ набору розеток - греется до жути. Вооружившись лупой и очками я прочел надпись - 400\500W. Китайцы в очередной раз поиздевались надо мной. То есть они думали, что в 8 розеток можно воткнуть 8 серверов и все будет 400W? Я зашел в офис и очень сильно выругался по поводу китайцев. И кажется задел этим Юлю (кореянка).
• Юля - прости маразматика, доведенного до крайности!

Завтра продолжим все подключать и настраивать.

Сегодня собрал 8 нод (серверов) нового железа.

Впечатления....

...бывали и лучше )))

В общем ничего не завелось по волшебной палочке и придется все перепрошивать, экспериментировать и паять и гнуть и слесарить (СЛЕСАРИТЬ????!!!!) .

Я уже почти расстроился, но нашел вдохновение благодаря публикации Кирилла Серебренникова в фейсбуке.

Смотрим и читаем:

Занятно, правда?

А вы еще думаете почему "америкосы" впереди планеты всей?!
Наш документ выглядел бы иначе...
Думайте друзья, думайте...

Операция "Сервер" затягивается на неделю (((

Ниже вы можете посмотреть на то что имеем сейчас.

10 юнитов, + 2 старых которые рендерят каждую секнуду

Думаем, как бы все это скомутировать удобнее

К октябрю планируем стойку забить до верха.

Сейчас это просто груда железа, корпуса и рама, ничего более.

Intel не удосужился предупредить, что на материнках стоит ограничение памяти.

В результате нам сейчас приходится заниматься обменом 40 планок по 8Gb на тот же объем, но в 4Gb на планку...

Есть все для сборки кроме памяти.

На выходных будем скручивать-свинчивать. Во вторник-среду, втыкаем новые планки и заливаем-настраиваем.


В следующий понедельник грузим по полной программе.


P.S.
Извиняюсь на стремные фотки, сделанные сотовым телефоном.

В каждом юните будет 24 ядра и 32 гига памяти.
И того: 288 ядер
В конце лета будет 16 юнитов и соответственно - 384 ядра
Далаее посмотрим...