Методы распределенных вычислений (PB) становятся всё более популярными и востребованными. Особое место среди них занимает платформа BOINC (Berkeley Open Infrastructure for Network Computing). Она весьма распространена, и ее использование позволяет сотням и тысячам желающих внести свой вклад в выполнение важных научных расчетов. В ТрВ-Наука мы уже дважды писали об этой платформе (номера 110 и 118) и расчетах, которые она помогает осуществлять. На этот раз о недавней конференции по РВ рассказывает Александр Андреев, администратор сайта BOINC.RU.
В сентябре, на берегу живописного карельского Урозера, состоялась первая российская конференция «Высокопроизводительные вычисления на базе BOINC: фундаментальные исследования и разработки». Англоязычное название — BOINC-based HPC: Fundamental and Applied Science for Technology, сокращенно BOINC:FAST [1]. Организаторами выступили Институт прикладных математических исследований Карельского научного центра РАН, Институт проблем передачи информации РАН, Петрозаводский государственный университет и «Центр высокопроизводительной обработки данных» Карельского научного центра РАН. В дополнение к основной программе встречи в рамках конференции было проведено собрание российского отделения Международной федерации грид-систем из персональных компьютеров (International Desktop Grid Federation — IDGF) [2].
«Первый блин» не получился комом. Во-первых, стоит сказать о географии участников. Кроме москвичей и хозяев-петрозаводцев, приехали представители Иркутска и Курска. Отдельный доклад читал аспирант из Китая, обучающийся в Москве. До сих пор удивляюсь, что был приглашен и я, в качестве представителя российских волонтеров -участников добровольных распределенных вычислений. Проблемы обсуждались как со стороны организаторов проектов, так и со стороны пользователей, предоставляющих свои компьютеры для вычислений.
Кроме очных выступлений, был просмотрен видеодоклад, который прислал David Anderson (США), руководитель проекта BOINC в Беркли [3]. По «скайпу» прочел свой доклад Robert Lovas (Венгрия), являющийся председателем IDGF [4].
Общение получилось интересным и профессиональным, т.к. все присутствующие знакомы с платформой BOINC не понаслышке и прекрасно представляют себе особенности этого инструмента для высокопроизводительных вычислений. Так что никого не смущали такие специфические термины как «кранчер» (волонтер — участник проектов РВ) или «кворум» (количество дубликатов расчетных заданий). На Урозере впервые очно встретились представители как добровольческого кранчерского сообщества -например сайта BOINC.RU [5],- так и всех российских проектов добровольных РВ: Optima@home [6], SAT@home [7], Gerasim@home [8], а также готовящегося к запуску Net-max@home. Поэтому не обошлось без обсуждения множества практических вопросов и обмена опытом, а порой и споров.
Кроме тематики добровольных вычислений, обсуждались и проблемы создания корпоративных распределенных вычислительных систем (Enterprise Desktop Grid), исследованиями которых занимаются в Институте прикладных математических исследований Карельского научного центра РАН.
Интересно, что и в Карелии, и в Иркутске работали над решением одной и той же проблемы -как подружить кластер с BOINC-вычислениями. Сама проблема возникла из-за того, что очень часто кластеры оказываются не полностью загруженными вычислительными задачами.А простой таких дорогостоящих устройств крайне не желателен. Оказалось, что можно параллельно со стандартными кластерными задачами запускать и BOINC-расчеты, которые при первой же необходимости останавливаются и отдают ресурсы более приоритетным задачам, запускаясь вновь при появлении свободных вычислительных ресурсов. И хотя задачи решались примерно одинаковые, подходы к их решению были различными. Если в Петрозаводске, в ЦКП КарНЦ РАН под руководством Евгения Ивашко, технология BOINC интегрировалась в кластер на администраторском уровне, то в Иркутске Олег Заикин предложил решение, не требующее администраторских прав и реализованное в рамках стандартной политики безопасности кластера, с использованием разрешенных пользовательских прав. Особенно примечательно то, что этот программный продукт, получивший название CluBORun (Cluster for BOINC Run), был написан не сотрудниками института, а одним из участников — «кранчеров», форумчанином сайта BOINC.RU с ником hoarfrost (Максим Манзюк), который в короткий срок реализовал в программном коде эту идею.
В нескольких докладах были озвучены предварительные итоги и проанализирован опыт работы уже упоминавшихся отечественных проектов РВ: Optima@home, SAT@home, Ger-asim@home, а также впервые проанонсирован новый проект — Net-max@home, который предполагается запустить в ближайшее время.
В целом, в ходе обсуждения все пришли к общему выводу: сама технология BOINC-вычислений может успешно использоваться как для создания небольших и средних грид-систем на базе компьютеров организации (лаборатории, института), так и для запуска глобальных проектов распределенных вычислений, использующих тысячи компьютеров по всему миру. Но основная проблема при этом носит вовсе не технический характер. Распространение BOINC-технологии сдерживается по нескольким причинам:
1. Недостаточная информированность научного сообщества о самой возможности организации подобных вычислений.
2. Слабая информированность специалистов, способных предоставить реальные задачи под такие вычисления. Большинство физиков, химиков, биологов, астрономов и представителей других специализаций даже и не догадываются, что если их задача не решается на обычном компьютере, а доступ к суперкомпьютерам или крупным кластерам отсутствует или ограничен, то это вовсе не тупик. Вполне возможно, что большинство подобных задач удастся решить в рамках проекта распределенных вычислений.
3. Наличие определенных проблем при доработке имеющихся расчетных программ, чтобы они могли работать как BOINC-приложение.
Оказание помощи, как в решении этих проблем, так и в развитии вычислений с использованием вычислительных систем на базе персональных компьютеров (Desktop Grid), ставит своей целью Международная федерация грид-систем из персональных компьютеров (International Desktop Grid Federation), заседание российского отделения которой прошло в рамках этой конференции.
Основной задачей Международной федерации грид-систем из персональных компьютеров является всемерное содействие распространению технологий добровольных вычислений. Российское отделение IDGF прежде всего ориентировано на поддержку российских исследований и разработок. В рамках отделения проводятся различные семинары, конференции, тренинги и мастер классы по технологиям грид-систем персональных компьютеров. Члены Федерации оказывают консультации и предоставляют вычислительные ресурсы специалистам, решившим создать свой BOINC проект. Важнейшей задачей российского отделения IDGF является координация усилий ученых, занимающихся данной проблематикой, и сообщества добровольцев, предоставляющих вычислительные ресурсы для расчетов.
Хотя эта конференция была первой, но у организаторов явно чувствовался энтузиазм и желание на достигнутом не останавливаться. Идею поддержали и все остальные, поэтому было решено проводить BOINC:FAST на регулярной основе раз в два года. Так что все, кому тема распределенных вычислений интересна, могут готовиться к предстоящей встрече. Время еще есть.
1. BOINC:FAST — http://boincfast.ru
2. Российское отделение IDGF — http://desktopgrid.ru
3. BOINC — http://boinc.berkeley.edu
4. IDGF — http://desktopgridfederation.org
5. BOINC.RU — www.boinc.ru
6. OPTIMA@home — http://boinc.isa.ru/dcsdg
7. SAT@home — http://sat.isa.ru/pdsat
8. Gerasim@home — http://gerasim.boinc.ru