Принять, передать и сохранить… миллиарды байт информации Печать
02.08.2012 09:25

Уже пятый раз в Лаборатории информационных технологий ОИЯИ собрались ведущие специалисты в недавно возникшей области знаний – грид-технологиях. Международная конференция «Распределенные вычисления и грид-технологии в науке и образовании» – уникальный для России форум, позволяющий обсудить проблемы использования грид-технологий в различных областях науки, образования, промышленности и бизнеса. В Дубну съехались более 250 представителей стран-лидеров в этой сфере – государств Европы, США, ведущих центров России, специалисты ЦЕРН и ОИЯИ, а также из государств, только начинающих развивать такие технологии

Эта область быстро развивается, о последних тенденциях, возникающих проблемах, новых совместных проектах, обсуждавшихся на конференции, рассказали заместитель директора ЛИТ Владимир Васильевич Кореньков и ученый секретарь лаборатории Татьяна Александровна Стриж:
– Значимость грид-технологий для мировой науки подчеркнул в своем докладе директор Европейского центра ядерных исследований (ЦЕРН) Р. Хойер: без них осуществить эксперимент по поиску бозона Хиггса оказалось бы просто невозможным. Эти его слова цитировали многие докладчики на конференции. Вообще, без организации грид-инфраструктуры на Большом адронном коллайдере ЦЕРН (LHC) было бы просто нереально обрабатывать и хранить колоссальный объем поступающих данных, а значит, – и делать научные открытия. Это весомое доказательство того, что мир изменился. Сегодня уже ни один крупный научный проект не осуществим без использования распределенной инфраструктуры обработки данных.
Все корифеи – в Дубне
С приветственным словом к участникам конференции обратились директор ОИЯИ академик В.А. Матвеев, заместитель директора департамента проектного управления Минкомсвязи России Н.В. Панокин, курирующий развитие российской грид-сети, Д.Н. Гаранов – генеральный директор компании «НИАГАРА КОМПЬЮТЕРС», спонсор конференции. С докладами выступили представители ведущих российских исследовательских центров: заместитель директора НИВЦ МГУ, представитель Суперкомпьютерного консорциума университетов России член-корреспондент РАН В.В. Воеводин, заместитель директора по информационным технологиям и системам НИЦ «Курчатовский институт» В.Е. Велихов, директор Института высокопроизводительных вычислений и интегрированных систем А.В. Богданов. Треть участников конференции составили признанные корифеи грида: руководитель проекта WLCG («Всемирный Грид для LHC») Я. Бёрд (ЦЕРН), руководители компьютинга экспериментов ATLAS (А. Климентов (США/ЦЕРН), К. Де (США/ЦЕРН)) и CMS (П. Константинов (ЦЕРН), С. Гоуди (ЦЕРН), координатор распределенного компьютинга эксперимента ATLAS и проекта PANDA Т. Венаус (США/ЦЕРН), зам. руководителя группы хранения данных ЦЕРН Д. Дуллеманн, руководитель проекта dCache в DESY и направления хранения данных в проекте EMI П. Фурманн (Германия), ведущие специалисты Tier-1 центров: Н. Ратникова и М. Звада (DE-KIT, Германия), А. Царегородцев (FR-CCIN2P3, Франция), О. Смирнова (NDGF, Швеция), В. Сапуненко (IT-INFN-CNAF, Италия) и др. Их привлек не только маленький юбилей конференции, но и возможность обсудить текущие задачи с командой специалистов ЛИТ, входящей в различные крупные проекты, в том числе и в ЦЕРН.

Грид-структура Европейского центра ядерных исследований ЦЕРН, созданная для сбора и хранения данных с Большого адронного коллайдера, имеет иерархическую структуру. Вершину иерархии занимает центр нулевого уровня Tier0, принимающий информацию с детекторов коллайдера. Центры первого уровня Tier1 хранят копию с этих данных в разных странах мира. Tier2 – центры второго уровня обладают вычислительными ресурсами для обработки получаемой информации. На территории России сегодня – это центр в ОИЯИ, в московских НИИЯФ МГУ, ФИАН, ИТЭФ, ИФВЭ (Протвино), ИЯИ (Троицк), ПИЯФ (Гатчина). Более 85% всех вычислительных задач LHC сейчас выполняется вне ЦЕРН, в том числе более половины – на центрах второго уровня.

Авторитет нашей команды последнее время неуклонно растет: ее членов приглашают участвовать в крупнейших мировых и европейских проектах. Например, команда ЛИТ играет большую роль в крупнейшем совместном с ЦЕРН проекте мониторинга системы передачи данных во всемирном гриде, включая скандинавский и американский гриды. Во-вторых, компьютерная инфраструктура ЛИТ увеличивается, обновляется, ее статус растет. И это тоже привлекает коллег из научных центров. Наконец, Дубна – приятное место общения.
Преодолеть проблемы вместе
В силу этих трех причин наша конференция собрала большое число руководителей крупнейших европейских и американских проектов, представителей пяти из одиннадцати Tier1-центров (в Италии, Германии, Скандинавии, Франции, США), координаторов национальных грид-проектов стран-участниц ОИЯИ. Руководители компьютинга проектов ATLAS и CMS приехали сюда обсудить вопросы создания Tier1-центра на базе ОИЯИ и НИЦ «Курчатовский институт». Второй темой для совместного обсуждения стали проблемы развития модели компьютинга для LHC. Многие доклады были посвящены проблемам разрешения тех ограничений и недостатков модели, которые уже выявлены. Вторая обсуждаемая в докладах тенденция – объединение усилий разных команд для преодоления начавшегося «расползания» грида: это вопросы стандартизации задач, создания единого программного обеспечения и другие.
Лейтмотивом конференции стало обсуждение тенденции развития компьютинга и грида в совокупности с «облачными» вычислениями, объединение которых на наших глазах создает новую область науки. Конвергенция разных технологий и подходов – суперкомпьютеров, грида, «облачных» технологий, их взаимное дополнение свидетельствует о том, что в Европе создается мощное единое информационное пространство, используемое для решения задач науки, государства, бизнеса. Эти технологии должны использоваться эффективно, чтобы избежать дублирования в различных проектах, и этим сегодня озабочены в Европе, Америке, России.
Большой интерес участников вызвала секция, проведенная профессором Института системного анализа РАН А.П. Афанасьевым с коллегами по грид-системам из персональных компьютеров. В таких системах для вычислений используются свободные ресурсы персональных домашних и рабочих компьютеров пользователей, присоединяемые к проекту добровольных вычислений через Интернет. Это позволяет консолидировать огромный вычислительный потенциал для определенных прикладных задач: проекты SETI@HOME, FOLDING@HOME демонстрируют реальную производительность, измеряемую сотнями терафлопс (один терафлопс равен триллиону операций в секунду).
Вверх на один уровень
Что касается создания центра Tier1 в России, на базе ОИЯИ и НИЦ «Курчатовский институт», то эту идею выдвинул министр науки и образования РФ А.А. Фурсенко в письме на имя генерального директора ЦЕРН Р. Хойера. В октябре прошлого года на заседании комитета Россия-ЦЕРН эта идея была поддержана. Сейчас ведется работа над прототипом центра, работа должна быть закончена в нынешнем году. А после реконструкции LHC российский Tier1-центр должен заработать в полную силу. Задача Tier1 – оперативно и надежно принимать информацию с Tier0 в ЦЕРН и обеспечить ее хранение на долгие годы для обработки и анализа. От того и требования по доступности и надежности к центру высочайшие: от 99 до 97 процентов в зависимости от сервисов. Центры уровня Tier2 получают информацию от Tier1-центров для обработки. А система Tier3-центров позволяет уже маленьким группам решать конкретные задачи, проверять новые идеи. Последние годы в Европе и США наметилась тенденция укрупнения Tier2-центров: в него объединяются от 5 до 7 организаций (университетов, научных центров). А решают они задачи не только для LHC, ими обслуживаются свыше 300 виртуальных организаций, занимающихся широким диапазоном задач от регулировки городских светофоров до проблем астробиологии, от моделирования новых фармпрепаратов до задач физики высоких энергий.

При поиске лекарства против вируса птичьего гриппа H5N1 2000 компьютеров в течение четырех недель занимались моделированием необходимого белка. Если бы это пришлось делать на одном компьютере, то потребовалось бы 100 лет его работы!


Ежемесячно все Tier1 и Tier2-центры во всех странах мира отчитываются на высоком уровне в своей «бухгалтерии»: сколько данных передано, сколько часов на какую научную коллаборацию отработано, причем какие-либо приписки здесь невозможны – все данные собираются автоматически специально созданной независимой системой мониторинга. И как видно по этим независимым данным, за последние годы вклад грид-инфраструктуры ОИЯИ в российский грид по времени выполнения задач и ряду других показателей составил почти 50 процентов.
Конференция прошла успешно: было намечено много крупных совместных проектов с ведущими научными центрами мира и институтами стран-участниц ОИЯИ.

Записала Ольга ТАРАНТИНА