Сокращение к 2016 и HTCondor идут к новому столкновению: помогающие ученые обнаруживают гравитационные волны, вызванные 1,3 миллиарда лет назад столкновением между двумя черными дырами, в 30 раз более крупными, чем наше солнце.От раскрытия бозона Хиггса, среди самых маленьких частиц, известных науке, обнаружению невозможно крупной астрофизики черных дыр, программное обеспечение HTCondor High Throughput Computing (HTC) оказалось обязательным для обработки обширных и сложных данных, произведенных большой международной наукой.
Программисты в Висконсинском университете в Мадисоне вели эти распределенная высокая пропускная способность вычислительные технологии за прошлые три десятилетия.У объявления в феврале, что ученые из Лазерной Обсерватории Гравитационной волны Интерферометра (LIGO) открыли заключительную дверь в Теорию Альберта Эйнштейна Относительности – доказательство, что гравитационные волны производят рябь через пространство и время – есть богатая предыстория, включающая HTCondor. С 2004 HTCondor был основной частью усилия по анализу данных проекта, который включает больше чем 1 000 ученых из 80 учреждений по 15 странам.
Числами больше чем 700 ученых LIGO использовали HTCondor за прошлые 12 лет, чтобы управлять сложными технологическими процессами анализа данных на вычислительных ресурсах, рассеянных всюду по США и Европе. Приблизительно 50 миллионов основных часов, управляемых HTCondor за одних только прошлые шесть месяцев, поддержали анализ данных, который привел к обнаружению, сообщил в газетах в феврале 2016.
Путь HTCondor к LIGO был проложен сотрудничеством, которое началось больше чем десятилетие назад между двумя командами Висконсинского университета – команда LIGO с 29 участниками в ПОДВОДНОМ Милуоки и команда HTCondor в Висконсинском университете в Мадисоне. Это междисциплинарное сотрудничество помогло преобразовать вычислительную модель LIGO и прогресса состояние HTC.
Команда HTCondor во главе с Мироном Ливны, преподавателем Висконсинского университета в Мадисоне информатики и главным инженером для Института Моргриджа Исследования и Висконсинского Института Открытия. Программное обеспечение HTCondor осуществляет инновационную высокую пропускную способность вычислительные технологии, которые используют силу десятков тысяч сетевых компьютеров, чтобы управлять многочисленными ансамблями вычислительных задач.
«Что мы имеем, экспертные знания двух подводных Системных школ, объединяющихся, чтобы заняться сложной проблемой анализа данных», говорит Томас Доунес, старший научный сотрудник ПОДВОДНОГО Милуоки физики и следователь LIGO. «Проблема была, как Вы управляете тысячами на тысячи взаимосвязанных рабочих мест анализа данных способом, что ученые могут эффективно использовать? И это было намного более легко решено, потому что Милуоки и Мадисон правильные вниз улица друг от друга».Команда ПОДВОДНОГО Милуоки начала использовать HTCondor в начале 2000-х как часть NSF проект Information Technology Research (ITR).
Его тогдашний ведущий ученый, Брюс Аллен, получил работу как директор Института Альберта Эйнштейна Гравитационной Физики в Ганновере, Германия, одном из ведущих центров в проекте LIGO. Дункан Браун, тогда доктор философии физики ПОДВОДНОГО Милуоки кандидат, стал преподавателем физики в Сиракузском университете, приложив что усилия университета LIGO.Аллен, Браун и другие упорно работал в Милуоки, чтобы продемонстрировать ценность подхода HTCondor к миссии LIGO, в конечном счете приводя к его принятию на других местах LIGO. HTCondor скоро стал дежурной технологией для основных групп данных LIGO в ПОДВОДНОМ Милуоки, Сиракузского университета, Института Альберта Эйнштейна, Калифорнийского технологического института (Калифорнийский технологический институт) и Университет Кардиффа в Великобритании.
У Питера Кувэйрса есть представление на 360 градусов об отношениях HTCONDOR к LIGO. Он работал над командой HTCondor в течение 10 лет в Висконсинском университете в Мадисоне и управлял отношениями между LIGO и HTCondor в течение приблизительно пяти лет после присоединения к команде LIGO во главе с Брауном в Сиракузах. Сегодня он – старший научный сотрудник из Калифорнийского технологического института, справляющегося с анализом данных LIGO вычислительная команда.
Почему программное обеспечение HTCondor – такое благо для большой научной деятельности как LIGO?«Мы знаем, что это будет работать – это – особенность убийцы HTCondor», говорит Кувэйрс.
Это работает, он добавляет, потому что HTCondor берет серьезно основную проблему распределенного вычисления: невозможно предположить, что у сети тысяч отдельных компьютеров не будет местных неудач. HTCondor печет то предположение в свое основное программное обеспечение.«Команда HTCondor всегда просит, чтобы люди предположили к проблемам, которые собираются подойти в реальных производственных средах, и они хороши о не разрешении пользователям HTCondor срезать путь или сделать плохие предположения», добавляет Кувэйрс.В проекте как LIGO тот подход особенно важен.
Непрекращающийся поток данных из датчиков LIGO – соединение гравитационной информации и шума, такого как сейсмическая активность, ветер, температура и свет – весь из которого помогает определить и дифференцировать и хорошие и неправильные данные.«В отсутствие шума это было бы очень легким поиском», говорит Кувэйрс. «Но уловка находится в выборе иглы из стога сена шума. Самая большая уловка всего анализа данных в LIGO должна придумать лучшее отношение сигнал-шум».Стюарт Андерсон, старший научный сотрудник LIGO из Калифорнийского технологического института, поддерживал использование HTCondor в LIGO больше десятилетия.
Причина, за которой следует HTCondor, меньше о технологии, чем это о человеке, говорит он.«Команда HTCondor обеспечивает уровень долгосрочного сотрудничества и поддержки в киберинфраструктуре, которую я не видел больше нигде», говорит он. «Команда обеспечила высшее качество технической экспертизы, коммуникативных способностей и совместного решения проблем, с которым у меня была привилегия или работающий».Добавляет Тодд Танненбаум, действующий технический руководитель HTCondor, который работает в тесном сотрудничестве с Андерсоном и Кувэйрсом: «Наши отношения с LIGO взаимно прибыльные. Улучшения, сделанные от имени наших отношений с LIGO, значительно принесли пользу HTCondor и более широкой высокой пропускной способности вычислительное сообщество».
Ева Дилмен, преподаватель научного сотрудника и директор по научно-исследовательской работе в Information Sciences Institute (ISI) Университета Южной Калифорнии, занялась HTCondor в 2001, когда она начала Пегаса, система, которая автоматизирует технологический процесс для систем использования ученых как HTCondor. Вместе, Пегас и помощь HTCondor понижают технологические барьеры для ученых.«Я думаю, автоматизация и надежность, обеспеченная Пегасом и HTCondor, ключевые для предоставления возможности ученым сосредоточиться на их науке, а не деталях основной киберинфраструктуры и ее неизбежных неудач», говорит она.
Будущее LIGO чрезвычайно захватывающее, и высокая пропускная способность подкрепления, которую вычислительные технологии HTCondor изменят с наукой и вычислительными технологиями. Большинство соглашается, что с начальным наблюдением за гравитационными волнами, потенциальное цунами данных ждет от вселенной.«Область астрономии гравитационной волны только что началась», говорит Кувэйрс. «Это было физикой и техническим экспериментом. Теперь это – астрономия, где мы видим вещи.
В течение 20 лет LIGO пыталась найти иголку в стоге сена. Теперь мы собираемся построить фабрику обнаружения иглы».
Добавляют Ливны: «Что началось 15 лет назад, когда местное сотрудничество Мадисона-Милуоки превратилось в вычислительную структуру для новой области астрономии. Мы готовы и стремимся обратиться к развивающимся потребностям HTC этой новой области.
Сотрудничая с учеными из других международных усилий, которые используют технологии в пределах от датчика нейтрино в Южном полюсе (Кубик льда) к телескопу, плавающему в космосе (Хаббл), чтобы собрать данные о нашей вселенной, HTC продолжит поддерживать научное открытие».