WikiDer > ECL (язык программирования, ориентированный на данные)

ECL - это декларативный язык программирования, ориентированный на данные, разработанный в 2000 году, чтобы позволить группе программистов обрабатывать большое количество данных через кластер высокопроизводительных вычислений без участия программиста во многих императивных решениях нижнего уровня.^[1][2]

История

ECL был первоначально разработан и разработан в 2000 году Дэвидом Бейлиссом в качестве внутреннего инструмента повышения производительности в рамках Seisint Inc и считалась «секретным оружием», которое позволило Seisint увеличить долю рынка в своем бизнесе данных. У Equifax был процесс на основе SQL для прогнозирования того, кто обанкротится в следующие 30 дней, но для обработки данных потребовалось 26 дней. Первая реализация ECL решила ту же проблему за 6 минут. Технология была названа движущей силой приобретения Seisint компанией LexisNexis а затем снова в качестве основного источника взаимодействия, когда LexisNexis приобрела ChoicePoint Inc.^[3]

Языковые конструкции

ECL, по крайней мере в чистом виде, является декларативным языком, ориентированным на данные. Программ в самом строгом смысле слова не существует. Скорее приложение ECL будет указывать количество основных наборов данных (или значений данных), а затем операции, которые должны быть выполнены с этими значениями.

Привет, мир

ECL должен иметь краткие решения проблем и разумные дефолты. Программа «Hello World» характерно короткая:

'Привет, мир'

Возможно, более интересный пример возьмет список строк, отсортирует их по порядку, а затем вернет его в качестве результата.

// Сначала объявляем набор данных с одним столбцом, содержащим список строк// Наборы данных также могут быть двоичными, CSV, XML или внешне определенными структурамиD := НАБОР ДАННЫХ([{'ECL'},{"Декларативный"},{'Данные'},{'Centric'},{'Программирование'},{'Язык'}],{НИТЬ Ценить;});SD := СОРТИРОВАТЬ(D,Ценить);выход(SD)

Заявления, содержащие := определены в ECL как определения атрибутов. Они не обозначают действие; скорее определение термина. Таким образом, логически программу ECL можно читать: «снизу вверх»

ВЫХОД (SD)

Что такое SD?

 SD := СОРТИРОВАТЬ(D,Ценить);

SD - это буква D, отсортированная по "значению"

Что такое D?

 D := НАБОР ДАННЫХ([{'ECL'},{"Декларативный"},{'Данные'},{'Centric'},{'Программирование'},{'Язык'}],{НИТЬ Ценить;});

D - это набор данных с одним столбцом с пометкой «Значение», содержащий следующий список данных.

Примитивы ECL

Примитивы ECL, которые работают с наборами данных, включают SORT, ROLLUP, DEDUP, ITERATE, PROJECT, JOIN, NORMALIZE, DENORMALIZE, PARSE, CHOSEN, ENTH, TOPN, DISTRIBUTE.

ECL инкапсуляция

Хотя ECL краток, и LexisNexis утверждает, что 1 строка ECL примерно эквивалентна 120 строкам C ++, он по-прежнему имеет значительную поддержку для крупномасштабного программирования, включая инкапсуляцию данных и повторное использование кода. Доступные конструкции включают MODULE, FUNCTION, FUNCTIONMACRO, INTERFACE, MACRO, EXPORT, SHARED.

Поддержка параллелизма в ECL

в HPCC реализации, по умолчанию большинство конструкций ECL будут выполняться параллельно на используемом оборудовании. Многие из примитивов также имеют параметр LOCAL, чтобы указать, что операция должна выполняться локально на каждом узле.

Сравнение с Map-Reduce

Парадигма Hadoop Map-Reduce состоит из трех фаз, которые соотносятся с примитивами ECL следующим образом.

Рекомендации

внешняя ссылка

• Розеттский код категории ECL
• Reed Elsevier приобретает ChoicePoint за 3,6 миллиарда долларов
• LexisNexis от Reed Elsevier покупает Seisint за 775 млн долларов
• Рид Эльзевьер