База данных (data base)

MapReduce — это разделение, параллельная обработка и свертка распределенных результатов

Как устроен MapReduce: принцип работы.

• 
  map принимает на вход список значений и некую функцию, которую затем применяет к каждому элементу списка и возвращает новый список;
  
• 
  reduce (свёртка) — преобразует список к единственному атомарному значению при помощи заданной функции, которой на каждой итерации передаются новый элемент списка и промежуточный результат.
  

1. 
   Map – предварительная обработка входных данных в виде большого списка значений. При этом главный узел кластера (master node) получает этот список, делит его на части и передает рабочим узлам (worker node). Далее каждый рабочий узел применяет функцию Map к локальным данным и записывает результат в формате «ключ-значение» во временное хранилище.
   
2. 
   Shuffle, когда рабочие узлы перераспределяют данные на основе ключей, ранее созданных функцией Map, таким образом, чтобы все данные одного ключа лежали на одном рабочем узле.
   
3. 
   Reduce – параллельная обработка каждым рабочим узлом каждой группы данных по порядку следования ключей и «склейка» результатов на master node. Главный узел получает промежуточные ответы от рабочих узлов и передаёт их на свободные узлы для выполнения следующего шага. Получившийся после прохождения всех необходимых шагов результат – это и есть решение исходной задачи.
   

Важнейшей частью экономики является ее промышленная составляющая. С появлением новых технологий промышленность всегда массово переходит на новый уровень, происходит промышленная революция. История знает уже три революции, связанные с появлением паровых машин, которые способствовали переходу от ручного труда к машинному, появлению электроэнергии и ее массовой интеграции, созданию электроники, в том числе программируемых контроллеров. Сейчас мы находимся в самом центре трансформации промышленной, которую еще называют Индустрией 4.0. Четвертая промышленная революция – это переход на полностью автоматическое цифровое производство, управляемое интеллектуальными системами в режиме реального времени посредством постоянного реагирования на изменения внешней среды и внутренних параметров производственного процесса.

Термин «Индустрия 4.0» (Industry 4.0) произошел из названия одного из десяти проектов государственной Hi-Tech-стратегии Германии, описывающего концепцию умного производства (Smart Manufacturing) на базе глобальной промышленной сети Интернета вещей и услуг (Internet of Things and Services).
Сейчас Индустрия 4.0 характеризует текущий тренд развития автоматизации и обмена данными, который включает в себя киберфизические системы, Интернет вещей, облачные вычисления и другие технологии.
Четвертая промышленная революция – это новый уровень организации производства и его экономики на протяжении всего жизненного цикла выпускаемой продукции.
Индустрия 4.0 – это новые технологии, объединяющие физический, цифровой и биологический миры, влияющие на все дисциплины, экономики и отрасли. Эти технологии имеют большой потенциал для того, чтобы подключить миллиарды людей к сети и кардинально повысить эффективность бизнеса и организаций.
Активное внедрение ИКТ, электроники и промышленной робототехники в производственные процессы привело к появлению автоматизированных предприятий еще в конце XX в. Каждое предприятие, а порой даже и подразделения внутри одного предприятия, использовали собственную систему управления (или их сочетание), которая могла быть несовместима с другими системами.
Развитие Интернета как технологии, ИКТ, появление технологий 5G и устойчивых каналов связи, облачных технологий и цифровых платформ, технологий безопасной передачи данных, огромный объем данных из разных каналов обеспечили появление открытых информационных систем и глобальных взаимодействующих между собой промышленных сетей, выходящих за границы отдельного подразделения и предприятия. Это оказывает воздействие на все секторы современной экономики и бизнеса и переводит промышленную автоматизацию на новый уровень, полностью автоматических производств, где человек играет лишь роль контролера.
Многие из этих элементов Индустрии 4.0 уже давно и успешно применяются на практике, но именно объединение их в одну целостную систему позволяет развивать и обеспечивать новый уровень эффективности производства и дополнительный доход компаний и предприятий. Формирование сетевого взаимодействия всех игроков экономики, глобализация экономики приводят к унификации производственных технологий и решений, их полной автоматизации. 

Этап развития современной промышленности был предсказан в начале XX в. Николой Теслой. Он говорил о появлении беспроводных систем, утверждал, что вся Земля превратится в один огромный мозг, люди смогут общаться друг с другом практически мгновенно, невзирая на расстояния. Н. Теслой были описаны современные мобильные телефоны и средства связи. Отправной точкой революции он называл коммерциализацию беспроводной передачи энергии. Предсказание Н. Теслы – «один огромный мозг» – сбылось: его действительно каждый из нас носит в кармане уже более десяти лет, Интернет в наших портативных устройствах. Прогнозы великого электротехника впечатляют, но он не смог предположить появления кибернетики и искусственного интеллекта, компьютеров и компьютерных сетей.