bookmate game
ru
Том Уайт

Hadoop. Подробное руководство

Avisarme cuando se agregue el libro
Para leer este libro carga un archivo EPUB o FB2 en Bookmate. ¿Cómo puedo cargar un libro?
  • Александр Крючковcompartió una citahace 4 años
    Рис. 2.5. Поток данных MapReduce без задач свертки
  • Александр Крючковcompartió una citahace 4 años
    Рис. 2.4. Поток данных MapReduce для не
  • Александр Крючковcompartió una citahace 4 años
    Весь поток данных для одной задачи свертки изображен на рис. 2.3. Пунктирные прямоугольники обозначают узлы, пунктирные стрелки — передачу данных узлам, а жирные стрелки — передачу данных между узлами.
  • Александр Крючковcompartió una citahace 4 años
    Hadoop позволяет пользователю задать комбинирующую функцию, которая будет выполняться для выходных данных отображения; выходные данные комбинирующей функции образуют ввод функции свертки
  • Александр Крючковcompartió una citahace 4 años
    Комбинирующая функция не заменяет функцию свертки. (Да и как она могла бы ее заменить? Функция свертки все равно необходима для обработки записей с одним ключом от разных отображений.) Но она может сократить объем данных, передаваемых между функциями отображения и свертки, и уже по одной этой причине всегда стоит рассмотреть возможность использования комбинирующей функции в задании MapReduce.
  • Александр Крючковcompartió una citahace 4 años
    Для большинства заданий желательный размер сплита обычно соответствует размеру блока HDFS — 64 Мбайт по умолчанию, хотя эту величину можно изменить для кластера (для всех вновь создаваемых файлов) или задать при создании файла.
  • Александр Крючковcompartió una citahace 4 años
    Трекер заданий координирует все задания, выполняемые системой; для этого он планирует выполнение задач на трекерах задач. Трекеры задач выполняют задачи и отправляют отчеты о ходе работы трекеру заданий, который отслеживает общий прогресс каждого задания. Если попытка выполнения задачи завершается неудачей, трекер может заново спланировать ее на другом трекере.
  • Александр Крючковcompartió una citahace 4 años
    Hadoop делит входные данные заданий MapReduce на фрагменты фиксированного размера, называемые сплитами (splits). Hadoop создает для каждого сплита одну задачу отображения, которая выполняет определенную пользователем функцию отображения для каждой записи в сплите.
  • Александр Крючковcompartió una citahace 4 años
    Задание (job) MapReduce представляет собой единицу работы, которую хочет выполнить клиент: оно состоит из входных данных, программы MapReduce и конфигурационной информации. Чтобы выполнить задание, Hadoop разбивает его на задачи (tasks), которые делятся на два типа: задачи отображения и задачи свертки.
  • Александр Крючковcompartió una citahace 4 años
    четыре формальных параметра определяют типы входных и выходных данных — на этот раз для функции свертки. Входные типы функции свертки должны соответствовать выходным типам функции отображения: Text и IntWritable. Выходными типами функции свертки являются Text и IntWritable — для года и максимальной температуры, определяемой перебором температур и сравнением элементов с текущим найденным максимумом.
fb2epub
Arrastra y suelta tus archivos (no más de 5 por vez)