Может Mapper выходных ключей быть направлены к определенному узлу в Hadoop MR

Обновить

December 2018

Просмотры

72 раз

2

Мне нужно обработать некоторые данные в MR и загрузить его во внешнюю систему, которая сидит на одних и тех же физических машинах, как мои MR узлов. Сейчас я бегу задание и читать вывод из HDFS и повторной маршрутизации отдельных записей, отступают на нужных узлов.

Можно ли определить некоторое отображение такое, что записи с ключом X всегда идти прямо к нужному узлу Y? Проще говоря, я хочу, чтобы контролировать, где Hadoop маршруты разместить отсортированные Разделенные группы.

1 ответы

0

Не легко. Единственный способ , которым я знаю, чтобы влиять на физическое расположение блока данных на лету, чтобы реализовать пользовательский BlockPlacementPolicy. Я просто выбросить некоторые идеи для вашего использования.

  • Обычай BlockPlacementPolicyможет маршрутизировать блоки на основе имени файла
  • Имя файла раздела может быть изменен с помощью MultipleOutputsв MapReduce
  • Ключи могут быть направлены на конкретные разделы с помощью пользовательского Partitioner

Похоже, что вы можете получить результат, который вы ищете, но это не будет достаточно.