Лабораторная работа Разворачивание Hadoop на кластере из одного узла
жүктеу/скачать 320,12 Kb.
|
Лабораторная работа 1. Настройка Ubuntu. Начало работы с Hadoop
- Бұл бет үшін навигация:
- /home/training/input
| HADOOP почти заработал!
Итак после того как hadoop установлен, мы можем запустить его базовой командой которая выведет опции запуска - команда: Получим Теперь давайте попробуем такую команду (позволит нам увидеть список доступных примеров): wordcount При её использовании может возникнуть подобная решаемая проблема То есть файл найти не удаётся чтобы справится с ней нужно указать конкретное имя файла (hadoop-examples.jar) - переходим в папку где действительно лежит файл например путь может быть таким: и выполняем команду: Получим список стандартных примеров (в виде предупреждения о том что нужно указывать имя программы в качестве параметра): Пример - программа посчёта слов. Теперь запустим конкретный пример wordcountполучим предупреждение о том, что необходимо создать входной и выходной каталоги: Создадим входной каталог input c использованием команды: Положим туда какие-нибудь текстовые документы (например, можно скопировать пару-тройку статей из википедии). Далее добавим входную директорию в "файловую систему" hadoop, в качестве такой директории будем использовать /home/training/input:, поэтому выполняется команда: Теперь мы можем выполнить команду запуска программы подсчёта слов: hadoop jar hadoop-examples.jar wordcount /home/training/input /home/training/output Источники http://fkn.ktu10.com/?q=node/5576 https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html жүктеу/скачать 320,12 Kb. Достарыңызбен бөлісу:
|