Практическая работа «MapReduce»

Цель работы

Проверить работу платформы MapReduce.

Ход работы

  1. Подключиться к кластеру по протоколу SSH.
  • получить у преподавателя логин, ключ и адрес кластера
  • использовать клиент ssh (OpenSSH или PuTTY) для подключения к кластеру
  • после подключения определить
    • имя компьютера (команда hostname)
    • тип процессора (команда head /proc/cpuinfo)
    • объем ОЗУ (команда free -h)
    • объем файловых систем (команда df -h)
  • сделать скриншот
  1. Подключиться к веб-интерфейсу HDFS и YARN
  • настроить динамический перенаправление TCP-портов в подключении SSH
  • настроить в браузере использование прокси SOCKS5
  • открыть в браузере веб-интерфейс HDFS
  • найти браузер файлов и сделать скриншот
  • открыть в браузере веб-интерфейс YARN
  • найти перечень заданий и сделать скриншот
  1. Подготовить данные

через интерфейс командной строки:

  • создать каталог для входных данных (mkdir <имя каталога>)
  • создать текстовый файл (nano <имя файла>) и добавить в него текст
  • загрузить каталог в HDFS (hadoop fs -put <имя каталога> <путь в HDFS>)
  • сделать скриншот команды и её результата
  1. Скомпилировать исходный код примера
  • создать файл с исходным кодом (см. Литературу)
  • скомпилировать исходный код
  • сделать скриншот команды и её результата
  • запустить задание
  • сделать скриншот команды и её результата
  • сделать скриншот переченя заданий в веб-интерфейса YARN
  • отобразить результат на экран (hadoop fs -cat <имя файла с результатом>)
  • сделать скриншот команды и её результата

Литература