Instal dan Konfigurasikan Penjadwal Alur Kerja Apache Oozie untuk CDH 4.X pada rhel/centos 6/5

Oozie adalah penjadwal sumber terbuka untuk Hadoop, itu menyederhanakan alur kerja dan koordinasi antara pekerjaan. Kami dapat mendefinisikan ketergantungan antar pekerjaan untuk data input dan karenanya dapat mengotomatisasi ketergantungan pekerjaan menggunakan penjadwal ooze.

Dalam tutorial ini, saya telah menginstal Oozie di node utama saya (saya.e. menguasai Sebagai nama host dan di mana namenode/jt diinstal) Namun dalam sistem produksi oozie harus dipasang pada node hadoop terpisah.

Instruksi pemasangan dibagi menjadi dua bagian, kami menyebutnya A Dan B.

1. A. Instalasi Oozie.
2. B. Konfigurasi Oozie.

Pertama -tama mari kita verifikasi nama host sistem, menggunakan berikut 'nama host' memerintah.

[[email dilindungi]]# hostname menguasai

Metode A: Instalasi Oozie di Rhel/Centos 6/5

Kami menggunakan repositori CDH resmi dari situs Cloudera untuk menginstal CDH4. Pergi ke bagian unduhan CDH resmi dan unduh CDH4 (i.e. 4.6) versi atau Anda juga dapat menggunakan berikut wget Perintah untuk mengunduh repositori dan menginstalnya.

Di rhel/centos 6

# wget http: // arsip.Cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.I386.rpm # yum ---nogpgcheck localinstall cloudera-cdh-4-0.I386.rpm # wget http: // arsip.Cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum ---nogpgcheck localinstall cloudera-cdh-4-0.x86_64.RPM

Di rhel/centos 5

# wget http: // arsip.Cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.I386.rpm # yum ---nogpgcheck localinstall cloudera-cdh-4-0.I386.rpm # wget http: // arsip.Cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum ---nogpgcheck localinstall cloudera-cdh-4-0.x86_64.RPM

Setelah, Anda telah menambahkan repositori CDH di bawah sistem Anda, Anda dapat menggunakan perintah berikut untuk menginstal oozie pada sistem.

[[email dilindungi] ~]# yum instal oozie

Sekarang, instal Oozie Client (perintah di atas harus mencakup bagian instalasi klien namun jika tidak maka coba perintah di bawah).

[[email dilindungi] ~]# yum instal oozie-client

Catatan: Instalasi di atas juga mengkonfigurasi layanan oozie untuk dijalankan saat startup sistem. Kerja bagus! Kami selesai dengan bagian pertama dari instalasi sekarang mari kita pindah ke bagian kedua untuk mengonfigurasi oozie.

Metode B: Konfigurasi Oozie pada Rhel/Centos 6/5

Karena Oozie tidak berinteraksi langsung dengan Hadoop, kami tidak memerlukan konfigurasi yang dipetakan di sini.

Peringatan: Harap konfigurasikan semua pengaturan saat oozie tidak berjalan, itu berarti Anda harus mengikuti langkah -langkah di bawah ini sementara layanan oozie tidak berjalan.

Oozie punyaDerby'Sebagai default built in db Namun, saya akan merekomendasikan agar Anda menggunakan mysql db. Jadi, mari kita instal database MySQL menggunakan artikel berikut.

1. Instal Database MySQL di RHEL/CENTOS 6/5

Setelah Anda selesai dengan bagian instalasi, selanjutnya bergerak lebih jauh untuk membuat oozie db dan hibah hak seperti yang ditunjukkan di bawah ini.

[[Email Dilindungi] ~]# mysql -uroot -p Masukkan Kata Sandi: Selamat datang di Monitor MySQL. Perintah diakhiri dengan; atau \ g. ID Koneksi MySQL Anda adalah 3 Versi Server: 5.5.38 MySQL Community Server (GPL) oleh Remi Hak Cipta (C) 2000, 2014, Oracle dan/atau afiliasinya. Seluruh hak cipta. Oracle adalah merek dagang terdaftar dari Oracle Corporation dan/atau afiliasinya. Nama lain mungkin menjadi merek dagang dari pemiliknya masing -masing. Ketik 'bantuan;' atau '\ h' untuk bantuan. Ketik '\ c' untuk menghapus pernyataan input saat ini. mysql> Buat Database Oozie; Kueri ok, 1 baris terpengaruh (0.00 dtk) mysql> berikan semua hak istimewa di oozie.* ke 'oozie'@'localhost' yang diidentifikasi oleh 'oozie'; Permintaan ok, 0 baris terpengaruh (0.00 dtk) mysql> berikan semua hak istimewa di oozie.* ke 'oozie'@'%' diidentifikasi oleh 'oozie'; Permintaan ok, 0 baris terpengaruh (0.00 dtk) mysql> KELUAR Selamat tinggal

Selanjutnya, konfigurasikan properti oozie untuk mysql. Membuka 'Oozie-situs.xml'File dan edit properti berikut seperti yang ditunjukkan.

[[email dilindungi] ~]# cd/etc/oozie/conf [[email dilindungi] conf]# vi oozie-site.xml

Masukkan properti berikut (cukup ganti master [my nama host] dengan Anda nama host).

 Oozie.melayani.Jpaservice.jdbc.driver com.mysql.jdbc.Pengemudi Oozie.melayani.Jpaservice.jdbc.url jdbc: mysql: //menguasai: 3306/oozie oozie.melayani.Jpaservice.jdbc.Nama pengguna Oozie Oozie.melayani.Jpaservice.jdbc.kata sandi oozie 

Unduh dan tambahkan Mysql jdbc Konektivitas Driver Jar ke direktori oozie lib. Untuk melakukannya, jalankan perintah serius berikut di terminal.

[[email dilindungi] oozie]# cd/tmp/[[email dilindungi] tmp]# wget http: // dev.mysql.com/get/download/connector-j/mysql-connector-java-5.1.31.ter.GZ [[email dilindungi] TMP]# tar -zxf mysql-connector-java-5.1.31.ter.GZ [[Email Dilindungi] TMP]# CD MySQL-Connector-Java-5.1.31 [[Email Dilindungi] MySQL-Connector-Java-5.1.31]# CP MySQL-Connector-Java-5.1.31-bin.Jar/var/lib/oozie/

Buat skema database oozie dengan mengeksekusi perintah di bawah ini dan harap dicatat bahwa ini harus dijalankan sebagai pengguna oozie.

[[Email Dilindungi] ~]# sudo -u oozie/usr/lib/oozie/bin/ooziedb.SH create -run

Output sampel

Pengaturan oozie_config =/etc/oozie/pengaturan conf oozie_data =/var/lib/oozie pengaturan oozie_log =/var/log/oozie pengaturan oozie_catalina_home =/usr/lib/libtop-tomcat pengaturan catalina_tmpdir =/lib/lib/libtop-tomcat catalina_tmpdir =/lib/lib/libtop-tomcat catalina_tmpdir =/lib/lib/libtop-tomcat Catalina_tmpdir =/lib/lib/libtop-tomcat Catalina_tmpdir =/lib/lib/libtop-tomcat Catalina_tmpdir =/lib/lib/libtop-tomcat Catalina_tmpdir =/lib/lib/libtop-tomb /var/run/oozie/oozie.Pengaturan PID Catalina_Base =/usr/lib/oozie/oozie-server-0.20 Pengaturan Catalina_opts = -xmx1024m Pengaturan Oozie_https_port = 11443… selesai oozie db telah dibuat untuk oozie versi '3.3.2-CDH4.7.0 'Perintah SQL telah ditulis untuk: /tmp/ooziedb-825040558851365350.SQL

Anda perlu mengunduh Extjs Lib Dari Internet hingga Mengaktifkan Konsol Web Oozie. Pergi ke halaman CDH Extjs resmi, dan unduh Extjs Versi: kapan 2.2 perpustakaan atau Anda dapat mengunduh paket menggunakan perintah berikut.

[[email dilindungi] ~]# cd/tmp/[[email dilindungi] tmp]# wget http: // arsip.Cloudera.com/glextras/misc/ext-2.2.zip [[email dilindungi] tmp]# unzip ext-2.2.zip [[email dilindungi] tmp]# mv ext-2.2/var/lib/oozie/

Akhirnya, mulailah server oozie, dengan menjalankan perintah berikut.

[[email dilindungi] tmp]# layanan status oozie tidak berjalan. [[email dilindungi] TMP]# layanan oozie start [[email dilindungi] tmp]# layanan status oozie berjalan [[email dilindungi] tmp]# oozie admin -OOZIE http: // localhost: 11000/oozie -status System Mode: Normal: Normal

Buka Oozie UI menggunakan browser favorit Anda, dan arahkan ke alamat IP Anda. Dalam hal ini, IP saya adalah 192.168.1.129.

http: // 192.168.1.129: 11000

Sekarang jika Anda melihat UI ini. Selamat!! Anda telah berhasil mengonfigurasi oozie.

Prosedur ini telah berhasil diuji RHEL/Centos 6/5. Di artikel saya yang akan datang, saya akan membagikan cara mengkonfigurasi dan menjadwalkan pekerjaan Hadoop melalui Oozie. Tetap terhubung untuk lebih banyak dan jangan lupa mengomentari umpan balik Anda.