Cara Menginstal dan Mengkonfigurasi Hive dengan Ketersediaan Tinggi - Bagian 7

Sarang lebah adalah Gudang data model dalam Hadoop Eco-System. Itu dapat melakukan sebagai alat ETL di atas Hadoop. Mengaktifkan Ketersediaan Tinggi (HA) di Hive tidak serupa seperti yang kami lakukan dalam layanan master seperti namenode dan manajer sumber daya.

Failover otomatis tidak akan terjadi Sarang lebah (Hiveserver2). Jika ada Hiveserver2 (HS2) Gagal, menjalankan pekerjaan yang gagal itu HS2 akan gagal. Kita perlu mengirimkan kembali pekerjaannya sehingga pekerjaan itu dapat berjalan di tempat lain Hiveserver2. Jadi, memungkinkan HA pada HS2 tidak lain adalah, meningkatkan jumlah HS2 komponen di Gugus.

Di artikel ini, kita akan melihat langkah -langkah untuk menginstal dan mengaktifkan Ketersediaan tinggi dari Sarang lebah.

Persyaratan

• Praktik Terbaik untuk Menyebarkan Hadoop Server di CentOS/RHEL 7 - Bagian 1
• Menyiapkan Prasyarat Hadoop dan Pengerasan Keamanan - Bagian 2
• Cara Menginstal dan Mengkonfigurasi Manajer Cloudera di CentOS/RHEL 7 - Bagian 3
• Cara menginstal CDH dan mengonfigurasi penempatan layanan di CentOS/RHEL 7 - Bagian 4
• Cara Mengatur Ketersediaan Tinggi untuk Namenode - Bagian 5
• Cara Mengatur Ketersediaan Tinggi untuk Manajer Sumber Daya - Bagian 6

Mari kita mulai…

Instalasi dan konfigurasi sarang

1. Masuk ke Manajer Cloudera di URL di bawah dan navigasikan ke Manajer Cloudera -> Tambahkan Layanan.

http: // 13.233.129.39: 7180/cmf/rumah 

Tambahkan Layanan di Manajer Cloudera

2. Pilih Layanan 'Sarang lebah'.

Pilih Layanan Hive

3. Tetapkan Layanan di Node.

• Gerbang - Itu adalah layanan klien tempat pengguna dapat mengakses sarang. Biasanya, layanan ini akan ditempatkan di Tepian node yang didedikasikan untuk pengguna.
• Hive Metastore - Ini adalah repositori pusat untuk menyimpan metadata sarang.
• Server webhcat - Ini adalah API web untuk hcatalog dan layanan hadoop lainnya.
• Hiveserver2 - Ini adalah antarmuka klien untuk eksekusi kueri di Hive.

Setelah dipilih server, klik 'Melanjutkan' untuk melanjutkan.

Tetapkan layanan sebagai node

4. Hive Metastore membutuhkan database yang mendasari untuk menyimpan metadata. Di sini kami menggunakan default PostgreSQL database yang didirikan dengan CDH.

Detail database yang disebutkan di bawah ini akan dimasukkan secara otomatis, 'Tes koneksi'Akan dilewati karena database yang disebutkan akan dibuat dengan cepat. Secara real-time, kita perlu membuat database di database eksternal dan menguji koneksi untuk melanjutkan lebih lanjut. Setelah selesai, silakan klik 'Melanjutkan'.

Pengaturan Basis Data

5. Konfigurasikan Hive Warehouse direktori, /pengguna/sarang/gudang adalah jalur direktori default untuk menyimpan tabel sarang. Klik 'Melanjutkan'.

Pilih Direktori Warehouse Hive

6. Pemasangan sarang dimulai.

Kemajuan instalasi sarang

7. Setelah instalasi selesai, Anda bisa mendapatkan 'Selesai'Status. Klik 'Melanjutkan'Untuk melangkah lebih jauh.

Instalasi Hive selesai

8. Instalasi dan konfigurasi sarang berhasil diselesaikan. Klik 'Menyelesaikan'Untuk menyelesaikan prosedur pemasangan.

Selesaikan instalasi sarang

9. Kamu dapat melihat Sarang lebah layanan ditambahkan Gugus melalui Dasbor Manajer Cloudera.

Layanan Hive ditambahkan

10. Anda dapat melihat Hiveserver2 di dalam Contoh dari Sarang lebah. Kami telah menambahkan Hiveserver2 di dalam master1.

Manajer Cloudera -> Sarang lebah -> Contoh -> Hiveserver2.

Lihat instance hiveserver2

Memungkinkan ketersediaan tinggi di sarang

11. Selanjutnya tambahkan peran sarang dengan pergi ke Manajer Cloudera -> Sarang lebah -> Tindakan -> Tambahkan peran Contoh.

Tambahkan contoh peran sarang

12. Pilih server tempat Anda ingin menempatkan tambahan Hiveserver2. Anda dapat menambahkan lebih dari dua, tidak ada batasan. Di sini kami menambahkan satu tambahan Hiveserver2 di dalam master2.

Pilih Server untuk Hive Pilih server host

13. Setelah dipilih server, klik 'Melanjutkan'.

Server ditambahkan

14. A Hiverserver2 akan ditambahkan ke Instance sarang, Anda harus memulainya dengan pergi ke Manajer Cloudera -> Sarang lebah -> Contoh -> (Pilih Hiveserver2 ditambahkan baru) -> Tindakan untuk dipilih -> Awal.

Pilih Hive Server Mulai server Hive Mulai server Hive

15. Sekali Hiveserver2 dimulai master2, Anda akan mendapatkan statusnya 'Selesai'. Klik Menutup.

Status selesai

16. Anda dapat melihat, keduanya Hiveserver2s berlari.

Verifikasi status server sarang

Memverifikasi ketersediaan sarang

Kita dapat menghubungkan Hiveserver2 Melalui Beeline yang merupakan klien tipis dan baris perintah. Itu menggunakan driver JDBC untuk membuat koneksi.

17. Masuk ke server dimana Gateway Hive sedang berlari.

[[Email Dilindungi] ~] $ Beeline 

Terhubung ke hiveserver2

18. Masukkan Jdbc String koneksi untuk menghubungkan Hiveserver2. Dalam hubungan ini, rangkaian Kami menyebutkan Hiverserver2 (master2) dengan nomor port defaultnya 10000. String koneksi ini hanya akan terhubung ke Hiveserver2 yang sedang berjalan master2.

menuju> !Hubungkan "JDBC: Hive2: // Master1.tecmint.com: 10000 " 

String koneksi JDBC

19. Jalankan Kueri Sampel.

0: jdbc: hive2: // master1.tecmint.com: 10000> Tampilkan basis data; 

Jalankan kueri sampel

Ini adalah database default yang datang.

20. Gunakan perintah di bawah ini untuk mengakhiri sesi sarang.

0: jdbc: hive2: // master1.tecmint.com: 10000> !berhenti 

Berhenti sesi sarang

21. Anda dapat menggunakan cara yang sama untuk terhubung Hiveserver2 berjalan terus master2.

menuju> !Hubungkan "JDBC: Hive2: // Master2.tecmint.com: 10000 " 

Sambungkan ke Hive Server

23. Kita dapat menghubungkan Hiveserver2 di dalam Penemuan Zookeeper mode. Dalam metode ini, kita tidak perlu menyebutkan Hiveserver2 di string koneksi sebagai gantinya kami menggunakan Penjaga kebun binatang untuk menemukan yang tersedia Hiveserver2.

Di sini kita dapat menggunakan penyeimbang beban pihak ketiga untuk menyeimbangkan beban di antara yang tersedia Hiverserver2. Konfigurasi di bawah ini perlu diaktifkan Mode Penemuan Zookeeper dengan pergi ke Manajer Cloudera -> Sarang lebah -> Konfigurasi.

Aktifkan Mode Penemuan Zookeeper

24. Selanjutnya, cari properti "Hiveserver2 cuplikan konfigurasi lanjutan”Dan klik + Simbol untuk menambahkan properti di bawah ini.

Nama: Hive.server2.mendukung.dinamis.melayani.Nilai Penemuan: Deskripsi Benar:  

Hiveserver2 cuplikan konfigurasi lanjutan

25. Setelah memasukkan properti, klik 'Simpan perubahan'.

Tambahkan properti

26. Saat kami membuat perubahan pada konfigurasi, perlu memulai kembali layanan yang terkena dampak dengan mengklik simbol warna oranye untuk memulai kembali layanan.

Layanan restart

27. Klik 'Restart basi' jasa.

Restart Layanan Basi

28. Ada dua opsi yang tersedia. Jika cluster dalam produksi langsung, kita perlu lebih memilih restart bergulir untuk meminimalkan pemadaman. Seperti yang baru kami instal, kami dapat memilih opsi kedua 'Menggunakan kembali konfigurasi klien', dan klik'Restart sekarang'.

Menggunakan kembali konfigurasi klien

29. Setelah restart selesai dengan sukses, Anda akan mendapatkan status 'Selesai'. Klik 'Menyelesaikan'Untuk menyelesaikan prosesnya.

Selesaikan prosesnya

30. Sekarang kami akan menghubungkan Hiveserver2 menggunakan Penemuan Zookeeper mode. Dalam Jdbc koneksi, string yang perlu kita gunakan Penjaga kebun binatang server dengan nomor portnya 2081. Kumpulkan server Zookeeper dengan pergi ke Manajer Cloudera -> Penjaga kebun binatang -> Contoh -> (Catat nama server).

Server Zookeeper

Ini adalah tiga server yang memiliki Zookeeper, 2181 adalah nomor port.

master1.tecmint.com: 2181 master2.tecmint.com: 2181 pekerja1.tecmint.com: 2181 

31. Sekarang masuk ke menuju.

[[Email Dilindungi] ~] $ Beeline 

Terhubung ke reeline

32. Masukkan Jdbc String koneksi seperti yang disebutkan di bawah ini. Kami harus menyebutkan Mode Penemuan Layanan Dan Namespace Zookeeper. 'hiveserver2'adalah namespace default dari hiveserver2.

menuju>!Hubungkan "JDBC: Hive2: // Master1.tecmint.com: 2181, master2.tecmint.com: 2181, pekerja1.tecmint.com: 2181/; servicediscoverymode = zooKeeper; zookeepernamespace = hiveserver2 " 

Masukkan string koneksi JDBC

33. Sekarang sesi terhubung Hiveserver2 berjalan terus master1. Jalankan kueri sampel untuk divalidasi. Gunakan perintah di bawah ini untuk membuat database.

0: jdbc: hive2: // master1.tecmint.com: 2181, Mast> Buat tecmint basis data; 

Buat database

34. Gunakan perintah di bawah ini untuk mendaftar database.

0: jdbc: hive2: // master1.tecmint.com: 2181, Mast> Show Database; 

Daftar database

35. Sekarang kami akan memvalidasi ketersediaan tinggi Mode Penemuan Zookeeper. Pergi ke Manajer Cloudera dan hentikan Hiveserver2 pada master1 bahwa kami telah menguji di atas.

Manajer Cloudera -> Sarang lebah -> Contoh -> (Pilih Hiveserver2 pada master1) -> Tindakan untuk dipilih -> Berhenti.

Pilih Hive Server Hentikan server Hive

36. Klik 'Berhenti'. Setelah berhenti, Anda akan mendapatkan statusnya 'Selesai'. Verifikasi Hiveserver2 pada master1 dengan menavigasi ke Sarang lebah -> Contoh.

Hentikan server Hive Verifikasi Hive Server

37. Masuk ke menuju dan hubungkan Hiveserver2 menggunakan hal yang sama Jdbc string koneksi dengan Mode Penemuan Zookeeper seperti yang kami lakukan dalam langkah -langkah di atas.

[[Email Dilindungi] ~] $ Beeline Beeline>!Hubungkan "JDBC: Hive2: // Master1.tecmint.com: 2181, master2.tecmint.com: 2181, pekerja1.tecmint.com: 2181/; servicediscoverymode = zooKeeper; zookeepernamespace = hiveserver2 " 

Hubungkan hiveserver2

Sekarang Anda akan terhubung ke Hiveserver2 berjalan terus master2.

38. Validasi dengan kueri sampel.

0: jdbc: hive2: // master1.tecmint.com: 2181, Mast> Show Database; 

Validasi kueri sampel

Kesimpulan

Dalam artikel ini, kami telah melalui langkah -langkah terperinci untuk memiliki Hive Data Warehouse model di kami Gugus dengan Ketersediaan tinggi. Dalam lingkungan produksi real-time, lebih dari tiga Hiveserver2 akan ditempatkan dengan Mode Penemuan Zookeeper diaktifkan.

Di sini, semua Hiveserver2 mendaftar dengan Penjaga kebun binatang di bawah umum Namespace. Zookeeper secara dinamis menemukan yang tersedia Hiveserver2 dan menetapkan sesi sarang.