Panduan Menemukan Halaman Tersembunyi di Web

Di tahun 2016, Google menangani lebih dari 3,2 triliun kueri pencarian, namun hasil yang ditampilkan hanyalah sebagian kecil dari konten yang tersedia secara online. Banyak informasi yang tidak dapat diindeks oleh mesin pencari, sehingga Anda perlu menggunakan alat khusus atau menyelidiki situs secara manual untuk menemukan halaman tersembunyi. Istilah "deep web" mencakup konten yang dapat lebih dari 5.000 kali lipat dibandingkan dengan apa yang dapat ditemukan melalui pencarian biasa.

Jenis Konten Tersembunyi

Halaman tersembunyi di situs web dapat dibagi menjadi beberapa kategori yang menjelaskan mengapa mereka tidak terlihat oleh mesin pencari.

• Konten Dinamis: Terkadang hanya dihasilkan ketika pengunjung membuat permintaan khusus pada situs yang menggunakan kode berbasis database untuk menampilkan hasil terarah. Contohnya, halaman hasil belanja berdasarkan kombinasi kriteria produk tertentu. Mesin pencari tidak dirancang untuk melacak dan menyimpan data yang disimpan dalam database semacam ini. Untuk menemukan halaman ini, Anda perlu masuk ke situs dan mencari informasi yang Anda butuhkan, atau menggunakan layanan pencarian berbasis database seperti Bright Planet.
• Halaman Tanpa Tautan: Beberapa halaman tidak memiliki tautan yang menghubungkannya ke sumber yang dapat dipindai. Versi situs yang masih dalam pengembangan, atau situs dengan desain buruk, dapat masuk dalam kategori ini. Misalnya, jika seseorang mengunggah file ke server namun tidak menautkannya di halaman utama, tidak ada yang mengetahui keberadaannya, termasuk mesin pencari.
• Halaman Memerlukan Login: Situs berlangganan atau area khusus biasanya memerlukan kredensial. Desainer web secara sengaja menandai halaman dan bagian tertentu sebagai tidak dapat diindeks, sehingga tidak muncul di hasil pencarian. Untuk mengaksesnya, biasanya Anda perlu membuat akun terlebih dahulu.

Memanfaatkan File Robots.txt

Mesin pencari merayapi halaman situs dan membuat indeksnya agar dapat ditampilkan dalam hasil pencarian. Jika pemilik situs ingin mengecualikan sebagian domain, ia dapat menambahkan direktori atau halaman yang tidak diinginkan ke dalam file teks khusus bernama robots.txt yang terletak di root situs. Karena kebanyakan situs menyertakan file ini, Anda dapat dengan mudah menampilkan isinya dengan membuka [nama-domain]/robots.txt di bilah alamat browser Anda.

Isinya biasanya menampilkan perintah seperti Disallow atau Nofollow, yang menunjukkan bagian situs yang tidak boleh diindeks atau diikuti oleh mesin pencari.

Teknik Pencarian Manual (Do-It-Yourself)

Selain file robots.txt, Anda dapat menemukan konten tersembunyi dengan menebak alamat URL. Jika situs menggunakan pola penamaan yang konsisten—misalnya gallery1.html, gallery2.html, gallery4.html—mungkin ada gallery3.html yang belum terdaftar. Anda bisa mengetikkannya secara manual di browser.

Begitu pula, jika situs mengorganisasi halaman dalam folder—misalnya example.com/content/page1.html—Anda dapat mencoba mengakses example.com/content/ untuk melihat isi folder. Jika folder tidak diblokir, Anda dapat menavigasi ke semua halaman di dalamnya serta subfolder untuk menemukan konten tersembunyi.