Cara Menemukan Halaman Tersembunyi di Situs Web

Pada tahun 2016, Google menangani lebih dari 3,2 triliun permintaan pencarian, namun hasil yang disediakan mesin pencari hanya menyumbang sebagian kecil dari konten yang tersedia secara online. Banyak informasi yang tersedia online tidak dapat diakses oleh mesin pencari, jadi Anda perlu menggunakan alat khusus, atau menyelidiki situs web sendiri, untuk menemukan halaman tersembunyi ini. Dikenal sebagai web dalam, informasi tersembunyi ini menyumbang hingga 5.000 kali lipat dari yang tersedia menggunakan teknik pencarian biasa.

Jenis Konten Tersembunyi

Halaman tersembunyi situs web jatuh ke dalam kategori yang menjelaskan mengapa mereka tetap tidak terlihat oleh mesin pencari.

Beberapa merupakan konten dinamis, hanya ditayangkan ketika pengunjung mengeluarkan permintaan khusus pada situs web yang menggunakan kode yang digerakkan oleh basis data untuk menyajikan hasil yang ditargetkan. Sebagai contoh, halaman ini dapat menyertakan hasil belanja berdasarkan kombinasi spesifik dari kriteria produk. Mesin pencari tidak dirancang untuk melacak dan menyimpan informasi yang disimpan dalam database ini. Untuk menemukan halaman-halaman ini, Anda harus pergi ke situs web dan mencari informasi spesifik yang Anda cari, atau menggunakan layanan pencarian yang berorientasi database seperti Bright Planet.

Beberapa halaman tidak memiliki tautan yang sambungkan ke sumber yang dapat dicari. Sumber daya sementara, seperti beberapa versi situs web dalam pengembangan, dapat masuk dalam kategori ini, seperti situs web yang dirancang dengan buruk. Misalnya, jika seseorang membuat halaman web dan mengunggahnya ke server situs web, tetapi gagal menambahkan tautan ke halaman situs web saat ini, tidak ada yang tahu itu ada di sana, termasuk mesin pencari.

Masih banyak halaman yang memerlukan kredensial masuk untuk melihat atau menjangkau mereka, seperti situs berlangganan. Desainer web menunjuk halaman dan bagian situs sebagai terlarang untuk mesin pencari, secara efektif menghilangkannya dari ditemukan melalui cara konvensional. Untuk mengakses halaman ini, Anda biasanya perlu membuat akun sebelum Anda akan diberikan izin untuk mengaksesnya.

Menggunakan File Robots.txt

Mesin pencari merayapi melalui halaman di situs web dan indeks kontennya sehingga dapat muncul sebagai respons terhadap pertanyaan. Ketika pemilik situs web ingin mengecualikan beberapa bagian dari domainnya dari prosedur pengindeksan ini, ia menambahkan alamat direktori atau halaman ini ke file teks khusus bernama robots.txt, yang disimpan di root situsnya. Karena sebagian besar situs web menyertakan file robot terlepas dari apakah mereka menambahkan pengecualian, Anda dapat menggunakan nama dokumen yang dapat diprediksi untuk menampilkan kontennya.

Jika Anda mengetik "[nama domain] /robots.txt" tanpa tanda kutip ke baris lokasi browser Anda, menggantikan "[nama domain]" dengan alamat situs, konten file robot sering muncul di jendela browser setelah Anda menekan tombol "Enter". Entri yang diawali dengan "disallow" atau "nofollow" mewakili bagian-bagian situs yang tetap tidak dapat diakses melalui mesin pencari.

Melakukan Peretasan Situs Web Sendiri-Sendiri -

Selain itu ke file robot.txt, Anda seringkali dapat menemukan konten yang tersembunyi dengan mengetikkan alamat web untuk halaman dan folder tertentu di browser web Anda. Misalnya, jika Anda melihat situs web seorang artis dan memperhatikan bahwa setiap halaman menggunakan konvensi penamaan yang sama - seperti gallery1.html, gallery2.html, gallery4.html - maka Anda mungkin dapat menemukan galeri tersembunyi dengan mengetik halaman " gallery3.html. " di browser web Anda.

Demikian pula, jika Anda melihat bahwa situs web menggunakan folder untuk mengatur halaman - seperti example.com/content/page1.html, dengan "/konten" sebagai folder - maka Anda mungkin dapat untuk melihat folder itu sendiri dengan mengetik situs web dan folder, tanpa halaman, seperti "example.com/content/" di browser web Anda. Jika akses ke folder tersebut belum dinonaktifkan, maka Anda mungkin dapat menavigasi halaman-halaman yang dikandungnya, serta halaman-halaman dalam sub-folder apa saja, untuk menemukan konten tersembunyi.

URL:https://komputer.whycomputer.com/Internet/101312760.html