Kāpurķēdes

Vai Google rāpuļprogramma var redzēt saites slēptās navigācijas izvēlnē?
Jā, rāpuļprogrammas analizē avota kodu. Reģistrējieties Google tīmekļa pārziņa rīkos un pārliecinieties, vai jūsu vietnē nav pārmeklēšanas kļūdu. Goog...
Vai šādi roboti.txt bloķēt visas lapas
Visu tīmekļa rāpuļprogrammu bloķēšana no visa satura Izmantojot šo sintaksi robotos. txt fails visiem tīmekļa pārmeklētājiem pateiks, ka nedrīkst pārm...
Vai tīmekļa rāpuļprogrammas izmanto “pārskatīto” metatagu?
Pārmeklētājiem ir dažādi veidi, kā iegūt pēdējās modificētās tīmekļa lapas datumu un laiku. ... Tātad, ja vēlaties rāpuļprogrammas atjaunināt informāc...