Semalt, botlardan, o'rgimchaklardan va o'rgimchaklardan qanday qutulish kerakligi haqida maslahatlar beradi

Qidiruv tizimiga qulay URL manzillarini yaratishdan tashqari, .htaccess fayli veb-ustalarga o'z veb-saytlariga kirishni taqiqlab qo'yadi. Ushbu robotlarni blokirovka qilishning bir usuli bu robots.txt fayli orqali. Biroq, Semalt mijozlar muvaffaqiyati menejeri Ross Barber ba'zi so'rovchilar bu talabni e'tiborsiz qoldirganini ko'rganligini aytdi. Eng yaxshi usullardan biri bu .htaccess faylidan tarkibingizni indekslashni to'xtatish uchun foydalanishdir.

Bu botlar nima?

Ular indekslash maqsadida Internetdan yangi tarkibni yo'q qilish uchun qidiruv tizimlari tomonidan ishlatiladigan dasturlarning bir turi.

Ular quyidagi vazifalarni bajaradilar:

  • Siz bog'lagan veb-sahifalarga tashrif buyuring
  • HTML kodingizni xatolar uchun tekshiring
  • Ular qaysi veb-sahifalarga bog'langaningizni saqlaydi va tarkibingizga qanday veb-sahifalar bog'langanligini ko'radi
  • Ular tarkibingizni indekslashadi

Biroq, ba'zi bir botlar zararli bo'lib, saytingizni elektron pochta manzillari va shakllarini qidirish, odatda sizga keraksiz xabarlar yoki spamlarni yuborish uchun ishlatiladi. Boshqalar hatto sizning kodingizda xavfsizlik bo'shliqlarini qidirishadi.

Veb-qidiruv vositalarini blokirovka qilish uchun nima kerak?

.Htaccess faylini ishlatishdan oldin siz quyidagilarni tekshirishingiz kerak:

1. Sizning saytingiz Apache serverida ishlamoqda. Bugungi kunda, hatto ushbu veb-xosting kompaniyalari o'zlarining ishlariga yaroqsiz bo'lgan taqdirda ham sizga kerakli faylga kirish huquqini beradi.

2. Siz o'zingizning veb-sahifangizga tashrif buyurgan botlarni aniqlay olishingiz uchun o'zingizning veb-saytingizning dastlabki server jurnallariga kirish huquqiga ega bo'lishingiz kerak.

E'tibor bering, siz zararli botlarni, hatto siz foydali deb hisoblaganlarni bloklamasangiz, to'sib qo'yishingizning imkoni yo'q. Har kuni yangi botlar paydo bo'ladi va eskilariga o'zgartirish kiritiladi. Eng samarali usul bu sizning kodingizni himoya qilish va botlardan sizni spam qilishini qiyinlashtirish.

Botlarni aniqlash

Botlarni IP-manzili yoki HTTP sarlavhalarida yuboradigan "User Agent String" orqali aniqlash mumkin. Masalan, Google "Googlebot" dan foydalanadi.

Agar sizda .htaccess-dan foydalanishni xohlamagan botning nomi bo'lsa, sizga 302 bot kerak bo'ladi.

Boshqa usul - serverdan barcha jurnal fayllarini yuklab olish va ularni matn muharriri yordamida ochish. Ularning serverdagi joylashuvi sizning serveringiz konfiguratsiyasiga qarab o'zgarishi mumkin. Agar ularni topa olmasangiz, veb-xostingizdan yordam so'rang.

Agar siz qaysi sahifaga tashrif buyurganingizni yoki tashrif buyurish vaqtini bilsangiz, kiruvchi bot bilan kelish osonroq bo'ladi. Ushbu parametrlar bilan jurnal faylini qidirishingiz mumkin.

Bir marta, siz qanday bloklarni blokirovka qilish kerakligini aniqladingiz; keyin ularni .htaccess fayliga qo'shishingiz mumkin. Shuni esda tutingki, botni blokirovka qilish uni to'xtatish uchun etarli emas. U yangi IP yoki nom bilan qaytib kelishi mumkin.

Qanday qilib ularni blokirovka qilish kerak

.Htaccess faylining nusxasini yuklab oling. Agar kerak bo'lsa, zaxira nusxasini yarating.

1-usul: IP orqali blokirovka qilish

Ushbu kod parchasi 197.0.0.1 IP-manzilidan foydalanib, botni bloklaydi

Buyurtmani rad qilish, ruxsat berish

197.0.0.1 dan rad

Birinchi qator, server siz ko'rsatgan naqshga mos keladigan barcha so'rovlarni blokirovka qilishini va qolganlariga ruxsat berishini anglatadi.

Ikkinchi qator serverga 403: taqiqlangan sahifani chiqarishni aytadi

2-usul: Foydalanuvchi agentlari tomonidan blokirovka qilish

Eng oson yo'li - Apache-ning qayta yozish dvigatelidan foydalanish

RewriteEngine yoqilgan

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Birinchi qator qayta yozish moduli yoqilganligini ta'minlaydi. Ikkinchi qator - qoida qo'llaniladigan shart. 4-qatorda "F" serverga 403 raqamini qaytarishni aytadi: "L" harfi bu oxirgi qoida degan ma'noni anglatadi.

Keyin .htaccess faylini serveringizga yuklab, mavjudini ustidan yozasiz. Vaqt o'tishi bilan siz botning IP-ni yangilashingiz kerak bo'ladi. Agar xato qilsangiz, zaxira nusxasini yuklang.

mass gmail