PDA

View Full Version : مسدود کردن ربات ها



Elias.F
سه شنبه 03 شهریور 1394, 17:06 عصر
سلام
مدت زیادیه که یه سایت با وردپرس و php راه اندازی کردم.در هفته اخیر پهنای باند مصرفی سایت به شکل عجیبی بالا رفت. نزدیک به 20 گیگ در هفته مصرف شد!!!!
بعد از پیگیری از شرکت هاستینگ مشخص شد که بخاطر بازدید یه سری ربات ناشناس از سایت بوده و با دستکاری .htaccess جلوی این ربات ها تا حدودی گرفته شد.
البته هنوز هم میزان مصرف پهنای باند رو نتونستم به میزان سابق برگردونم.
سوالی که از دوستان دارم اینه که چجوری به صورت کامل جلوی این ربات ها رو بگیرم و مصرف پهنای باند سایت رو بیارم پایین ؟
اگه این ربات ها مسدود بشن، در زمینه سئو و موتورهای جستجو برای سایت مشکلی پیش نمیاد؟چون به هر حال این موتورها هم از ربات ها استفاده میکنند.
یکی از دوستان میگفت از طریق تابع header نوع مرورگر رو تشخیص بده و اگه بازدید کننده مرورگرش مشخص نبود، جلوی بازدیدشو بگیر... این کار میشه؟؟

اینم کدی که تو .htaccess گذاشتم و جلوی ربات ها تا حد زیادی گرفته شد:



# BEGIN block access for empty user agents - 403 error
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^(.*)$ - [F,L]
# END block access for empty user agents


اگه لازمه تا راجع به موضوع خاصی هم بگردم تا راه حل پیدا کنم، ممنون میشم بیان کنید. متشکرم.