» مرکز آموزش هاست و دامین » بهینه سازی وبسایت » آموزش مسدود سازی مرورگرهای آفلاین و Bad Bots
مرورگرهای آفلاین که با نامهای Offline Browser، Offline Reader و یا Offline Navigator نیز شناخته میشوند، نرمافزارهای کامپیوتری هستند که با دنبال کردن لینکهای درون یک وبسایت، تمامی محتوای درون آن مانند E-mail ها، خبرنامهها، صفحات وب و تصاویر را Download میکنند. هدف اصلی انجام این کار آن است که بازدید کنندهی وبسایتتان بتواند پس از قطع اتصال از شبکهی اینترنت خود نیز به اطلاعاتی که مرورگر آفلاین Download کرده است دستیابی داشته و اقدام به ادامهی بازدید خود بدون نیاز به اینترنت نماید. انجام این عمل که اغلب بدون سوء قصد قبلی صورت میپذیرد، موجب میگردد تا ترافیک وبسایت مورد نظر تا حد بسیار زیادی مصرف گردد و ممکن است مدیر وبسایت هزینههای گزافی را بابت ترافیک مصرفی متقبل شود.
رباتهای بد یا Bad Bots نیز همانطور که از اسمشان پیداست به بد افزارهایی گفته میشوند که با مراجعه به یک وبسایت، با هدف مصرف ترافیک، پایین آوردن سرعت سرور, دزدیدن مطالب و محتوا، یافتن حفرههای امنیتی و همچنین جستوجوی آدرس ایمیلها از آن بازدید میکنند؛ لذا یکی از دلایل عمده که آدرس ایمیلها در فهرست Spam Databases قرار میگیرد به کارگیری این رباتها توسط آنها میباشد.
این رباتها اغلب قوانین تعریف شده و کدهای موجود در فایل ‘robot.txt’ را نادیده میگیرند.
در ادامه راه حلی جهت مسدود کردن مرورگرهای آفلاین و رباتهای بد معروف و رایج ارائه شده است.
جهت انجام اینکار کافی است چنانچه فایل htaccess. در فضای سرویس میزبانی شما وجود ندارد ابتدا اقدام به ایجاد آن نمایید. سپس کد زیر را درون آن قرار دهید:
ErrorDocument 403 /403.html
RewriteEngine On
RewriteBase /
# IF THE UA STARTS WITH THESE
RewriteCond %{HTTP_USER_AGENT} ^(aesop_com_spiderman|alexibot|backweb|bandit|batchftp|bigfoot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(black.?hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(cosmos|crescent|curl|custo|da|diibot|disco|dittospyder|dragonfly) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mata.?hari|memo|microsoft.?url|midown.?tool|miixpc|mirror|missigua) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(mister.?pix|moget|mozilla.?newt|nameprotect|navroad|backdoorbot|nearsite) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(offline.?navigator|openfind|outfoxbot|pagegrabber|papa|pavuk) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(telesoft|the.?intraformant|thenomad|tighttwatbot|titan|urldispatcher) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(turingos|turnitinbot|urly.?warning|vacuum|vci|voideye|whacker) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse) [NC,OR]
# STARTS WITH WEB
RewriteCond %{HTTP_USER_AGENT} ^web(zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|reaper|sauger|site.?quester|whack) [NC,OR]
# ANYWHERE IN UA — GREEDY REGEX
RewriteCond %{HTTP_USER_AGENT} ^.*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures).*$ [NC]
# ISSUE 403 / SERVE ERRORDOCUMENT
RewriteRule . – [F,L]
کدهای فوق موجب میگردند علاوه بر مسدود کردن و عدم امکان دسترسی مرورگرهای آفلاین و رباتهای بد، صفحهی خطای ۴۰۳ نیز به آنها نمایش داده شود. همواره میتوانید با استفاده از مقالهی ایجاد صفحه خطای دلخواه در فایل htaccess. اقدام به تغییر محتوای نمایشی این صفحه نمایید.
در صورتی که با مدیریت سرور خود با موردی رو به رو هستید، می توانید از خدمات مدیریت سرور از جمله سرور مجازی امریکا ما استفاده نمایید.
موفق باشید.