سفارشی سازی Robots.txt برای CMS های معروف

۰ ۱۶ زمان تقریبی مطالعه ۲ دقیقه

این که کدام دایرکتوری و فولدرها باید از دید موتورهای جستجو خارج باشند مسئله ای ایست که بر روی SEO سایت شما بسیار تاثیر گذار است. به غیر از آن این مسئله در ایجاد امنیت بالاتر برای وب سایت شما نیز بسیار تاثیرگذار خواهد بود. ایجاد فایل robots.txt در ریشه سایت شما با موتورهای جستجو کمک شایانی خواهد کرد و وب سایتهای دراای این فایل معمولا دارای رتبه بهتری قرار خواهند گرفت. شما محدودیتها و اعمال زیادی رو از طریق ایم فایل میتوانید بر روی سایت خود ایجاد نمایید، اما امروز قصد دارم که نحوه بهینه سازی سایت شما (البته سایتهایی که از CMS هایی مثل WordPress، Joomla و ِDrupal استفاده میکنند) توسط ویرایش و یا ساخت این فایل توضیح دهم.

نکته مهم این است که فایلهای Robot.txt باید در ریشه اصلی سایت ایجاد شوند و برای مثال میتوان به این آدرس اشاره کرد :

http://www.yoursite/robots.txt

کافیست دستورات زیر را در این فایل کپی پیست کنید :

Table of Contents

WordPress

۰۱	User-agent: *

02	Disallow: /wp-admin

03	Disallow: /wp-includes

04	Disallow: /wp-content/plugins

05	Disallow: /wp-content/cache

06	Disallow: /wp-content/themes

07	Disallow: /trackback

08	Disallow: /tag

09	Disallow: /author

10	Disallow: /wget/

11	Disallow: /httpd/

12	Disallow: /cgi-bin

13	Disallow: /images/

14	Disallow: /search

15	Disallow: /feed

16	Disallow: /feed/

17	Disallow: /trackback/

18	Disallow: /rss

19	Disallow: /comments/feed

20	Disallow: /feed/$

21	Disallow: /*/feed/$

22	Disallow: /*/feed/rss/$

23	Disallow: /*/trackback/$

Joomla

01	User-agent: *

02	Disallow: /administrator/

03	Disallow: /cache/

04	Disallow: /components/

05	Disallow: /editor/

06	Disallow: /help/

07	Disallow: /includes/

08	Disallow: /language/

09	Disallow: /mambots/

10	Disallow: /media/

11	Disallow: /modules/

12	Disallow: /templates/

13	Disallow: /installation/

14	Disallow: /libraries/

15	Disallow: /tmp/

16	Disallow: /xmlrpc/

17	Disallow: /admin

18	Disallow: /administrator

19	Disallow:/admin/

20	Disallow: /admin.html

21	Disallow:/admin.php

Drupal

01	User-agent: *

02	# Directories

03	Disallow: /database/

04	Disallow: /includes/

05	Disallow: /misc/

06	Disallow: /modules/

07	Disallow: /sites/

08	Disallow: /themes/

09	Disallow: /scripts/

10	Disallow: /updates/

11	Disallow: /profiles/

12	# Paths (clean URLs)

13	Disallow: /admin/

14	Disallow: /aggregator/

15	Disallow: /comment/reply/

16	Disallow: /contact/

17	Disallow: /logout/

18	Disallow: /node/add/

19	Disallow: /search/

20	Disallow: /user/register/

21	Disallow: /contact

22	Disallow: /logout

23	Disallow: /user/register

24	Disallow: /user/password

25	Disallow: /user/login

26	Disallow: /user/password/

27	Disallow: /print/

28	Disallow: /forward/

# Files

30	Disallow: /xmlrpc.php

31	Disallow: /cron.php

32	Disallow: /update.php

33	Disallow: /install.php

34	Disallow: /INSTALL.txt

35	Disallow: /INSTALL.mysql.txt

36	Disallow: /INSTALL.pgsql.txt

37	Disallow: /CHANGELOG.txt

38	Disallow: /MAINTAINERS.txt

39	Disallow: /LICENSE.txt

40	Disallow: /UPGRADE.txt

41	# Block user tracker pages

42	Allow: /project/track

43	Disallow: /*/track$

44	Disallow: /*/track?page=

۴۶	If you are not using static urls:

۴۸	Disallow: /?q=admin/

49	Disallow: /?q=aggregator/

50	Disallow: /?q=comment/reply/

51	Disallow: /?q=contact/

52	Disallow: /?q=logout/

53	Disallow: /?q=node/add/

54	Disallow: /?q=search/

55	Disallow: /?q=user/password/

56	Disallow: /?q=user/register/

57	Disallow: /?q=user/login/

58	Disallow: /user/login/

منبع: itc.itmavara.com

ipt.webmaster 25 تیر, 1390

۰ ۱۶ زمان تقریبی مطالعه ۲ دقیقه

نمایش بیشتر

دیدگاهتان را بنویسید لغو پاسخ

افزایش سرعت سایت
سلام. کارتون درسته. تشکر از سایت خوب و حرفه ای تون درستی این...
تعمیر ماشین لباسشویی
سلام مهندس جلیل پور واقعا کارتون عالیه مجموعه سایتتون خیلی خ...
علی
برون سپاری می تونه مزایای متعددی داشته باشه در عین حال انتخا...
تور بیروت
مطلب بسیار خوبی بود... واقعا تولید محتوا در سئو سایت نقش بسز...
تور تبریز
ممنو ن از مطالب خوبی که درباره شهر من، تبریز در سایتتون قرار...