استاد در مورد اون کروالر (Crawler) فرموده بودید جلو ایندکس شدن صفحات رو میگیره؟

به نظر شما در beginrequest ازش استفاده کنم یا اینکه نه؟ آخه باید صفحات در گوگل ایندکس بشن.