موتورهای جستجو پس از طراحی سایت و انتشار آن در اینترنت، برای قرار دادن صفحات موجود در نتایج جستجو به محتوای شما نیاز دارند و باید آن را ببینند. همچنین برای اینکه بتوانند محتوای شما را پیدا کنند، در ابتدا به لینک نیاز دارند. وجود ساختار لینک قابل خزش که به Crawler های موتورهای جستجو اجازه می دهند در مسیر سایت برای یافتن تمامی صفحات حرکت کنند، امری کاملاً ضروری است.
