چطور می تونم اسم و تعداد فایلهای خارجی یه وب سایت رو بدست بیارم؟

[idocsidocs]

چطور می تونم اسم و تعداد فایلهای خارجی یه وب سایت رو بدست بیارم؟

------------------------------------

می خوام یه سایت که کارش تعیین نمره سئو هست بسازم.

همونطور که می دونید توی سئو باید تعداد درخواستها از سرور کم باشه.

حالا من می خوام توی نتایج، تعداد فایلهای خارجی (سی اس اس، جاوا اسکریپت و ...) هر صفحه رو بدست بیارم و نمایش بدم.

البته کارهای دیگه مثل تعیین استفاده از فشرده سازی، حجم فایلها و حجم کل صفحه و ... هم هست.

--------------------------------
سایتهای مشابه توی نت هست، اگر کسی از دوستان متوجه منظورم نشد، می تونم لینک این سایتها رو به دوستان بدم تا بررسی کنن.

[narsic]

متوجه منظورتون نشدم واضح تر توضیح بدید

[idocsidocs]

متوجه منظورتون نشدم واضح تر توضیح بدید

می خوام یه سایت که کارش تعیین نمره سئو هست بسازم.

همونطور که می دونید توی سئو باید تعداد درخواستها از سرور کم باشه.

حالا من می خوام توی نتایج، تعداد فایلهای خارجی (سی اس اس، جاوا اسکریپت و ...) هر صفحه رو بدست بیارم و نمایش بدم.

البته کارهای دیگه مثل تعیین استفاده از فشرده سازی، حجم فایلها و حجم کل صفحه و ... هم هست.

[narsic]

اگه سایت ماله خودتونه که به پایگاه داده دسترسی دارید میتونید اطلاعات رو با Query از بانک بیرون بکشید در غیر اینصورت باید روبات بنویسید تا روبات صفحه به صفحه همه چیز رو تست کنه
موفق باشید

[idocsidocs]

اگه سایت ماله خودتونه که به پایگاه داده دسترسی دارید میتونید اطلاعات رو با Query از بانک بیرون بکشید در غیر اینصورت باید روبات بنویسید تا روبات صفحه به صفحه همه چیز رو تست کنه
چطور باید تعداد فایلهای خارجی سایر صفحات رو بدست بیارم؟

[narsic]

اگه از بانک استفاده کنید که میتونید همزمان همه ی اطلاعات رو بیرون بکشید
اما اگه از روبات استفاده کنید باید صفحه به صفحه بگردید مشابه روبات هایی که ایمیل رو از وب سایت ها بیرون میکشن فقط شما لینک رو بیرون بکشید
موفق باشید

[idocsidocs]

سایر دوستان در این مورد نظری ندارن؟

[AMIBCT]

لازمه که بتونید html رو parse کنید و فهرست فایل‌های موجود رو در بیارید

چندین کتابخانه برای کار با php وجود داره که این کار رو انجام می‌ده
ولی لازم می‌شه که خودتون هم کدنویسی زیادی داشته باشید

هدف شما از این کار رو نمی‌دونم
ولی اگر هدف شما همین ساختن سایت بررسی SEO هست
این کار منطقی به نظر نمی‌رسد
چون از طرفی کار سخت و از طرفی دارای نمونه‌های قدرتمند مشابه است

[idocsidocs]

لازمه که بتونید html رو parse کنید و فهرست فایل‌های موجود رو در بیارید
یعنی هیچ راهی نیست که بشه با توابع هدر یا curl این کار رو کرد؟


چون از طرفی کار سخت و از طرفی دارای نمونه‌های قدرتمند مشابه است منم شانسم رو امتحان می کنم

[AMIBCT]

دیگه خودتون می‌دونید فایل html یک فایل متنی است
اگر اجرایی بود شاید می‌شد با شبیه‌سازی درخواست‌هایی که می‌فرسته رو لیست کرد

شما خودتون باید اسم فایل‌ها رو از داخل متن صفحه بیرون بکشید

[narsic]

اگه انتخابتون برای نوشتن روبات PHP باشه میتونید از curl استفاده کنید

[idocsidocs]

اگه انتخابتون برای نوشتن روبات PHP باشه میتونید از curl استفاده کنید


curl این کار رو انجام می ده اما هدرها رو نمی شه بدست آورد. فقط اونها رو به صفحه اعمال می کنه.

سایتهای سئو چطور این کار رو انجام می دن؟

[AMIBCT]

با cURL می‌شه سرآمدهای پاسخ رو هم بررسی کرد
ولی در این کار cURL هیچ کمکی به شما نمی‌کنه

مشکل Parse کردن HTML است که خودش بحثی پیچیده است
استانداردهای متنوع و زیاد و برنامه‌نویسان مبتدی که به این استاندارها هم پایبند نیستند
برای مرورگرها هم مشکل ایجاد می‌کنند چه برسد به یک برنامه‌ی ساده‌ی SEO

[idocsidocs]

سایتهای سئو چطور این کار رو انجام می دن؟

[AMIBCT]

همین طوری که گفتم !
برای همین بود که در مطلب قبلی نوشتم این کار سخت است و رقیب‌های قدرتمندی هم دارد