PDA

View Full Version : پروژه ی جستجوگر با php !



saeidkhphp
جمعه 08 اسفند 1393, 00:05 صبح
سلام دوستان ، من بعد مدتها تلاش تونستم خزنده ی موتور جستجوگرمو (!) تکمیل کنم و عجیب تر از این که کار هم میکنه البته واقعا خیلی وقتمو گرفته! ولی الان پشیمونم چرا وقتمو روی این پروژه صرف کردم چون حتا اگه عملی هم بشه و بتونم انقد پول برا سرور با کیفیت و اون حجم از ترافیک بدم باز هیچ وقت حتا خودمم برا جستجو به چیزی جز گوگل فکر نمیکنم !! چه برسه به بقیه !! این که گفتم این خزنده ی عزیز ترافیک زیادی میبره چون در طول چند دقیقه فقط 10 مگ از صفحات رو ایندکس کرد :) فقط تو کار متنیم فعلن! حالا نظرتون چیه ؟ بندازم دور و برم دنبال کار و زندگیم؟ آخه رشتم هم یه جیز دیگس :) ولی کلن از ابتدا تو برنامه نویسی بودم و چند ماهی هم php ، لطفا بگید راهی هست بجز کار کردن به صورت تمام وقت در یک شرکت برای پول درآوردن؟ چون من مدرک کامپیوتر ندارم چه برسه به بقیه فاکتورا مثه سابقه کار :))))) مثلا ساختن یه سایت آپلوذ هم میشه و شبیه اینا ! به نظرتون تو کدوم مورد با کمترین هزینه ی اولیه درآمد حداقلی هست ؟ نه که میلیونی باشه !

n0o0b_sina
جمعه 08 اسفند 1393, 00:24 صبح
سلام دوستان ، من بعد مدتها تلاش تونستم خزنده ی موتور جستجوگرمو (!) تکمیل کنم و عجیب تر از این که کار هم میکنه البته واقعا خیلی وقتمو گرفته! ولی الان پشیمونم چرا وقتمو روی این پروژه صرف کردم چون حتا اگه عملی هم بشه و بتونم انقد پول برا سرور با کیفیت و اون حجم از ترافیک بدم باز هیچ وقت حتا خودمم برا جستجو به چیزی جز گوگل فکر نمیکنم !! چه برسه به بقیه !! این که گفتم این خزنده ی عزیز ترافیک زیادی میبره چون در طول چند دقیقه فقط 10 مگ از صفحات رو ایندکس کرد :) فقط تو کار متنیم فعلن! حالا نظرتون چیه ؟ بندازم دور و برم دنبال کار و زندگیم؟ آخه رشتم هم یه جیز دیگس :) ولی کلن از ابتدا تو برنامه نویسی بودم و چند ماهی هم php ، لطفا بگید راهی هست بجز کار کردن به صورت تمام وقت در یک شرکت برای پول درآوردن؟ چون من مدرک کامپیوتر ندارم چه برسه به بقیه فاکتورا مثه سابقه کار :))))) مثلا ساختن یه سایت آپلوذ هم میشه و شبیه اینا ! به نظرتون تو کدوم مورد با کمترین هزینه ی اولیه درآمد حداقلی هست ؟ نه که میلیونی باشه !
سلام
اگه نمیخوای استفاده تجاری ازش بکنی بزار بقیه دوستان هم ازش استفاده کنن و شاید تونستن بهینه ترش کنن، حالا نمیدونم چطوری کار میکنه، یا اصلا کار میکنه یا نه؛ این جماعت (دولت) واسه نوشتن یه جستجو گره ملی خدا تمن پول خرج کردن و به اصطلاع نخبه هارو جمع کردن برای نوشتنش حالا اگه تو تنهایی تونستی رباتشو بنویسی این پروژتو به اونا بسند شاید توام شدی نخبه ملی و همونجا مشغولت کردن (به امتحان کردنش میارزه)!!! :| در کل اگه استفاده تجاری نمیخوای بکنی سورسشو بزار تا دوستان استفاده کنن!
درباره رشته و کار و اینا قبل از پول به علاقت فکر کن تا بیخش بری پول خودش میاد :)

freeman99
شنبه 09 اسفند 1393, 09:15 صبح
این جماعت (دولت) واسه نوشتن یه جستجو گره ملی خدا تمن پول خرج کردن و به اصطلاع نخبه هارو جمع کردن برای نوشتنش
آهان پس شما حسودیت بابت اون پوله و نخبه خطاب کردن اونا گل کرده :لبخند:

من دو ساعت برات توضیح دادم روضه خوندم که بابا بحث نوشتن یه برنامه ساده و کوچک نیست و کلی ابعاد دیگه داره، ولی انگار که نه انگار باز میای حرف خودت رو میزنی!

اولا که جستجو و امتیاز بندی نتایج جستجو خودش کلی جزییات داره. کلی تحلیل و الگوریتم میخواد. وگرنه اینکه یه روبات بنویسی همینطوری بره fetch کنه و ذخیره کنه که نشد موتور جستجو و کار چندان سختی هم نیست. در سطح کوچک و آزمایشی میشه ساخت. مهم اون مقیاس بزرگ و کامل و دقیق بودن و عملیاتی واقعی بودنه که اونوقت برنامش واقعا پیچیده و بزرگ میشه.
البته تاجاییکه میدونم موتورهای جستجوی آماده و بازمتن هم در دسترس هست!

دوما شما که میگی سادس اصلا میدونی بحث برنامه نویسی توزیع شده چیه و چقدر ابعاد و گستردگی و پیچیدگی داره؟ تاحالا کوچکترین چیزی به این شکل نوشتی؟ کلاستر کردن رو بلدی؟ نه اصلا بلدی همون MySQL رو چطور کلاستر کانفیگ کنی؟ من منوالش رو چند سال پیش خوندم فقط چند هفته سر همین مبحث بودم! شما که 100% یک صفحه هم از اینطور منابع رو نخوندی! Load balance میدونی چیه؟

بعدم درمورد موتور جستجوی یوز و موز و این حرفا من کاری ندارم. احتمالا کپی برداری و بخور بخور و گنده سازی و تبلیغات زیادی هم توش باشه. من بطور کلی دارم میگم که قضیه اینه، اصلا به اون سادگی که شما میگی نیست که هرکس بیاد یه چیزی حتی نزدیک به موتورهای جستجوی حرفه ای درست کنه که قابل استفاده باشه. پول و منابع انسانی هم میخواد.

freeman99
شنبه 09 اسفند 1393, 09:21 صبح
ولی الان پشیمونم چرا وقتمو روی این پروژه صرف کردم چون حتا اگه عملی هم بشه و بتونم انقد پول برا سرور با کیفیت و اون حجم از ترافیک بدم باز هیچ وقت حتا خودمم برا جستجو به چیزی جز گوگل فکر نمیکنم !! چه برسه به بقیه !!
خوبه یه نفر دیگه خودش رفته تجربه کرده و به این نتیجه رسیده!
حالا ما اومده بودیم قبلش بهت گفته بودیم نکن این کار رو فایده نداره، مهندس شهرکی میامد میگفت این اشپیلن کارش فقط نمیتونید و نکنید گفتنه و آف تاپیک و این حرفا و زده بود پستام رو هم کلهم پاک کرده بود :متعجب:

البته در سطح محدود و آزمایشی و تمرینی من هیچوقت اینطور کارها رو نهی نمیکنم. شما هم اگر اصولی کار کرده باشی شاید اون دانش و مهارتی که بدست آوردی و همچنین کدهایی که در این زمینه داری بعدا واقعا به دردت بخوره.

MMSHFE
شنبه 09 اسفند 1393, 13:54 عصر
حالا ما اومده بودیم قبلش بهت گفته بودیم نکن این کار رو فایده نداره، مهندس شهرکی میامد میگفت این اشپیلن کارش فقط نمیتونید و نکنید گفتنه و آف تاپیک و این حرفا و زده بود پستام رو هم کلهم پاک کرده بود :متعجب:

من فقط جاهایی که شروع میکنی از خودت تعریف کردن و بقیه رو تحقیر کردن رو حذف میکنم.

saeidkhphp
شنبه 09 اسفند 1393, 22:00 عصر
دوما شما که میگی سادس اصلا میدونی بحث برنامه نویسی توزیع شده چیه و چقدر ابعاد و گستردگی و پیچیدگی داره؟ تاحالا کوچکترین چیزی به این شکل نوشتی؟ کلاستر کردن رو بلدی؟ نه اصلا بلدی همون MySQL رو چطور کلاستر کانفیگ کنی؟ من منوالش رو چند سال پیش خوندم فقط چند هفته سر همین مبحث بودم! شما که 100% یک صفحه هم از اینطور منابع رو نخوندی! Load balance میدونی چیه؟
خوبه یه نفر دیگه خودش رفته تجربه کرده و به این نتیجه رسیده!
حالا ما اومده بودیم قبلش بهت گفته بودیم نکن این کار رو فایده نداره، مهندس شهرکی میامد میگفت این اشپیلن کارش فقط نمیتونید و نکنید گفتنه و آف تاپیک و این حرفا و زده بود پستام رو هم کلهم پاک کرده بود :متعجب:
.


ببخشید من قصد ندارم فضا رو متشنج کنم و همونطور که تو حرفام بود اصلا هم ادعایی ندارم و خوبه که گفتم خودم هم انتظار نداشتم کار کنه و روزهای زیادی تو همین فروم از بچه هاش برای تک تک کداش سوال کردم نمونش هم همین مدیر محترم که آقای MMHSFE که خودشون بارها زحمت جواب دادن منو کشیدن ، نمیدونم شما با به رخ کشیدن این اصطلاحاتت به شدت علمیتون قصد اثبات چی رو داشتید ! ولی من و هر کی هم تو هر زمینه ای یه سری درسا رو پاس کرده و کلی از این کلمات رو میتونم از رشتم و از درسایی مثه ترمودینامیک و مکانیک سیالات و دینامیک و دینامیک سیالات محاسباتی و انتقال حرارت و ...... رو براتون قطار کنم که مطعننم تو عمرتون به گوشتون هم نخواهد خورد ولی هیچ ارزشی تو این کار نمیبینم بر خلاف شما و برای بچه های هر رشته ای هم ارزش قائلم .

امیدوارم هر کی تو هر رشته ای هست موفق باشه و بعضی حرفا باعث دلسردیش نشه

n0o0b_sina
شنبه 09 اسفند 1393, 22:18 عصر
ببخشید من قصد ندارم فضا رو متشنج کنم و همونطور که تو حرفام بود اصلا هم ادعایی ندارم و خوبه که گفتم خودم هم انتظار نداشتم کار کنه و روزهای زیادی تو همین فروم از بچه هاش برای تک تک کداش سوال کردم نمونش هم همین مدیر محترم که آقای MMHSFE که خودشون بارها زحمت جواب دادن منو کشیدن ، نمیدونم شما با به رخ کشیدن این اصطلاحاتت به شدت علمیتون قصد اثبات چی رو داشتید ! ولی من و هر کی هم تو هر زمینه ای یه سری درسا رو پاس کرده و کلی از این کلمات رو میتونم از رشتم و از درسایی مثه ترمودینامیک و مکانیک سیالات و دینامیک و دینامیک سیالات محاسباتی و انتقال حرارت و ...... رو براتون قطار کنم که مطعننم تو عمرتون به گوشتون هم نخواهد خورد ولی هیچ ارزشی تو این کار نمیبینم بر خلاف شما و برای بچه های هر رشته ای هم ارزش قائلم .

امیدوارم هر کی تو هر رشته ای هست موفق باشه و بعضی حرفا باعث دلسردیش نشه
دکمه تشکر کافی نبود پست زدم، خوب گفتی برادر خوشمان آمد :)
این آقای
freeman99 (http://barnamenevis.org/member.php?229578-freeman99) کلا کارش تخریبه مردمه :دی

H:Shojaei
یک شنبه 10 اسفند 1393, 00:02 صبح
عاقلانه و منطقی فکر کنیم...
به نظر شما این اصطلاحاتی که freeman99 گفت چیه؟ یه سری اصطلاح که هیچ کاربردی نداره و یه نفر باید بلد باشه و باهاشون دیگران رو تخریب کنه؟ اگه از این دید نگاه کنیم بله freeman99 فقط قصد تخریب دیگران با یه سری اصطلاحات و بالا بردن خودش داره!
ولی اگر از این دید که اینایی که گفتن همش واسه دیتابیسی که شما قراره داشته باشید در آینده لازمه خیر هیچ تخریبی پشتش نبود تازه همش هم مفید و کاربردی بود و باید یک نفر میگفت به شما که یه همچین پروژه ای رو شروع کردید باید و باید اینا رو هم بدونید (مثلا من خودم هیچکدوم رو شاید نشنیده باشم که الآن شنیدم)...
یکی از دوستان هست یه سایتی داره یعنی چنیدن نفرن بعد دیتابیس بزرگ شده (حالا این بزرگی چقدره 1-2 میلیون رکورد به این میگن بزرگ!!) الآن به دلیل ساختار نامناست دیتابیس و همین که هیچی از این اصطلاحات بلد نیستن زیر پروژه موندن چون ساختار جواب نمیده سایت کم میاره حالا وقت یاد گرفتن و به کار بردن این اصطلاحات رو ندارن و عجله هم دارن! اگه یه نفر همون اوایل یه راهنمایی میکرد که بله یه همچین چیزایی هم هست هیچوقت الآن نمیموندن...
...اینجا مباحث علمی گفته میشه پس برداشت ها هم باید علمی باشه...
من قصد جبهه گیری ندارم اتفاقا اولین یا 2-3 ومین پستی هم که اینجا 3 سال پیش زدم مورد ارادت دوستمون freeman99 قرار گرفتم ولی اصلا ناراحت نشدم منطقی نگاه کردم به قضیه.

MMSHFE
یک شنبه 10 اسفند 1393, 08:16 صبح
درمورد علمی بودن صحبتهای ایشون هیچ حرفی نیست. مسئله اینه که بدون تخریب کردن بقیه هم میشه مطالب رو یاد بدیم. معمولاً کسی که خودش زیاد بزرگ نیست، برای به چشم اومدن سعی میکنه بقیه رو کوچک نشون بده.

افتادگی آموز اگر طالب فیضی / هرگز نخورد آب زمینی که بلند است

freeman99
یک شنبه 10 اسفند 1393, 08:54 صبح
بعضیا با این حرفایی که زدن معلوم میشه از اون چیزی هم که من فکر میکردم پرت تر هستن!
مشکل اینه که امثال ما یه بینش و اطلاعاتی دارن که این افراد ندارن و اینقدر از موضوع پرت هستن که منظورمون رو متوجه نمیشن.
حالا مهندس شهرکی میگه «من فقط جاهایی که شروع میکنی از خودت تعریف کردن و بقیه رو تحقیر کردن رو حذف میکنم».
شما اسم اینو میذاری از خود تعریف کردن و بقیه رو تحقیر کردن، ولی من اون رو واقع گرایی و صراحت و لازم میدونم! مگه اینجا خونه خالس و جای تعارف و اومدیم مهمونی؟ اول باید جای منطق و بحث مستدل و مستند و علمی و تخصصی و فنی باشه.
خودتون قضاوت کنید افرادی که حتی نمیتونن دو صفحه منبع انگلیسی رو بخونن، دوتا رگولار اکسپرشن بگی واسه همین موتور جستجو بنویس که مثلا از توی صفحه تگ فلان فلان بخش و اطلاعات رو بکشه بیرون کلی توش گیر میکنن و میان توی این فروم کمک میگیرن، از پروتکل HTTP چیز زیادی نمیدونن بگی یه تحقیق و مقاله درمورد معنای هدرهای کش HTTP انجام بده نمیتونن، نمیدونن کلاستر چیه، Load balance چیه، برنامه نویسی توزیع شده چیه، چرا کجا چطوری نیازه، چه نکات و چالش های غیرعادی درش مطرحه که با برنامه نویسی معمولی متفاوته، ... آقا خب یکی مثل من که اینا رو میدونه حق نداره بیاد ملت رو روشن کنه؟ همهء اینا در یک موتور جستجوی حرفه ای مورد نیازه و اصولا هم حتی خیلی بیش از این و جزییات سرسام آوری داره. من نکرده میدونم، چون از لحاظ مطالعه و تحقیق و اطلاعات قبلی و تئوری قوی هستم و بینش کلی خوبی دارم؛ تصویر کلی رو با تمام یا بیشتر یا حداقل جزییاتی خیلی بیشتر از اونچه که اکثریت دیگران میدونن میبینم.
طرف اینقدر بی اطلاعه و خوش خیال که فکر میکنه دوتا لینک رو از صفحه بیرون کشید و محتوای اونا رو fetch کرد و ذخیره کرد میشه موتور جستجو! یاد اون طرفی میفتم که boot loader نوشته بود اومده بود میگفت کرنل سیستم عامل نوشتم!! اینها فقط شباهت ظاهریه و قدم اول مشترک هست.

خدا شاهده خیلی از مباحثی که من در طی این چند سال در بین هموطنان مطرح و معرفی کردم قبلا اصلا راجع بهش هیچ منبع و اشاره ای در منابع فارسی زبان نبود و میشه گفت اکثریت مطلق از وجود یا اصول واقعی این موارد هم بی اطلاع بودن. یه مواردی که از اون چیزایی که نام بردم ساده تر یا پایه ای تر هم هستن. مثلا کجا مباحث همزمانی و تداخل و قفل در برنامه نویسی وب رو قبل از اینکه بنده مطرح کنم دیده بودید، شنیده بودید؟ من این مسائل رو بصورت صریح و گسترده و دقیق چند سال قبل مطرح کردم که بعد از اون این بحثها به مرور شناخته شد و دیگرانی هم بهش پرداختن. قبلش من در همین فروم برنامه نویس حتی یک مورد تاپیک و بحث و حتی اشاره ای در این موارد ندیده بودم. اگر بوده خیلی کم و سطحی و ناقص و مختصر و به ندرت بوده که من یادم نیست. درحالیکه در برنامه های وب حرفه ای این مسئله همواره مطرح و مهم و مورد نیازه. پس برنامه هایی که ملت میساختن همش غیراصولی بوده! نمیشه از این افراد سطحی انتظار داشت که همینطوری متوجه این مسائل و نقص برنامه هاشون باشن. شاید بعضی افراد خیلی خبره و کمیاب فقط آشنایی با این مباحث داشتن. تازه همونا هم بارها بهم ثابت شد که اطلاعاتشون در این زمینه کاملا ناقص و نادقیق و ناکاراست. مثلا بارها طرفهایی بودن که میگفتن با ترنزکشن تمام این مشکلات براحتی یا بصورت خودکار حل میشه، ولی من از اول شک داشتم، بنابراین نهایتا که وقت کردم و اولویتش رو پیدا کردم رفتم تحقیق کردم تست کردم دیدم بله قضیه پیچیده تر از این حرفاس و همینطوری نیست که تا ترنزکشن استفاده کردی این موارد بطور خودکار حل بشن. بحثش در همین فروم موجوده و در وبلاگم هم در این مورد مقاله گذاشتم. قبل از این، کدوم منبع کدوم شخص بود که روی این موارد تحقیق درست و حسابی کرده باشه و مطلب روشنگری داده باشه؟
یا همینطور در مباحث امنیت و رمزنگاری علمی و مدرن، شاید اغراق نباشه بگم بنده پدر علم امنیت در ایران هستم :لبخند:
الان باز مهندس شهرکی میاد میگه از خودت تعریف کردی! آقا من نگم کی میگه، کی میفهمه؟ تازه منم بخاطر تعریف از خودم نمیگم به خدا و برام مهم نیست اسم کی پای این مباحث بخوره، ولی میخوام مردم واقعیات رو بفهمن و فردا به همین راحتی یه عده افرادی که صلاحیت ندارن در جایگاه نظردهی و تصمیم گیری قرار نگیرن، چون این به ضرر همه تموم میشه! وقتی ما ندونیم سواد چیه، توانایی چیه، علم و اصول چیه، چی وجود داره در این زمینه ها، در نتیجه اوضاع هردمبیل میشه!
تا قبل از اینکه بنده مباحث امنیت و رمزنگاری رو بصورت اصولی و علمی و چیزی که دانش مدرن فعلی در دنیاست مطرح کنم، کدوم بحث و مقاله و برنامه حرفه ای در ایران در این زمینه وجود داشت؟ مقاله و بحث و منبع که من شخصا در طول سالها حتی یک مورد هم ندیدم. ملت فکر میکردن، و هنوزم خیلی ها اینطور فکر میکنن، که مثلا امنیت از طریق تیرگی یعنی همون امنیت و رمزنگاری که مورد نیازه. اکثریت برنامه ها هم برای امنیت خودشون به اینطور روشهای غیراصولی متکی بودن. هر روز هرکس واسه خودش الگوریتم هش و رمزگذاری اختراع میکرد و یک عده دیگه مثل خودشون هم تایید و تمجید میکردن. سورس برنامه رو پنهان میکردن، الگوریتمش رو مخفی و غیرقابل دستیابی توسط دیگران فرض میکردن و این میشد امنیت! هکرها و روشها و منابع اونا منبع اصلی علم امنیت و حفاظت بحساب میامدن.
خلاصه وضع نابسامانی بود.
من نمیخوام از خودم تعریف کنم، اما کارهایی که کردم خودش نشان از سواد و تفاوت بنده داشتن. همونطور که از مقالاتی که در وبلاگم هست هم مشخصه. کسی که رفته RFC خونده و یک پروتکل رو که نمونه کد و برنامش موجود نبوده پیاده سازی نکرده، کاربر محترم که منو زیر سوال میبری، مسلم بدون که سالها باید بدوی و زحمت بکشی تا بتونی در ردیف چنین شخصی قرار بگیری. شما نمیتونی حتی یک صفحه از اون منابع و هزاران صفحه ای رو که من در طول سالها خوندم بخونی و بفهمی، بعد میای درمورد سواد من اظهار نظر میکنی! اگر نصایح امثال منو گوش کردی میتونی این مسیر رو کمی راحتتر و سریعتر طی کنی، چون از بینش و تجربهء آدمهای با اطلاع استفاده میکنی. هرچند بیشتر افراد اصولا مشکلشون اینه که تنبل هستن و نمیخوان به خودشون زحمت بدن و از اونور میخوان اصولا وجود این مسائل و افراد رو نبینن و انکار کنن. اما واقعیت اینه که امثال ما دانشمند هستیم و این مثل روز روشنه!
شما ملتی هستی که به دانشمندان و بنیانگذاران خودتون هم احترام نمیذارید.
البته بله اگر مثلا یکی مثل دکتر حسابی باشه که فروتنی مورد نظر شما رو داشته باشه و با غرور شما بازی نکنه، اون میتونه از طرف شما بعنوان دانشمند شناخته بشه! ولی کسی که شما رو زیر سوال ببره و تحقیر کنه، نمیتونه دانشمند باشه و نمیتونه سوادش از شما خیلی بیشتر باشه!! عجب منطقی! بارها این منطق رو دیدم.

حالا من باید این حرفا رو میزدم. گرچه شاید مدیریت به زودی تحت عنوان خودستایی و تحقیر و توهین به دیگران حذفشون کنه. بهرحال من ناگفته ها رو هرجا که بتونم میگم. بقیهء چیزا از نظر من چندان مهم و ارزشمند نیست. مثلا فروتنی، احترام، تعارف، آرامش؛ البته به اون معنای و تفسیری که مورد نظر مخالفان بنده هست! از نظر من روشن شدن واقعیت کاربردی ترین و مهمترین چیه.

prans.info
یک شنبه 10 اسفند 1393, 15:09 عصر
بعضیا با این حرفایی که زدن معلوم میشه از اون چیزی هم که من فکر میکردم پرت تر هستن!
مشکل اینه که امثال ما یه بینش و اطلاعاتی دارن که این افراد ندارن و اینقدر از موضوع پرت هستن که منظورمون رو متوجه نمیشن.
حالا مهندس شهرکی میگه «من فقط جاهایی که شروع میکنی از خودت تعریف کردن و بقیه رو تحقیر کردن رو حذف میکنم».
شما اسم اینو میذاری از خود تعریف کردن و بقیه رو تحقیر کردن، ولی من اون رو واقع گرایی و صراحت و لازم میدونم! مگه اینجا خونه خالس و جای تعارف و اومدیم مهمونی؟ اول باید جای منطق و بحث مستدل و مستند و علمی و تخصصی و فنی باشه.
خودتون قضاوت کنید افرادی که حتی نمیتونن دو صفحه منبع انگلیسی رو بخونن، دوتا رگولار اکسپرشن بگی واسه همین موتور جستجو بنویس که مثلا از توی صفحه تگ فلان فلان بخش و اطلاعات رو بکشه بیرون کلی توش گیر میکنن و میان توی این فروم کمک میگیرن، از پروتکل HTTP چیز زیادی نمیدونن بگی یه تحقیق و مقاله درمورد معنای هدرهای کش HTTP انجام بده نمیتونن، نمیدونن کلاستر چیه، Load balance چیه، برنامه نویسی توزیع شده چیه، چرا کجا چطوری نیازه، چه نکات و چالش های غیرعادی درش مطرحه که با برنامه نویسی معمولی متفاوته، ... آقا خب یکی مثل من که اینا رو میدونه حق نداره بیاد ملت رو روشن کنه؟ همهء اینا در یک موتور جستجوی حرفه ای مورد نیازه و اصولا هم حتی خیلی بیش از این و جزییات سرسام آوری داره. من نکرده میدونم، چون از لحاظ مطالعه و تحقیق و اطلاعات قبلی و تئوری قوی هستم و بینش کلی خوبی دارم؛ تصویر کلی رو با تمام یا بیشتر یا حداقل جزییاتی خیلی بیشتر از اونچه که اکثریت دیگران میدونن میبینم.
طرف اینقدر بی اطلاعه و خوش خیال که فکر میکنه دوتا لینک رو از صفحه بیرون کشید و محتوای اونا رو fetch کرد و ذخیره کرد میشه موتور جستجو! یاد اون طرفی میفتم که boot loader نوشته بود اومده بود میگفت کرنل سیستم عامل نوشتم!! اینها فقط شباهت ظاهریه و قدم اول مشترک هست.

خدا شاهده خیلی از مباحثی که من در طی این چند سال در بین هموطنان مطرح و معرفی کردم قبلا اصلا راجع بهش هیچ منبع و اشاره ای در منابع فارسی زبان نبود و میشه گفت اکثریت مطلق از وجود یا اصول واقعی این موارد هم بی اطلاع بودن. یه مواردی که از اون چیزایی که نام بردم ساده تر یا پایه ای تر هم هستن. مثلا کجا مباحث همزمانی و تداخل و قفل در برنامه نویسی وب رو قبل از اینکه بنده مطرح کنم دیده بودید، شنیده بودید؟ من این مسائل رو بصورت صریح و گسترده و دقیق چند سال قبل مطرح کردم که بعد از اون این بحثها به مرور شناخته شد و دیگرانی هم بهش پرداختن. قبلش من در همین فروم برنامه نویس حتی یک مورد تاپیک و بحث و حتی اشاره ای در این موارد ندیده بودم. اگر بوده خیلی کم و سطحی و ناقص و مختصر و به ندرت بوده که من یادم نیست. درحالیکه در برنامه های وب حرفه ای این مسئله همواره مطرح و مهم و مورد نیازه. پس برنامه هایی که ملت میساختن همش غیراصولی بوده! نمیشه از این افراد سطحی انتظار داشت که همینطوری متوجه این مسائل و نقص برنامه هاشون باشن. شاید بعضی افراد خیلی خبره و کمیاب فقط آشنایی با این مباحث داشتن. تازه همونا هم بارها بهم ثابت شد که اطلاعاتشون در این زمینه کاملا ناقص و نادقیق و ناکاراست. مثلا بارها طرفهایی بودن که میگفتن با ترنزکشن تمام این مشکلات براحتی یا بصورت خودکار حل میشه، ولی من از اول شک داشتم، بنابراین نهایتا که وقت کردم و اولویتش رو پیدا کردم رفتم تحقیق کردم تست کردم دیدم بله قضیه پیچیده تر از این حرفاس و همینطوری نیست که تا ترنزکشن استفاده کردی این موارد بطور خودکار حل بشن. بحثش در همین فروم موجوده و در وبلاگم هم در این مورد مقاله گذاشتم. قبل از این، کدوم منبع کدوم شخص بود که روی این موارد تحقیق درست و حسابی کرده باشه و مطلب روشنگری داده باشه؟
یا همینطور در مباحث امنیت و رمزنگاری علمی و مدرن، شاید اغراق نباشه بگم بنده پدر علم امنیت در ایران هستم :لبخند:
الان باز مهندس شهرکی میاد میگه از خودت تعریف کردی! آقا من نگم کی میگه، کی میفهمه؟ تازه منم بخاطر تعریف از خودم نمیگم به خدا و برام مهم نیست اسم کی پای این مباحث بخوره، ولی میخوام مردم واقعیات رو بفهمن و فردا به همین راحتی یه عده افرادی که صلاحیت ندارن در جایگاه نظردهی و تصمیم گیری قرار نگیرن، چون این به ضرر همه تموم میشه! وقتی ما ندونیم سواد چیه، توانایی چیه، علم و اصول چیه، چی وجود داره در این زمینه ها، در نتیجه اوضاع هردمبیل میشه!
تا قبل از اینکه بنده مباحث امنیت و رمزنگاری رو بصورت اصولی و علمی و چیزی که دانش مدرن فعلی در دنیاست مطرح کنم، کدوم بحث و مقاله و برنامه حرفه ای در ایران در این زمینه وجود داشت؟ مقاله و بحث و منبع که من شخصا در طول سالها حتی یک مورد هم ندیدم. ملت فکر میکردن، و هنوزم خیلی ها اینطور فکر میکنن، که مثلا امنیت از طریق تیرگی یعنی همون امنیت و رمزنگاری که مورد نیازه. اکثریت برنامه ها هم برای امنیت خودشون به اینطور روشهای غیراصولی متکی بودن. هر روز هرکس واسه خودش الگوریتم هش و رمزگذاری اختراع میکرد و یک عده دیگه مثل خودشون هم تایید و تمجید میکردن. سورس برنامه رو پنهان میکردن، الگوریتمش رو مخفی و غیرقابل دستیابی توسط دیگران فرض میکردن و این میشد امنیت! هکرها و روشها و منابع اونا منبع اصلی علم امنیت و حفاظت بحساب میامدن.
خلاصه وضع نابسامانی بود.
من نمیخوام از خودم تعریف کنم، اما کارهایی که کردم خودش نشان از سواد و تفاوت بنده داشتن. همونطور که از مقالاتی که در وبلاگم هست هم مشخصه. کسی که رفته RFC خونده و یک پروتکل رو که نمونه کد و برنامش موجود نبوده پیاده سازی نکرده، کاربر محترم که منو زیر سوال میبری، مسلم بدون که سالها باید بدوی و زحمت بکشی تا بتونی در ردیف چنین شخصی قرار بگیری. شما نمیتونی حتی یک صفحه از اون منابع و هزاران صفحه ای رو که من در طول سالها خوندم بخونی و بفهمی، بعد میای درمورد سواد من اظهار نظر میکنی! اگر نصایح امثال منو گوش کردی میتونی این مسیر رو کمی راحتتر و سریعتر طی کنی، چون از بینش و تجربهء آدمهای با اطلاع استفاده میکنی. هرچند بیشتر افراد اصولا مشکلشون اینه که تنبل هستن و نمیخوان به خودشون زحمت بدن و از اونور میخوان اصولا وجود این مسائل و افراد رو نبینن و انکار کنن. اما واقعیت اینه که امثال ما دانشمند هستیم و این مثل روز روشنه!
شما ملتی هستی که به دانشمندان و بنیانگذاران خودتون هم احترام نمیذارید.
البته بله اگر مثلا یکی مثل دکتر حسابی باشه که فروتنی مورد نظر شما رو داشته باشه و با غرور شما بازی نکنه، اون میتونه از طرف شما بعنوان دانشمند شناخته بشه! ولی کسی که شما رو زیر سوال ببره و تحقیر کنه، نمیتونه دانشمند باشه و نمیتونه سوادش از شما خیلی بیشتر باشه!! عجب منطقی! بارها این منطق رو دیدم.

حالا من باید این حرفا رو میزدم. گرچه شاید مدیریت به زودی تحت عنوان خودستایی و تحقیر و توهین به دیگران حذفشون کنه. بهرحال من ناگفته ها رو هرجا که بتونم میگم. بقیهء چیزا از نظر من چندان مهم و ارزشمند نیست. مثلا فروتنی، احترام، تعارف، آرامش؛ البته به اون معنای و تفسیری که مورد نظر مخالفان بنده هست! از نظر من روشن شدن واقعیت کاربردی ترین و مهمترین چیه.
جناب eshpilen‏ دانش و مطالعات شما حداقل برای من ثابت شده هست و بیان خوبی هم دارید ولی در کل قبول کنید اکثرا با مطرح کردن مباحثی که شاید ربط چندانی به موضوع تاپیک نداشته باشه و از یان شاخه به اون شاخه پریدن باعث منحرف شدن و کشت و کشتار در تاپیک میشید :لبخند: که البته این نشان دهنده حجم مطالعات و دانش شماست .
برای مثال در همین پاسخ که من نقل قول کردن در چند بند اول به موضوع اصلی پرداختید و بعد از اون به موارد دیگه که ربط چندانی به تایپک نداره .
به هر حال خوشحالم که با بن شدن یوزر قبلی همچنان در این انجمن حضور دارید :لبخند:.

در مورد پروزه موتور جستجو هم باید اینطور عرض کنم که این پروژه یکی از سخت ترین و بزرگ ترین پروژه های رزومه هر برنامه نویس میتونه باشه و این رو به صراحت می تونم بگم که کار یکی دوتا "متخصص نیست" و حداقل سه نفر متخصص کار کشته برای این کار می خواد (سرور / پایگاه داده / خود برنامه) تا پروژه بتونه موفق عمل کنه .
البته اگه هدف شما فقط کسب دانش و تجربه هست ، ارزش وقت گذاشتن داره و باعث میشه با خیلی از مباخث جدید آشنا بشید ...
این موتور های جستجوی اییرانی که دیتابیس خاص خودشون رو دارند هم جای کار زیاد دارند و البته باید این رو هم قبول کنیم که اینا تازه اول کار هستند ولی اینو هم نمیشه نادید گرفت که دست مایه دانشجویان ایرانی هست (:-|) و نمیشه ازش زیاد انتظار داشت ...
من از زمانی که حتی برنامه نویسی هم بلد نبودم به موتور جستجو علاقه مند بودم و قصد راه اندازی یک موتور جستجو رو داشتم که متوجه شدم اسکریپتی که به درد منی که دانش برنامه نویسی ندارم بخوره وجود خارجی نداره :لبخند: و این کار سرمایه بزرگی میخواد که من کوچیکش رو هم ندارم و از همه مهمتر طی نظرسنجی که داشتم همه گفتند گوگل رو ول نمی کنیم بیایم از سایت تو استفاده کنیم حتی اگه هم رده باشند :متعجب: خلاصه من نا امید شدم و بیخیال شدم .
بعد از یادگیری php و راه اندازی یک اسکریپت خبرخوان باز به فکر موتور جستجو افتادم و ایده خاصی به ذهنم رسید که واقعا ازش استقبال خواهد شد و فقط مشکل فعلی من نحوه راه اندازی چنین سیستمی هست که بتونه تویه دراز مدت جواب بده .
البته میتونم یک موتور رو همینطوری سر سری بسازم ولی مطمپنم بعد یک ماه از کار میافته و یا اونقدر هزینه سرور در برخواهد داشت که کمر ما رو بشکنه .
درحال حاضر دارم در این زمینه مطالعه می کنم و اگه به مبحثی برسم که واقعا مهم و کاربردی باشه همینجا با شما به اشتراک میزارم .

engmmrj
یک شنبه 10 اسفند 1393, 19:01 عصر
بعضی ها دوتا مقاله میخونن فکر میکنن دنیا رو جابه جا کردن ُ پیاده بشین با هم بریم.

myumyu
دوشنبه 11 اسفند 1393, 22:23 عصر
اقای freeman99 منبع خوبی برای اموزش رمزنگاری و امنیت سراغ دارید ؟
جوری که مطالب رو از پایه اموزش بده ...
تازه دارم با Kali کار میکنم ولی جز زبان c و مطالب پایه شبکه و پورتکل ها و ... چیزی نمیدونم .
با تشکر