دریافت کد html صفحات بازشده ie (همزمان) برای فیلتر کردن

[m110_110]

با سلام
بسیار فوری
چند وقت است که می خواهم یک برنامه فیلترینگ خاص درست کنم که همینجا از تمامی دوستان دعوت می کنم تا بتونیم یک برنامه بسیار عالی و خوب درست کنیم انشاءا...
در این راستا ایده های زیادی به ذهن می آید و من هم یه نظر کوچولو ای دارم که اول می خوام بدانم خوبه یا نه و بعد آیا انجام شدنی هست و بعد چگونه باید انجامش داد
ولی دلم می خواد که خیلی سریع یک راه حل خوب پیدا کنم و شروع به ساخت برنامه کنیم
بهترین راهی که به ذهنم رسید اینه که ما بتونیم کد html صفحاتی که کاربر در حال حاضر دارد می بیند و لود می کند را دریافت کنیم و اگر درون ان کلمات بدی به کار رفته بود (البته با روش ها مختلف) اون صفحه را مثلا ببندیم حالا من مشکلی که در این روش دارم اینه که چگونه بفهمم که کاربر چه صفحاتی باز کرده و در حال مشاهده چه چیز هایی است
از مزایای این روش هم می توان گفت چون درون هر صفحه غیر اخلاقی حداقل چندین کلمه غیر اخلاقی (حتی در نمایش عکس ها) موجود هست که ما مثلا می تونیم با بالا رفتن تعداد این کلمات در یک صفحه بفهمیم که کاربر در حال مشاهده یک سایت غیر اخلاقی است و اون وقت باید اون صفحه رو ببندیم

البته یک روش دیگه هم که شبیه همان روش اوله اینه که هنوز وقتی صفحه داره لود می شه و اطلاعات دارد وارد دستگاه کاربر می شه(از dial ip و یا شبکه ) ماهم اون اطلاعات را شنود کنیم و از بارگزاری روی سیستم کاربر جلوگیری کنیم

از ان هایی که می توانند کمک کنند خواهش می کنم کمک کنند

ممنون

[emadfa]

دوست عزیز

چنین نرم افزارهایی تاکنون در دنیا زیاد نوشته شده. روش اونها هم تقریبا شبیه همه. من چند تا ایده دارم که می تونه تحولی در الگوریتم های کنترل فیلترینگ باشه. البته تا حالا برخی شرکتا مشابه این ها رو نوشتن ولی خیلی ضعیف!!!!!

1) پردازش محتوای مطالب:

همه نرم افزار های فیلترینگ از کلید واژه استفاده می کنند. مفهوم پردازش متن یعنی نرم افزار بتونه متن رو تحلیل کنه و یک شاخه درختی از محتوای متن درست کنه. با این کار می شه از فیلتر شدن صدها هزار سایتی که به غلط فقط به خاطر کلید واژه فیلتر شدن جلوگیری کرد.

2) پردازش تصویر مستهجن:

در این روش اصلا کار به متن و محتوا نداریم. تحلیل عکس به وسیله CBIR, استفاده از بانک اطلاعاتی الگوهای مستهجن , رنگ , الگوهای اعضای بدن , ... همه و همه با هم یک روش بسیار قدرتمند هست. با این کار می شه به فیلتر شدن صدها هزار صفحه ای که به علت نداشتن کلمات خاص فیلتر نشدن کمک کرد.

البته در یک سطح پیشرفته می شه از این روش ها برای شناسایی کلمات زشت ( vulgar ) , صحنه های خشن و خیلی چیز های دیگه استفاده و درجه بندی کرد.

البته کار خیلی سختیه. شاید به ماه ها تحقیق و کدنویسی و جمع آوری اطلاعات نیاز داشته باشه. ولی شدنیه. تسلط به یک زبان برنامه نویسی , تحقیق و تلاش مسیر رسیدن به این تکنولوژی هست.

موفق باشی.

[razavi_university]

اینکارها زمان زیادی رو برای پردازش لازم دارند و عملا نمی توان در یک شبکه بزرگ به صورت RealTime استفاده کرد، مثلا می توانید با استفاده از این روشها به صورت موازی (یعنی زمانی که یک کاربر صفحه ای را درخواست می کند) استفاده کرد و همزمان با درخواست کاربر برنامه هم یک صفحه مشابه دریافت کند و بعد از پردازش صفحه(طبق روشهای گفته شده) در صورت تطابق آدرس آنرا به لیست سیاه اضافه کند.
در این حالت برنامه بالاترین کارایی را خواهد داشت.

[m110_110]

با سلام
ممنون از دوستان و نظرات خوبشون
اول بگم که درسته شاید زمان زیادی برای این کار صرف بشه اما بنظرم ارزشش رو داره تا بتونیم چنین نرم افزار قدرمتندی را بنویسیم و به راحتی در درسترس عموم قرار دهیم(خصوصا خانواده ها تا دیگر نگران فرزندانشان نباشند و همه با خیالی آسوده به استفاده از اینترنت بپردازند)
درست است که شرکت هایی برای این عمل ، کارهایی را انجام دادند ولی خوب من هم مثل emadfa عقیده ام اینه که هم برنامه هاشون ضعیفه و هم در گستره ی زیادی حداقل در ایران استفاده نمی شه و نیست
حالا می خوام از دوستان تقاضا کنم که هر طور می توانند کمک کنند که واقعا یک نرم افزار قوی را در اختیار تمام کاربران قرار دهیم
فقط می شه بگید در آخر کدام راه را برگزینیم و چگونه در اون قدم بگزاریم
این رو هم بگم که من کد نویس قوی ای نیستم که بخواهم این نرم افزار به تنهایی بنویسم و چون شدیدا احتیاج به این نرم افزار را در منازل و شبکه ها احساس می کنم می خواهم هر طوری که شده چنین کاری را انجام دهیم و به همین دلیل از تمام برنامه نویسان ماهر دعوت می کنم که در این کار خداپسند و عالی شرکت کنند و هر طور که می توانند کمک کنند
با تشکر از لطفتان
اجرکم عند ا...
--------------------------------

[emadfa]

با تشکر از دوستان عزیز:


اینکارها زمان زیادی رو برای پردازش لازم دارند و عملا نمی توان در یک شبکه بزرگ به صورت RealTime استفاده کرد.


در حال حاضر در ایران دو نوع firewall فیلترینگ وجود دارد. اولی که مربوط به خود شرکت مخابرات است و با ایجاد دو لیست سفید و سیاه مدام در حال پردازش سایت هاست. دومین firewall هم مربوط به هر ISP است. یعنی هر ISP مجبور است که با ایجاد یک firewall خود نیز عمل فیلترینگ را انجام دهد. این جا دو مشکل وجود دارد: اول سلیقه ای عمل کردن آن ها و دوم بلا درنگ عمل کردن آنهاست. ابتدا وجود آدرس سایت ها در لیست سفید و سیاه چک می شود. در صورت عدم وجود آدرس در آن لیست خود شروع به پردازش می کند که این امر منجر به کاهش سرعت اینترنت می شود. احتمالا شما نیز تاکنون مشاهده کرده اید که برخی از email ها یا صفحات dynamic هم ممکن است فیلتر شوند. دلیل این امر همین real time بودن است.



دریافت کد html صفحات بازشده ie (همزمان) برای فیلتر کردن


فیلترینگ مثل یک firewall هست که ربطی به IE نداره. firewall باید قادر باشه تمام اطلاعات ورود و خروج مثل مرورگرها , بسته های اطلاعاتی و حتی disk های سخت و نرم رو کنترل کنه.ضمن این که برای بررسی محتوایی صرف نظر از سایر عوامل باید تگ های خاصی از html و سایر زبان ها رو بررسی کنیم.



خصوصا خانواده ها تا دیگر نگران فرزندانشان نباشند و همه با خیالی آسوده به استفاده از اینترنت بپردازند


خود من هم دقیقا با این نوع از قیلترینگ یعنی parental control موافقم و با شیوه فعلی مخالفم.



اول بگم که درسته شاید زمان زیادی برای این کار صرف بشه اما بنظرم ارزشش رو داره تا بتونیم چنین نرم افزار قدرمتندی را بنویسیم و به راحتی در درسترس عموم قرار دهیم


حرف شما درست اما چرا ما باید چنین نرم افزاری رو رایگان در اختیار همگان قرار بدیم. چنین چیزی خیلی فراتر از یک برنامه سفارشی ساده است.


من هم مثل emadfa عقیده ام اینه که هم برنامه هاشون ضعیفه و هم در گستره ی زیادی حداقل در ایران استفاده نمی شه و نیست


در دنیا تاکنون ده ها نرم افزار برای این نوشته شده اند که هر کدام یک ویژگی خاص دارند و هیچ کدوم قدرتمند نیست که بشه گفت تمام ویژگیهایی رو که گفتم رو داره. اینم چند نمونه:


Advanced Parental Control: این برنامه از هیچ الگوریتم پیچیده ای استفاده نمی کنه. استفاده از کلید واژه و اطلاع دادن تمام رویدادهای کامپیوتر به همراه محدودیت در استفاده از pc


Media Detective: استفاده از رنگ پوست در تشخیص تصاویر مستهجن که پر از خطا و false positive هست.


PornSeer Pro: الگوی اعضای بدن که تقریبا قدرتمنده ولی فقط برای scan دیسک سخت نه کنترل داده های شبکه


همون طور که می بینید تقریبا نرم افزار جامعی در این زمینه نیست بنابراین جای کار داره!



به همین دلیل از تمام برنامه نویسان ماهر دعوت می کنم که در این کار خداپسند و عالی شرکت کنند و هر طور که می توانند کمک کنند


دوست عزیز این ایده جالبیه ولی به درد ایران نمیخوره ! چون این جا کسی بلد نیست کار گروهی بکنه. ضمن این که کار خداپسندانه برای پروژهای به این با عظمتی اصطلاح مناسبی نیست. آرزو می کنم که خودت با تلاش بتونی چنین کاری رو انجام بدی. ضمن این که اگه سوالی داری من در خدمتم.



موفق باشی.

[m110_110]

با سلام
ممنون
باشه
عیبی نداره
حالا به عنوان یک کمک می شه بگید که من چطور می تونم تمام اطلاعات ورودی و خروجی به یک شبکه(داخلی، اینترنت و ..) رو هم بگیرم
منظورم اینه که چطور اطلاعات را از connection های مختلف همچون دایل آپ و شبکه محلی و ... من هم در برنامه ام دریافت کنم و بتونم اون ها رو پردازش کنم؟

[kiuhnmgtrdcv]

چند وقت پیش من یه برنامه نوشته بودم که به روش پینگ کردن سایت باز میکرد که مزیتش این بود که V P N نمیخواست ولی روی سایتای که یک ip به مثلا چند تا دامین اتصال داده بودند جواب نمیداد ... بعضی وقتا هم ip سایت فیلتر کرده بودند که کلا کار نمیکرد .. بهترین کار استفاده از همون V P N هست

[kiuhnmgtrdcv]

من نشستم یکم از اون برنامه ای که مدنظر شما بود نوشتم ، ولی خیلی ایراد داره (کلا نیم ساعت طول کشید ) ولی فکر نمیکنم این روش خیلی خوبی باشه 30609

[m110_110]

با سلام و تشکر از دوستان
من این برنامه رو بررسی کردم و می خواهم بدونم می تونم اطلاعاتی که کاربر با browser اش درخواست کرده و از مثلا پورت com و یا lan دارد وارد سیستمش می شود من هم دریافت کنم و بفهمم مربوط به کدام browser و صفحه هست؟
یعنی یک جور برنامه ام به اطلاعات ورودی به سیستم گوش دهد؟