با سلام به دوستان عزيز
من براي يه كار پردازش متن نياز به حجم زيادي متن خام (Text) دارم. يه چيزي در حدود 10 ميليون جمله. طبيعتا جمع آوري اين حجم متن به صورت دستي تقريبا غير ممكنه.
تنها راهي كه به ذهنم رسيد اين بود كه از ابزاري مشابه خزنده ها (crawlers) براي اينكار استفاده كنم. به اين ترتيب كه آدرس يه سايت (ترجيحا سايت خبري) رو بهش بدم، اون هم بره و از تمام لينك هاي موجود در سايت متون اونها رو خارج كنه و توي يه سري فايل ذخيره كنه. يه چيزي توي مايه هاي offline explorer. اما من فقط متن خام سايت ها رو ميخوام.
اما با توجه به اين كه من خيلي توي زمينه وب سررشته ندارم، نميدونم دقيقا واسه نوشتن چنين ابزاري چي كار بايد بكنم. ضمنا خيلي هم وقت ندارم چون بايد زودتر اين متون رو جمع آوري كنم و برم سر اصل پروژه.
كسي ميتونه در اين زمينه كمك كنه؟
پاسخ با نقل قول