You are here:

طراحی یک سامانه کلان اطلاعاتی - نیازها و ضرورت ها

فرستادن به ایمیل چاپ

Tags: NoSql | تجربیات | تخصصی | سلر

تولید نرم افزار در سطح داده های بزرگ (کلان داده یا  Big Data)‌ مهارتی سوای برنامه نویسی معمولی نیاز دارد. آشنایی با ابزار و بانکهای اطلاعاتی از یک طرف و انتخاب درست ابزار از طرف دیگر و نیز نوشتن الگوریتم هایی که با سرعت مناسب روی داده های حجیم و توزیع شده روی سرور های مختلف کار کند چالشهایی است که در یک سیستم واقعی بخش توسعه و تولید را بسیار درگیر خواهد کرد . بخصوص سیستمی که همزمان هم باید کار کند و داده ها را جمع آوری کند و هم مرحله به مرحله بهینه سازی شود و اشکالات آن در حین کار هم رفع شود .

این موضوع باعث شده بود که حدود یکماه نتوانم به هیچ یک از کارهای شخصی ام برسم و حتی سایت را به روز کنم اما قصد دارم با سبک تر شدن بار پروژه تجربیات گرانبهایی که گاهی به قیمت شب بیداریها و استرسهای زیاد به دست آمده است را با بقیه به اشتراک بگذارم .

الان در حال انتخاب استراتژی جستجوی مناسب برای اخبار هستیم . ابزاری که الان استفاده می کنیم سلر (solr) است که یکی از ابزارهای ساخت موتور جستجوی متنی است و جزء زیر مجموعه های بنیاد آپاچی هم محسوب می شود . مشکل فعلی ما این است که صدها هزار خبری که هر ماه جمع اوری می کنیم و بر طبق محبوبیت در شبکه های اجتماعی به آنها امتیاز می دهیم را چگونه با سرعت مناسب (زیر یک ثانیه ) و با پارامترهای مختلف جستجو کنیم ...

نیاز فعلی ما با سلر برطرف می شود اما نگرانی از این داریم که با افزایش حجم اطلاعات نتوانیم سرعت مناسب را در پاسخگویی به کاربران مختلف داشته باشیم .

نظرات (2)Add Comment
0
...
نویسنده حسین, فوریه 02, 2014
سلام استاد.اولن بابت ایمیل جعلی معذرت.دومن من واقعن به این مباحث علاقه مند هستم ولی کمبود منابع فارسی در این موارد خیلی به چشم می خوره.بی صبرانه منتظر پخش تجارب شما هستم.استاد من میخام در زمینه تحلیل کلان کار کنم.داده بصورت متن باز برای تحلیل رو از کجا میتونم تهیه کنم؟
0
موضوع بحث بعدیتون...
نویسنده حمیدرضا اکبرنژاد, مارس 14, 2014
"این موضوع باعث شده بود که حدود یکماه نتوانم به هیچ یک از کارهای شخصی ام برسم و حتی سایت را به روز کنم اما قصد دارم با سبک تر شدن بار پروژه تجربیات گرانبهایی که گاهی به قیمت شب بیداریها و استرسهای زیاد به دست آمده است را با بقیه به اشتراک بگذارم ."
سلام.والا ما تا قبل از این فک میکردیم فقط خودمان سر کلاس های شما استرس داریم.خیلی برام جالبه که شما هم درگیر استرس هستید.چون شما رو همیشه از زاویه ی استادی بودن نگاه میکردم،فک نمیکردم شما هم استرس و شب بیداری داشته باشید.استاد فقط یه خواهش ازتئن دارم و اونم اینه که حالا که دیگه من و بقیه ی دوستام قاین نیستیم،می خوام یه کمکی بکنید...میشه برای ما که اول راه هستیم و هنوز اول کاریم بگین چیکا کنیم؟منظورم اینه که شما در هر پستی که میگذارید چند نرم افزار جدید رو معرفی میکنید.ما که نمیتونیم همه رو امتحان کنیم.مثلا تا حالا اس کیو ال کار کردیم.ولی گفتید : "وجود داده در مقیاس بزرگ باعث بوجود آمدن تحولی در حوزه بانک های اطلاعاتی شده است که امروزه به عنوان بانکهای غیررابطه ای NoSql شناخته شده اند." خب ما حالا باید چیکا کنیم؟البته میدونم نمیشه فقط یه زبان و یا فریم ورک رو یاد گرفت و گفت که کافیه.ولی اگه میشه یکی رو بگید که پردوام تر باشه.آخه باور کنید عوض کردن زبان برنامه نویسی و ... برای شما شاید آسون باشه،ولی برای ما مثل پوست انداختنه.هر چند سال اونم با کلی مکافاااااات.
ممنون

نظرتان را بنویسید
کوچکتر | بزرگتر

busy
آخرین بروزرسانی ( جمعه ، 4 بهمن 1392 ، 16:57 )