طراحی یک سامانه کلان اطلاعاتی نیازها و ضرورت ها

s: NoSql | تجربیات | تخصصی | سلر تولید نرم افزار در سطح داده های بزرگ (کلان داده یا  Big Data)‌ مهارتی سوای برنامه نویسی معمولی نیاز دارد. آشنایی با ابزار و بانکهای اطلاعاتی از یک طرف و انتخاب درست ابزار از طرف دیگر و نیز نوشتن الگوریتم هایی که با سرعت مناسب روی داده های حجیم و توزیع شده روی سرور های مختلف کار کند چالشهایی است که در یک سیستم واقعی بخش توسعه و تولید را بسیار درگیر خواهد کرد . بخصوص سیستمی که همزمان هم باید کار کند و داده ها را جمع آوری کند و هم مرحله به مرحله بهینه سازی شود و اشکالات آن در حین کار هم رفع شود . این موضوع باعث شده بود که حدود یکماه نتوانم به هیچ یک از کارهای شخصی ام برسم و حتی سایت را به روز کنم اما قصد دارم با سبک تر شدن بار پروژه تجربیات گرانبهایی که گاهی به قیمت شب بیداریها و استرسهای زیاد به دست آمده است را با بقیه به اشتراک بگذارم . الان در حال انتخاب استراتژی جستجوی مناسب برای اخبار هستیم . ابزاری که الان استفاده می کنیم سلر (solr) است که یکی از ابزارهای ساخت موتور جستجوی متنی است و جزء زیر مجموعه های بنیاد آپاچی هم محسوب می شود . مشکل فعلی ما این است که صدها هزار خبری که هر ماه جمع اوری می کنیم و بر طبق محبوبیت در شبکه های اجتماعی به آنها امتیاز می دهیم را چگونه با سرعت مناسب (زیر یک ثانیه ) و با پارامترهای مختلف جستجو کنیم ... نیاز فعلی ما با سلر برطرف می شود اما نگرانی از این داریم که با افزایش حجم اطلاعات نتوانیم سرعت مناسب را در پاسخگویی به کاربران مختلف داشته باشیم .