هزینه محصول : 0 تومان
- معرفی
- مشخصات فنی
- درخواست مشاوره
يكي از نيازهاي ضروري سازمانها و نهادهاي داراي دادههاي حجيم و متنوع، شناخت دقيق از منابع دادهاي خود و در اختيار داشتن توانايي مديريت ذخيره، انتقال، پردازش و بصريسازي آنها است. همواره بزرگترين مشكل در تيمهاي فني و متخصصين و دانشمندان علم داده، چگونگي دسترسي به دادهها و منابع پردازشي مورد نياز براي تأمين نيازهاي دانشي سازمان ميباشد. تنظيم سازوكاري براي نگهداري داده ها بر اساس سري زماني، تعيين سطح دسترسي افراد به منابع دادهاي، چگونگي و زمانبندي واكشي دادهها، شناسايي دقيق محل بروز خطا در زمان انتقال، دريافت شناخت دقيق از كيفيت داده به منظور انتخاب مدلهاي مناسب يادگيري ماشيني و دهها نيازمندي ديگر ميتواند سازمان را به سمت ايجاد يك بستر اختصاصي و چارچوب مناسب براي بر عهده گرفتن اين وظايف حركت دهد.
نرمافزار تولیدی شرکت سیکاس تحت عنوان «دلتابان»، به منظور پاسخدهي به اين مسائل و ايجاد يك بستر مناسب به منظور استانداردسازي تمامي فعاليتهاي حوزه كلان داده در سازمان، توسط تیم برنامهنویسی و کلان داده این شرکت طراحی و تولید شده است. در اين نرمافزار سعي شده است كه عمده دسترسيهاي كاربران تخصصي به دادهها در سطح Web Interface تأمين گردد كه قابليتهاي مديريتي و كنترلي مناسبي براي كاربران لحاظ گردد. از موارد شاخصي كه در اين نرمافزار پيشبيني شده است ميتوان به قابليتهاي کلی زير اشاره كرد:
ايجاد يك پايپ لاين از مرحله استخراج داده تا لحظه بصريسازي
امكان قابليت مانيتورينگ داده در تمام دوره حيات آن (LineAge)
امكان تعيين سطح دسترسي كاربران تا حد فيلد و ركورد به نحوي كه كاربران حتي امكان مشاهده كل دادهها را نداشته باشند و صرفا با عمليات Sampling مدلهاي خود را اجرا نمايند
امكان ايجاد كلاسترهاي مجازي براي مديـريت بار کاري كاربران حوزههاي مختلف سازمان جهت جلوگيري از تداخل مصرف منابع سختافزاري
امكان در اختيار داشتن تمامي مدلهاي رايج يادگيري ماشيني براي جلوگيري از كدنويسي مجدد
امكان استفاده مجدد كاربران از نتايج كارهاي قبلي و سايرين
امكان استفاده از تمامي كتابخانههاي رايج برنامهنويسي كلانداده در حوزه يادگيري ماشيني اعم از MLlib-Keras-Tensorflow و ...
امكان كدنويسي در WebIDEA طراحيشده در اين چارچوب به نحوي كه كاربران به ساير ابزارهاي كدنويسي نيازي نداشته باشند.
این نرمافزار دارای اجزا و بخشهای زیر میباشد:
بخش استخراج دادهها
بخش ساخت ETL و Cube های دادهای
بخش تحلیل و آنالیز MLهای دادهها
بخش بصری سازی دادهها
بخشهای مدیریتی
قابلیتهای کلی این محصول عبارتند از:
امکــان ایجــاد و ذخیره Connection string هــای مختلف اعم از SQL(JDBC)،Stream ،Rest API Documents، Folders،Twitter و ...
امکان اتصال به CS ساخته شده و دریافت Schema کامل آن بانک و جداول مربوطه و استخراج ساختار آنها.
دریافت کلیـه دادههــای Schema استخراجشده شـــــامل فیلدهــا، نوع و اندازه آنهــا، توضیحــات، مقــادیر کمینه، بیشینه، میانه، میانگین و ... فیلدهــا، رکوردهــا، رکوردهــای تکراری، دادههــای Missing و ذخیره در Cassandra و ...
امکان تولید نمونه فرم جمعآوری خصوصیات بانک اطلاعاتی با دادههای پیشفرض جهت تکمیل توسط اپراتور و ذخیره آن.
امکان درج توضیحات توسط اپراتور برای فرم استخراجشده، امکان تعیین درجه اهمیت فیلدها، میزان محرمانگی داده، حریم خصوصی، امکان انتشار، حجم دادههای درون جدول، روند رشد دادهها و ...
شناسایی بعد دادهها از نظر ویژگی، تعداد مقادیر، مجموعه دادهها.
امکان ایجاد کپی از جداول و Data Frame های استخراجشده.
امکان ساخت Cube های داده به صورت ویزاردی به نحوی که بتوان DF های مورد نظر را انتخاب کرده، اطلاعات Metadata هر کدام را ملاحظه نموده، برای حالات مختلف پیشپردازش مثل تصمیمگیری درباره دادههای پرت، ترکیب ویژگیها و ...
امکـان نوشتن Query یا انتخاب از قابلیتهـای موجود (این قابلیتهـا توسط متخصص دادهای که با سـامـانه کار میکند باید قابل انتخاب باشد) و سپس شناسایی فیلدهایی که باید از روی آنها Cube ساخته شود و Join شوند و در نهایت DF جدید ساخته شده (Cube) در Cassandra ذخیره شود.
امکان ایجاد کپیهای متعدد از DF ها و Cube های مختلف وجود داشته باشد.
بتوان هر کدام از موجودیتهای ذخیره شده را مجددا به صورت Local Run یا Force Run کرد. حالت اول اجراها فقط بر روی دادههای استخراج شدهای که در DataLake ذخیره شدهاند انجام میشود و حالت دوم مربوط به اجرای مجدد و استخراج مجدد دادههای اصلی و اعمال قوانین روی آنها و پاکسازی و ساخت مجدد مکعبها میباشد.
امکان تعیین انواع پیشنهادهای پاکسازی روی دادهها و فیلدها از قبیل:
- عدم رعایت همسانی واحد زمانی
- عدم رعایت همسانی واحد وزن
- عدم رعایت واحد طولی
- عدم رعایت واحد پولی
- عدم رعایت همسانی سایر
- قرار نداشتن مقادیر در محدوده مجاز
- عدم رعایت یکتایی مقادیر
امکان اخذ انواع گزارشهای گرافیکی از DF ها و Cube ها وجود داشته باشد. اعم از تعداد رکورد، سایز روی دیسک، زمان تولید، زمان خواندن و اجرا، ابعاد، تعداد مکعبهایی که از DF ها استفاده میکنند.
امکان مشاهده Sample داده از DF ها یا Cube ها
امکان اجرای الگوریتمهای کاهش ابعادی همچون PCA و SVD روی DF ها یا Cube ها و ذخیره DF یا Cube جدید
امکان "پویش داده" تولید انواع نمودارهای گرافیکی روی DF ها و Cube ها (آمارهای کلان، مصورسازی)
امکان کار با انواع دادههای GIS و جغرافیایی
در بخش محاسبه Meta Data یا آمارهای کلان میتوان مقادیر زیر را محاسبه کرد:
- بسامد داده Frequency: Mode یا Percentile
- مکان: میانگین یا میانه
- پراکندگی: واریانس، انحراف از معیار، واریانس یا انحراف معیار مبتنی بر میانه(MAD-AAD-Interquartile Range)
- مصورسازی: تولید نمودارهای زیر برای همه DF ها و Cube ها. هیستوگرام، نمودارهای جعبهای Box Plot، پراکندگی Scatter، بدنهای Contour، ماتریسی Matrix، مختصات موازی Parallel Coordinator، ستارهای، صورتکهای چرنف Chernoff Faces
امکان تولید وبسرویس و API بر روی موجودیتهای سیستم اعم از DF و جداول، مکعبهای دادهای و ...
استخراج روابط بین جداول و نمایش گرافیکی آنها
امکان مشاهده گرافیکی میزان نقص دادههای جداول مبتنی بر نقص رکورد یا فیلد (به قابلیت Drill-Drown) به نحوی که با تعیین یکسری معیار استاندارد بتوان میزان نقص هر جدول را محاسبه کرده و نمایش داد.
امکان ثبت UC های شناساییشده و همچنین تعیین اینکه کدام DF استخراج شده در این UC استفاده میشود.
امکان تعیین سطح دسترسی به منظور تأیید را رد UC ها یا DF های شناساییشده
امکان مشاهده میزان نقص داده DF های هر UC به صورت گرافیکی
امکان ساخت Df های جدید از DF های استخراج شده در قالب یک Cube یا Data Mart
امکان اتصال یک Code Editor به این ابزار به منظور کد نویسی الگوریتمهای مورد نیاز
امکان تعریف کلاسترهای مجازی و ایجاد قابلیت تعیین اینکه کد نوشتهشده روی کدام کلاستر اجرا شود
امکان تعیین سطوح دسترسی مختلف برای کاربران:
- تعریف کاربر
- انتساب UC ها به کاربران
- تعیین سطح دسترسی کاربر به فیلدها یا تعداد رکوردهای مشخصی از هر DF
- تعیین سطح دسترسی کاربر به کلاستر مجازی
اتصال موتور کدنویسی به موتور Machine Learning اسپارک برای ایجاد قابلیت استفاده برنامهنویس در محیط ادیتور از الگوریتمهای مربوطه
امکان کدنویسی برای استخراج منابع دادهای از شبکههای اجتماعی بر اساس کلمه کلیدی
امکان ذخیرهسازی نتیجه یک کد نوشته شده در قالب DF به نحوی که قابل استفاده برای سایرین باشد.
امکان اتصال سیستم به یک زمانبندی مانند Apache Nifi
امکان تعریف زمانبندی اتصالات به منابع دادهای و بازههای زمانی به روزرسانی دریاچه داده
امکان مشاهده گزارش نتیجه واکشی دادهها از نظر سلامت اجرا یا خطا در زمان واکشی اطلاعات
به ازای هر یک از ستونها، اطلاعات آماری زیر مرتبط با نوع آن فیلد استخراج شود:
Essentials: type, unique values, missing values
Quantile statistics: like minimum value, Q1, median, Q3, maximum, range, interquartile range
Descriptive statistics: like mean, mode, standard deviation, sum, median absolute deviation, coefficient of variation, kurtosis, skewness
Most frequent values
Histogram
Record Count: The total number of records in the column
Unique Values: The distinct count of unique values in a column
Empty Strings: The count of empty strings in a column
Null Values: The count of null values in a column
Percent Fill: The percentage of records that are not empty string or null
Percent Numeric: The percentage of records that are numeric
Max Len: The max length of data
جهت دریافت اطلاعات بیشتر یا درخواست جلسه، لطفا درخواست خود را به آدرس info@secaas.ir ارسال نمایید.
پلنهای فروش و جدول قیمتی نرمافزار دلتابان
قابلیت | Standard | Enterprise | Rocket | Jet |
---|---|---|---|---|
ماژول پایه (Core Module) | * | * | * | * |
داشبورد تولید گزارشات آماری | * | * | * | * |
امکان نوشتن توابع پاکسازی جدید (User Defined Function) | * | * | * | |
امکان تولید Open API برای دسترسی به دادههای انباره داده (دسترسی به CUBEها) با قابلیت تعیین دسترسی کاربران به APIها | * | * | * | |
امکان اتصال به دادههای Streaming و دریافت آنها | * | * | * | |
امکان اتصال به محیط کدنویسی مبتنی بر وب Web IDEA | * | * | ||
امکان ساخت کلاسترهای مجازی و ایجاد دسترسی برای گروههای برنامه نویسی | * | * | ||
امکان اتصال به مدلهای یادگیری ماشینی و اجرای آنها | * | |||
فعالسازی قابلیت اجرای نرمافزار برروی GPU به جای CPU | * | |||
محدودیت تعداد فید برای اتصال به منابع دادهای بیرونی | 10 | 20 | نامحدود | نامحدود |
نصب و راهاندازی و آموزش نرمافزار | * | * | * | * |
قیمت | تماس | تماس | تماس | تماس |
ماژول پایه یا Core Module دارای امکانات پایه نرمافزار به شرح زیر میباشد
قابلیت اتصال به بانکهای اطلاعاتی مختلف اعم از MSSQL, MySQL, Postrgres, Oracle و فایلها دادهای با فرمتهای استاندارد
امکان شناسنامهدار کردن بانکها و جداول خوانده شده
امکان تعریف انواع کوئریها برای Extract از بانکهای اطلاعاتی موجود
امکان استفاده از توابع پاکسازی نوشته شده
امکان ذخیرهسازی دادههای خواندهشده در قالب Data Frame
امکان انتقال دادهها به حافظه رم
امکان نوشتن SQL برای دستکاری جداول
امکان ساخت انباره داده
دسترسی به داشبورد مدیریتی سیستم
امکان تعریف کاربران سیستم
امکان مشاهده وضعیت استفاده از منابع سختافزاری
امکان تعریف زمانبندی برای به روزرسانی دادهها