И анализ больших данных
Стандарты больших данных в NIST
жүктеу/скачать 2,33 Mb. Pdf көрінісі
|
BIG дата книга
| 4.3 Стандарты больших данных в NIST
На наш взгляд, NIST предлагает наиболее проработанный стек стандартов по большим данным. Этот так называемый NIST Big Data Interoperability Framework V1.0 включает в себя следующие документы: - Big Data Definitions - Big Data Taxonomies - Big Data Use Cases and Requirements - Big Data Security and Privacy - Big Data Architecture White Paper Survey - Big Data Reference Architecture - Big Data Standards Roadmap Определения более ориентированы на практику, чем у ISO и, фактически, посвящены моделям, а не словарным статьям. Документ по таксономии предлагает базовую архитектурную модель (рисунок 9). Рисунок 9 - Ссылочная модель Big Data от NIST Документ с примерами содержит описание реальных применений (описание архитектур данных) из 9 областей: правительственные системы, коммерческие системы, военные применения, здравоохранение, социальные медиа, экология, астрономия и др. Этот раздел может вполне использоваться как учебник (или часть учебного материала). Документ, касающийся безопасности и приватности также содержит практические примеры из таких областей как здравоохранение, телеметрия, маркетинг и др. Из технологий безопасности рассматриваются вопросы идентичности, авторизация, аудит, безопасность в сети, безопасность устройств. White Papers Survey рассматривает архитектуры данных и является одним из наиболее интересных элементов в списке NIST. предложения и справочные модели (для архитектур данных) от таких компаний, как IBM, Oracle и исследовательских групп в университетах. Big Data Reference Architecture представляет собой концептуальную модель высокого уровня, разработанную для того, чтобы служить в качестве инструмента для содействия открытому обсуждению требований, проектных структур и операций, присущих большим данных. Она не представляет системную архитектуру конкретной системы больших данных, а скорее является инструментом для описания, обсуждения и разработки архитектуры конкретной системы, используя общую точку (базу) отсчета. Эта модель не привязана к какой-либо конкретной продукции поставщиков. Последний документ - Дорожная карта описывает пересечения между NIST Framework и существующими стандартами (например, SQL). Но самая интересная часть этой дорожной карты - это список направлений развития, который 32 был построен с помощью Объединенного технического комитета 1 (ОТК1) ИСО/МЭК. Исследовательская группа по большим данным определила направления работ, которые могли бы служить в качестве потенциального руководства для ISO в их создании стандартов деятельности больших данных. Исследовательской группой были определены потенциальные пробелы в стандартизации темы больших данных. Эти результаты описывают достаточно широкие области, которые могут представлять интерес для разработчиков и исследователей. Фактически – это “горячие” темы для исследований в области больших данных: - Модели применения и ссылочные архитектуры. Платформы для больших данных. - Технические требования и стандартизация для метаданных. - Модели для приложений (например, пакетная обработка и анализ потоков) - Языки запросов, включая нереляционные запросы для поддержки различных типов данных (например, XML, RDF, JSON, мультимедиа) и больших объемов данных операций (например, матричных операций). - Проблемно-ориентированные языки для задач больших данных. - Семантика для слабой согласованности и согласованности в конечном счете (eventual consistency). - Расширенные сетевые протоколы для эффективной передачи данных. - Общие и предметно-ориентированные онтологии и таксономии для описания семантики данных, включая интероперабельность между онтологиями. - Безопасность и контроль доступа. - Удаленные, распределенные и федеративные аналитики данных, включая методы обнаружения и обработки ресурсов, а также методы интеллектуального анализа данных. - Обмен и разделение данных. - Системы хранения данных (например, in-memory базы данных, распределенные файловые системы, хранилища данных). - Представление результатов анализа данных (сюда, очевидно, должны входить визуализация и объяснения). - Энергетическая эффективность работы с большими данными. - Интерфейс между реляционными (т.е. SQL) и нереляционными (т.е. NoSQL) хранилищами данных - Оценка качества и достоверности данных. жүктеу/скачать 2,33 Mb. Достарыңызбен бөлісу:
|