Big Data платформы

2019. HP купил Big Data платформу MapR



Компания Hewlett-Packard Enterprise купила разработчика систем управления данными MapR Technologies. Технология MapR будет встроена в Intelligent Data Platform, пакет технологий HPE для управления жизненным циклом данных. Распределенная файловая система MapR предоставляет возможность управлять аналитикой как на границе, так и в сети. HPE считает, что технология MapR пригодится клиентам в первую очередь для сшивания вместе конвейеров обработки данных в различных онпремисных и облачных средах, а также для выполнения множественных вычислительных нагрузок в одной среде. Сама MapR, начинавшая как продавец сервисов на базе Hadoop, недавно перепозиционировала свою технологию как единую платформу для интеграции многих источников данных.


2018. Провайдеры Big Data платформ Cloudera и HortonWorks объявили о слиянии



Cloudera и Hortonworks - две крупнейшие компании, конкурирующие на рынке больших данных - объявили о своем слиянии. Вероятно, слияние Cloudera и Hortonworks продиктовано условиями рынка. Обе компании пытаются получить коммерческую выгоду, создавая и эксплуатируя различные решения на базе открытой архитектуры Hadoop. Противостояние между ними было жестким и далеко не столь прибыльным, как им хотелось бы. С другой стороны, после выхода на биржу, обе компании показывали двухзначный прирост доходов. Объединенная компания также собирается заняться рынком интернета вещей: IoT-устройства производят колоссальные объемы данных, так что интерес к этой сфере со стороны компаний, занимающихся Big Data, вполне объясним.


2016. EMC представила обновленное облачное решение Elastic Cloud Storage для работы с большими данными



Корпорация EMC представила обновленное программно-определяемое хранилище данных ECS (Elastic Cloud Storage) v2.2. Продукт включает в себя широкий набор элементов облачных программно-определяемых систем хранения данных (SDS) с высокими показателями масштабирования (вплоть до экзабайтов данных). В основе решения лежит программный модуль хранения неструктурированных данных, который может устанавливаться на любое стандартное оборудование и поставляться как в виде программного решения, так и программно-аппаратной системы. Новое поколение EMC ECS — это многоцелевая платформа с поддержкой множества протоколов (таких как AWS S3, OpenStack Swift, HDFS), способная заменить раздельные системы хранения. За счет поддержки NFS продукт может работать с файловыми данными без дополнительного шлюза.

2015. Google запустил онлайн Big Data сервис Cloud Dataproc



В дополнение к своим услугам в области больших данных, компания Google запускает новый сервис для управления большими данными на своей облачной платформе Google Cloud Platform. Он позволяет использовать движки обработки больших данных Spark или Hadoop прямо в облаке. По утверждению компании, пользователи сервиса смогут запустить кластер Hadoop за 90 секунд. Эта цифра существенно превышает возможности других сервисов. При этом Google будет брать только 0,01 доллара за час работы виртуального процессора в кластере. Эта стоимость будет добавляться к обычной стоимости работы с виртуальными машинами и хранения данных. Поскольку сервис Dataproc позволяет разворачивать кластеры так быстро, пользователи смогут использовать их по мере необходимости, а не держать в рабочем состоянии постоянно.


2012. Google и Amazon снижают цены на облачные платформы. Запускают новые сервисы



Конкуренция - это хорошо. В понедельник Google снизил цены на свое облачное хранилище Google Cloud Storage на 20%, а уже сегодня Amazon в ответ снизила цены на свое хранилище S3 на 25%. Очевидно, в ближайшее время и Microsoft снизит цены на услуги Windows Azure, чтобы привести их к уровню конкурентов - примерно до $0,09/месяц за Гб. Такая же история была и в марте, когда Amazon снизила цены, а Microsoft и Google сразу подравнялись к ним. Потому что на рынке облачных платформ цена уже не является конкурентным преимуществом, но если у тебя цены выше чем у остальных - это большой минус. Некоторые эксперты  сомневаются, что Amazon и преследователи уже вообще что-то зарабатывают на продаже Гигабайтов и Гигагерцев. Как и на мобильном рынке, главная задача облачных вендоров - подсадить крупные компании и SaaS-провайдеров на свою платформу, даже если для этого нужно продавать себе в убыток. ***


2009. Amazon открывает сервис Big Data в облаках Elastic MapReduce



Компания Amazon сообщила об открытии нового сервиса Amazon Elastic MapReduce, который позволят с легкостью обрабатывать огромные количества разнообразных данных. Сервис основан на совместном использовании Amazon EC2 и S3, а также фреймворка Hadoop. Elastic MapReduce позволяет разрабатывать приложения для обработки большого массива данных на любом языке, загружать данные и приложения по их обработке в Amazon S3, запускать из AWS Management Console так называемый MapReduce «job flow» (инстанс EC2), там же мониторить статус job flow, а по окончанию работы результат помещается в Amazon S3. Отметим, что Amazon первая начала предоставлять коммерческие услуги MapReduce с использованием Hadoop.