Компания Western Digital разработала семейство накопителей Ultrastar DC ME200 Memory Extension Drive. В наименовании новинки вы не увидите привычной аббревиатуры SSD. С точки зрения Western Digital — это именно «расширитель» ОЗУ, а не привычное всем устройство для долговременного хранения данных. Внешне новинки невозможно отличить от SSD в исполнении PCIe-адаптера или накопителя в форм-фактре U.2. Но логика работы накопителей Memory Extension Drive совсем другая и требует иного подхода со стороны разработчиков программ и операционных систем.
В компании Western Digital заявляют о совместимости Memory Extension Drive с Linux 64-bit OS, RHEL 6.5, 6.6, 6.7, 6.8, 6.9, 7.0, 7.1, 7.2, 7.3, 7.4, SLES 11-SP4, 12, 12-SP1, 12-SP2, Fedora Core версии от 4 до 27, Open SuSe версий 10 и 11, Ubuntu Server версий от 16.04 до 17.10 и Debian 9.5.0. Драйверы и утилиты создают платформу для адресации к виртуальной программно-конфигурируемой памяти, где нет различия между модулями DRAM и SSD с поддержкой протокола NVMe. Тем самым условно сколь угодно большой массив данных можно загрузить и обработать в памяти, где для программного обеспечения нет различия между модулями DRAM и накопителями SSD.
Для того, чтобы накопители Memory Extension Drive работали с производительностью, близкой к производительности оперативной памяти, а в ином случае все это не имеет смысла, разработчик задействовал свыше 20 алгоритмов кэширования, предсказания ветвлений и другие механизмы для сглаживания проблем, связанных с задержками обращения к SSD. При этом Western Digital настаивает, что проблему стирания границы между SSD и DRAM в основном должны решать специальные алгоритмы машинного обучения. В одиночку компания не потянет весь круг задач и призывает сообщество развивать программную инфраструктуру для накопителей Memory Extension Drive.
Как уверены в компании, накопители Memory Extension Drive хорошо подходят для решения следующих задач: для сетевого журналируемого хранилища данных Redis, для сервиса кэширования данных Memcached в оперативной памяти на основе хеш-таблицы, для баз данных In-Memory, для хранилищ данных, для IoT-платформ, для потоковой аналитики, для Apache (Spark, Storm, Kafka), для распределённых баз в памяти, для приложений с кэшированием, для распределённого контента (CDN), для услуг SaaS, для аналитики как сервиса, AI/ML и сервисов с массивным журналированием.
На момент анонса компания поставляет избранным клиентам накопители Ultrastar DC ME200 Memory Extension Drive в виде моделей объёмом 1 Tb, 2 Tb и 4 Tb. Полка высотой 1U вместит достаточно накопителей в форм-факторе U.2, чтобы предоставить пользователю 24 Tb «почти что памяти DRAM». Насколько будут велики потери от работы такой виртуальной памяти? По данным WD, если взять за чистую производительность обращение к 786 Gb DRAM, скорость работы которой оценивается на уровне 1,080 млн. транзакций в секунду, то микс 3:1 (576 Gb Ultrastar и 192 Gb DRAM) просядет до 91% производительности или до 983 тыс. транзакций, а при соотношении 7:1 (672 Gb Ultrastar и 96 Gb DRAM) производительность снизится до 85% или 918 тыс. транзакций в секунду. Достаточно интересно, но как за это проголосует индустрия, пока непонятно, сообщает servernews.ru.
