Исследовательское подразделение корпорации IBM сегодня продемонстрировало прототипы будущих крупномасштабных систем хранения данных. В IBM представили разработку, способную просканировать 10 млрд. файлов в одной файловой системе всего за 43 минуты. Ранее в IBM была представлена система, сканирующая 1 млрд. файлов за 3 часа, таким образом производительность новой версии была увеличена в 37 раз. В IBM говорят, что подобные системы работы с файлами будут востребованы, так как все больше компаний используют очень большие системы хранения данных, которые требуют значительного штата ИТ-администраторов и в большинстве случаев разбиваются на несколько независимых подсистем. Новая разработка позволяет значительно упростить работу с очень большими файловыми системами.
В 1998 году IBM презентовала кластерную файловую систему General Parallel File System (GPFS), которая уже тогда позволяла работать с большими объемами информации, предоставляя пользователям возможности по скоростному доступу к любым данным. Тогда GPFS позиционировалась как основа для критически важных приложений, работающих с корпоративными архивами. Сейчас в IBM говорят о значительном усовершенствовании GPFS и оптимизации ее для современных 8-ядерных процессоров. По словам представителей компании, тестирование проводилось на кластере из 10 серверов с восьмиядерными процессорами и SSD-накопителями в качестве хранилища данных. В новой версии были проведены усовершенствования, позволяющие эффективно работать на многоядерных процессорах и современных накопителях на базе flash-памяти, структура хранения которой отличается от структуры записи на жестких дисках.
В IBM говорят, что новая версия GPFS является единственной на сегодня файловой системой, которая использует одновременно все ядра процессоров на всех этапах работы файловой системы, что позволяет достичь рекордных показателей производительности. Кроме того в новой версии было усовершенствовано хранилище метаданных, через которое пользователи могут быстрее находить нужные им данные.
