loader

Zalety implementacji in-memory w hurtowniach danych

Posiadając już dane zmagazynowane w jednym miejscu, zaczęto zastanawiać się, jak najsprawniej odczytywać je z dysków, na których były przechowywane. Kluczowym elementem był czas odczytu dużych ilości danych wykorzystywanych w analizach. Optymalizowano wiec organizację danych oraz metody dostępu do nich. Jednym z przykładów była organizacja danych w tzw. „column storage”, gdzie zamiast sekwencyjnego ułożenia kolejnych rekordów, dane są uporządkowane według wartości poszczególnych pól. Jednak najskuteczniejszą i najpopularniejszą metodą szybkiego dostępu do analitycznych danych okazały się wielowymiarowe bazy danych (OLAP – ang. On Line Analytical Processing).

Równolegle stale zwiększano szybkość dostępu do danych na poziomie sprzętowym. Dane były także skuteczniej rozmieszczane na dyskach, indeksowane, dzielono je na sekcje, czyli klastrowano czy przygotowywano coraz sprawniej funkcjonujące macierze. W celu zwiększenia wydajności wykorzystywano także między innymi pamięć podręczną pośredniczącą w wymianie danych z dyskami (tzw. cache).

Dane można jednak przechowywać w miejscach, które same z siebie będą wpływały na zwiększenie szybkości pracy z nimi. Takim alternatywnym wobec dysku miejscem magazynowania danych jest pamięć operacyjna.

Pełna treść artykułu dostępna jest na naszej stronie www.

1 2

O autorze