Wyobraź sobie ogromną bibliotekę. Tyle że zamiast książek przechowuje się w niej dane cyfrowe z komputerów. Są tu na przykład wyniki badań naukowych i zbiory muzealne. Taką biblioteką, w dodatku dostępną dla wszystkich, jest Krajowy Magazyn Danych (KMD).
Marek Rokita
Zawiera on morze informacji, ale nie jest to wiedza tajemna. Przeciwnie – Magazyn powstał po to, by ludzie mogli korzystać z tego, co w nim jest. W ten sposób działa otwarta nauka, którą wspiera Unia Europejska. W KMD przechowuje się zarówno opracowane wyniki badań, jak i tzw. dane surowe, które można samodzielnie analizować i na tej podstawie wysnuwać wnioski. Ta część danych jest bardzo obszerna. Znajdziemy tu szczególnie dużo informacji z zakresu astrofizyki, fizyki wysokich energii, ale też zbiory przyrodnicze.
Naukowcy, którzy prowadzą badania, nie mają obowiązku przechowywać ich wyników w konkretnym miejscu. Mogą gromadzić je w swoich komputerach. Muszą jednak zapewnić im bezpieczeństwo, a także dostępność, jeśli korzystają z unijnych grantów. To właśnie zyskają, gdy ulokują je w Krajowym Magazynie Danych. – W dużym uproszczeniu: dajemy narzędzie, za którego pomocą dane można umieścić w sposób, jakiego wymaga Komisja Europejska – mówi Norbert Meyer, dyrektor Pionu Technologii Przetwarzania Danych Poznańskiego Centrum Superkomputerowo-Sieciowego (PCSS). – Oferujemy też inne usługi, jak tworzenie kopii zapasowych i archiwizacja. A wszystko to na najwyższym poziomie, z zachowaniem standardów Komisji Europejskiej i Ministerstwa Nauki i Szkolnictwa Wyższego – dodaje.
Sieć dla rozwoju
W PCSS w Poznaniu znajduje się główny człon KMD. Jednak magazyn jest rozproszony w dziewięciu miastach w całej Polsce – na uczelniach od Gdańska do Krakowa i od Wrocławia po Białystok. W każdym z tych miejsc znajduje się kiosk wielkości niewielkiego pokoju. Kiedy wejdziemy do środka, po obu stronach zobaczymy rzędy szaf. Same nośniki danych zajmują około jednej trzeciej przestrzeni. Pozostała potrzebna jest na systemy chłodzenia oraz by zapewnić dostęp serwisantom. W bibliotekach taśmowych i na dyskach przechowywane są dane z placówek naukowych oraz zdigitalizowane zbiory bibliotek i muzeów. – Ale to nie wszystko. Z Krajowego Magazynu Danych mogą również korzystać przedsiębiorstwa. W ten sposób zapewniamy im wsparcie w badaniach i rozwoju – podkreśla Maciej Brzeźniak, kierownik działu infrastruktury danych i architekt rozwiązania.
Na danych w KMD można np. trenować algorytmy sztucznej inteligencji. – Do tego potrzebna jest duża ilość danych. Im jest ich więcej, tym lepiej wytrenowana będzie sieć. Jest to taki łańcuszek zależności, na którym buduje się później aplikacje wyższego poziomu – tłumaczy Norbert Meyer.
Dużo, coraz więcej
Dane w KMD są bezpieczne i powszechnie dostępne. I, co ważne, znajdują się na polskich serwerach, mamy więc nad nimi całkowitą kontrolę. Łączna pojemność KMD wynosi aż 700 petabajtów, czyli mniej więcej tyle, ile trzy miliony przeciętnych laptopów. Czy to dużo? – Tak, ale musimy mieć świadomość, że ilość danych rośnie bardzo szybko i w sposób ciągły. Nasz magazyn musi być więc powiększany. A także modernizowany, bo pewne technologie wychodzą z użytku i należy je zastępować aktualnymi – tłumaczy Rafał Mikołajczak, ekspert bibliotek taśmowych. Dlatego pod koniec ubiegłego roku rozpoczęła się realizacja kolejnego projektu, który ma unowocześnić infrastrukturę Krajowego Magazynu Danych i usprawnić jego działanie. Będzie go realizować zespół powiększony o kolejne dwie instytucje.
Instytut Chemii Bioorganicznej PAN – Poznańskie Centrum Superkomputerowo-Sieciowe otrzymał ok. 158 mln zł dofinansowania z Programu Inteligentny Rozwój 2014-2020. Pozwoliło mu to zrealizować projekt „Krajowy Magazyn Danych. Uniwersalna infrastruktura dla składowania i udostępniania danych oraz efektywnego przetwarzania dużych wolumenów danych w modelach HPC, BigData i sztucznej inteligencji”. Instytucja realizuje obecnie drugi projekt o tej samej nazwie. Dofinansowanie z programu Fundusze Europejskie dla Nowoczesnej Gospodarki wynosi 147 mln zł.
