Autor:Codenga29.07.2024

Co to jest Big Data?

Definicja

Big Data to duże zbiory danych, które ciężko jest przetwarzać za pomocą tradycyjnych metod. Klasyczne bazy danych nie radzą sobie z dużą ilością informacji i dlatego mamy nieszablonowe rozwiązania, znane właśnie jako Big Data.

Plusem takiego podejścia jest to, że możemy przeanalizować wielkie zbiory danych i wyciągnąć z nich wartościowe wnioski.

Co obejmuje Big Data

Czasami Big Data opisuje się za pomocą trzech “V”.

Volume (Wolumen)

Ogromna ilość danych, generowanych każdego dnia. Te dane mogą pochodzić z różnych źródeł:

• informacje z mediów społecznościowych
• transakcje ze sklepów internetowych
• czujniki z różnych urządzeń

Ważna jest ilość - o Big Data mówimy wtedy, gdy ilość zbieranych informacji jest naprawdę duża.

Velocity (Prędkość)

W Big Data ważna jest także szybkość przetwarzania danych. Często są to systemy, które muszą błyskawicznie przeanalizować dużą ilość informacji.

Variety (Różnorodność)

Big Data obejmuje bardzo różnorodne źródła danych:

• klasyczne bazy danych
• dane półstrukturalne (JSON, XML)
• dane niestrukturalne (zdjęcia, filmy itp.)

Podsumowując: w Big Data mamy duże ilości zróżnicowanych danych, które dodatkowo trzeba przetwarzać szybko. Dlatego konieczne są nowoczesne narzędzia i podejścia do przetwarzania informacji. Klasyczne rozwiązania oparte o relacyjne bazy danych SQL to za mało.

Zastosowania Big Data

Big Data znajduje zastosowanie w dziedzinach, które wymagają przetwarzania dużej ilości danych. Dzięki Big Data firmy mogą analizować preferencje i zachowania klientów. W medycynie mamy możliwość odkrywania nowych leków i większej personalizacji terapii. Big Data używa się też do badań naukowych np. w astronomii, biologii czy chemii.

Zawody i specjalizacje w Big Data

Big Data to bardzo szeroki temat, w którym znajdziemy wiele zawodów wymagających specyficznych umiejętności.

Data Scientist (Naukowiec danych)

Analizuje dane, aby odkryć w nich nowe wzorce i zależności. Potrzebuje umiejętności programowania np. w języku R albo Python. Musi też znać się na statystyce i wizualizacji danych.

Data Engineer (Inżynier danych)

Projektuje i rozwija infrastrukturę niezbędną do zbierania danych. Musi mieć wiedzę na temat systemów baz danych i narzędzi do zbierania informacji.

Data Analyst (Analityk danych)

Analizuje dane, wyciąga wnioski i tworzy wizualizacje (wykresy). Musi znać się na analizie danych i znać niezbędne do tego narzędzia np. Excel czy Tableau.

Big Data Architect (Architekt Big Data)

Projektuje i planuje architekturę systemów Big Data. Dokonuje wyboru właściwej technologii oraz integruje w całość różne systemy.

Machine Learning Engineer (Inżynier uczenia maszynowego)

Tworzy modele uczenia maszynowego. Musi posiadać umiejętność programowania i znać narzędzia uczenia maszynowego (np. TensorFlow, PyTorch).

Business Intelligence Analyst (Analityk BI)

Analizuje dane biznesowe, tworzy raporty i udostępnia je osobom decyzyjnym.

Pamiętaj, że granice pomiędzy tymi specjalizacjami są dość płynne. W mniejszych zespołach, jedna osoba będzie czasami odpowiedzialna za więcej niż jeden obszar działania. Mamy nadzieję, że ta część artykułu dała Ci jakieś ogólne pojęcie na temat umiejętności niezbędnych do pracy w Big Data.

Zarobki w Big Data

Podobnie jak specjalizacje, tak i zarobki są bardzo zróżnicowane. Będą one się bardzo różnić w zależności od firmy i doświadczenia pracownika. Popatrzmy więc na kilka przykładów.

• Data Scientics może liczyć na kwoty w zakresie 10000 zł do 20000 zł (brutto).
• Analityk Danych może liczyć na kwoty w zakresie od 7000 zł do 16000 zł.

Narzędzia Big Data

Warto też wspomnieć o najczęściej używanych narzędziach w Big Data. Trochę już o tym zresztą mówiliśmy opisując najbardziej popularne specjalizacje.

• Przechowywanie danych: Amazon S3, Hadoop HDFS
• Bazy danych: SQL Server, MongoDB, Cassandra
• Przetwarzanie danych: Apache Spark
• Analiza danych i uczenie maszynowe: TensorFlow, Scikit-learn
• Wizualizacja danych: Power BI, Tableau

To tylko wybrane przykłady. Każda specjalizacja ma swoje typowe narzędzia. Ta dziedzina bardzo szybko się rozwija i nowe narzędzia cały czas powstają.

Podsumowanie

Big Data to zbieranie i przetwarzanie dużej ilości danych, których nie da się przetwarzać za pomocą tradycyjnych narzędzi. Dzięki Big Data możemy analizować informacje i wyciągać nowe, odkrywcze wnioski. To bardzo rozwojowa dziedzina, która ma wiele zastosowań i wiele specjalizacji.