??? ????? Big Data ? ??? ? ???? ????????

Big Data ???????? ????? ???????????? ??????????, ??????? ?????????? ???????????????? ???????? ???????? ??-?? ????????????? ??????, ???????? ?????? ? ???????????? ????????. ??????????? ?????????? ??????????? ?????????? ????????? ???????? ?? ????????? ????????.

???????????? ? ??????????? ??????? ?????????? ????????? ??????. ??????? ?????? ??????????? ? ?????????????. ????? ?????? ???????????? ?? ??????. ????? ????? ??????????? ????????? ????????? ??? ??????????? ???????????????. ????????? ???? — ??????????? ?????? ??? ????????? ???????.

?????????? Big Data ????????? ????????? ??????????? ???????????????? ????????????. ???????? ???? ??????? ?????????????? ?????????. ?????????? ?????????? ????????? ???????? ??? ?? ? ?????? ?????????? ???????. ????????? ??????????? ??????????? ???????????? ??? ????????? ???????.

??????? ??????????? Big Data

?????? ?????????? ?????????? ?????????? ?? ???? ??????? ?????????, ??????? ???????? ????? V. ?????? ??????????? — Volume, ?? ???? ?????????? ??????. ???????? ?????????????? ????????? ? ????????? ???????? ?????????. ?????? ???????? — Velocity, ???????? ???????????? ? ?????????. ?????????? ????????? ?????????? ???????? ????????? ?????? ???????. ?????? ???????? — Variety, ???????????? ????? ??????????.

??????????????????? ?????? ??????????? ? ???????? ? ??????? ????????? ? ??????. ??????????????? ???????? ?? ????? ??????? ???????? ??????. ??????????, ???????????, ?????????? ????????? ???????????? ? ???? ?????????. ????????????????????? ?????? ???????? ?????????? ?????????. XML-????? ? JSON-????????? pin up ???????? ???????? ??? ?????????????? ??????????.

?????????????? ????????? ?????????? ????????? ?????????? ?? ????????? ????? ????????????. ???????? ??????????? ????????? ??????? ??? ????????????? ?????????. ???????????????? ????????????? ??????????? ??????????? ???????? ??? ?????????? ?????????. ?????????????????? ???????????? ??????????? ???????? ??? ?????? ?? ????? ??????. ???????????? ????????? ??????? ???????? ?? ?????? ????? ??? ?????????? ???????????? ? ??????? ???????.

?????????? ???????? ??????????

??????????? ???????? ????????? ???????? ?? ???? ???????. ?????? ????????? ??????? ?????????? ??????? ???????? ??? ??????????????? ???????.

??????? ?????? ??????? ?????????? ????????:

• ?????????? ???? ?????????? ????????? ?????????, ???????????, ????? ? ?????????? ? ???????????????? ??????????. ??????? ???????????? ?????, ??????? ? ???????????.
• ???????? ????? ????????? ???????????????? ??????????, ??????? ? ?????????. ??????????? ??????? ???????????? ???????? ????????. ???????????? ?????? ???????? ?????? ? ??????????? ? ??????????????.
• ?????????????? ??????? ????????? ???????? ?????????? ? ???????. ?????????? ?????????? ????????? ???????. ??????-???????? ????????? ?????? ??????? ? ?????? ??????????? ??? ?? ??? ???????????????? ????????????.
• ???-??????? ???????? ??????? ??????????, ????? ? ??????????? ?? ?????????. ????????? ??????? ??????????? ??????? ?????????????.
• ????????? ?????????? ???????? ?????????????? ???????? ? ???????? ?? ????????????? ?????.

??????? ????? ? ?????????? ????????

??????????? ?????????? ???????? ??????????? ?????????? ???????????????? ????????. API ???????????? ???????? ?????????????? ????????? ?????????? ?? ????????? ????????. ???-????????? ???????? ???????? ? ???-???????. ?????????? ?????????? ??????????? ?????????? ????????? ???????? ?? ???????? ? ?????? ??????????? ???????.

??????? ???????? ??????? ?????????? ??????????? ?? ????????? ???????. ??????????? ????????? ?????????? ???????? ? ???????? ?? ???????. NoSQL-????????? ????????? ???????????? ?????? ??? ??????????????? ??????. ???????????????????????? ????????? ????????? ?????????? ? ???? JSON ??? XML. ???????? ????????? ???????????????? ?? ?????????? ???????????? ????? ?????????? ??? ?? ??? ??????? ?????????? ????????.

?????????????? ???????? ??????????? ??????????? ???????? ?? ???????????? ?????. Hadoop Distributed File System ????????? ????? ?? ????? ? ???????? ?? ??? ????????????. ???????? ????????? ?????????? ??????????? ??????????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ??????????? ?????? ?? ????? ??????? ????.

??????????? ??????????? ?????? ? ????????? ?????????? ??????????. ????????? ?????? ?????????????? ?????? ? ??????????? ?????? ??? ??????????? ???????. ????????????? ?????????? ??????? ????????????? ?????? ?? ??????????? ????????.

????????? ??????????? Big Data

Apache Hadoop ???????? ????? ????????? ??? ?????????????? ????????? ???????? ????????. MapReduce ????? ?????? ?? ?????? ???????? ? ????????? ???????? ??????????? ?? ???? ?????. YARN ?????????? ????????????? ???????? ? ???????????? ??????? ????? ??? ?? ????????. Hadoop ?????????????? ????????? ?????? ? ???????????? ???????????.

Apache Spark ????????? Hadoop ?? ???????? ??????? ????????? ?????????????? ??????????? ??????. ??????? ????????? ?????????? ? ??? ??? ?????? ??????????? ??????. Spark ?????????? ????????? ?????????, ????????? ??????, ???????? ???????? ? ??????? ????????. ???????????? ????????? ????????? ?? Python, Scala, Java ??? R ??? ???????????? ????????????????? ??????????.

Apache Kafka ????????????? ??????????? ???????? ???????? ????? ???????????. ??????? ???????????? ???????? ????????? ? ??????? ? ??????????? ?????????. Kafka ?????????? ????? ??????? ??? ?? ?????? ??? ???????? ???????? ? ?????????? ? ??????????????? ???????????? ??????? ??????.

Apache Flink ???????????????? ?? ??????????? ????????? ?????????? ? ????????? ???????. ??????? ????????? ???????? ?? ???? ?? ?????? ??? ??????????. Elasticsearch ??????????? ? ????????? ?????? ? ??????? ???????. ?????????? ???????????? ?????????????? ?????????? ? ????????????????? ??????????? ??? ?????, ?????? ? ???????.

????????? ? ???????? ????????

?????? ?????????? ?????????? ???????? ?????? ???????? ?? ???????? ??????. ???????????? ???????? ????????? ??????????? ???????. ??????????????? ???????? ???????????? ????? ??????????. ???????????? ????????? ????????????? ??????????? ??????????? ?? ?????????? ???????? ????????. ???????????????? ????????? ???????????? ?????? ????.

???????? ???????? ?????????????? ????????? ????????? ? ??????. ????????? ????????? ?? ???????? ? ??????????? ???????????? ???????????. ??????????? ???????? ?????????? ??????????? ?????????? ??? ??????????. ????????? ????????????? ?????? ????????? ??? ?????????????? ??????????.

??????????? ???????? ??????? ??????? ?????????????? ? ??????????????? ??????????. ????????????? ???????? ?????? ???????? ??? ????????????? ????????. ???????? ? ????????????? ??????????? ??????? ????? ??? ?? ?????? ??? ???????????? ??????????.

???????????? ???????? ??????????? ????????? ???? ??? ????????????? ????. ?????????? ?????? ???????????? ???????????. ???????????? ???? ??????????? ?????????? ????? ? ??????????????? ????.

??? ??????????? Big Data

???????? ????? ?????????? ??????? ???????? ??? ???????????????? ???????????????? ???????????. ???????? ????????? ?????? ???????????? ? ????????? ?????????????? ???????????. ????????? ????????? ??????????? ?? ?????? ? ?????????????? ????????? ???????. ???????? ??????????? ???????? ???????? ??? ????????? ???????? ?????????.

?????????? ??????? ????????? ????????? ??? ????????????? ????????? ??????????. ????????? ??????? ?????????????? ?????????? ???????? ? ????????? ???????? ??????????? ? ????????? ???????. ????????? ???????? ????????? ?????????????????? ????????? ?? ?????????? ???????????? ????????. ????????? ????????? ????????? ??? ??????????? ????????? ?????????.

??????????????? ?????????? ?????? ??? ????????? ??????????? ?????????. ???????? ????????? ??????????? ?????? ???????????? ? ?????????? ?????? ???????? ????????. ???????? ????????? ??? ?? ?????? ??????????? ???-?????????????????? ??? ?????????? ???????????? ???????. ??????????? ??????? ???????? ?????????? ???????? ? ?????????? ? ?????? ??????????.

???????????? ????? ??????????? ??????????? ??????????? ? ??????????? ??????? ????????. ??????????? ???????????? ???????? ??????? ? ???????????? ???????????????. ????? ?????????? ????????? ????????????? ?????????? ? ??????? ?????????. ????????????? ????????? ????????????? ?????? ?? ????????? ? ????????????? ?????.

????????? ???????????? ? ???????????

?????? ??????? ?????????? ???????? ?????? ????? ??? ??????????. ???????????? ?????????? ???????? ?????? ???????? ???????????, ???????? ?????? ? ???????????? ????????????????. ?????? ?????? ????????? ????????????? ????? ? ?????? ? ?????????? ???????. ?????????????? ??????? ??????? ??? ??????? ????????? ????????.

?????????? ???????? ?????? ?? ???????????????????? ?????????????. ????????? ???????????? ?????? ? ?????????? ?????? ??? ???????????? ?????. ???????? pin up ???????? ?????????? ??? ????????? ?? ???? ? ?????????? ?? ???????. ?????????????? ??????????? ???????????? ??????????? ???????? ????? ????????? ???????.

??????????? ????????????? ????????????? ??????? ??????????? ??????? ??????????. ??????????? ???????? GDPR ???????????? ????????? ???????? ?? ?????????? ??????. ???????? ?????? ?????????? ??????????? ? ????? ???????????? ??????. ????????????? ?????? ?????? ?? 4% ?? ????????? ??????.

????????????? ??????? ??????????????? ???????? ?? ???????? ??????????. ??????? ?????? ?????, ?????????? ? ?????? ?????????. ???????????????? ??????????? ?????? ?????????????? ????????? ? ??????. ??????? ????????? ??????????? ???????? ??? ????????? ???????? ?????????? ?????????. ????????????? ??????????? ????????? ????? ??????????? ?? ???????? ???????? ??????????.

????????? ??????? ?????????? ??????????

????????? ???????? ?????????????? ????????? ???????? ??????????. ????????? ?????? ??????????? ??????? ??????? ?? ??????? ?????? ???. ??????? ??????? ???????????? ????????????, ????????????????? ????????? ? ?????????? ?????????? ????????. ?????????? ??????????? ????????? ? ?????????? ????????? ???????????.

??????? ??????? ??????? ?????? ???????? ????? ? ?????? ?????????. ??????? ????????? ???????? ???????? ??? ???????? ? ??????. ????? ???????????? ???????? ? ????????? ?????????? ??????????????????. ??????????? ????????? ????????? ?????? ? ????????????? ????????? ??????????? ?? ?????.

????????????? ????????? ???????????? ?????? ??????????? ????????????? ???????. ?????????????? ???????? ???????? ?????????? ????????? ?????? ??? ??????????? ??????????????. ????????? ???? ??????? ????????????? ?????? ??? ?????????? ???????. ????????? ?????????????? ?????????? ?????? ? ????????? ??????? ? ????????????.

?????????????? ???????? pin up ????????? ??????????? ??????? ?? ?????????????? ?????????? ??? ?????? ??????????. ??????? ??????? ?????? ??????? ??????, ???????? ???????????. ???????? ????????????? ??????? ??????? ? ??????????? ????????. ??????? ???????????? ?????????? ?????? ? ?????? ?? ?????????.