??? ????? data science ? ??? ???????? ???????? ??????

Data science ?????? ????? ????????????????? ????? ??????, ??????? ???????? ??????????, ??????????, ???????????????? ? ?????????? ??????????. ????????????? ???????? ???????? ??????? ?? ??????? ????????? ??????????, ????????? ??????? ??????? ? ?????????. ??????????? ?????????? ?????? ??????? ??? ???????? ?????????? ??????? ? ????????????????? ?????????.

????????? ?????? ????????????? ? ??????? ??????????? ??????????: ?????? ??????, ?????? ????????, ??????? ???????. ??????????? ??????????? ????? ??????, ??????? ?? ?? ????????????, ????? ??????????? ?????????????? ?????? ??? ??????????? ???????????????. ??????? ???????????? ???????????? ???????, ???????????? ????????????? ? ????????????? ???????????.

?????????? pin up ??????? ?? ?????????????? ???????? ??????? ???????????????? Python ??? R, ?????? SQL ??? ?????????????? ? ?????? ??????. ???????? ????????? ???????????? ??????, ????????? ?????????, ???????? ?????????? ? ????????? ????????. ?????????? ???????? ???????? ??????? ??????????? ??????? ? ???????? ???????? ???????.

????? ?????? ????? ? ?????????????? ????? ??? ???????????. ????? ????????? ????????? ??? ?????? ??????, ????????? ????????????? ?????, ???????? ????????? ????????????? ????????????????????? ????? ???????.

????? data science ? ??? ????

??????? ????? ? ?????? ???????? ??? ??????????: ?????????????? ??????????, ?????????????? ????? ? ?????? ?????????? ?????. ?????????? ???? ?????????? ???????? ? ???????? ??????????. ???????????????? ???????????? ????????????? ??????? ???????????? ????????. ?????????????? ? ???????????? ??????? ??????????? ????? ???????????????? ??????????.

???????? ?????? ?????????????? ??????????? ? ????????????? ????? ?????????? ? ?????????? ??????. ???????? ?????????? ?????????? ??? ????????? ?????????????? ?????????, ????????? ?????????? ??????, ?????????????? ??????? ?? ???????????????. ???????? ???????????? ?????????????? ?????? ??? ????????????? ????????? ?? ??????? ??????????.

???????????? ???? ??? ?? ???????? ??????? ????? ???????????. ???????????????? ??????? ????????? ?????? ?? ?????? ????????? ?????????????. ??????? ????????? ????? ????????? ?????????? ??? ????????????? ?????????????? ??????????. ????????? ????????? ???????????? ????? ????????? ????? ?? ????????? ??????????.

???????? ????????? ???????? ????????????????? ???????. ????????????? ??????????? ?????????? ??? ?? ?????? ??? ?????????? ??????????? ????? ?????????. ???????????????? ?????? ????????? ????? ? ??????????. ??????????? ????????????? ??????????? ???? ?????????? ?????????? ? ????????? ?????????????? ????????.

??????? ??????????? ?????? ? ???????????

???????? ?????? ????????? ??????? ???????????? ????? ????? ???????????????? ?????????? ? ??????-???????????????. ??????? ?????????????? ??????? ?????????? ?? ???? ??????? ??? ?????????????. ??????? ??????????? ??????? ? ?????????? ??????, ???????? ????????? ?????? ? ??????? ????????.

?? ???? ???????????? ???????? ?????????? ??????? ? ???????? ?????? ??? ?????????? ???????????????? ????. ?????????? ????????? ??????????? ???????, ???????? ?????????? ?????????????? ??????. ?????????? ????????????? ? ???????? ???????? ?????????? ?????? ? ?????????? ??? ?????? ???????.

? ???????? ????????? ???????? ????????????? ?????? ???????, ?????????? ????????????? ?????? ? ????????? ?? ??????????????? ????????. ?????????? ???????????? ???????? ?????????? ??????, ???????????? ???????????? ?????????? ???????. ?????????? ? ??????? pin up ????????? ???????? ? ?????????? ?????????????? ?????????? ?? ????????????? ????????.

??????????? ???? ???????? ?????????? ??????? ??? ???????????????? ?????????. ??????? ??????? ??????? ? ??????, ??????????? ??????????????? ??????????? ??? ??????? ??????????. ???????????? ?????????? ?????? ???????????? ?? ?????????? ???????. ???????????? ????????? ? ??????????? ????????????? ??????????? ???????????.

?????? ? ??????? ??????

?????????? ????????? ???????? ???????? ?? ????????? ?????. ?????????? ??????? ??????? ?????????????? ?????? ? ????????, ?????????????? ????????, ?????????? ?????????. ???-????????? ?????????? ???????? ??????????? ????????: ???????? ???????, ?????, ???????????? ?????????. ????????? ????????? ???????????? ???????? ????????????? ? ??????????????.

????????? ?????? ???????????? ?????????????? ????????? ??? ????????. ?????????? ????????? ???????? ???????? ???????????? ? ???????. ????????? ??????????????? ????????? ????????????? ?????????? ?? ????????? ? ??????????. ??????????? ??????????? ???????????? ??????? ? ???????? ?????????? ????????.

?? ??????????? ???????? ??????????????, ????????????????????? ? ??????????????????? ??????. ?????????????? ?????? ??????????? ? ??????????? ?????????? ? ???????????? ?????????? ??????. ????????????????????? ????????? ???????? JSON ? XML ?????. ??????????????????? ???????? ???????? ????????, ?????????????, ?????, ?????????????.

???????? ???????? ? ??????????????? ? ??????????????? ????????? ??????????. ?????????????? ???????? ?????????????? ???????: ??????? ????????, ?????? ????????????, ????????????? ????????. ???????????? ???????? ????????????? ??????: ??? ???????, ???? ????????. ????????? ?????????????????? ?????????? ???????? ?????? ? ??????? ??? ?? ?? ??????? ????????? ?????????.

?????? ??????? ? ?????????? ??????

????????? ????????? ?????????? ?????????? ? ????????????? ? ?????????? ?????????? ?????????. ???????? ????????? ????????? ????????? ??? ????????? ????????????? ????????? ? ????????. ???????? ????????? ?????? ??????? ? ??????? ???????? ?????????????? ?????? ? ?????? ???????????? ??????.

?????? ??????????? ?????????? ????????? ?????????? ??????? ???????? ?? ?????????. ???????? ????????? ?????? ????????? ??? ?????????? ?????????: ?????? ????????, ??????? ??? ???????? ????????????????? ?????????. ??????????? ?????????? ????????????? ?????? ??? ??????????????? ????????????? ?????????? ?? ???? ???? ???????. ? ???????????? ??????????????? ?????? ? ?????????? ????????????? ???????.

????????????? ?????????? ? ???????? ????????? ?????? ?? ????????? ???????????. ??????????? ??????????? ?????????????? ??????: ?????????????? ????????, Z-??????, ???????? ???????????? ????. ???????? ? ??????? ??? ?? ?????? ??????????, ???????? ?? ??????? ???????? ????????? ??? ????????? ?????????????? ???????????, ???????????? ?????????? ????????.

???????????? ? ?????????????? ???????? ???????? ? ??????? ???????. ??????????? ???????????? ????????? ???????? ? ??????? ????????, ??????????????? ???? ??? ? ???????. ???????? ???????? ?????????????? ? ????????? ?????????? ??? ?????????? ???????????? ?????????? ????????? ????????. ???????????? ????????? ?????????? ????????? ?????????? ????? one-hot encoding ??? label encoding.

???????????? ???????? ? ?????????? ???????

??????????? ?????? ?????? ???????????? ????? ????????? ?????? ???????????? ??????????. ???????? ????????? ???????????? ??????????: ???????, ???????, ??????????? ??????????. ???????? ????????? ??????????? ????????????? ?????????, ??????? ????????? ??? ????????? ????????????. ????????????? ??????????? ?????????????? ??????? ??? ?????????? ????????????.

?????????? ?????????? ??????? ?????????? ? ?????? ??????????? ??????. ??? ????? ????????? ??????????? ???????? ?????????, ??????? ???????, ??????????? ???????. ???? ????????????? ???????? ? ??????? ????????????? ?????????, ?????????? ????, ????????? ?????. ??????????? ????????? ?????????? ?? ????????? ? ???????? ??????.

?????????? ?????? ???????????? ?????? ????????? ???????? ?????????. ????????? ????????? ???????????? ???????? ??? ???????????? ???????????? ??????. ??????????? ??????????? ?????????????? ????? grid search. ???????? ?????????? ??????? pin up ??? ????????? ????????????: ?????????????, dropout, early stopping.

??????????? ????????????? ?????? ??????????? ? ?????????????? ???????????, ??????????????? ???? ????. ??? ????????? ???????????? ??????? ?????????? ?????? ? ??????????? ????????????. ????????????????? ?????? ?????????? ????? ????????????, ???????, F1-????. ????????? ?????????????? ?????????? ?????????? ??? ????????? ????????, ?????????????? ?? ????????.

??????????? ? ?????????? data science

Python ???????? ???????? ?????????????? ?????? ???????????????? ??? ???????????? ????????. ?????????? Pandas ??????????? ?????????? ???????????? ? ?????????? ????????? ? ?????????? ????????????????????. NumPy ???????????? ???????? ??? ?????????????? ???????? ? ???????????? ????????. Scikit-learn ???????? ??????? ?????????? ?????????? ??????????????? ???????? ??? ?????????????, ?????????, ?????????????.

???? R ??????? ????????????? ? ?????????????? ??????? ? ????????????? ???????. ??????????? ??????????? ?????? dplyr ??? ?????????????? ? ???????, ggplot2 ??? ???????????? ????????. ???????? ???????? R ??? ??????? ?????????????? ???????? ? ?????????????????? ???????.

SQL ?????? ???????? ??? ?????? ? ???????????? ??????????? ??????????. ???????? ???????? ?????? ?? ????????, ????????? ????????? ? ??????????? ??????. ???????? ?????????? ??????? ??? ?????????? ????????? ? ??????????? ??????????. ??????????? ??????? ???????????? ??????? ??????????? ? ????? ??? ?? ??? ??????? ??????? ?????.

????????? ??? ???????????? ? ?????????? ??????????? ?????????? Apache Spark, Hadoop, Apache Flink. ??????????? ?????????????? ?????????? ???????????? ????????? ?????????? ?? ????????? ?????. ???????? ????????? AWS, Google Cloud, Azure ???????????? ??????? ???????????. Jupyter Notebook ??????? ????????????? ???????????? ??? ????????????? ? ??????????? ? ???????????????? ?????????.

????????????? ??????????? ? ?????????

????????????? ?????????? ?????????? ??????????? ???????? ?????? ? ????? ?????????? ??????. ???????? ???????? ??? ????????? ? ??????????? ?? ??????? ???????? ? ????? ?????????????. ?????????? ??????? ???????????? ?????????, ???????? ??????? ???????? ???????? ?????????. ???????? ????????? ?????????? ??????????? ??????, ???????? ????? ?????????? ????????? ?????????????.

????????????? ?????? ???????????? ??????????? ?????? ? ???????? ???????? ????????. ????????????? ????????????? ?????? ? ????????? ??? ???????????? ??????? ??????????. ???????? ?????????? ??????? Tableau, Power BI, Plotly ??? ?????????? ????????????? ???????. ????????? ??????????? ?????????? ?????? ? ??????????? ???????????????? ? ?????? ????????? ???????.

???????????? ????????????? ?????????? ??????? ?????????????????? ????????????? ?????? ???????. ???????? ???????? ???????? ??????-??????, ??????????? ????????, ?????????? ? ???????????. ???????? ?????????? ??????? ??????????? ??? ??????? ?????????. ??????????????? ?????? ?????? ????????? ????????? ?????????? ? ??????????? ???????? ? ????? ??? ?? ?????? ??? ??????? ????????.

??????????? ??????????? ???????????????? ????????? ??????????? ????????????? ??????. ??????????? ??????? ?????????? ????????? ? ??????? ?? ?????????? ???????? ??????. ????????? ??????????? ???????????? ???????? ??? ?????????? ??????? ? ??????-????????.