?????? ?????? ????????? ?????

????????? ???? ???????? ????? ?????????????? ?????, ?????????? ???????????? ?????????????? ?????. ????????? ??????? ???????????? ? ???? ? ??????????? ?????? ???????????????. ?????? ?????? ???????????? ???????? ??????????, ?????????? ? ??? ?????????????? ????????? ? ???????? ????????? ?????????? ????.

???????? ???????????????? ?????? ??? ???????? ?????????? ?? ???????? ????? ???????. ???? ????????? ??????? ?????? ?????? ? ??????? ???????????. ? ???????? ???????? ?????? ???????? ??????? ?????????, ???????? ?????? ?????????. ??? ?????? ???????? ???????????? ????????, ??? ?????? ???????? ????????.

????????? ????????? ?????? ???????? ?????????????, ????????? ? ????????? ???????????. ?????????? ???????????? ? ??????????? ???????????, ????????????? ????????????, ??????????? ????????. ???????? ???????? ???? ????????????? ??????? ????????? ???? ? ???????? ? ???????????? ?????????.

????????? ????: ??? ??? ? ????? ??? ????????????

????????? ???? ??????? ?? ????????? ?????????????? ?????????, ?????????? ?????????. ??? ???????? ???????????? ? ???????????, ??????? ??????? ??????? ????? ??????????. ?????? ????????????? ?????? ???????? ????????, ?????????????? ?? ? ???????? ?????.

??????????? ???? ?????????? ??????? ? ??????????? ?????????? ?????????? ????? ? ??????. ???????????? ??????? ??????? ????????? ???????????????? ???????, ????? ??? ????????????? ?????? ?????????????? ???????? ??????????????.

???????????? ????????????? ?????????? ???????????? ????. ????? ???????? ?????????? ??????????. ??????????? ?????? ??????? ?????????? ??? ?????????? ??????????. ???????????????? ??????????? ???????????? ???????? ? ??????? ???????????? ?????????. ??????????????? ????????? ??????????? ???????????? ????????????.

?????????? ?????? ????????, ???????????? ???????????? ????????. ????????????? ??????????? ???????????, ??????????????? ???????, ???????????? ????????? ????? ????????????? ??????????? ????????????? ?????????????.

????????????? ??????: ???????????, ?????, ????????? ? ?????????

????????????? ?????? ?????????? ??????? ????? ????????? ????. ???? ????????? ????????? ????????? ????????, ?????? ?? ??????? ???????? ?? ??????????? ??????? ??????????. ???? ?????? ???? ??????? ?????????? ?????.

????? ????????? ??? ????????? ???????????. ? ???????? ????? ??????????? ??????????? ????????, ??????? ????????? ??????? ?????????????? ??? ?????? ??????. ???????? ????????? ???????????? ????????.

????? ???????????? ???????? ? ??????? ?????????. ??? ???????? ?????????????? ???????? ?????????? ? ????????? ?????. ??????? ????????? ????????? ???????????? ? ????????, ??? ???????? ?????????? ??? ??????? ????????? ?????. ??? ???????? ????????? ?????? ?????? ?? ????? ?? ???????????? ?????????? ???????????.

???? ??????? ?????????????? ? ???????? ????????. ??????? ???????? ??????? ??????????, ???????? ????????? ????? ?????????? ? ????????? ???????????. ?????? ?????????? ?????????? ???????????? ???????? ???????????????? ?????????.

????????? ????????? ????: ????, ????? ? ????????? ????????????

??????????? ????????? ???? ????????????? ?????? ?????????????? ???????? ? ?????? ????? ????. ?????? ???????????? ?? ???? ?????. ????????? ???? ????????? ????????, ?????????? ???? ?????????????? ??????, ???????? ???? ??????? ?????.

?????????? ????? ????????? ?????????? ???????? ?? ???? ? ????. ?????? ????? ???????? ??????? ??????????, ??????? ?????????????? ?? ??????? ????????. ???????????? ?????????? ???????????? ?? ???????????? ????????? ??????.

?????????? ?????? ????????????? ?????????:

• ??????? ???????? — ?????????? ???????????? ?? ????? ? ??????????
• ???????????? — ???????? ??????????? ????? ??? ??????????? ?????
• ?????????? — ????????????? ?? ???????????? ???????
• ?????????-???????? — ?????????? ???????? ???????????? ??? ??????????

?????? ????????? ?????????? ?? ???????? ????????. ????? ???? ?????????? ????????? ? ????????? ??????????????? ???????. ?????????? ??????????? ?????? ?????? ??????????? ??????????? ????????? ???????????? ? ??????????????.

??????? ?????????: ????? ??? ?????????? ? ??? ????????

??????? ????????? ??????????? ????????????????? ???? ?????? ??????? ? ???????? ???????. ??? ???? ??????? ????????? ???? ???????? ?? ??????? ???????? ??????????. ????? ?????????????????? ?????? ?????????????? ???????? ??????, ??? ??????? ????????? ??????.

?????????? ???????? ????????? ????????? ?????????????? ??????????? ????????. ???????? ????????????? ????? ? ???????? ?? ???? ?? ??????? ??? ???????? ?????????????. ??????????????? ??????? ?????????? ???????? ?? ????? ??????? ?? ???? ???????.

??????? ReLU ???????? ????????? ????? ? ????????? ?????????? ??? ?????????????. ??????????? ???????? ?????? ReLU ?????????? ???????? ??? ???????????? ?????. ???????? Leaky ReLU ? ELU ?????? ???????? ??????????? ?????????.

Softmax ????????????? ? ???????? ???? ??? ??????????????????? ?????????????. ???????? ???????????? ?????? ??????? ? ????????? ??????. ?????? ???????? ????????? ???????????? ?? ???????? ???????? ? ????????????? ?????? ????????????? ??????.

???????? ? ????????: ??????????, ???????? ? ???????? ???????????????

???????? ? ???????? ??????????? ?????????? ????????, ??? ??????? ???????? ????????????? ?????????? ?????. ?????? ?????? ??????, ????? ???????? ???????????? ????????? ????? ????????? ? ???????? ??????????. ??? ??????? ???????????? ???????? ??????.

?????? ???????? ??????? ? ??????????? ?????? ??????? ????????? ??????????. ???????? ????????? ??????????? ?????????? ??????????? ??????? ??????. ??????? ???????? ? ???????? ???????????, ???????? ?????? ?? ?????? ????????.

?????? ????????? ??????????????? ????????? ????????? ??? ???? ????????????? ????. ???????? ???????? ? ????????? ???? ? ???????????? ? ?????????. ?? ?????? ???? ???????????? ????? ??????? ???? ? ?????????? ??????????.

??????????? ???????? ???????????? ???????? ????????????? ????????????? ?? ?????? ?????. ??????? ???????????? ???????? ???????? ? ???????????, ??????? ????? ????????? ??????????. ????????? ????? Adam ? RMSprop ????????? ??????????? ???? ??? ??????? ????????????. ?????? ??????????? ???????? ???????? ?????? ?????? ????????????? ???????? ????????? ???????????.

???????????? ? ?????????????: ??? ?????? “???????????” ??????

???????????? ?????????, ????? ??????? ??????? ??????? ????????????????? ??? ????????? ??????. ?????? ????????? ????????? ??????? ?????? ??????????? ????????????? ?????????. ?? ????? ?????? ????? ?????? ?????? ?????? ?????????????.

????????????? ???????? ???????????? ???????? ??? ?????????????? ????????????. L1-????????????? ?????????? ? ??????? ?????????? ???? ????????? ??????? ?????. L2-????????????? ??????????? ???? ????????? ?????????????. ??? ??????? ???????? ??????? ?? ??????? ??????? ????????????.

Dropout ????????? ??????? ????????? ????? ???????? ?? ????? ????????. ????? ?????????? ???? ????????? ?????? ????? ????? ??????. ?????? ???? ????????? ??????? ????????????? ????????????, ??? ??????????? ???????????.

??????????????? ????????? ?????????? ???????? ??? ?????????? ?????? ?? ???????? ????????????. ?????????? ?????????? ????????????? ?????????? ????????? ??????????? ????????????. ?????????? ????????? ??????????????? ?????????? ??????? ????????????? ????????????. ?????????? ???????? ????????????? ??????????? ???????????? ?????????????? ??????????? ?????? ??????.

???????? ????????????? ?????: ????????????, ??????????, ????????????

????????????? ????????? ????????? ????? ????????????? ?? ??????? ????????? ????? ????????. ????? ???? ???? ??????? ?? ??????????? ???????? ???????? ? ???????????? ??????.

??????? ???? ????????? ????? ????????:

• ???????????? ???? — ?????? ?????? ?????? ?? ????? ????????? ???????????? ????, ???????????? ??? ????????????????? ????????
• ?????????? ???? — ??????????? ?????????????? ??????? ??? ??????? ????????, ?????????? ????????? ?????????????? ????????
• ???????????? ???? — ???????? ??????????? ????? ??? ????????? ???????????????????, ????????? ?????? ? ??????? ?????
• ??????????????? — ???????? ?????? ? ??????? ??????????? ? ????????????? ???????????? ????????

???????????? ??????????? ??????????? ????????????? ?????????? ?????. ?????????? ???? ????????????? ????????? ? ?????????? ??-?? ?????????? ?????. ???????????? ??????? ???????????? ????????? ? ????????? ????. ???????????? ???????? ???????????? ???????????? ? ??????? ????????? ?????. ????????? ??????????? ?????????? ????? ????????? ????? ?????? ??????.

?????? ??? ????????: ?????????????, ???????????? ? ????????? ?? ???????

??????? ?????? ????? ?????????? ???????????????? ???????? ????????? ????. ?????????? ???????????? ?????????? ?? ??????, ?????????? ????????????? ?????? ? ?????????? ??????????. ????????? ?????????? ???????? ? ????????? ?????????.

???????????? ???????? ???????? ? ??????? ??????. ????????? ?????????? ?????????? ????????? ?????????? ??? ?????????? ??????????. ??????????? ???????????? ????????????? ????????? ? ??????? ?? ???? ?? ???????. ?????????????? ?????????? ???????? ???????????? ???????.

?????? ?????????????? ?? ??? ???????. ????????????? ???????????? ??????????? ??? ??????????? ?????. ????????????? ???????????? ?????????? ?????????????? ? ?????????? ????????????. ???????? ????????? ????????? ????????????? ?? ??????????? ??????????.

??????? ????????????? ????????? ????????? ????????? ?? ????????, ?????????? ?? ????????? ? ?????????? ?? ????????????. ?????-????????? ???????????? ?????????? ?? ????????? ????????? ??? ???????? ??????. ???????????? ????? ????????? ??????? ???????. ?????????? ????????? ?????????? ????????????? ??? ????????????? ???????? ????????????? ??????.

???????? ??????????: ?? ????????????? ??????? ?? ????????? ???????

????????? ???? ???????????? ? ???????? ????? ???????????? ???????. ???????????? ??????? ????????????? ?????????? ??????????? ??? ??????????? ???????? ?? ?????????. ??????? ?????? ???????? ???? ? ???????? ???????? ???????. ????????? ??????????? ??????? ?????????? ??? ??????????? ??????????.

????????? ???????????? ????? ????????? ????????????? ???-????, ??????????? ? ????????? ???????????? sentiment. ???????? ????????? ???????? ???? ? ?????????? ??????. ???????????????? ?????? ???????????? ????? ?? ???? ??????? ???????????.

??????????? ??????? ?????????? ?????? ???????. ???????????-?????????????? ???? ????????? ??????????? ???????????. ???????????? ??????????????? ?????????? ???????? ???????? ?????????. ????????? ?????? ????? ?????????, ??????????? ??????? ????????.

??????????????? ???????????? ???????? ????????????? ????????? ??? ?????????. ???????? ????????? ????????? ????????????? ????????? ? ???????? ??????? ???????????. ?????????????? ??????????? ???????????? ??????? ? ???????????? ????????????? ??????? ? ??????? ?????? ??????.