Казалось бы, обучение — это процесс, непосредственно связанный с нервной деятельностью. Неслучайно вычислительная единица в составе перцептрона и самообучающихся сетей названа именно «нейроном». Двухчастную работу «Нейронные сети для начинающих» о том, в каких отношениях искусственные нейроны напоминают естественные, написал на Хабре в 2016 и 2017 годах уважаемый @Arnis71 (свыше миллиона семисот двадцати тысяч просмотров у первой части — наверное, не рекорд Хабра, но полюбуйтесь, сколько закладок). Однако обучение, усваивание — это функция, которую у человека могут выполнять не только нейроны, но и, например, астроциты. Об этих удивительных клетках мозга я ранее рассказывал на Хабре в статье «Звёзды у нас в голове. О роли астроцитов в работе нейронных сетей». Сегодня хочу затронуть ещё более удивительную тему — механизмы обучения у одноклеточных.

В данной статье мы рассмотрим применение периодических функций в качестве функций активации в нейросетях. Мы проведём сравнительные эксперименты на простых сетях и посмотрим, как периодические активации (например, sin) ведут себя по сравнению с классическими непериодическими — tanh, sigmoid и ReLU.