Одним из главных свойств нейронок второго поколения является адовая комбинируемость. Можно накласть LSTM поверх LSTM и приправить это все дело полносвязной сеткой для изменения размерности выходного вектора! А перед LSTM вставить слоев 10 сверток с пулингом (pooling)! Словом, простор для творчества. К сожалению, нашлось много желающих воспользоватья этим положением, в связи с чем на arxiv.org на котором, между прочим, полно весьма годных статей, необходимых к прочтению всем заинтересованным можно наблюдать тонны papers с откровенной лажей в виде добавления к сети еще одного скрытого слоя для увеличения чего надо еще на 1e-99 %.
Ах да, автоэнкодеры! Существует целый класс сетей, предназначенных для -- вы не поверите -- выдачи вам того, что вы дали на вход. Казалось бы, зачем? Но тут есть подвох. Вот возьмем полносвязную сеть прямого распространения. Пусть входной вектор будет иметь размерность 64, соответственно, в последнем слое сети для получения вектора той же размерности будет 64 нейрона. Теперь я опишу архитектуру сетки:
(64 нейрона) -> (32 нейрона) -> (16 нейронов) -> (8 нейронов) -> (4 нейрона) -> (8 нейронов) -> (16 нейронов) -> (32 нейрона) -> (64 нейрона)
Так вот, что нам мешает в случае хорошо восстанавливающей исходный сигнал сетки взять результат работы слоя из 4 нейронов и отправить его вместо изначального вектора? Сжатие получается порядка 16x. Неплохо, правда?
Такое вот промежуточное представление содержит в себе основные, наиболее важные черты входного сигнала. Стоит отметить, что для качественного обучения автоэнкодера нужно запастись большим объемом данных, набором подходящих для задачи функций подсчета ошибки и... терпением, потому что обучение -- процесс небыстрый, особенно если у вас нет в запасе кластера с кучей TPU. Кстати, функция вычисления ошибки сети, или функция потерь (loss function) имеет огромное значение. Если будете изучать вариационные автоэнкодеры -- поймете. Именно эта функция указывает, насколько сильно следует бить сетку за косяки и что мы вообще считаем косяками.
Вообще, у автоэнкодеров дохера применений, например, кластеризация. Но тут уж сами, сааамиииии, не ленитесь, блядь да-да, ОП -- хуй и ленивый пидорас.
Автоэнкодеры еще бывают denoising, т.е. восстанавливающие. И у меня есть серьезные подозрения, что именно на таких сетках и построены в основном ваши разцензуриватели. Подозрение потому, что я так и не удосужился зайти на нужный реп в гитхабе и почитать про архитектуру используемой сетки. Лень. Но помните -- автоэнкодер частенько вынужден додумывать, поэтому восстановить исходные данные с его помощью не получится!
О, а ведь есть еще и GAN-сети! Если коротко, то берутся две сетки -- одна учится наебывать, а другая учится распознавать наебку. В чем состоит наебка? Возьмем классический случай. Закодируем картинку в понятный для нейронки вид. Возьмем рандомный вектор нужной размерности. Подадим его сети, специализирующейся на пиздеже. На выходе она должна выдать тензор (ну или многомерный массив, если совсем грубо) той же размерности, что и у закодированной картинки. Теперь подадим слева выход наебщика, а справа -- реальную картинку. Задача распознающей сетки -- отличить наеб от реальности. Разумеется, мы сообщаем ей, была ли она права (но иногда врем, а то скатится в ебучий солипсизм). И вот, в один прекрасный момент, отвечающая за пиздежь сетка выучивается из рандомного говна давать нам вполне годные картиночки, похожие на реальные. PROFIT! Так и работает тот самый генератор лиц.
В общем, классов архитектур много, больших и маленьких. Кстати, при помощи нейронок вполне себе можно находить вирусню в бинарниках, у невидии было подобное исследование (гуглите MalConv).
У нейронок второго поколения до хе ра применений, от машинного перевода с одного языка на другой до управления автомобилем. Кстати, а вы знали, что, капчуя, вы размечаете для гугла датасеты, на основе которых учатся в том числе и беспилотные автомобили? Коротко о том, как эксплуатировать человеческий труд безо всякого согласия, лол.
Кстати, вот еще интересная штукенция, эдакая попытка добавить в сети второго поколения аналог STDP [ https://arxiv.org/abs/1804.02464 ].
Еще оооочень советую рыть в сторону обучения с подкреплением. Вы просто задаете правило, согласно которому на каждое действие нейронка получает определенное вознаграждение или наказание и пускаете сетку в окружение, чтобы она училась максимизировать вознаграждение. А как иначе? Алсо, не могу найти статейку, в которой описывался алгоритм обучения с подкреплением с несколькими выходами, нашедшему -- ноль нефти, лол. Там еще на примере сделанного в юнити шутана все было.
Почти забыл упомянуть сети с памятью. Почитайте на досуге про дифференцируемые нейрокомпьютеры, весьма и весьма полезная штука, если найти правильное применение. Обучать, правда, пиздос трудно. Но у меня такая сетка в шахматы худо-бедно с подкреплением играть научилась как-то раз.
Ну хорошо, крааааааатенький обзор на сетки второго поколения я дал. Теперь стоит рассказать о том, на чем их херачить и что для этого предварительно нужно изучить.
Из теории:
советовал раньше почитать Хайкина, но тут вышла книжка про deep learning в синей обложке, которая мне показалась весьма годной, поэтому все же советую в первую очередь её (а вот и ссылочка)[ https://www.litres.ru/aaron-kurvill/glubokoe-obuchenie-28259806/ ].
Из инструментов -- в первую очередь выучить питон. Берете Лутца, читаете его "Изучая Python", готово.
Затем идете качать TensorFlow / Keras / Pytorch. Новичку лучше всего зайдет Keras, дальше можно уйти в TensorFlow, но я бы посоветовал использовать PyTorch.
И, собственно, практикуйтесь. Берите задачки с Kaggle, пытайтесь их решить нейронками, осознавайте, что одними нейронками сыт не будешь, изучайте нормальные методы... может, и до градиентного бустинга докатитесь
Алсо, советую пытаться реализовывать описываемые в статьях архитектуры. И статьи почитаете, и понимание углубите, и опыта наберетесь. Ну и заодно проверите, а не пиздит ли автор.
Еще почитайте про tSNE, крайне годная штука, может пригодиться. Это, как и многие другие полезные штуки, можно найти в scikit-learn. Для графиков используйте MatPlotLib.
Ах да, автоэнкодеры! Существует целый класс сетей, предназначенных для -- вы не поверите -- выдачи вам того, что вы дали на вход. Казалось бы, зачем? Но тут есть подвох. Вот возьмем полносвязную сеть прямого распространения. Пусть входной вектор будет иметь размерность 64, соответственно, в последнем слое сети для получения вектора той же размерности будет 64 нейрона. Теперь я опишу архитектуру сетки:
(64 нейрона) -> (32 нейрона) -> (16 нейронов) -> (8 нейронов) -> (4 нейрона) -> (8 нейронов) -> (16 нейронов) -> (32 нейрона) -> (64 нейрона)
Так вот, что нам мешает в случае хорошо восстанавливающей исходный сигнал сетки взять результат работы слоя из 4 нейронов и отправить его вместо изначального вектора? Сжатие получается порядка 16x. Неплохо, правда?
Такое вот промежуточное представление содержит в себе основные, наиболее важные черты входного сигнала. Стоит отметить, что для качественного обучения автоэнкодера нужно запастись большим объемом данных, набором подходящих для задачи функций подсчета ошибки и... терпением, потому что обучение -- процесс небыстрый, особенно если у вас нет в запасе кластера с кучей TPU. Кстати, функция вычисления ошибки сети, или функция потерь (loss function) имеет огромное значение. Если будете изучать вариационные автоэнкодеры -- поймете. Именно эта функция указывает, насколько сильно следует бить сетку за косяки и что мы вообще считаем косяками.
Вообще, у автоэнкодеров дохера применений, например, кластеризация. Но тут уж сами, сааамиииии, не ленитесь, блядь да-да, ОП -- хуй и ленивый пидорас.
Автоэнкодеры еще бывают denoising, т.е. восстанавливающие. И у меня есть серьезные подозрения, что именно на таких сетках и построены в основном ваши разцензуриватели. Подозрение потому, что я так и не удосужился зайти на нужный реп в гитхабе и почитать про архитектуру используемой сетки. Лень. Но помните -- автоэнкодер частенько вынужден додумывать, поэтому восстановить исходные данные с его помощью не получится!
О, а ведь есть еще и GAN-сети! Если коротко, то берутся две сетки -- одна учится наебывать, а другая учится распознавать наебку. В чем состоит наебка? Возьмем классический случай. Закодируем картинку в понятный для нейронки вид. Возьмем рандомный вектор нужной размерности. Подадим его сети, специализирующейся на пиздеже. На выходе она должна выдать тензор (ну или многомерный массив, если совсем грубо) той же размерности, что и у закодированной картинки. Теперь подадим слева выход наебщика, а справа -- реальную картинку. Задача распознающей сетки -- отличить наеб от реальности. Разумеется, мы сообщаем ей, была ли она права (но иногда врем, а то скатится в ебучий солипсизм). И вот, в один прекрасный момент, отвечающая за пиздежь сетка выучивается из рандомного говна давать нам вполне годные картиночки, похожие на реальные. PROFIT! Так и работает тот самый генератор лиц.
В общем, классов архитектур много, больших и маленьких. Кстати, при помощи нейронок вполне себе можно находить вирусню в бинарниках, у невидии было подобное исследование (гуглите MalConv).
У нейронок второго поколения до хе ра применений, от машинного перевода с одного языка на другой до управления автомобилем. Кстати, а вы знали, что, капчуя, вы размечаете для гугла датасеты, на основе которых учатся в том числе и беспилотные автомобили? Коротко о том, как эксплуатировать человеческий труд безо всякого согласия, лол.
Кстати, вот еще интересная штукенция, эдакая попытка добавить в сети второго поколения аналог STDP [ https://arxiv.org/abs/1804.02464 ].
Еще оооочень советую рыть в сторону обучения с подкреплением. Вы просто задаете правило, согласно которому на каждое действие нейронка получает определенное вознаграждение или наказание и пускаете сетку в окружение, чтобы она училась максимизировать вознаграждение. А как иначе? Алсо, не могу найти статейку, в которой описывался алгоритм обучения с подкреплением с несколькими выходами, нашедшему -- ноль нефти, лол. Там еще на примере сделанного в юнити шутана все было.
Почти забыл упомянуть сети с памятью. Почитайте на досуге про дифференцируемые нейрокомпьютеры, весьма и весьма полезная штука, если найти правильное применение. Обучать, правда, пиздос трудно. Но у меня такая сетка в шахматы худо-бедно с подкреплением играть научилась как-то раз.
Ну хорошо, крааааааатенький обзор на сетки второго поколения я дал. Теперь стоит рассказать о том, на чем их херачить и что для этого предварительно нужно изучить.
Из теории:
советовал раньше почитать Хайкина, но тут вышла книжка про deep learning в синей обложке, которая мне показалась весьма годной, поэтому все же советую в первую очередь её (а вот и ссылочка)[ https://www.litres.ru/aaron-kurvill/glubokoe-obuchenie-28259806/ ].
Из инструментов -- в первую очередь выучить питон. Берете Лутца, читаете его "Изучая Python", готово.
Затем идете качать TensorFlow / Keras / Pytorch. Новичку лучше всего зайдет Keras, дальше можно уйти в TensorFlow, но я бы посоветовал использовать PyTorch.
И, собственно, практикуйтесь. Берите задачки с Kaggle, пытайтесь их решить нейронками, осознавайте, что одними нейронками сыт не будешь, изучайте нормальные методы... может, и до градиентного бустинга докатитесь
Алсо, советую пытаться реализовывать описываемые в статьях архитектуры. И статьи почитаете, и понимание углубите, и опыта наберетесь. Ну и заодно проверите, а не пиздит ли автор.
Еще почитайте про tSNE, крайне годная штука, может пригодиться. Это, как и многие другие полезные штуки, можно найти в scikit-learn. Для графиков используйте MatPlotLib.
А теперь -- самое вкусное! Сети третьего поколения!
Итак, вначале была публикация, и публикация называлась "A quantitative description of membrane current and its application to conduction and excitation in nerve" [ https://physoc.onlinelibrary.wiley.com/doi/abs/10.1113/jphysiol.1952.sp004764 ].
В ней примечательно то, что получившаяся модель (называемая, по фамилиями авторов, моделью Ходжкина-Хаксли, Hodgkin-Huxley model) очень точно описывает поведение мембраны биологического нейрона, а точнее, то, каким образом генерируются спайки.
В общем, шикарная вещь. Но это далеко не первая попытка описать поведение мембраны нейрона, вроде, некто Lapicque пилил первую в своем роде integrate-and-fire модель. Кстати, честь открытия одной из самых дешевых вычислительно и одновременно реалистичных моделей точечного импульсного нейрона принадлежит Ижикевичу [ http://www.izhikevich.org/publications/spikes.pdf ]. У него вообще полно интересностей на сайте [ http://www.izhikevich.org/ ].
Но ведь сети на то и сети, чтобы между элементами были связи, верно? Какой бы реалистичной ни была модель, ее ценность начинает резко стремиться к нулю в отсутствие адекватных моделей для синаптических связей. И такие модели существуют.
Например, BCM. Но на сегодняшний день наиболее популярной моделью изменения силы синаптических связей является STDP с кучей всяческих модификаций вроде tripletSTDP, vSTDP и тд. Бывает даже анти-хеббовское STDP (как я помню, вроде, для синапсов от тормозящих нейронов применяется). Да, кстати, если в сетях второго поколения у любого нейрона могли быть на выходе синапсы как с положительными, так и отрицательными весами, то здесь либо нейрон создает исключительно либо тормозящие, либо активирующие связи. Так-то!
Казалось бы, живи да радуйся! Вон, обучение с подкреплением даже завезли [ https://www.izhikevich.org/publications/dastdp.htm , https://florian.io/papers/2005_Florian_RL_for_spiking_NNs.pdf ].
Но вот проблема. У реальных-то нейронов есть дендриты и аксоны! Дендриты долго считали простыми интеграторами сигнала, мол, единственное, что от них зависит -- это насколько сильный сигнал и насколько быстро придет в сому. Даже теорию кабелей выдумали для более детального моделирования. Но вот незадача -- дендриты-то тоже активные [ https://www.ncbi.nlm.nih.gov/pubmed/12740112 ]! И это их свойство вполне себе полезно, повышает вычислительную мощность одного нейрона [ https://www.sciencedirect.com/science/article/pii/S0896627301002525 ].
Даже была статейка, в которой сравнивали пирамидальный нейрон с двухслойной сеткой второго поколения [ https://www.sciencedirect.com/science/article/pii/S0896627303001491 ].
Но реальные нейроны намного, намного сложнее и мощнее, конечно же. Кстати, надо прояснить, как происходит передача сигнала об активации от пресинаптического нейрона к постсинаптическому.
От сомы активировавшегося нейрона (а точнее, от аксонного холмика, где самый низкий порог активации во всей соме, насколько я помню) вдоль по аксону идет импульс, который доходит до терминалей аксона. В терминалях происходит хитрый процесс, вследствие которого в синаптическую щель из специальных везикул дозами выливается нейромедиатор, молекулы которого, как правило, захватываются лиганд-активируемыми ионными каналами, которые, в свою очередь, начинают избирательно пропускать ионы, благодаря чему мембранный потенциал изменяется. Понятное дело, что мгновенно изменение мембранного потенциала не происходит. Существуют даже учитывающие это модели синапсов но чет мне их маловато в плане реалистичности.
Очевидно, что запас нейромедиатора в терминали ограничен и требует постоянного пополнения, поэтому информация об активации сомы не всегда может быть передана. Эта проблема, кстати, как я понял, обходится мозгом путем излишнести нейронов.
Кстати, синапсы имеют обыкновение кластеризовываться на дендритах, они могут не быть раскиданы равномерно (а могут и быть, и такое встречается, да).
Дендриты мало того, что активные, так еще и снабжены механизмом, обеспечивающим некоторое подобие One-Shot Learning-а [ https://physoc.onlinelibrary.wiley.com/doi/full/10.1113/jphysiol.2004.072678 ]. Это ведь далеко не все, что мы знаем.
Ой, увлекся. Надо бы вернуться к сетям третьего поколения.
Самый актуальный подход к моделированию дендритов -- это разделение дендритного дерева на небольшие сегменты, оснащеные поведением обыкновенного точечного импульсного нейрона. Такие модели называются многокомпонентными (compartmental model).
Существует целый класс компьютеров, созданных исключительно для моделирования импульсных сетей.
Вообще, IBM truenorth создавался исключительно для моделирования точечных импульсных нейронок. Жрет, кстати, очень мало, а работает достаточно шустро. Проект spinnaker выглядит интересным. Вот в этом роде.
Но, к сожалению, я крайне редко имею удовольствие наблюдать публикации, в которых нормально рассматривалась бы тема синаптогенеза. Это же какая пушка! Нейрон не просто адаптирует веса синапсов, которые могут и не выстрелить, а создает новые/уничтожает старые связи. Кстати, наиболее интенсивно этот процесс происходит в детстве, а в определенном возрасте случается жесткий прунинг ненужных синапсов, что, как я понял, увеличивает стабильность сети, отсекая лишние способы обработки информации. Если заинтересовала эта тема, то можно почитать fundamental neuroscience. Годная книжка. Советую не поскупиться на 4-е издание.
И очень рекоммендую почитать про астроциты. Видел кучу статей, в которых говорилось о том, что эти ребята могут участвовать в вычислениях наряду с нейронами. Мутная пока что тема, но нельзя упускать этот момент из виду.
Итак, вначале была публикация, и публикация называлась "A quantitative description of membrane current and its application to conduction and excitation in nerve" [ https://physoc.onlinelibrary.wiley.com/doi/abs/10.1113/jphysiol.1952.sp004764 ].
В ней примечательно то, что получившаяся модель (называемая, по фамилиями авторов, моделью Ходжкина-Хаксли, Hodgkin-Huxley model) очень точно описывает поведение мембраны биологического нейрона, а точнее, то, каким образом генерируются спайки.
В общем, шикарная вещь. Но это далеко не первая попытка описать поведение мембраны нейрона, вроде, некто Lapicque пилил первую в своем роде integrate-and-fire модель. Кстати, честь открытия одной из самых дешевых вычислительно и одновременно реалистичных моделей точечного импульсного нейрона принадлежит Ижикевичу [ http://www.izhikevich.org/publications/spikes.pdf ]. У него вообще полно интересностей на сайте [ http://www.izhikevich.org/ ].
Но ведь сети на то и сети, чтобы между элементами были связи, верно? Какой бы реалистичной ни была модель, ее ценность начинает резко стремиться к нулю в отсутствие адекватных моделей для синаптических связей. И такие модели существуют.
Например, BCM. Но на сегодняшний день наиболее популярной моделью изменения силы синаптических связей является STDP с кучей всяческих модификаций вроде tripletSTDP, vSTDP и тд. Бывает даже анти-хеббовское STDP (как я помню, вроде, для синапсов от тормозящих нейронов применяется). Да, кстати, если в сетях второго поколения у любого нейрона могли быть на выходе синапсы как с положительными, так и отрицательными весами, то здесь либо нейрон создает исключительно либо тормозящие, либо активирующие связи. Так-то!
Казалось бы, живи да радуйся! Вон, обучение с подкреплением даже завезли [ https://www.izhikevich.org/publications/dastdp.htm , https://florian.io/papers/2005_Florian_RL_for_spiking_NNs.pdf ].
Но вот проблема. У реальных-то нейронов есть дендриты и аксоны! Дендриты долго считали простыми интеграторами сигнала, мол, единственное, что от них зависит -- это насколько сильный сигнал и насколько быстро придет в сому. Даже теорию кабелей выдумали для более детального моделирования. Но вот незадача -- дендриты-то тоже активные [ https://www.ncbi.nlm.nih.gov/pubmed/12740112 ]! И это их свойство вполне себе полезно, повышает вычислительную мощность одного нейрона [ https://www.sciencedirect.com/science/article/pii/S0896627301002525 ].
Даже была статейка, в которой сравнивали пирамидальный нейрон с двухслойной сеткой второго поколения [ https://www.sciencedirect.com/science/article/pii/S0896627303001491 ].
Но реальные нейроны намного, намного сложнее и мощнее, конечно же. Кстати, надо прояснить, как происходит передача сигнала об активации от пресинаптического нейрона к постсинаптическому.
От сомы активировавшегося нейрона (а точнее, от аксонного холмика, где самый низкий порог активации во всей соме, насколько я помню) вдоль по аксону идет импульс, который доходит до терминалей аксона. В терминалях происходит хитрый процесс, вследствие которого в синаптическую щель из специальных везикул дозами выливается нейромедиатор, молекулы которого, как правило, захватываются лиганд-активируемыми ионными каналами, которые, в свою очередь, начинают избирательно пропускать ионы, благодаря чему мембранный потенциал изменяется. Понятное дело, что мгновенно изменение мембранного потенциала не происходит. Существуют даже учитывающие это модели синапсов но чет мне их маловато в плане реалистичности.
Очевидно, что запас нейромедиатора в терминали ограничен и требует постоянного пополнения, поэтому информация об активации сомы не всегда может быть передана. Эта проблема, кстати, как я понял, обходится мозгом путем излишнести нейронов.
Кстати, синапсы имеют обыкновение кластеризовываться на дендритах, они могут не быть раскиданы равномерно (а могут и быть, и такое встречается, да).
Дендриты мало того, что активные, так еще и снабжены механизмом, обеспечивающим некоторое подобие One-Shot Learning-а [ https://physoc.onlinelibrary.wiley.com/doi/full/10.1113/jphysiol.2004.072678 ]. Это ведь далеко не все, что мы знаем.
Ой, увлекся. Надо бы вернуться к сетям третьего поколения.
Самый актуальный подход к моделированию дендритов -- это разделение дендритного дерева на небольшие сегменты, оснащеные поведением обыкновенного точечного импульсного нейрона. Такие модели называются многокомпонентными (compartmental model).
Существует целый класс компьютеров, созданных исключительно для моделирования импульсных сетей.
Вообще, IBM truenorth создавался исключительно для моделирования точечных импульсных нейронок. Жрет, кстати, очень мало, а работает достаточно шустро. Проект spinnaker выглядит интересным. Вот в этом роде.
Но, к сожалению, я крайне редко имею удовольствие наблюдать публикации, в которых нормально рассматривалась бы тема синаптогенеза. Это же какая пушка! Нейрон не просто адаптирует веса синапсов, которые могут и не выстрелить, а создает новые/уничтожает старые связи. Кстати, наиболее интенсивно этот процесс происходит в детстве, а в определенном возрасте случается жесткий прунинг ненужных синапсов, что, как я понял, увеличивает стабильность сети, отсекая лишние способы обработки информации. Если заинтересовала эта тема, то можно почитать fundamental neuroscience. Годная книжка. Советую не поскупиться на 4-е издание.
И очень рекоммендую почитать про астроциты. Видел кучу статей, в которых говорилось о том, что эти ребята могут участвовать в вычислениях наряду с нейронами. Мутная пока что тема, но нельзя упускать этот момент из виду.
Ну и пара слов про HTM. В самой модели иерархической темпоральной памяти я уже как-то успел разочароваться. Да, неплохо ищет аномалии. Да, интересная. Но далеко не настолько сильно следует нейрофизиологии, насколько это заявлено авторами. Да и применений маловато как-то. Собственно, ссылка на whitepaper [ https://numenta.com/neuroscience-research/research-publications/papers/hierarchical-temporal-memory-white-paper/ ].
Что из себя представляет? Попытку запилить модель работы неокортекса. Есть нейроны, есть дендритные сегменты, синапсы, синапсы на лету создаются и уничтожаются. Синапсы могут быть потенциальными и полноценными. Информация всегда представлена в распределенном виде, сеть устойчива к помехам (относительно).
Из плюсов:
- Новизна
- Реалистичнее сеток второго поколения
- Неплохо детектит аномалии
Из минусов:
- Жрет память как не в себя
- Тормозит
- Точность не шибко высокая
- Нет реальных применений
В общем, решай сам, анон, тратить ли на HTM свое время. А у меня на этом пока все, еще побампаю и спать.
Что из себя представляет? Попытку запилить модель работы неокортекса. Есть нейроны, есть дендритные сегменты, синапсы, синапсы на лету создаются и уничтожаются. Синапсы могут быть потенциальными и полноценными. Информация всегда представлена в распределенном виде, сеть устойчива к помехам (относительно).
Из плюсов:
- Новизна
- Реалистичнее сеток второго поколения
- Неплохо детектит аномалии
Из минусов:
- Жрет память как не в себя
- Тормозит
- Точность не шибко высокая
- Нет реальных применений
В общем, решай сам, анон, тратить ли на HTM свое время. А у меня на этом пока все, еще побампаю и спать.
Мне по этой хуйне диплом писать, а я даже не открывал еще нихуя.
а по каким сеткам? Второго поколения или импульсным? Если второго, то несложно, запили какой-нибудь детектор объектов на видяшке и не парься. Ну, можешь еще попробовать GAN замутить текстовый, вроде бы актуально сейчас, видел недавно пару статеек на эту тему.
Все что ты мне сейчас сказал для меня чужой язык. Я сейчас только знаю, что буду сверточные сети юзать. А распознавать мне нужно будет изображения связанные уже с моей специальностью.
Ай, да не парься тогда. Python знаешь?
На начальном уровне да, уже че то обсуждали с научруком за библиотеки к нему.
Я на самом деле и выбрал тему связанную с нейронками, что бы начать вкатываться в них, ибо диплом писать нужно будет точно. А без доп. мотивации тяжело. Так что схороню все что ты написал, может далее поможет.
> В терминалях происходит хитрый процесс, вследствие которого в синаптическую щель из специальных везикул дозами выливается нейромедиатор, молекулы которого, как правило, захватываются лиганд-активируемыми ионными каналами, которые, в свою очередь, начинают избирательно пропускать ионы, благодаря чему мембранный потенциал изменяется.
Ты рассматриваешь только ионотропные рецепторы, совершенно забывая о наличии метаботропных. Тот же нейромедиатор может связываться с рецептором, а потом уже изменять метаболический статус что приводит к открытию ионных каналов. Или не приводит, а сказывается, например, непосредственно на экспрессии тех или иных генов в клетке мишени. Упрощая механизм взаимодействия трансмиттера до уровня "везикула -> синапс -> ионный канал" ты игнорируешь целые пласты сопряженного со вторичными мессенджерами сингналинга, G-белки, каскадное фосфорилирование, роль цАМФ и т. д.
Собственно, за это всегда не любил программистов/специалистов по мат. моделированию. Не осознавая всей сложности биологических систем делать громкие заявления о том, что мы, мол де, что-то там смоделировали, приблизились к пониманию фундаментальных процессов и т. д.
Так я, во-первых, не заявляю, что мы хоть как-то приблизились к пониманию того, что реально происходит -- наоборот, мы ну очень от этого понимания далеки, и я задолбался объяснять манянейронщикам, почему современные нейронки нихера не реалистичные. Во-вторых, как можно было заметить, я совсем кратко пояснял. Ну и в-третьих, спасибо за дополнение.
>Берете Лутца, читаете его "Изучая Python", готово.
Так значит, ПРОСТО берем, иизучаем питон - ГОТОВО.
Ахуеть блять, а 5-10 лет на это откуда высрать? Может время остановить?
хз, книжка легкая, питон -- язык несложный, за месяц можно освоить для средних задач, я считаю. Только не надо делать эту книгу единственным источником информации о питоне -- и все будет хорошо
У тебя точно с нейронами все в порядке?
А в-четвертых -- зачем ты вообще этот тред создал, если не секрет? Мне лично было интересно почитать, пусть большая часть текста была малопонятна в виду перекладывания близких мне биологических концепций на язык программиста.
Ты действительно думаешь, что /b/ -- хорошее место для выкладывания подобных текстов, что здесь имеется достаточно заинтересованная аудитория и все такое? Я мог бы долго разглагольствовать тут, например, о любимой эпигенетике или той же нейробиологии, да даже в целом, о последних трендах в тех же биотехнологиях и т. д.
Но тут у аудитории немного другие интересы, ты не находишь? Да и какая цель может быть в подобном?
Просто убить время. А почему бы и нет? Настроение такое. Наличие аудитории не критично, тащемта. Алсо, подкинь годной литры, чтобы поглубже изучить предметную область? А то интересно пиздос, вот время появилось, а малая глубина знаний подбешивает.
Как относишься к евгенике с точки зрения биологии?
Больше похоже, что ты википедии обчитался
>лично я этот момент так и не понял
это же лазер 21 века, лол. Solution lookin for a problem, как говориццо. Просто хайп и тупизм журналошлюх, которые тупо скипают подробности и подводные камни в совокупности с действительно широким потенциальным применением сабжа
А что, программирование должно быть, по-твоему, сложным? Я должен был пыхтеть 5 лет, чтобы освоить питон на ультравысоком уровне и узнать фичи, которые мне никогда не понадобятся?
Не вики, а вот этого вот https://www.ncbi.nlm.nih.gov/
А ты собрался погромировать на передовой науки(если это можно так назвать) с помощью hello world?
>Но тут у аудитории немного другие интересы, ты не находишь?
мне вот норм сам создавал тред про полупроводники как-то
>Не вики
Нет, именно вики
>Алсо, подкинь годной литры
Для меня нейробиология -- область интересов, а не основная специальность. С точки зрения учебников, я начинал с "Principles of Neural Science" Кендэла, а потом уже просто по статьям, на фоне присутствия базы по биохимии, генетике и всему остальному.
Смотря что ты понимаешь под евгеникой. Евгеника, как перенос принципов и методов классической селекции на вид homo sapiens -- никак, это просто смешно.
Если евгеника, как генотерапия, направленная на использование технологий редактирования генома тем же криспером ради устранения потенциально-негативных мутаций -- хорошо, это, в общем-то, очевидный шаг на пути развития современной медицины.
Если евгеника, как принципиальное улучшение человеческой особи на пути, так сказать, к совершенству и добавление новых качеств -- весьма скептически но с большим энтузиазмом и вниманием, если по-секрету между нами, анонами, говоря
нет, ты не знаешь как хипстота кодит это говно. сейчас я тебя научу,
импорт слесарьплов ас
Лол, ты можешь представить только два состояния: либо полностью изучил, либо никак не изучил. Да и предъявы какие-то туповатые, вроде "ты меньше меня изучал питон, а значит, не умеешь ничего". Странно, не находишь?
Да что ты привязался к этой вики
лол, спасибо, что напомнил, у меня ж principles of neural science на очереди стояла, как я про нее забыл?
НОВЫЙ ШИЗИК НА ДВАЧЕ ИЛИ ВЫЧИСЛЯТОР ПРОТЕИНОВ?
>у меня ж principles of neural science на очереди стояла,
Почитай, может быть интересно.
Собственно, меня нейробиология более всего всегда привлекала в двух, хм, "философских" аспектах:
а) как мое самоощущение, состояние "здесь и сейчас", осознание собственного "я" транслируется на базовый язык биохимии и молбиола, выражается в уровнях экспрессии тех или иных генов, посттрансляционных модификациях участвующих в сигналинге белков, статуса транскрипционных факторов и т. д. Такая сакральная для человечества на протяжении всей его истории штука, как мысль, "Я мыслю, следовательно я существую" (с) и т. д. -- запечатленное на полотне и в красках всех этих бесконечных факторов на уровне протеома, генома, транскриптома, эпигенома. Завораживает, как вид звездного неба вдали от цивилизации.
б) как это состояние можно модулировать за счет внешних факторов.
Я мало знаком с программированием как таковым, на базовом уровне -- с мат. моделированием, но этого достаточно чтобы понять: сверхсложные многомерные системы, которые меня так восхищают и завораживают при рассмотрении процессов в мозге приматов homo там и рядом не лежали. По крайней мере пока что. Это ничуть не обидно, просто вызывает невольно "пф", хоть я прекрасно осознаю востребованность в чисто-прикладном аспекте всех этих вещей.
оп, на кэгл решаешь кейсы?
В последнее время совсем забросил, времени не было даже чтобы поспать нормально. Раньше решал. А сейчас появившееся время буду тратить на лютый дроч нормальной литры по нейробиологии, лул.
Опять же, нейронки разные бывают. Есть нейронки, в которых есть тупо синапс с определенным весом и относительная частота активации нейрона на данном шаге, а есть проги, в которых и биохимия учитывается. Конечно, на практике применяют что попроще. у самого подгорает, когда называют ЭТО нейронками, это ж просто смесь линала с теорией оптимизации
Разумен ли ты? Если да? То где вычисление протеинов, и строительство вечных капсул?
Ведь Смысл жизни, сама жизнь - без смерти.
Что за обкурки?
Все это так круто и интересно, но я рос в бедной семье и в школе меня пиздил, так что нюхал клей вместо школы. У меня совсем нет математического образования, я не знаю что такое интеграл, как работают матрицы, да даже алгебру не знаю. Несколько раз пытался начинать что-то читать по нейронкам и постоянно сосал. Рад за тебя, ОП, искренне рад твоей увлеченности, удовольствию от общения с этими технологиями, ну и завидую, конечно.
Вычисляторы протеинов же. тупой форс уровня тредов храма головы
оставь контакт какой нить, или слэк, может наставишь меня на путь истинный в этом деле
почему это смешно?
Я не читал
Искуственным Интеллектом можно считать любое действие электронных вычислительных машин, вот что скажу
Зря
Привет. Расскажи, пожалуйста, как предположительно работает searchface? Как им удалось добиться такой точности?
>>>191694891
>как мое самоощущение, состояние "здесь и сейчас", осознание >собственного "я" транслируется на базовый язык биохимии и >молбиола
К каким выводам ты пришёл в результате своих размышлений?
>>>191694891
>как мое самоощущение, состояние "здесь и сейчас", осознание >собственного "я" транслируется на базовый язык биохимии и >молбиола
К каким выводам ты пришёл в результате своих размышлений?
На фоне такого дебила как ты - несомненно.
я бы прочитал, будь у меня еще одна жизнь
тред не для тебя
>этот мелкобуквенный олигофрен
Ясно.
смысл ясен
>почему это смешно?
В основном из-за малой плодовитости особей, долгого периода созревания и, главное, довольно длительного периода практически полного бездействия естественного отбора в отношении данного вида. Последнее привело к серьезному росту т. н. "генетического груза" (т. е. набора условно-негативных мутаций в популяции), которые а) довольно сложно учитывать исходя из целей селекции (например закрепление и развитие какого-то конкретного признака у потомства особей, без возникновения новых негативных мутаций) б) неоднозначны с т. з. последствий.
В общем и целом, если в двух словах: материал тухловат. Без возможности выделять чистые линии, скрещивать с эндемиками/носителями "полезных" мутантных аллелей и т. д. К тому же, сам по себе генетический материал обладает заметной сложностью с т. з. эпигенетической регуляции и "мусорного" генома, роль которого все более и более усложняется после исследований последних лет. У менее сложно организованных в этом плане видов животных проще составлять селекционные стратегии скрещивания и отбраковывать дефектные особи.
Скажите, пожалуйста, вот для задачи восстановления регрессии применяются методы машинного обучения: полиномиальная регрессия, SVR, случайный лес, градиентный бустинг. Так вот вопрос такой для gradient boosting можно использовать аппаратное ускорение GPU? Или GPU - это только для нейронок?
Протеиношизик, ты?
>для gradient boosting
Нормально паралелится если руки не из жопы и голова не оттуда же
Анонсы, это можно без матеши и формул осилить?
Сложнее логарифмов ничего не знаю, но читал дискретку чисто для себя.
Сложнее логарифмов ничего не знаю, но читал дискретку чисто для себя.
Понятное дело, что сначала вполне классическими методами на фотке находят лицо, затем каким-то образом из обрезанной фотки сеткой извлекают вектор, характеризующий основные черты человеческого лица, а затем -- ооочень быстро должны сравнить этот вектор со всеми имеющимися у них векторами в базе. Вероятно, для этих целей делают то же, что делает фейсбук -- ужимают до размера пары int-ов. Но вот прикол -- построение этой базы дело долгое. Поэтому возникает закономерный вопрос -- откуда у них ресурсы и доступ ко всем фоткам того же контакта? Мне кажется, тут обкатывают какую-то правительственную хрень, чтобы любого человека по снимкам с камер автоматически опознавать. Вот какую архитектуру сеток они используют -- мне не очень ясно, но, возможно, за основу взяли разработку того же фейсбука заимстововать -- так заимствовать полностью.
https://xgboost.readthedocs.io/en/latest/gpu/
Нет, для НОРМАЛЬНОГО освоения тебе придется выучить матан, линал, теорию оптимизации, мб диффуры это для начала
То есть там ускорение на GPU тоже применяется для восстановления регрессии с помощью gradient boosting?
>если руки не из жопы и голова не оттуда же
Я не сам параллелю, я посмотрел в scikit-learn и там написано, что поддерживается только параллельность на CPU. И я спрашиваю тут для ускорения gradient boosting не применяют GPU?
>поддерживается только
Значит руки из жопы.
Или скорее всего - всем похуй и насрать, оплати разработку - все будет.
scikit-learn, конечно, хорош, но если нужен градиентный бустинг -- используй что-нибудь другое. Scikit-learn не приспособлен для GPU от слова совсем.
дорогой дневник, сегодня оп оказался не хуем.
оп, напиши свою телегу
Выше есть почта, ее и буду использовать
там уже можем договориться
быстрофикс
>scikit-learn, конечно, хорош
>Scikit-learn не приспособлен для GPU
Ебать ты политкоректно толерантная феминистка.
Хорош тем, что есть туева хуча алгоритмов
Плох тем, что нет поддержки GPU
Тащемта, для подавляющего большинства задач базового уровня хватает.
Спасибо огромное. А что насчет тензорного процессора TPU из google? На нем тоже можно распараллелить gradient boosting для задачи восстановления регрессии? Или TPU только для нейросетей?
>подавляющего большинства задач базового уровня хватает
Ебать ты быдлофил.
Пока нет адекватной математики для спайкинг сетей, нового прорыва тут не будет. А ее пока нет и не особо предвидится, насколько я знаю.
>затем каким-то образом из обрезанной фотки сеткой извлекают вектор, характеризующий основные черты человеческого лица
Вот это самое интересное. Как ты думаешь, эти ребята сами создали эту нейронку или тоже позаимствовали у коллег?
Адекватной математики чего конкретно? Обучения с учителем? А ее и не будет, да, ты прав. Тут только с подкреплением. Собственно, я поэтому и не рассчитывал никогда на их применение в МЛ (хотя у меня получилось заставить сеть импульсных нейронов решать МНИСТ исключительно при помощи описанного Ижикевичем алгоритма обучения с подкреплением, но ушло неоправданно много времени). Я видел алгоритмы обучения с учителем для многокомпонентных нейронов. Это какое-то торжество матанодроча над разумом. Если найду ссыль на статью из противоположного лагеря, где изменения в нейроне на уровне мат.модели объясняются за счет в основном локальных факторов с появляющимися время от времени глобальными, скину.
TPU для нейронок онли, да. Они ж и называются -- Tensor Processing Unit.
А что, стрелять из пушки по воробьям? Представь, что тебе нужно развернуть какую-то систему, по минимуму использующую мл, основанную на алгоритмах, реализованных в scikit. У тебя есть онли VPS без видяшки. Что делать-то будешь?
Да взяли у фейсбука наверняка. Зачем самим создавать? В крайнем случае, купили у китайских коллег.
ОП, ты ещё здесь?
Тред не читал, но скоро прочту целиком, поэтому заранее спасибо за всю инфу, а пока есть пара вопросов.
В области инс я пока нихуя не знаю, но по касте я математик+программист+аналитик + у нас отдельный предмет в этом семестре по инс и ии. Из-за того, что я не долбоеб и умный, смышлёный парень, мне подвернулась работка от моего товарища разработать инс в мед. целях (клетки разглядывать). То, что я нихуя не знаю и придётся учиться с нуля, они в курсе.
Что посоветуешь для более мягкого вхождения и быстрого перехода "к делу"?. Смогу ли в одного справится с такой задачей или по итогу придётся ещё подключать людей? Сколько стоит такая разработка?
Понял, принял, благодарствую, О, Сэнсей
Сказать-то че хотел?
Ну смотри, для теоретического вката можно почитать "Глубокое обучение", я выше упоминал. Для практического -- берешь в руки Keras, хреначишь распознавалку. Если тебе совсем уж нужно детектить из разряда где на пикче конкретно изображено -- https://pjreddie.com/media/files/papers/yolo.pdf , не знаю, насколько актуально, давно не следил за темой, но используй вот это вот. Я лично более к pytorch привычен, но, опять же, дело привычки, да и для твоего рода задач керас мб лучше подойдет.
Алсо, бросай медиков, по опыту скажу -- не платят нихуя, требуют дохуя, ведут себя не очень адекватно. Хотя, смотря какие медики. Если не государственные -- то мб еще можно.
О, ждал этот пост
>тебе нужно развернуть какую-то систему, по минимуму использующую мл
Нет, мне не нужно.
ну и вздохни с облегчением, лол.
Этой хуйне где-нибудь вживую учат с нуля? Желательно кабанчиковые курсы, чтобы понимать всю терминологию, но не конкретные реализации.
а ты читал диплернинг николенко?
мимо-тот кто просил телегу
>вздохни обреченно
поправка от усталого квантоеба
Про ирл не знаю, вкатывался, читая Хайкина и пописывая свой фреймворк нейроночный. А дальше начал читать статьи, ну и вкатился постепенно. Уже писал в самом начале треда -- arxiv.org наше все.
Не читал, когда вкатывался, не было еще этой книги.
>Алсо, бросай медиков
>не государственные -- то мб еще можно.
Да, это частная конторка, всё схвачено
Большое спасибо. Я всё прочту и потом задам ещё вопросы.
оп шизик
мимо-машинленер
ты шизик
мимо андрей карпати
Ну хорошо, что конкретно тебя не устроило? Можешь расписать? Потому что иметь пробелы в образовании не очень приятно, знаешь ли.
Как вкатиться с нуля?
О, а ещё дай телегу плез, если угодно вариться в этом дерьме вместе
мимо
>Да взяли у фейсбука наверняка. Зачем самим создавать? В крайнем случае, купили у китайских коллег.
шо-то ты какой-то еблан.
Украинец наверное.
И фаиндфейс и сёрчфейс - отечественные разработки, там на святом западе вообще этой технологии нет в каком-то массовом применении. Фаиндфейс со своей ёбой брал все награды на выставках-хуиставках. А ты нам тут про какой-то фейсбук затираешь, ту дурак что ли?
Теория про "не гражданские обкатывают ко-ко-ко" - хуйня, все уже обкатали и под ноготь загнали создателей фаиндфейса, это какие-то другие специалисты вылезли, может отколовшиеся сотрудники фаиндфейса. Кстати сам фаиндфейс сейчас полная хуета, качество поиска снизилось пиздецки, ощущение, что действительно ушли сотрудники и забрали с собой какие-то технологии, потому и бугурт со стороны ВК(наверное по линии МВД).
Почему-то ВК не беспокоит, что фаиндфейс продолжает шуршать ЛИЧНЫМ ДАННЫМ БЕЗ СОГЛАСИЯ бла-бла-бла, а вот как серчфейс вылез - сразу загудели, пидорасы.
выкатиться с минуса
просто ты шизик, вроде этого
Да в принципе хоть какой-нибудь обобщенной формы функционала из входа в выход и каких-нибудь способов работы с таким говном. Пока я себе могу представить только какую-то ебанутую вещь с кучей вложенных, сложенных и переложенных целочисленных делений вещественных чисел.
Я банально выдвинул предположение о том, как это работает. Знал бы -- дал бы ссылку. Предположил, что может быть основано на том, что делал фейсбук для детекта лиц и связывания с профилями, потому что показалась похожей задача. Оказался не прав, ну что ж, окей, понял, принял.
И таки зачем сразу сводить тему к украине?
Алсо, скинь пруфцы, плес.
Объяснения причины своего вывода, конечно же, не будет.
То есть, ты говоришь про аппаратную оптимизацию? Не про теоретическую базу? Если так, то да, тут пока с этим сложно.
Про математическую теоретическую базу.
Без нее даже делать стабильные сети мне кажется дохуя сложным, не то что придумывать пороговые функции получше и все такое.
Что-то я не совсем понял.
Это у вас проблемы с импульсами что ли?
Вы что - закодить это говно не осиливаете?
Нет, не может быть что люди настолько дебилы, скажите что я ошибаюсь.
>Алсо, скинь пруфцы, плес.
Пруфцы чего?
Закодить - как нехуй. Понять как эта гадость будет себя вести при размере больше двух нейронов и при произвольной последовательности входных сигналов - ебаш, получишь нобелевку я думаю.
>И таки зачем сразу сводить тему к украине?
Потому что ты предположил все что угодно, вплоть до того, что собака накодила, но только не пидорашки поганые, пидорашки только украину захватывают ко-ко-ко.
Блять, да, фейсбук, по почте свои наработки прислали, ЗА ПРОСТО ТАК. Они же всегда так делают. Тебе нужны какие-то куски кода, разработки - позвони в фейсбук, они дадут.
Пиздос, как же парашно написано. Как будто автор тужился высрать из себя шуточки, но получалось высирать только кишку. Харртьфу тебе в ебальник, скот.
>Понять как эта гадость будет себя вести при размере больше двух нейронов и при произвольной последовательности входных сигналов
То есть это для вас сложно.
Ок, приматы, с вами все ясно.
Снова.
>вплоть до того, что собака накодила, но только не пидорашки
да ето так
Первокурсник омского матфака итт?
Ты ой как ошибаешься, закодить как раз-таки вообще не проблема. Чувак имел в виду непредсказуемость этого всего дела.
Тащемта, он уже отписался вот здесь
Пруфцы на отечественную разработку, почитать про нее захотелось.
Я не понимаю смысла в такого рода высказываниях. Во-первых, повторяюсь, я не знал, что это российская разработка. Во-вторых, будь добр воздержаться от политоты. Ну вот пожалуйста. Здесь только этого не хватало.
И тебе не хворать.
Ну хорошо, просвети нас, глупеньких, что ты имеешь в виду?
>Пруфцы на отечественную разработку, почитать про нее захотелось.
Т.е. вместо тебя погуглить findface?
Вместо тебя хотя бы на их сайт зайти, посмореть что они сами о себе пишут, где участвуют, какие премии и т.д. получают?
И опять же, что ты хочешь почитать, ты думаешь они свои алгоритмы в открытом доступе описывают или что?
>какой-то бессвязный поток баззвордов вперемешку с рандомными фактами
Блеванул с этого обосранного студента.
Блеванул с этого обосранного студента.
>омского
Ты знал остальное мимо
>просвети нас, глупеньких
Кис-кис :3
> Т.е. вместо тебя погуглить findface?
Именно, я пиздос ленивый
>я пиздос ленивый
Типичный хохол.
тогда накати нейронку, чтобы вместо тебя искала, а тебе небесный концентрат прямо по биоинтерфейсу через глубоко-анальный возвратно-поступательный передатчик отправляла
Да-да, спасибо за логичную и развернутую критику.
Ну я же просил без политоты и я не хохол, между прочим
Увы, я обосранный студент и не могу даже загуглить, о чем ты?
>я обосранный студент
Скрыл тред.
>и не могу даже загуглить
Больше ничем помочь не могу, все ключи я тебе дал, ты, как студент(обосранный), должен иметь навык самостоятельного поиска и освоения информации.
Минус беспричинно агрессивный, фух
ОП, ты, конечно, молодец, но боюсь что для неподготовленного читателя текстик хреновато читается
И да, я так и не понял что конкретно ты имеешь в виду под третьим поколением. Что там по математике то изменится?
Как думаешь, в openworm они нормально всё это симулировали?
Бля, это как в дейз есть Вещь_нейм (состояние_вещи), только студент(обосранное), чет проиграл.
так до сих пор и не пояснил, что его не устроило, лол
Во-первых, да, соглашусь, вышло как-то не очень. Просто захотелось поболтать за нейронки, вот и написал, потом понял, что надо было проще.
Третье поколение -- импульсные нейронки. Ну вот яркий пример: модель Ходжкина-Хаксли. Нейрон моделируется системой дифференциальных уравнений уже. У нейрона есть некоторое состояние, которое не стирается полностью на следующем шаге. Как это еще называется, нейрон интегрирует входные сигналы.
И вообще, ОП. Ты хорошо разбираешься в спайковых сетях?
Я б поспрашивал некоторые вещи, ибо сам начал ими интересоваться
Что по математическому бекграунду стоящему именно за современным глубоким обучением и rl почитать?
Спасибо, теперь понятней стало
Может быть, слышал про вот этот пакет - https://www.neuron.yale.edu/neuron/?
Модель hodgkin-huxley, кстати, там есть.
Но вот уёбищный язык hoc отбивает почти всё желание ей пользоваться.
Модель hodgkin-huxley, кстати, там есть.
Но вот уёбищный язык hoc отбивает почти всё желание ей пользоваться.
Почему все носятся с дипбрейном: мам оно само научилось в го и дотку играть!!1 Это же наебалово, там внутри алгоритмов какие-то с небо свалившиеся видимо преобученные модели и оценки.
Статейки по ним пилю, спрашивай
Лол, пишу свой пакет, потому что нужна большая детальность с соответствием последним исследованиям до которых я смог дотянуться.
Для начала, матанчик и линал -- must have. Теория оптимизации. Матстат может пригодиться спокойно. Вот после этого уже можно идти читать про RL.
Тут перечислили нужное
https://www.reddit.com/r/math/comments/53fumz/mathematics_for_reinforcement_learning/d7v7q4d/
последними исследованиями (чет дважды "и" не прожалась)
быстрофикс
>openworm
Я мало знаю о самом проекте, то есть не слежу за деталями. Но там для нейронов используется модель Ходжкина-Хаксли, а значит, с большой вероятностью, та же электрохимия на основе ионных каналов хотя, чтобы посмотреть детали можно погуглить. Там много модификаций наплодили, насколько мне известно
Что касается самой идеи мат. моделирования полноценных организмов -- все зависит от уровня абстракции. Если они очень-очень упростят всякого рода биохимию и будут рассматривать только клетки и их взаимодействие между собой в некой единой системе -- вполне возможно. Если пойдут на несколько уровней них, до белков, белковых комплексов, метаболической системы каждой клетки и т. д. -- это в принципе невозможно. Даже на полноценное моделирование взаимодействия нескольких отдельных белков с каталитической активностью имеются определенные (непреодолимые) на сегодняшний день ограничения, не то что целого комплекса регуляторных сетей на их основе. А в одной единственной клетке может содержаться 2-3 тысячи этих самых белков.
Про central pattern generator в курсе? Пробовал ли зафигачить ЦПГ на основе спайковых сетей?
Ну это какой-то стандартный набор первокура, я скорее спрашивал что-то вроде math heavy книжек по rl и диплернинху которые кратко и строго излагают основные принципы именно этих областей от которых можно уже отталкиваться и дальше уже читать статейки.
В кэтбусте например на ГПУ нормально считается.
И нахуя это тут?
Конедрочер дохуя? Зачем Амальтея?
>Зачем Амальтея?
Она восхитительна, разве нет?
Зафигачить не пробовал но теперь попробую. Вот это https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4963406/ выглядит прикольно
Опять же, "Глубокое обучение"
ну и это
https://www.amazon.com/Practical-Reinforcement-Learning-Maxim-Lapan/dp/1788834240
> И нахуя это тут?
Чтобы ты спросил, да-да
Ок, нахуй средний слой нейронов в сетке?
Ну так то да, вот только ты её с прочими конями мешаешь.
Почему в гугл.колаб TPU медленнее GPU работает, если специально для нейронок сделан?
ОП, а с тобой как-нибудь можно будет ещё пообщаться? Мне явно не хватает опыта в этой теме, нужны более сведущие в ней люди.
Какой-нибудь вк, или фб, или телеграм.
А пока - ещё вопрос по точности симуляции.
>Лол, пишу свой пакет, потому что нужна большая детальность с соответствием последним исследованиям до которых я смог дотянуться.
Вот тут ты говоришь, что не хватает детальности. Ты про какие именно детали оворишь? Про особенности взаимодействия рецепторов в синапсе? Или про какие-то другие элементы, которые влияют на поляризуемость, проводимость, возбудимость, etc.?
>прочими конями мешаешь
Единороги, друг мой.
Мне очень нравятся единороги. Очень-очень.
Но, честно, я бы предпочел, если бы ты спросил нечто более...Хм... Биологичное.
e
>Мне очень нравятся единороги. Очень-очень.
Так бы и выебал? Но ты в курсе, что они к целочкам тяночкам приходят, а к тебе нет?
>Так бы и выебал?
Биологично, да.
Но я имел в виду несколько иное.
Оп-хуй, ты там срешь что ли? Отвечай про средний слой.
>несколько иное.
Что же?
>несколько иное.
Что же?
Ладно, я спать, сегодня опять на работу пиздос
[email protected] , пишите, если есть вопросы / считаете, что ОП хуй / нехер делать
Так уж и быть, отвечу. Предположим, что имеется в виду многослойная сетка прямого распространения. Тогда все просто. Без этого слоя стека не сможет разносить по категориям объекты из линейно неразделимых классов. Очевидно же, еще у Хайкина было.
Уже написал, куда что кого. По точности симуляции -- мне нужно вплоть до моделирования всасывания рандомными мимоастроцитами излишков ионов калия, типа такого правда, пока еще хз, как моделировать астроциты, нашел несколько матмоделей, но они какие-то корявые и неточные, что-то подсказывает, что далеко в направлении астроцитов в ближайший год я точно не уйду.
Блять, уже отойти на кухню нельзя в своем-же доме.
[email protected] , пишите, если есть вопросы / считаете, что ОП хуй / нехер делать
Так уж и быть, отвечу. Предположим, что имеется в виду многослойная сетка прямого распространения. Тогда все просто. Без этого слоя стека не сможет разносить по категориям объекты из линейно неразделимых классов. Очевидно же, еще у Хайкина было.
Уже написал, куда что кого. По точности симуляции -- мне нужно вплоть до моделирования всасывания рандомными мимоастроцитами излишков ионов калия, типа такого правда, пока еще хз, как моделировать астроциты, нашел несколько матмоделей, но они какие-то корявые и неточные, что-то подсказывает, что далеко в направлении астроцитов в ближайший год я точно не уйду.
Блять, уже отойти на кухню нельзя в своем-же доме.
Нихуя не пони. Ты нормально отвечай. 5к нейронов на входе, 100 на выходе. Нахуй средний слой и сколько их там должно быть? Сетка которая ошибку в веса перегоняет, по книжке Создаем нейронную сеть.pdf
И вот тут я проиграл
Тебе же ответили уже. С двумя слоями ты только линейными функциями можешь аппроксимировать.
А теперь подмылись и объяснили без заумных слов тому, кто нихуя не знает про эти сетки и только чуть почитал на днях.
Оп, что ты вкратце хотел донести? да, мне лень все читать
>ой бля а без матеши можно не хочу гуглить книжки что вы сказали
>сетка ошибку в веса перегоняет
Нейросети -- это не твоё, забей.
Чем больше слоёв тем больше нелинейности. Нелинейность модели нужна потому что большинство сложных вещей для которых тебе вообще нужны нейросети - нелинейные, с линейными и так всё понятно.
Так сколько нейронов в среднем слое? И чего тогда не сделать 2 таких слоя?
блядская обезьяна не шатай
На самом деле достаточно одного слоя, чтобы аппроксимировать любую функцию.
Однако несколько слоёв подряд требуют меньшего количества нейронов чем один слой для той же функции.
Лучше 2 понемногу, чем один, где дохера.
Универсального ответа нет, архитектура зависит от конкретной задачи.
Можно и 2, и 3, но есть подводные камни. Читай книжку дальше (хотя хз написано ли там, иначе читай нормальную книжку), про затухающие градиенты и т.п.
>Так сколько нейронов в среднем слое?
Скоко надо для задачи, больше не имеет смысла, меньше не будет достаточной точности.
>И чего тогда не сделать 2 таких слоя?'
Можно и два и три, но слишком много всё-таки не так просто. C количеством слоёв другие проблемы есть, самая очевидная из них - растёт сложность, больше параметров больше вычислений.
Плюньте мне в лицо, пожалуйста.
Хррртьфу, блядь!
Ну, допустим, ты обучаешь нейронку. Вот, у тебя 5к пикселей в изображении и 5к нейронов на входе. Каждый нейрон воспринимает 1 пиксель. Следующий уровень будет воспринимать 2х2 пикселей, тип, квадратик, и так далее. То есть, будет сохраняться некий общий признак. А последний слой, допустим, будет распознавать уже конкретные типы входных данных, то есть, говорить, что на изображении собака/кошка/etc
так-то, это ахуенно далеко от реальности, но для совсем тупых, наверно, сойдет
создаём датасет, где половина картинок "лицо анона", а другая половина - что-то другое
@
по видеопотоку находим лицо
@
плюём
>На самом деле достаточно одного слоя, чтобы аппроксимировать любую функцию.
Ну, только если можно набирать для каждой функции специальные активационные из бесконечномерного пространства всех функций. Для какого-то конкретного фиксированного набора или конечномерного семейства всё-таки нельзя.
Ну ты сейчас про свёрточные сети говоришь, а он походу только для полносвязных дошёл.Хотя суть там примерно такая же.
>Следующий уровень будет воспринимать 2х2 пикселей, тип, квадратик
Там не так в примере. Все 5к идут на каждый нейрон среднего слоя. А они все идут на каждый выходного слоя.
В книжке есть график, где типа и 100 хватит, но у них на входе 784 и выход 10. У меня же несколько больше. Тупо делать и смотреть что будет, не лучший вариант.
>Тупо делать и смотреть что будет, не лучший вариан
Лол, тут всё экспериментально проверяется.
Ну поставь среднее геометрическое размеров входа и выхода.
Если все так, как ты описываешь, у тебя нет никакого среднего слоя, только входной и выходной
>просто ты шизик, вроде этого
Просто ты быдло не могущее в науку
мде
Это pdf говно лагает пиздец, так что искать нормальную картинку никак, там страница 20 сек грузится. Вот что попалось. 3 слоя. Но все они так слеплены, как говорил выше, все на каждый следующего.
Спасибо оп, теперь впилю нормальные нейросети в свою поделку
Абу благословил этот пост.
@
ошибся
Если ты такой умный, то почему ты такой нищий ты здесь?
А если у тебя есть действительно рабочая версия, то бери и запиливай, хоть из говна и палок, лишь бы тебя власти за жопу не схватьли.
бамп
А ещё я люто бомблю с тех, кто заявляет, что симуляция выдаёт офигенные результаты, но в лучшем случае у их софта - пара исходников, написанных на коленке через жопу, которые не компилируются без танцев с бубном. В худшем - сырцов для экспериментов вообще не найти.
Вот НеСТ - молодцы, выложили образ виртуальной машины, просто скачиваешь к себе, и можешь играть сколько влезет
Вообще, пока что выделяют три поколения нейронных сетей, где наиболее популярное на сегодня -- второе. Также существует такая специфическая вещь, как иерархическая темпоральная память, о ней даже будет пара слов в конце. Но давайте обо всем по порядку.
Итак, с чего же все началось? А началось все с публикации МакКаллока и Питца [ https://link.springer.com/article/10.1007/BF02478259 ] кто найдет в публикации ошибку в первых 4 предложениях после абстракта -- тот молодец (но на тот момент ошибкой не было, я полагаю). Если совсем грубо, то в данной статье были высказаны две довольно важные мыслишки:
1) Нейроны работают принципу все-или-ничего, то есть, используют пороговую функцию активации (о функциях активации сказано ниже)
2) Сети таких нейронов вполне себе способны аппроксимировать логические функции.
Ну, теоретическая возможность выражения в терминах нейронных сетей логических функций, конечно, дело хорошее, но как же это сделать на практике? Ответ на это был дан чуть позже, на основе исследований такого замечательного человека, как Дональд Хэбб. Он совершил достаточно интересное наблюдение:
"When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency, as one of the cells firing B, is increased"
или, чуть короче и понятнее: "cells that fire together wire together", что в переводе означает примерно следующее: чем чаще два нейрона одновременно становятся активными, тем сильнее между ними синаптическая связь. Следует, однако, заметить, что мало близкого расположения аксона, для образования полноценной синаптической связи должен произойти еще ряд событий. На основе данного наблюдения было разработано Дельта-правило Видроу-Хоффа. И вроде бы все нормально шло, разрабатывали всякие Розенблатты свои перцептроны, но вдруг появился Марвин Минский и начал затирать про ограниченность нейронных сетей, а именно, указал на тот факт, что нейронки того времени были неспособны решить простейшую логическую задачку под названием XOR а значит, не были способны адекватно решать задачи с линейно неразделимыми классами элементов, хотя на самом деле двухслойному перцептрону Розенблатта это вполне себе по силам, если не путать с однослойным перцептроном. Вот подобная критика нейронок и спровоцировала первую "зиму" нейросетей -- падение интереса в академических кругах и финансирования.
Однако затем был изобретен метод обратного распространения ошибки чем-то напоминающий обратное распространение импульса от сомы нейрона вниз по дендритному дереву. К нейроночкам снова начал расти интерес. На самом деле, здесь уже можно (и даже нужно) говорить о втором поколении нейросетей, поскольку для применения обратного распространения функция активации должна быть всюду дифференцируемой.
Настало время поговорить про функции активации. Итак, что же представляет из себя стандартный нейрон сеток второго и третьего поколений? Взвешенный сумматор, т.е. такую штуку, которая берет выходное значение предыдущего нейрона, умножает его на силу их синаптической связи и аккумулирует у себя где-нибудь. Делает так для всех входных нейронов, затем пропускает получившуюся сумму через функцию активации и получает свое собственное значение активации. Так вот, в первом поколении была только одна функция активации -- пороговая. Т.е., если сумма всех помноженных на нужные веса синапсов входных значений превысила некоторый порог, то нейрон отдает вышестоящим нейронам единичку, иначе -- нихера.
Хорошо, но как же применяется обратное распространение ошибки? О какой ошибке идет речь? А вот о какой. Возьмем обычную такую многослойную полносвязную сеть, запилим ей на последнем слое n нейронов, где n -- размерность выходного вектора, который мы взялись, на свою голову, предсказывать. Подадим сетке на вход нужные значения, получим на выходе вектор размерностью n с ответом сети (вектор O). Затем возьмем вектор, который мы ХОТЕЛИ БЫ увидеть в ответ на поданные данные (вектор T). А теперь пройдемся по всем позициям от 1 до n, суммируя квадраты разницы между элементами по соответствующим индексам [(O_1 - T_1)^2 + ... + (O_n - T_n) ^ 2], а затем просто разделим на два. Вот мы и получили меру ошибочности ответа нашей сети. И вот эту уже меру мы можем обратно по сети распространять. Тут уже найдете сами, чай не маленькие. После распространения всех значений ошибок по всем нейронам сети нам остается применить стохастический градиентный спуск с нужными параметрами вроде скорости обучения -- и все, шаг обучения закончен, можно приступать к следующему. Как можно видеть, ничего сложного или сверхъестественного в этом процессе нет, простые рутинные расчеты которые мне пиздец как лень приводить, поэтому ограничусь только упоминаниями названий нужных алгоритмов.
Теперь стоит упомянуть тот факт, что существуют как сети прямого распространения, так и сети с обратными связями. Собственно, перцептроны -- эталонный пример сетей прямого распространения, прямиком из парижской палаты мер и весов. Сети с обратными связями еще называются рекуррентными (recurrent). Мне дико лень приводить такие никому не всравшиеся вещи, как сети Хопфилда, поэтому я лучше сразу перескочу к Long Short-Term Memory -- LSTM [ https://www.bioinf.jku.at/publications/older/2604.pdf ]. Шикарная вещь. Для многих задач нейронных сетей их раньше хватало с головой (да и сейчас частенько можно ими и ограничиться). Где-то слышал вскукареки про возможность реализации LSTM-ками требующих полноты по Тьюрингу алгоритмов, но что-то как-то я сильно в этом сомневаюсь, т.к. объем доступной LSTM памяти пиздецки ограничен. Вот с LSTM и ей подобными рекуррентными сетями стало лучше видно на практике, что нейронные сети подвержены таким нехорошим вещам, как взрыв или затухание градиентов.
Для борьбы с этим явлением, а также с явлением чрезмерного подстраивания под изученные образцы с неспособностью к адекватной работе в реальности, т.е. переобучением, были созданы всяческие штуки для регуляризации.
К примеру, штраф на силу синаптической связи был бы такой же штраф, но за силу родственной связи в некоторых заведениях..., или dropout (когда с определенной вероятностью выходной сигнал нейрона вне зависимости от входа равен 0).
Множество таких методов существует, и каждый чем-нибудь да помогает, если не переборщить.
Но, вероятно, следует пояснить разницу между сетью прямого распространения и рекуррентной. Сеть прямого распространения -- это как математическая функция, ты ей X, она тебе некоторый Y, не зависящий от предыдущего поданного сетке значения.
А вот рекуррентная сеть уже полезна для обработки имеющих какую-то внутреннюю связь последовательностей. Внимательный анон мог к этому моменту понять, что текст является крайне годным примером такой последовательности. А вот помешаный на деньгах анон мог подумать о предсказании финансовых котировок. Да, предпринимались и предпринимаются попытки делать обе эти вещи. Вообще, область машинного обучения, связанная и текстом, называется NLP (Natural Lanugage Processing, в переводе -- обработка естественного языка). Кстати, обработка естественного языка вполне себе может помочь в предсказании рыночных котировок, поскольку дает нейронке возможность оценивать эту вашу политоту.
Нельзя начать пояснять за нейронки, ни разу не упомянув сверточные сети. Все успехи нейронок с обработкой изображений или видео (а зачастую и текста) так или иначе связаны со сверточными сетями но, возможно, в дальнейшем будут уже связаны с капсульными сетями. Как они работают -- прошу погуглить самостоятельно, ничего сложного в них нет, это просто неполносвязные сети с общими синаптическими весами.
Но ведь видео -- это последовательность кадров, спросит анон, как же сеть прямого распространения может обрабатывать видео, если ничего не помнит о предыдущем входе? А вот тут, товарищи, в дело вступает комбинация из CNN (Convolutional Neural Network) и RNN (Recurrent Neural Network).