Если ты с этого говна мамонта решил начать, то пока ты дойдешь до современной ситауции, уже технологическая сингулярность наступит.
С современной ситуацией вполне знаком. Но, что интересно, почти у всей современной ситуации ноги растут примерно оттуда. Невозможно нормально понимать что-то не понимая самых азов.
Кружка на пике клевая, как сделать?
Поясняю что делает формальный нейрон.
Используя пороговую функцию он вычисляет степень сходства запомненного изображения и изображения на входе (при этом запомненное не хранится в самом нейроне, а может храниться отдельно, зато обязательно будет иметь с нейроном связь) на основании которой(степени) получается выход 0 - не похоже и 1 - похоже. Сигмоидальная функция и прочие представляют собой более плавные вариации пороговой, создающие в качестве выходов значения в диапазоне от 0.0 до 1.0, где решать уровень порога для них задача исследователя. В перцептронах сязи настраиваются вручную, в ИНС с обратным распространением ошибки - автоматически.
Собственно вернёмся к классификации.
Простое объяснение функции формального нейрона можно дать на следующем примере:
Представьте себе, что память нейрона это изображение. Обучение нейрона происходит путём проявления обучающей выборки на этом изображении, что и показывает нам пик релейтед. Многи могут возразить: "Кококо, там нет ни где картинок!" и будут правы, по тому что вместо пикселей в ИНС значения пикселов представляют собой связи входов с нейроном.
Преимущества аппаратной реализации ИНС в том, что может быть одновременно выполнено множество сравнений входов с памятью, это даёт неоспоримое преимущество в скорости поиска информации для нейрокомпьютера, но не более - нет гибкости в выборе и количестве ресурсов.
Реализация на обычном компьютере же требует неимоверно больших объёмов памяти, 90% которой займут только связи, а простые запросы будут обрабатываться минуты, к тому же, реакция ИНС неуправляема, так как на случайной обучающей выборке предсказать её невозможно.
Что то ещё я умного сказать хотел, да забыл. Ну и хуй с ним.
Как там в 1995?
А, точно, за множество слоёв.
Дополнительные слои обобщают поступающую информацию. Давайте снова напряжём воображение. Если первый слой хранит усреднённые изображения, то что будет хранить второй слой - усреднённые усреднения в лучшем случае, в худшем - усреднённое состояние отдельных нейронов, что приведёт к полнейшей рефлексии второго слоя. Он не будет классификатором изображений, он будет классификатором степеней активности отдельных нейронов.
Нормально в 95-м, как раз тогда я няшил твою мамку.
Я думаю, ты тогда еще не родился.
Взаимно.
Я 1988 года рождения.
Ты пиздабол, а не 1988 года рождения.
Если бы. Сижу на школоборде со школотонами, проспавшими deep learning революцию, и тралю лалок.
При мне ни один взрослый человек а тем более мужчина не называют слова "троль", "тролить", "лалка", "лал" и "лол", никогда. Понимаешь? Эти слова активно используются школотнёй, очень активно, они в каждом чате их как мантру повторяют в отличии от уже взрослых молодых людей, которым эти слова обсолютно чужды и тут ты, нихуясебе дядя 27 лет "тралит лалок" в школоборде. Ты не просто ведёшь себя как школьник, ты на столько эргономично с ними сливаешься, что из общей массы тебя уже ни что не выдляет.
Я спросил тебя, как там в 1995, потому что твои знания, они того, слегка устарели. Нейросети сейчас считают на GPU, которые дают баланс между скоростью и гибкостью. При этом задача классификации изображений сейчас по сути решена (перформанс выше того, что может человек). А ты такой пришел и пишешь азазаза, ну ты лол вообще.
Вообще, печаль беда, сидишь, двачуешь капчу, год, два, а потом тебе ананимас пишет 'ни один взрослый человек а тем более мужчина не называют слова "троль", "тролить", "лалка", "лал" и "лол"'. И ведь правда, вроде и зарплата есть, и жена, и мир повидал, а все равно в формат взрослого человека не вписываюсь.
Тут ты батинька просрались, по тому как мои устаревшие знания тянутся из 70-х годов, если бы вы чистали википедию, то знали бы это и с тех пор нейросети миллиарды раз обсчитали и без GPU, а основная задача нейросетей это не классификация, они создавались как новое направление в исследовании или даже создании искуственного интеллекта, что из этого вышло мы видим прямо сейчас - школьник на школоборде "тралит лалку", рассказывая мне про GPU.
С 70-х годов до середины нулевых тянулось очень много вредных заблужений. Например то, что много слоев - это бесполезно ( - вот это пиздец какой-то), что активаторная функция с насыщением - это хорошо, что backpropagation не универсален и т. д. и т. п. Поэтому моя мотивация заключается в том, чтобы ты изучил современное положение вещей, чтобы не тратить время на говно мамонта. Вот тебе раз: http://goodfeli.github.io/dlbook/ вот тебе два: http://cs231n.github.io/ . Удачи.
Зачем мне это изучать, если и так понятно - ИИ нет, а к закрытым, хорошо финансируемым исследованиям проводимым настоящими учёными ни кого не подпустят.
>С современной ситуацией вполне знаком
знаешь есть такой парадокс невежда считает что он компетентен во всем, специалист же наоборот считает что не достаточно обучен.
>Реализация на обычном компьютере же требует неимоверно больших объёмов памяти
полный бред пишешь, может когда были диски на 2 гига и оперативы на 2 мбайта то это и требовало неимоверных обьемов, сейчас же даже если ты миллион нейронов соединишь каждый с каждым то значения обьемов памяти не привысят терабайтов.
На обычном компьютере главная проблема это то, что процесс пересчета происходит неодновременно, и именно процессорного времени потребуется много, но и эта проблема решаема т.к. процесс легко распараллелить.
Ну и треду нехватает явного упоминания современных разработак в этом направлении, хотя бы упомянуть чипы, которые полностью придерживаются модели.
В IBM neurosynaptic chips, модель 2014 года имеет миллион программируемых нейронов и 256 миллионов синапсов.
Немаловажным фактором является экономичность таких чипов т.к. один чип потребляет всего 4 Киловатт электричества.
Соответственно суперкомпьютер на основе таких чипов уже сейчас может вполне иммитировать модель мозга человека. Главной же проблемой остается разумеется постановка задач и обучение этой модели.
Видео релейтед по теме, там уже звучат несколько другие цифры, ну и там стенд собран уже с участием этих чипов
http://www.youtube.com/watch?v=tAtmNYBObkw
>Соответственно суперкомпьютер на основе таких чипов уже сейчас может вполне иммитировать модель мозга человека.
Не может, человеческий нейрон соответствует мини-нейросети тех простых моделей нейронов, которые обсчитывает этот чип. Это не считая разных рецепторов в мозге и тому подобного. Мы на самом деле не знаем, как работает мозг.
>полный бред пишешь, может когда были диски на 2 гига и оперативы...
Да нет же, я подсчитать пытался. Выглядело просто бешано, примерно сотня терабайт на 10 млрд нейронов, где каждый связан с каждым, а связь представляет собой не бит а структуру содержащую несколько переменных типов, которые не по байту занимают, чтобы нулевой нейрон соединился с террабайтным, ему нужен 40 чтоли битный указатель.
>иммитировать модель мозга человека
понимаешь? не сам мозг, но тебе главное вставить пять копеек что Бог накажет, и нельзя ничего сделать.
зачем тебе 10 млрд нейронов?
Зачем каждый связывать с каждым? Мозг так не работает. Ты даже о сверточных сетях не в курсе?
Неокотекс столько содержит
Статичная система влечёт за собой меньше ошибок
Нет. Такую систему очень легко переобучить. Важно грамотно сократить число связей - не ради экономии вычислительной мощности, а ради того, чтобы нейросеть обощала входные данные, а не переобучалась.
к тому же у тебя некоторые пробелы в построении алгоритмов, можно вполне использовать меньше имея больше.
если будут значения не 1 а 10 байт, то это максимум увеличит обьемы в 10 раз понимаешь?
что за 40 бит? это 8 байт всего
4 байта = ~4 000 000 000
8 байт = ~4 10^19
Террабайт = 1 10^12
>Неокотекс
ну а зачем каждый с каждым соединять?
есть же основные модели
если ты оп, то я удаляюсь из треда неуча.
Пилишь такой ИИ, он значит за год захватывает мир, началась утопия роботов и тут ХУЯК! у ии сбой, закончилась память, по тому что разраб не учёл экспотенциальный рост числа потенциальных связей при увеличении числа нейронов.
уходи, мне похуй
ИИ захватил весь мир, но настолько тупой что не знает как сам устроен? и не сможет сам допилить и усовершенствовать себя, не говоря уже просто вопрос нахуя ему просто так увеличивать кол-во нейронов в пределах одной железки.
А какая разница, ему же нужно будет как то сообщаться с остальными нейронами
Забавно, что мое сообщение по существу было проигнорировано.
через интерфейс, в котором используется фиксированное число нейронов, и не добавляя в свою конструкцию новых, не?
ты вообще вкурсе как новая информация поступает в нейронную сеть, и что происходит в итоге с той информацией что была и новой?
По твоему нужны новые нейроны? лол
Ты вроде собирался уйти?
Забавно что экономишь вычислительную мощность удаляя синапсы, хоть в нейрочипах экономия вообще будет не существенной
Вот ебанат-то. Важно грамотно сократить число связей - не ради экономии вычислительной мощности
Кому писал, какой жопой ты меня читаешь.
У тебя твои триллиарды параметров нейросети приведут к тому, что обучить ее будет невозможно, потому что чем больше у тебя параметров, тем хуже у тебя с обобщением и предсказанием.
по твоему один нейрон тогда способен выполнять все задачи самостоятельно
если-нет-то-тогда-сколько.jpeg
А это называется оптимальный подбор гиперпараметров нейросети (числа слоев, нейронов, структуры связей между ними и т. п.).
Ну это пиздец, что ты мне принёс? Я, кстати, заметил интереную вещь в выходцах из российских вузов - им Machine Learning преподают, похоже, по учебникам 70-х или 80-х годов. Из алгоритмов знают 1)перцептрон 2)наивный Баес 3)лог.регрессию и 4)наипростейшую нейронку с парой скрытых слоёв, причём это считается чем-то очень навороченным. ВСЁ. Как будто прямиком из 1985. Причём у человека бумажка, согласно которой он, блядь, инженер-разработчик программного обеспечения. Знаний в статистике, современных алгоритмах, теории обучения - просто нет. Я ей-богу лучше с людьми с улицы, прошедшими онлайн-курс бы работал.
Прочтите, накатило.
Прочтите, накатило.
Это где в России преподают Machine Learning?
>очень грамотно, вкратце, по делу и с примерами поясняет за свои изобретения - адалайны (разновидность искусственных нейронов) и механизм их обучения - LMS
Видос не смотрел, на Вики написано, что это эквивалентно линейной регрессии, предполагая Гауссовский шум, это так?
Видос не смотрел, на Вики написано, что это эквивалентно линейной регрессии, предполагая Гауссовский шум, это так?
В любой шараге, готовящей погромистов, есть курс вроде "Основы нейронных сетей" или как-то так, вот оттуда они и лезут.
adaline - это, очевидной, адаптирующийся лайн, т.е. линейный классификатор допотпных времен до открытия backpropagation.
Тебя по русски писать учить чтоли нужно? Какого хуя ты по английски выражаешься.
По-русски. Что ли. По-английски. Кого тут учить нужно - не знаю.
"Лайн" я написал, чтобы была видна этимология слова adaline. Backpropagation - потому что 1) "метод обратного распространения ошибки" - звучит громоздко, а более удачного термина не завезли, 2) чтобы человек знал, что гуглить.
Ясно, я так и думал. А в чём дидактическая ценность этого метода?
Я тоже не знаю, зачем ОП его принес. Мое мнение тут:
Если следовать твоей логике, то математики должны объяснять свои мысли исключительно формулами, ибо формализм, знания, по выпендриваться в знании формализмов, а не разговаривать по русски.
Ну да ладно.
1) Похуй как звучит, зато понятно и более полно по смыслу, если сравнить с переводом backpropagation - сокращай.
2)Действительно, нахуя своими словами описывать, всё же прекрасно гуглится - накидал терминов, так чтобы даже хокинг охуел и заебись, ни кто не понял, ну и хуй с ним.
Ну да ладно.
1) Похуй как звучит, зато понятно и более полно по смыслу, если сравнить с переводом backpropagation - сокращай.
2)Действительно, нахуя своими словами описывать, всё же прекрасно гуглится - накидал терминов, так чтобы даже хокинг охуел и заебись, ни кто не понял, ну и хуй с ним.
И щас прям все школьники и хейтеры такие: "Ой, блин, ну ок, пойду поем."?
Про тиристорные системы слышно что-нибудь?
Суть адалайнов и LMS например, в том, что такие модели позволяют понять смысл гораздо более сложных алгоритмов, занимающихся тем же - регрессией и классификацией. В этом смысле крайне полезны даже старые совковые книги Вапника с Червоненкисом.
Простой пример - в чем суть использования гиперплоскостей в алгоритмах классификации или идентификации систем? В случае классификации гиперплоскость y=ax+b можно приравнять к 0, и тогда она будет разделять в соответствующем ей подпространстве все что меньше 0 от всего что больше 0. А в случае аппроксимации функций, например моделью Такаги-Сугено, гиперплоскости в консеквентах правил будут наоборот аппроксимировать распределение в случае приближения к главным компонентам системы, которой принадлежит тестовое распределение точек. Потом, еще вопрос, почему в качестве производной лучше именно квадратичная функция? Потому что это параболоид, который в силу своей формы имеет единственный глобальный оптимум.
>проспавшими deep learning революцию,
И в чем же там революция? В том, что подобные сети, сколько-либо пригодные для практических целей, по месяцу сходятся на 8-процессорных теслах? Хайп на ровном месте вижу, революцию не вижу.
Простой пример - в чем суть использования гиперплоскостей в алгоритмах классификации или идентификации систем? В случае классификации гиперплоскость y=ax+b можно приравнять к 0, и тогда она будет разделять в соответствующем ей подпространстве все что меньше 0 от всего что больше 0. А в случае аппроксимации функций, например моделью Такаги-Сугено, гиперплоскости в консеквентах правил будут наоборот аппроксимировать распределение в случае приближения к главным компонентам системы, которой принадлежит тестовое распределение точек. Потом, еще вопрос, почему в качестве производной лучше именно квадратичная функция? Потому что это параболоид, который в силу своей формы имеет единственный глобальный оптимум.
>проспавшими deep learning революцию,
И в чем же там революция? В том, что подобные сети, сколько-либо пригодные для практических целей, по месяцу сходятся на 8-процессорных теслах? Хайп на ровном месте вижу, революцию не вижу.
> моделью Такаги-Сугено
О-хо-хо. Не, чувак, еще раз я тебе писать то, что уже писал, не буду.
Помню, что писал ты примерно что нимодно, нипапацански, вообще прошлый век, да и авторы пиздоглазые. По существу предъяв против TS не припоминаю. На предложение привести в пример что-то поновее, написал PSO. А я тебе ответил, что рой частиц - для оптимизации, и в отличие от, для идентификации систем бесполезен. Вроде бы на этом и закончили?
Ну вот смотри, задача - распознавание речи, на какой стул сам сядешь, на какой мать посадишь?
>задача - распознавание речи,
Кохонен еще в 80-е годы этим успешно занимался. В его монографии немало примеров распознавания как отдельных фонем, так и слитной речи. Алгоритмы - LVQ, SOM.
Ну иди нахуй тогда, диванный теоретик.
>диванный теоретик.
Ты наркоман или наркоман? Какие теории, пакет lvq_pak, созданный Кохоненом - http://www.cis.hut.fi/research/lvq_pak/ там в исходниках в качестве примера файлы ex1.dat и ex2.dat, как раз распознавание фонем, описанное в монографии.
Он триличная сволочь.
Ну да, распознавание уровня 80-х годов. Буквально. Диван и есть диван.
>распознавание уровня 80-х годов.
Ну давай, расскажи, чем распознавание уровня 80-х годов отличается от какого-то другого уровня? Опять же, сославшись на Кохонена, более 96% фонем слитной речи распознаются правильно, причем, не требуется даже специального железа, все работало в рилтайме на тех еще камплюхтерах. Расскажи, недиван, намного ли лучше дела обстоят сейчас? И сколько гугловских суперкомпьютеров для этого нужно?
Ну да, а жидорептилоиды скрывают.
Возможно я ошибаюсь, но он "на школоборде тралит лалку".
>ВРЕТИ!!111
Ага, скрывают. Настолько скрывают, что все в открытом доступе и даже с переводом на русский. Распознавание речи сводится к векторному квантованию, это медицинский факт.
Тогда ладно.
Тогда почему ты до сих пор не миллионер? Сделал бы стартап без гугловских суперкомпьютерах на статьях тридцатилетней давности, победил бы state of art, мамке бы дачу купил.
Я бы и тебе дачу купил
а тут ты чавкая мне отвечаешь: "И фапатьку."
Привет. С какой книги я могу начать обмазываться физикой, что бы считать себя в данном направлении где-нибудь на уровне "Любитель -"? В Интернете нашел, с виду, неплохую книгу "Введение в физику" Китайгородского. Какого чёрта в вашей тематике нет треда новичков?
Ты уверен, что это даст мне необходимые знания для перехода к более сложным, глубоким разделам физики?
Канешна!
Хорошо! Но если знания, которые может дать мне этот мультфильм, ниже моих нынешних познаний в физике, то ты - мужской детородный орган.
Это не важно, ведь твои познания ниже тех, которые может дать этот мультфильм.
Вот он этот тред http://2ch.hk/sci/res/305539.html
Я посмотрел твой мульт. Теперь дай мне книгу.
Спасибо. Он не совсем активен, похоже.
Это вся доска такая, но люди туда заходят.
Хорошо. Тогда отпишусь там как-нибудь, в следующий раз. Добра.
Собственно, лекция Мастера в двух частях:
http://www.youtube.com/watch?v=hc2Zj55j1zU
http://www.youtube.com/watch?v=skfNlwEbqck
Несмотря на 82-х летний возраст (на момент записи видео), очень грамотно, вкратце, по делу и с примерами поясняет за свои изобретения - адалайны (разновидность искусственных нейронов) и механизм их обучения - LMS. Поехали!