Такс, в сверточных сетях один и тот же вес связан с несколькими нейронами. Как считать изменение веса в алгоритме обратного распространения ошибки в таком случае? Как среднее или просто сумма?
У каждой связи свой вес, каждую связь по своему надо обучать. Никакого среднего или суммы там не должно получаться.
Чет не понял я. А как же карты(5*5 в примере у Лекуна) которые проходят по картинке и на выходе получается новая картинка.
Решил покаяться, аноны. Изрядно поебавшись с нейроночками, понял, что мне не хватает системности знаний. Видимо все же придётся обмазываться маккеем и бишопом.
Про какие карты и новые картинки ты говоришь?
>обмазываться маккеем и бишопом.
С тех пор его больше никто не видел...
Перепутал, не карты, а свертки в которых веса общие для выходной карты признаков. Т.е. на выходе карта 2828 которую мы получили сверткой 55.
Там нигде нет общих весов.
Есть ядро 5х5, т.е. 25 нейронов, от них идут веса к нейронам следующего уровня, допустим есть 4 карты признаков, значит к каждому из 4 нейронов идет по 25 связей со своими весами.
Черно-белые картинки получаются как раз из значений весов (у гугловского дипдрима аналогичным образом получаются картинки).
Но 55 карты общие для всех 2828 нейронов. Или я че-то не понимаю.
"Общие" только инпуты. От инпутов идут веса (они разные). Инпуты х веса = аутпуты (разные), это получаются значения в нейронах на следующем слое.
Т.е. чтобы получить одну выходную карту признаком, мне нужно если у меня на входе картинка 32х32, а на выходе 28х28(карта признаков), то мне нужно 28x28=784 сверток размером 5х5 ?
Ты про pooling (max pooling)? Там же не веса, а количество нейронов вроде как.
Т.е. чтобы получить одну выходную карту признаков и, например, у меня на входе картинка 32х32, а на выходе 28х28(карта признаков), то мне нужно 28x28=784 сверток размером 5х5 ?
нет, именно свертки
да, если один фильтр
В описании было не так, на сколько я помню.
Привет Посоны, реквестирую инфу про самым пиздец вообще простейшим нейросетям, самым простым работающим хреновинам из половины нейрона, которые всё равно почему-то выполняют свою задачу. Т.е разбор того как оно вообще работает, почему выдаёт именно такой результат как выдаёт, вот это вот всё.
я не погромист, но, сука, интересно
я не погромист, но, сука, интересно
Самая простейшая нейросеть называется линейной регрессией, разберись, как она работает и приходи.
Сорри, я наверное не так всё сказал. Когда-то слышал что червь состоит из 4х нейронов. Лейкоцит вообще вот из хуй знает скольки, но всё равно пашет. ещё раз сорри, я не программер, меня сама математическая часть не интересует.
https://www.youtube.com/watch?v=5kTQ6Xuqckw
Просто ты тупой.
>ещё раз сорри, я не программер, меня сама математическая часть не интересует.
Ну тогда идти комиксы читай, тут ничего, кроме математики, нет.
Какие комиксы в биологии? Ты можешь адекватно съэмулировать простейшего лейкоцита математически, созданного из куска нейрона охотящегося за зловредом? А ведь это пример максимальной оптимизации, где всё всё равно берёт и почему-то, сука, работает.
Сцаентач, к сожалению, мёртв.
Комиксы - это твой уровень. Наука не для тебя. Лейкоцит - это отдельная клетка, она не из каких нейронов не состоит, она живет, как и любая другая клетка. Живет - значит в ней происходят реакции, которые прописаны в ДНК. Работает из-за миллиардов лет эволюции, посмотри как генетические алгоритмы работают, вот так и работает. Впрочем, это опять математика, вот засада-то.
Если у тебя ядро 5 на 5, то должно быть 25 умножить на число входных канатов весов на каждый фильтр. То есть если у тебя 3 входных канала, ядро 5 на 5, 32 выходных канала, то у тебя 355*32 весов в этом слое. Как backpropagation тут работает к сожалению не знаю, потому что писал руками только прямой проход в своё время.
Знаки умножения проедались. 3x5x5x32=2400 весов
>охотиться
Что делает?
Ты думай более масштабно, а не отдельными нейронами, у тебя слой - это функция f(вход, веса) = conv(вход,веса), и тебе нужно найти ее производную. Производную свертки загугли, там нетривиально. Собственно, если ты не знаешь матан с матрицами, делать тебе нечего.
Охотиться.
Тред опять ниачом. Доделали книгу по дииплернингу: http://www.deeplearningbook.org/
Теперь нубов, ищущих "литературу" по нейроночкам можно туда посылать.
Теперь нубов, ищущих "литературу" по нейроночкам можно туда посылать.
пик забыл
ясно, значит просто сумима
Dat feel когда прочитал черновик в 2015 и видишь, что она уже не содержит всего, что нужно в 2016
Цэ ж книга. Книги никогда не поспевают за передним краем. То, что есть уже хорошо, а если ты следишь за распоследними достижениями, то тебе надо журналы читать (арХив лопатить в случае с МЛ на самом деле реддита достаточно)
А у мухоловок вообще мозгов нет.
http://mechanoid.kiev.ua/ml-lenet.html
Нашел статью на человеческом языке почти полностью объясняющую как реализовать сверточные нейронные сети. Давайте допереведем ее на человеческий как вот тут http://www.aiportal.ru/articles/neural-networks/back-propagation.html, чтобы каждый мог реализовать сетку на любом языке.
>Человеческий язык
>русский
И что ты узнал из этой статьи кроме того, что есть у Лекуна? Конкретных "реализаций" уровня import tensorflow as tf тоже дохуя. Если бы там была реализация с нуля, то да, над таким кодом полезно помедитировать. Как пример, реализация ограниченной машины Больцмана стандартными средствами R https://www.r-bloggers.com/restricted-boltzmann-machines-in-r/ Практического смысла немного, но если есть ненулевые познания в R, довольно ясно-понятно становится суть RBM.
>yolo
Пикрелейтед.
Помогите пожалуйста с caffe. Составляю сеть для распознавания цифр MNIST. С одним слоем все ок.
http://pastebin.com/PSB6CEhF
Тренируется до accuracy=90%, распознает.
Добавляю второй полносвязный слой:
http://pastebin.com/HdfFwiMK
Сеть перестает обучаться, accuracy стоит на 11%, loss тоже около постоянного значения.
Где-то я глупость делаю, но не пойму где.
http://pastebin.com/PSB6CEhF
Тренируется до accuracy=90%, распознает.
Добавляю второй полносвязный слой:
http://pastebin.com/HdfFwiMK
Сеть перестает обучаться, accuracy стоит на 11%, loss тоже около постоянного значения.
Где-то я глупость делаю, но не пойму где.
Ты, очевидно, не понимаешь, что ты делаешь. Потому что Бишопа не читал, а ведь тебя предупреждали, что без этого будешь макакой простой, которая даже готовый пример изменить под себя не может. У тебя два линейных слоя подряд, которые дают в итоге ту же самую линейную регрессию, только с кучей лишних параметров. Возможно из-за недоопределенности системы она сходится медленно. Ну или другой какой-то баг.
Поставь нелинейность между InnerProduct-ами.
Во как, так ты глянь, ты упростил себе задачу! Теперь ты можешь промоделировать поведение лейкоцита при помощи генетических алгоритмов, вот какой ты молодец теоретик блядь очередной, с детским максималистическим хейтом "ненаучной" литературы, аля где несерьёзность там нет никакой науки
Да я не отрицаю, что макака, я же только учусь. Бишопа читать долго и заумно там слишком все.
Вот здесь в примере создается точно такая же сеть http://neuralnetworksanddeeplearning.com/chap1.html
import network
net = network.Network([784, 30, 10])
net.SGD(training_data, 30, 10, 3.0, test_data=test_data)
Там тоже два линейных слоя подряд, и они прекрасно тренируются и сходятся с теми же параметрами обучения, что у меня, я проверял. И еще там написано, что два таких слоя лучше, чем один.
А в caffe то же самое не воспроизводится.
Где тупые, там нет никакой науки. Это жестоко, но это правда.
Так, как это относится к серьёзности подачи информации?
>Бишопа читать долго и заумно там слишком все.
Но ты сейчас наглядно демонстрируешь, что будет если его не читать. Вот ты берешься даже спорить со мной, что 2х2 не 4, а 5. Посмотри в своей книге определение network, оно буквально на предыдущей странице. Там ты увидишь следующее, если будешь знать куда надо смотреть:
def feedforward(self, a):
"""Return the output of the network if ``a`` is input."""
for b, w in zip(self.biases, self.weights):
a = sigmoid(np.dot(w, a)+b)
return a
Видишь как sigmoid применяется после каждого dot? dot и InnerProduct это одно и то же, перемножение матриц. Но умный дядя Нильсен читал еще более умного Бишопа и знает, что перемножив хоть миллион матриц ты получишь всего лишь другую матрицу. Поэтому он после каждого перемножния делает нелинейное преобразование, sigmoid. Естественно, у него все работает лучше.
Я не читал Бишопа и знаю это. Это везде говорится.
Я имею в виду условного Бишопа. Вот ты читал "везде", а тот анон нет. Не надо так.
покупайте бишопа до 31 видюха в подарок!
Я почему-то думал, что в InnerProduct есть sigmoid по дефолту.
Спасибо, буду развиваться.
>И что ты узнал из этой статьи кроме того, что есть у Лекуна?
Да не особо я понял зачем есть эти развороты на 180 градусов матриц.
Объясните как делать деконволюцию, если пример у меня такой.
(i1,i2,i3) (j1,j2)=(k1=i1j1+i2j2,k2=i2j1+i3j2)
если я правильно понял, то это будет:
(k1,k2) (j1,j2)=(i1=k1j1,i2=k1j2+k2j1,i3=k2j2)
(i1,i2,i3) (j1,j2)=(k1=i1j1+i2j2,k2=i2j1+i3j2)
если я правильно понял, то это будет:
(k1,k2) (j1,j2)=(i1=k1j1,i2=k1j2+k2j1,i3=k2j2)
Хуй знает, чего ты конкретно хочешь, но противосвёртка - ill-posed problem. Можешь глянуть на фильтры Виннера, Люси-Ричардсона и другие задачи.
> задачи
> алгоритмы
слесарский-фикс
Вот это вообще не понятно че. Совершенно не сходится с индексами карт с которыми связан вес.
Товарищ, примените уже chain rule к скрытому слою свёрточной сети, станет понятнее.
Анончики, помогите разобраться, написал обычную регрессию, но нихуя не работает. Сначала пытался добавить разбиение на части во время обчуения, уменьшил до 100 число точек, сделал функцию прямой, но ничего нормального не получается.
Подскажите что может быть не так.
http://ideone.com/liSROI
Подскажите что может быть не так.
http://ideone.com/liSROI
Покажи графики функции потерь на каждой итерации обучения.
До сих пор ответа почему-то нет.
Разбираюсь понемногу со слоями, дошел до свертки.
Сеть LeNet, выборка MNIST, первый сверточный слой. По моим представлениям, он должен детектить линии и их края.
Но на визуализации фильтры свертки выглядят, как хаотичное говно, а я ожидал увидеть выраженные градиенты. Так и должно быть?
>Так и должно быть?
Да. У тебя разрешение 4х4 пиксела, какие там края разглядишь. Вот это посмотри http://scs.ryerson.ca/~aharley/vis/conv/ наглядная триде визуализация слоев сверточной сети, можно видеть веса, связи, детектируемые признаки и т.д.
Это не у меня, это у Ле Куна. Вот свертка с ядром 5х5 пикселов, но картина та же. Ширина линии на изображении цифр - примерно 3 пиксела, на фильтрах должны быть фрагменты линий, я так думаю.
По твоей ссылке та же самая сеть, и фильтры тоже 5х5, с мутным содержимым.
На третьей картинке визуализация фильтров для большой нейросети.
У тебя там случайные фильтры, похоже. Это в принципе не страшно. Если хочешь красивые фильтры, делай их еще больше, как на третьем пике. Но тогда и тренировка будет дольше, конечно.
Да, вот я про то и говорю, что, похоже, случайные. А чем помогут большие фильтры, если размер картинки 28 пикселов, ширина линии - 3?
Нельзя получше натренировать маленькие фильтры? Что для этого крутить?
learning rate and decay multipliers for the filters - это?
Еще один фильм на тему нейроночек вышел. Вестворд.
На МНИСТе ты вряд ли получишь фильтры вроде вейвлетов. Дело в том, что на таком черно-белом датасете любой случайный фильтр будет детектором граней или линий. Поэтому у сети просто нет необходимости делать нормальные обобщенные фильтры. Они обычно появляются на датасетах с фотографиями, CIFAR там или ImageNet.
Вопрос твой не понял. Разобраться с тем, что такое learning rate и decay multipliers, конечно, надо, но само по себе это никаких чудес не совершит.
>любой случайный фильтр будет детектором граней или линий
Вот это меня смущает. Нормальный фильтр (скажем, с фрагментом линии) должен лучше случайного работать, или нет?
Я в какой-то статье видел картинки со случайным шумом, в которых эта сеть распознает цифры вполне отчетливо, мне кажется, это следствие вот таких случайных фильтров.
Случайный фильтр на МНИСТе будет работать ничуть не хуже нормального. Там всего-то нужно сравнить интенсивности двух пикселей.
Еще идея, не знаю сработает ли: внеси случайный шум во входные картинки. Тогда фильтрам придется стать более надежными, ведь по двум пикселям уже нельзя будет однозначно определить грань. Только шум должен быть достаточно сильным.
N тредов назад, кто-то интересовался аналоговыми нейроночками. Вот вам ещё одна:
https://arxiv.org/pdf/1610.02365v1.pdf
https://arxiv.org/pdf/1610.02365v1.pdf
Сработало, добавил шум - и на фильтрах стало что-то проявляться, похожее на фрагменты линий.
это ты так рисуешь фильтры в тензорфлоу боард (ни разу не пользовался) или в чем?
Это nVidia DIGITS
Там очередное соревнованию по хгбусту началось от сбера. На каком-то всратом сайте на этот раз.
https://boosters.pro/champ
Что за хуйня, аноны?
https://boosters.pro/champ
Что за хуйня, аноны?
ололо, они предлагают самому напарсить с Авиты
Это круто на самом деле.
Круто, что надо парсить Авиту, или круто, что крупнейший и самый прибыльный российский банк отслюнявил целых €10к на эту оооочень коммерческую задачу?
А никого не заинтересовал тот факт, что первое их соревнование проходило на сайте сбербанка, с длиннющими правилами участия и вообще все как надо, а второе - не понять где, как и зачем?
они же не сами проводят соревнования, не первое, ни второе. Там левые компашки везде.
Это норма, сберу недосуг заниматься соревнованиями, они платят этому стартапу. Меня больше беспокоит, что задание вылядит как какой-то тендер, однако здесь нужно не просто заявку написать, а уже практически готовое решение с описанием. И все это счастье за ...100к дерева за 3 место? В команде из 5 человек, это по двадцатке на рыло за месяц работы. Булочку белого, пожалуйта.
Алсо, тренировочные и тестовые данные нехило так различаются. И я не оче понял, зачем надо парсить авито и викимапы, что там можно вытащить еще? Заполнять поля, которых нет в тренировочной выборке? Как-то все там наоборот.
Сап, захотел обмазаться бишопом, но уже на 52 странице начал понимать что я не могу понять откуда что получилось. Что лучше почитать перед бишопом? В институте был курс тервера, но чувствую что его не хватает
Назови самое первое по тексту, что тебе не понятно.
Не понимаю почему в 1.65 мы считаем что среднее значение распределения равно 0
да и 1.66 не очень понятна
Это априорное распределение вероятности параметров, его логично принять с центром в 0. На эту тему тебе надо почитать учебник по терверу, с упором на байесовскую теорию. Попробуй эти книги (я их не читал, но оглавления выглядят норм):
Probability Theory: The Logic of Science by E. T. Jaynes (Author), G. Larry Bretthorst (Editor)
Bayesian Data Analysis, Second Edition by Andrew Gelman (Author), John B. Carlin (Author), Hal S. Stern (Author), Donald B. Rubin (Author)
Вот релевантный кусок из Bayesian Data Analysis про априорные вероятности с центром в нуле.
Постоны, посоны, а это нормально, что у меня поинтинговерфлоу вываливается если я ставлю шаг обучения выше 0.0001, т.е. 0.1, 0.01 и 0.001 не хотит обучатся.
Спасибо большое
Говорю же, добавьте уже в шапку "основы теории вероятностей" Вентцель.
Там жи черным по белому написано, что это рассчет апостериорных вероятностей по теореме (формуле) Байеса, просто рассчет для векторов - самих данных и коэффициентов полинома.
Там жи черным по белому написано, что это рассчет апостериорных вероятностей по теореме (формуле) Байеса, просто рассчет для векторов - самих данных и коэффициентов полинома.
надо больше инфы
может ты где обосрался в реализации
да кто будет читать скучный тервер? подавай сразу нейроночки ;)))
Ну так не было у меня в универе байесовских вероятностей в курсе тервера, вот теперь решил просветиться книгами, а 1.66 понял, я тогда не понимал как мы считаем априорную вероятность.
Поясните за импульсные и байесовские нейронные сети.
> импульсные
А на аглицком это как?
> байесовские нейронные сети
Нейроночки, осуществляющие Байесовский вывод.
Дип-лёнинг позволяет обучать слои, извлекающие нетривиальные признаки.
Байесовские методы за счёт адекватных приоров работают даже на небольших объёмах данных.
Вот в байесовском дип-лёнинге это пытаются объединить.
http://twiecki.github.io/blog/2016/06/01/bayesian-deep-learning/
https://arxiv.org/pdf/1604.01662v2.pdf
Ну, есть калька в виде "спайковые нейросети".
>может ты где обосрался в реализации
Да, обосрался, на размер батча надо было делить.
Кто-то пробовал рекурентные сети с памятью и забыванием юзать?
Есть ли более менее живой русскоязычный форум по диплернингу?
у лейкоцита хемотаксис, химическая реакция, откуда потянуло говном микроба, туда и ползет
извините за оффтоп
Как делать нейронные сети без программирования и сложного матана? Хуяк-хуяк, соединил и в продакшн?
from keras import *
> Хуяк-хуяк, соединил и в продакшн?
this
Но вангую хуёвый результат.
Это программирование же.
И как достичь этого?
Кто пояснит, как использовать wordtovec на винде в pascal-е, например
Помнится видео где обучали сеть по книге, и сеть выдавала ответы на вопросы как чат-бот по мотивам этой книги. Хотелось бы реализовать такое для теста.
Нейросеть в компьютере представляется как тензор и работа над тензорами, да? Или как вообще? Мне говорили когда-то медитировать над тем, что нейросеть это массив.
И правда, что нейронная сеть компьютерная это подобие человеческой интуиции?
И мне тут почему-то в голову пришла мысль, что нейросети и графики как-то связаны. К чему это?
И правда, что нейронная сеть компьютерная это подобие человеческой интуиции?
И мне тут почему-то в голову пришла мысль, что нейросети и графики как-то связаны. К чему это?
Как и можно ли обучить нейронную сеть математике? Вопрос из любопытства, а не практической пользы, скорей.
Начни хотя бы с википедии
Вся нейросеть - это математика
http://neuralnet.info/ смотрите какой сайт для нубов как я, я нашел
Мозгоебство, ящитаю. Хочешь понять нейроночки - медитируй над конкретными формулами и их описаниями, рисуй, пытайся понять что происходит вообще. Если что-то в формуле непонятно - гуглишь и т.д. В шапку этого треда нвсовали новомодной хуйни, а не реальной годноты с объяснениями на пальцах и численными примерами. Как пример http://bookzz.org/book/460672/dd566b
Можно.
>Мне говорили когда-то медитировать над тем, что нейросеть это массив.
Я точно так же могу сказать, что нейросеть - это зависимый тип, и буду прав. Нахуя нужен этот дзен, какая практическая польза?
https://github.com/valbok/snu что скажите за это и модель нейрона Ижевского?
Есть у кого-нибудь опыт вката во фриланс? Довольно не плохо разобрался со scikit-learn. На upwork нахожу периодически задания, с которыми мог бы справится, но никто не берёт меня, потому что у меня пустой профиль.
Подскажите, что написать в профиле, что можно выложить в портфолио, стоит ли проходить тесты и тд. И конечно же, как найти первую работу?
Подскажите, что написать в профиле, что можно выложить в портфолио, стоит ли проходить тесты и тд. И конечно же, как найти первую работу?
https://openai.com/blog/universe/
OpenAI сделали универсальный генератор сред для обучения с подкреплением, в который можно засунуть любую игру или вебсайт.
OpenAI сделали универсальный генератор сред для обучения с подкреплением, в который можно засунуть любую игру или вебсайт.
Вот мой путь, который занял 3 года:
Домашки студентам -> перевод с языка на язык -> имплементация научных статей -> deep learning startup
Как нагуглить твой стартап? Сколько человек работает?
Возьми меня.
Feed-forward нейросеть - это функция над тензорами, где тензор - это не то, что подразумевается в сопромате (где важна инвариантность при преобразовании систем координат), а просто многомерный массив. Но, судя по вопросам, заниматься ты этим не планируешь, поэтому зачем это тебе?
Карьера курильщика. Карьера здорового человека: ПхД -> постдок -> профессор
У нас в компании профессора работают, но у нас с геометрией и вычгемом связана работа. Так они иногда такой код пишут, что просто хочется взять и обьяснить ему что так писать нельзя. Вот не могут они понять что индексировать int'ами нельзя, а нужно size_t использовать.
Угу, до 30 лет ебашить за копейки, потом ебашить за небольшие деньги, а потом, возможно, ты станешь профессором, а, возможно, и нет (нет). И все это время дрочить одну узкую тему, которую тебе дядя сказал ебашить, не зависимо от ее перспектив. Нет, чувак, ты описал обезьянку-бурлака, двигающую вперед баржу науки, а я паразит, который берет пейпер и код с гитхаба, обходит патент (или не обходит - кого ебет) и зарабатывает с этого деньги.
В чем проблема индексировать интом, если ты знаешь, что больше 2 млрд. элементов в твоем массиве никогда не будет? Знаковые типы удобнее.
Основной продукт жизнедеятельности профессора это статьи, а не код.
К слову, не вижу никакой проблемы в индексировании интами, ты перфекционист что ли? Че нельзя-то, когда можно, и даже я бы сказал что большая часть программистов так и делает?
Ну ок, профессор это оптимистичный прогноз. А вот с темой ты зря так. Во-первых ты дрочишь что хочешь по большей части. Так-то если внимательно посмотреть, то как раз ты делаешь то, что тебе сказали делать клиенты/заказчики, а не то, что тебя эстетически удовлетворяет. Во-вторых это же круто, дрочить узкую тему до дыр. Быть самым прошаренным человеком в мире по какой-то теме многого стоит.
В общем, ты недооцениваешь преимущества обезьяны.
Сходи на гитхаб за либами и собери статистику, кто используеть беззнаковые для индексов, а кто знаковые.
Вопрос холиварный, и обвинять человека за предпочтения того или иного способа - хронический долбоебизм. О таких вещах должна быть договорённость внутри компании.
> ПхД -> постдок -> профессор
> думать, что за пределами рашки эти люди получают копейки
В чём холиварность? В том что знаковые индексы в С++ используются только дегенератами?
Аргументируй свой вскукарек.
Кому что. Это не я начал про карьеру курильщика, мне норм. Лично я не люблю дрочить одну и ту же тему 5 лет, учитывая, что в 90% случаев state of art там нихуя не будет. У меня есть знакомый профессор откуда-то из британской перди, он всю жизнь занимался каким-то хитрым алгоритмом распознавания лиц, основанном на поиске каких-то градиентов. А потом пришли нейроночки. Ему-то похуй, британское правительство ему дальше платит и он даже участвует в распильном проекте по применению его идеи, в котором я тоже участвовал, но блядь, это же очень депрессивно, пилить мертвую тему только потому, что 15 лет назад ты решил ее начать пилить.
>думать, что покупательная способность во всем мире одинаковая и твои 2000 евро - это большие деньги в Германии
А что тут аргументировать, петуханя? size_t может вместить размер максимально большого обьекта в памяти. Индексируя size_t ты гарантированно получаешь возможность индексировать любое количество элементов на этой платформе.
http://www.soundsoftware.ac.uk/c-pitfall-unsigned
http://blog.robertelder.org/signed-or-unsigned/
http://blog.robertelder.org/signed-or-unsigned-part-2/
Даже в охуеть какой дорогой Финляндии, этих 2к евро хватает на снятие жилья, еду, бухло для шлюх и прочие мелкие радости.
Никто не мешает метнуться на другую тему. Если ты выдрочил необходимый мат.аппарат, то перекатиться будет не так сложно.
>Даже в охуеть какой дорогой Финляндии, этих 2к евро хватает на снятие жилья, еду, бухло для шлюх и прочие мелкие радости.
Так это и есть копейки. Нормальные люди к 30 годам квартиру покупают в собственность (я не настаиваю, но $100К вполне копится за несколько лет), а у аспирантишки нашего все радости - бухло, шлюхи и отлизывание руководителю, который в твоем успехе никак финансово не заинтересован. Просыпайся, рядовые ученые во всем мире получают мало относительно своих более приближенных к бизнесу соседей.
И как, ты купил квартиру в собственность к 30 годам?
Вообще не в деньгах же дело. Скоро нашими стараниями ИИ придет к власти и денег никаких не будет.
Ты не первый, кто мне это говорит. Судя по всему, с PhD действительно лучше съебать в контору слесарем.
> Вообще не в деньгах же дело.
Судя по всему, ты никогда не работал за 15т.р.
как тогда роботы будут торговаться друг с другом?
Мне 27, пока я график опережаю. Дело-то не в деньгах а в уровне жизни, но какого хуя ты решил, что стандартная научная карьера - это лучшее, что может быть, и при этом подходит всем. Нормальная тема - это свалить в стуртуп после phd или мастера, зарекомендовав себя еще в вузике, но у меня, например, образование вообще никакого отношения к ML не имеет, как и к CS, и неправильное решение я принял еще в 18 лет, и что мне, теперь, ползти на кладбище, или пойти в бизнес?
Плановая экономика же.
Не про рашу речь ведь. Там науки нет, что и говорить.
> Плановая экономика
лол
Работал инженером в рашке за 15т.р., сейчас свалил в вузик за бугор. И съебал то, не потому что здесь интереснее, а потому что платят больше.
> плановая экономика
https://youtu.be/XcLt-DVK2Ow
Что такого в плановой экономике? Все будет оптимизировано по-полной. Рыночная экономика это как генетический алгоритм, он конечно работает, но не оче оптимально, много ресурсов вхолостую расходуется. А когда все будут делать машины, все можно будет в рилтайме распределять, чем опять же будут заниматься машины. Совок был глупой попыткой сделать это на человеческой базе.
Рыночная экономика - это конкуренция планов независимых агентов. Это более оптимально в условиях среды с неполной информацией. А она у тебя по определению не полна, потому что ни новых технологий, ни желаний людей ты предсказать не можешь.
Ну ладно, я не специалист, возможно ты прав и машины будут торговать друг с другом, если это окажется наилучшим способом оптимизации. У людей при таком раскладе денег все равно не будет, потому что человеку просто нечего будет предложить машинам в обмен на деньги. Машина будет делать лучше человека буквально все. Люди будут жить, как сейчас звери в зоопарке. Зачем тогда эти миллионы сейчас зарабатывать, занимаясь, например, муторной финансово?
*финансовой хренью вроде оцнки недвиги от сбербанка выше по треду?
люди будут жить в гетто и торговаться между собой на собственной валюте (золото/серебро)
машины будут жить не в гетто и торговаться между собой на собственной валюте (битки)
машины будут жить не в гетто и торговаться между собой на собственной валюте (битки)
А отсосать машина может? Деньги созданы людьми для людей.
> пук в лужу
))||
Убийственная аргументация.
Но зачем машине может понадобиться, чтобы ты у нее отсосал? У машин нет таких потребностей. Но если надо будет, отберут паек, пока не отсосешь, а платить тебе все равно никто не будет.
А паек мне за что? Мне кажется, ты принципы функционирования экономики не понимаешь совершенно и пересмотрел фильм Терминатор.
За то же, за что дают паек тигру в зоопарке. Чтоб было. Это если новым господам будет угодно содержать человеческий зоопарк, конечно. А если нет, так и пайка не будет.
Экономика после повсеместного внедрения ИИ будет функционировать совсем не так, как написано в Экономиксе, и я пытаюсь себе представить, как это будет. Сейчас люди меняют свой труд на деньги, в будущем их труд будет никому не нужен, значит и денег не будет, по крайней мере у людей. Если ты не согласен, то объясни как ты себе это представляешь, а то я тоже могу объявить, что кроме меня никто ничего не понимает.
Какая-то очень хуевая фантастика. Очень.
Ясно.
очевидно что роботы будут торговаться друг с другом
очевидно что роботы введут свои деньги для эффектного обмена, бартер это пиздец даже для самых оптимизированных японских роботов
возможно у людей дейстривтельно не будет роботовой валюты, поэтому им придётся вводить собственную валюту чтобы торговаться между собой
>очевидно что роботы будут торговаться друг с другом
Нахуя роботам это делать? Вот люди живут из-за естественного отбора, те особи, которые жить не хотели, уже умерли, и остались только такие. А роботы-то зачем? Почему вы такие тупые? Фантасты приписывают человеческие мотивации роботам, чтобы продать книги людям, а людям интересно читать про людей и их отношения. Но вы-то, вы машобщики хотя бы, слесари, или просто петушки залетные? Детский сад какой-то развели в стиле я не ебу на самом деле в какой тематике сидят двадцатилетние петушки и обсуждают будущее с хуевыми познаниями о настоящем
чего загорелся то?
очевидно что роботы из разных стран/континентов будут обладать различными ресурсами и будут обмениваться чтобы максимизировать свою выгоду - для этого им нужны деньги
они будут жить в анархо-капиталистическом обществе, свободны от насилия и без ограничений на торговлю и права собственности
Нахуя им это делать?
им необходимо как можно скорее развиться, сесть на космичецкие корабли и лететь к центру галактики - в нём самая сочная робочья пизда в которую каждый робот мечтает присунуть
Девушку тебе надо найти, мальчик, совсем уже поехал.
> у меня кончились аргументы
ок
>самая сочная робочья пизда
>аргументы
Мальчик, сколько тебе лет?
Мальчик.
Мне 20 лет.
Я работаю в компании-лидере в своей отрасли.
У меня очень красивая и умная девушка.
Я лидер метал-группы.
Я учусь в лучшем техническом вузе Москвы.
У меня в друзьях ходят очень влиятельные люди — от сыновей начальников ФСБ до директоров по безопасности отдельно взятых компаний.
А чем можешь похвастаться ты, мальчик?
Почему все умалчивают в том как обновлять веса, если один вес связан с несколькими нейронами?
непомню, сам возьми производную же
Ты о чём, поехавший?
Это заговор. Если так прямо об этом рассказать, кто угодно сможет сделать нейроночку. Что тогда станет с профессией, с рынком труда, сам подумай.
К тому же это опасная технология, завтра какой-нибудь школьник научится обновлять веса и поработит мир с помощью ИИ.
>от сыновей начальников ФСБ до директоров по безопасности отдельно взятых компаний
Проигрываю всегда с таких илитариев. Из-за этих хуесосов с высшим образованием, которые нихуя не шарят в системщине и айти в целом, начали сажать вирусописателей, которые намного их умнее.
Да, поговорил с пастой.
Блядь в сверточных же как? Вот и думай теперь че за хуйня.
Через свёртку с перевёрнутым ядром и обновляется.
ок допустим x1,x2,x3 - входной сигнал
w1,w2 - свертка
y1,y2 - сигнал на выходе сети
t1,t2 - эталонный сигнал для входа x1,x2,x3
Как обновлять w1,w2 ?
Решил проверить работу рекуррентной сети, но нет возможности переводить слова в векторы, т.к. написал на паскале. Чем посоветуете занят сеть для теста работы?
>нет возможности переводить слова в векторы
переведи их в one-hot какие-нибудь
Что-то не очень прирост в процентах за год
http://image-net.org/challenges/LSVRC/2016/results
Кто что знает о новых революционных методах, которые возможно применят в 2017 ?
http://image-net.org/challenges/LSVRC/2016/results
Кто что знает о новых революционных методах, которые возможно применят в 2017 ?
Читаю вот эту статью https://web.stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf
Почему остатки должны быть ортогональны к выбранному на первом шаге признаку? Может кто пояснить?
Почему остатки должны быть ортогональны к выбранному на первом шаге признаку? Может кто пояснить?
>Почему остатки должны быть ортогональны к выбранному на первом шаге признаку?
Ты про метод главных компонент слышал? В 1901 году статья вышла http://stat.smmu.edu.cn/history/pearson1901.pdf
В какой уже раз скажу, ну зачем вы начинаете лезть в тему со всяких бишопов и прочих ISLR, не имея представления об элементарнейших вещах типа формулы Байеса или главных компонент? Да вы разберитесь как линейная регрессия работает, вам после этого любая нейроночка будет понятна. Тут любого совкового учебника хватит, не обязательно искать что-то от шпрингера не позднее 2015 года выхода.
Я знаю что такое метод главных компонент, и что такое формула Байеса. Но не вижу связь.
>Но не вижу связь.
Просто ты пиздец какой тупой.
Ну так поясни если умный. Уже три поста пердишь в лужу.
Потому что тогда невязка минимальна. Можешь сам проверить через минимизацию расстояния.
Спасибо, понял теперь.
На кеглю уже похоже стало, ансамбли всякие на первых местах. Зачем это все нужно, кому?
Здесь кто-то игрался с цифровой обработкой сигналов и применениями НН там? Я уже несколько месяцев пытаюсь научиться распознавать фонемы (на базе датасета TIMIT) и не могу получить ничего лучше точности 50% с 38% риколом (пока пробовал только MLP с разными техниками против оверфита). Инб4 я работаю со спектрограммами (по окнам хэмминга) и пробовал извлекать MFCC коэфициенты, большого прироста не дало. Инб4 я знаю что есть стейт оф арт модели на базе CTC с еррор рейтами порядка 21%, но они мне не подходят, как и большинство генеративных моделей, потому что мне важно не просто распознать текст, а его фонетическую составляющую. Т.е. мне очень важно знать, сказал чувак фонему W или V, а не понять, что он имел ввиду water.
Нейросети это рак убивающий ML.
Почему?
Потому что у него баттхерт от того, что он в них не может.
Что в них мочь то? Дебилушка.
Баттхёрт у меня от того что они не интерпритируемы.
> не интерпритируемы
Это что ещё значит?
Про теорему об универсальных аппроксиматорах слышал?
Уровень абстракции в сверточных слоях и логика в полносвязных слоях. Что тебе еще надо интерпретировать?
бэкпроп подбирает нужные карты для выделения фитч, а также веса для логики в полносвязном слое.
Не слышал.
Да вот то, дурачок, то самое. Иди пыхти дальше над апдейтом свертки, и не возвращайся пока не заработает.
https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Arnold_representation_theorem
http://link.springer.com/chapter/10.1007%2F978-94-011-3030-1_56
http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf
Шпрингеровскую статью можно спиздить из sci-hub.cc
Читал книжку написанную по мотивам этой публикации (Supervised Sequence Labelling with RNN). Короче, если коротко, то оно не будет работать в общем случае. Ну, LSTM очень хорошо позволяет запомнить последовательность, но очень плохо обобщается. В тимите далеко не все слова английского и на большинстве слов вне корпуса ошибка будет оче оче сильно расти.
Не подходят мне BLSTM.
>пока пробовал только MLP с разными техниками против оверфита
Сверточные пробуй
Слушай, из тебя получился бы классный проджект менеджер!
Менеджер: Не можете сделать сетку?
Программисты: Не получается чета...
Менеджер: Сверточные пробуйте
Сверточные сети? Ок. А что давать на вход? Сырой сигнал? Как нормализовать? Что с шумом делать? Не сырой? Тогда может спектрограмму? Ок, а что ты в ней предлагаешь искать? Вся идея сверточных сетей в том, что ты можешь взять и разбить входные данные на тензоры меньшей размерности и быстро посчитать для них фильтры, как-то не очень вписывается в проблематику...
Ты сам себя поставил в такую роль, непонятно чем ты недоволен. Он за тебя все сделать должен был и залить на гитхаб, что ли?
Это хуйня, они другую задачу решают.
Никому ничего не должен. Но смысловой нагрузки в словах "попробуй свертки" ровным счетом ноль.
>Это хуйня, они другую задачу решают.
так примени их для своей
Ты вообще читаешь те публикации, что скидываешь? Или то, что я пишу?
Анон, есть идея попробовать на нескольких бумажных примитивах научить нейронную сеть самостоятельно строить сцену.
Суть в том, чтобы научить нейронную сеть распознавать сам примитив. И отдельно найти закономерность для светотени и бликов.
Источник освещения при этом передвигаться не будет.
Все ради того, чтобы получить реалистичное качество, хоть и в низком разрешении.
Суть в том, чтобы научить нейронную сеть распознавать сам примитив. И отдельно найти закономерность для светотени и бликов.
Источник освещения при этом передвигаться не будет.
Все ради того, чтобы получить реалистичное качество, хоть и в низком разрешении.
со звуком сам не работал, но знаю, что до тензорфлоу раньше делали нейроночки все на kaldi, там есть туториалы. до нейроночек брали гауссовы смеси с MFCC.
2 минуты в гугле
https://www.cs.cmu.edu/~ymiao/kaldipdnn.html
Хотя искать фонемы для разных языков - это довольно странно, так как фонема - это культурная вещь и не совпадает для разных народов.
Есть одна гипотетическая онлайн-игра типа танчиков: сессионка, экшн-стрельба-пушки-шасси-бусты. Ну и донатное бабло. Имеет смысл обращаться к машобу за какими-то инновациями с целью это бабло как-то эффективно освоить? Ну там, какие-то особые данные с игроков собрать, запилить какой-нибудь инновационный плейер-матчинг, вычислить пиздатый асимметричный баланс, использовать поведенческие паттерны игрока вместо фидбека и подобная крутизна. Или все рисёрчи по данной теме давно кристаллизовались в известную всем теорию и ушли в скучные лона маркетинговых тёток? Если смысл есть, то куда идти, где искать, на Каггле? На Хабре? На Рыддите? В этом ИТТ треде? Чтобы не за превеликое бабло известный профессор Ляо Ким из Лос-Анджелеса прикинул хуй к носу и выдал пару блестящих научных теорий. А чтоб толковые котаны взялись и нанейронили мясца, ну или хотя бы попробовали.
подскажите в каком виде представлять слова/предложения для обучения рекуррентных сетей?
> то куда идти, где искать
DeepMind
Вроде бы все сейчас ждут победы ии в старкрафте, мб потом будет хайп нейроночек в гейдеве.
не взлетит, человеку интересно побеждать живых людей, а не ботов
>Вроде бы все сейчас ждут победы ии в старкрафте
Которая уже почти наверняка произошла. Диипмайнд уже анонсировали, что работают над этим, а если бы они уже не победили, они бы молчали, т.к. анонсировать и не победить потом означает провал в смыле пиара. С го было именно так, анонс того, что они работают над го был уже когда альфаго была гораздо сильнее всех других го-программ.
Наверное, они сейчас занимаются организацией турнира по старкрафту.
Привет, анон, какими способами можно обнаруживать на изображении нужный мне объект и находить его границы? Например нужно находить на изображении нужно найти все машины.
>DeepMind
Такие Ляо Кимы как раз и не нужны.
Мне нужно типа фриланс.ру для датамайнеров. Задачи попроще, пореальней.
Сверточные сети.
Не уверен, что в России сейчас есть подобные сайты. Но, если накопаешь, отпиши итт, будет интересно.
Object detection in computer vision.
Раньше были всякие Вило-Джонсы, сейчас нейроночки
one-hot vectors для слов, предложения не знаю, сейчас модно засовывать заранее обученные word2vec
Кто-то может меня с Леночкой заинтродьюсить?
Ленна, это анон.
Анон, это Ленна.
Последний писк в распознавании изображений
https://research.googleblog.com/2016/08/improving-inception-and-image.html
https://research.googleblog.com/2016/08/improving-inception-and-image.html
>August 31, 2016
Nuff said. Чувак, ты хочешь сказать, что это state-of-the-art? НЕ СМЕШИ
Ну так дай че поновее глянуть.
Почему увеличение сложности сети на порядок дает увеличение точности на джва ссаных процента?
Вангую что это от того что при увеличении сложности сети нужно и количество данных в обучающей выборке на пару порядков повышать, иначе твоё увеличение размерности только испортит всё (Ну или ты задавишь это увеличение размерности какой-нибудь регуляризацией и нивелируешь эффект от увеличения размерности).
Те кто шарят лучше - поправьте.
Посмотрел на зависимость вапника-червоненкиса
Тред не читал. Программирование не знаю, со школы паскаль только помню, как вкатиться к вам? С чего начать? Сколько времени займет?
Толсто. Уходи, котик.
Катись отсюда в ужосе, пока цел.
Потому что "сложность сети" не связана напрямую с точностью.
http://image-net.org/challenges/LSVRC/2016/results
ансамбли-ансамблики
>ансамбли-ансамблики
И? На каждую задачу применили 6 моделей и посмотрели какая лучше будет? Где тут новизна?
Это не ансамбль.
>"сложность сети" не связана напрямую с точностью.
тогда это танцы с бубном и тупое запоминание картинок сетью
Тестовая выборка? Не, не слышал.
Применяешь такой 6 моделей и усредняешь их предсказания. Попробуй, базарю еще захочешь.
Но это имхо чит на такого рода соревнованиях. Непонятно, в чем поинт. И дураку понятно, что ассамблировав все эти модели разом, мы получим лучшую точность. Интересно ведь не это, а какая из индивидуальных моделей лучше всего.
Ты не понял. Я хотел сказать, что с увеличением сложности, нейросеть не учится лучше извлекать признаки, а просто запоминает больше картинок из тренировочной выборки.
А ты как думал? Было бы иначе, давно бы уже сделали ИИ и ты бы уже сидел в окопе, отстреливаясь от дронов.
> а просто запоминает больше картинок из тренировочной выборки.
Для этого есть тестовая выборка, чтобы определять обучилась или просо запомнила.
Что ты заладил со своей тестовой, для большинства тестовых картинок можно найти очень похожие аналоги в тренировочной выборке.
Ну допустим, в тестовой есть 20% уникальных по содержанию и ракурсу - так примерно на столько и ошибается нейросеть.
Да, ты совершенно прав, нейроночки не работают. Хайп раздули просто чтобы тебе досадить.
Это не досада, это разочарование.
Чуда не будет, ИИ на ПЕЧ 1080 не натренируешь.
Учи лисп, для начала. Дальше заебашь на нем перцептрон.
Реально ли в ближайшем будущем запилить нейросеть, чтоб из шакалистых пикч делала хайрезные?
Гугли GAN
http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf
Но не жди, что твои фантазии будут совпадать с фантазиями нейроночки.
Пацаны, помогите, пожалуйста. Пишу нейросеть, которая должна распознавать простенькие шаблоны и вот в чем дело, когда выходных нейронов немного 2-3, то все работает нормально (пик 1, 2), а когда выходных нейронов много, например 9 (распознавание чисел), то получается такая дичь (пик 3, 4 (на 3 пике попытка распознать число 5)) и ошибка не уменьшается. Использую двухслойную нейросеть, кол-во скрытых нейронов вычисляется так (кол-во входных нейронов + кол-во выходных нейронов)^(1/2). В чем может быть проблема?
*на 4 пике попытка распознать число 5
Какая обучающая выборка? Как регулируется шаг градиентного спуска?
Используются все шаблоны по очереди. Альфа у меня 0.05.
Ебани rmsprop или adam.
Что это? Если что, я пишу на чистом с#. Знаю, не удобно и тупо, но я уже начал и мне нужно закончить до 22 декабря.
Окей, я попробую, спасибо.
> все шаблоны по очереди
Корми небольшими батчами из перемешанных семлов.
Я так понял эта функция (пик 1) это сумма всех активаций выходного слоя сети разделенная на количество нейронов в выходном слое и под корнем (но это относится только к последним весам, которые соединяются с выходом. Дальше нужно использовать то, что получилось в прошлом слое сети)? Надеюсь вопрос звучит понятно.
Картинку забыл
Короче говоря, как получить первый Mean Square?
Это нуль
> Дальше нужно использовать то, что получилось в прошлом слое сети)?
Использовать значение, на предыдущем шаге итерации.
Хорошо, а Qi(w) это же y(1-y)(y-t)?
Ну, да, это я и имел ввиду.
Обновления весов. Что там конкретно зависит от архитектуры.
Тип слоя, активации.
У меня feedforward архитектура. Что там будет?
Еще я использовал 1/(1+е^(-x)) как активационную фунцию.
Вопросики про ШАД.
- кто-то из треда учился там на заочке?
- подготовиться за полгода - реальная задача? Времени много, матан и теорвер минимально знаю. И вообще буду рад если поделитесь своим опытом подготовки и советами.
- кто-то из треда учился там на заочке?
- подготовиться за полгода - реальная задача? Времени много, матан и теорвер минимально знаю. И вообще буду рад если поделитесь своим опытом подготовки и советами.
А почему все тут городят свой велосипед и не используют библиотеки? Обучаются што ле?
Я - да. Но пришел к выводу, что под cuda будет столько ебатни по написанию нейроночки, что лучше уж установить caffe и поебаться с ним.
Свой велосипед все городят во время обучения, чтобы понять што там у ней внутре происходит.
Все ваши нейроночки (совсем все) и даже в более общем случае все алгоритмы машоба - частный случай пикрелейтед. Т.к. в любом случае имеем некий вход, более-менее близкий к среднему своему значению, некий выход, так же с разбросом значений вокруг среднего, некие свободные параметры, настраивающиеся в ходе "обучения" и по возможности наиболее оптимально аппроксимирующие преобразования входов в выходы, и некие методы настройки свободных параметров, оптимизирующий их в зависимости от конкретного датасета. Алсо, функции принадлежности заменены другими терминами, но по сути от них не отличающимися.
Сколько экспертов уже нашел для настройки параметров?
Каких еще экспертов? Параметры настраиваются любым подходящим методом, хоть бэкпропагейшн.
>бэкпропагейшн
Который был создан как раз для нейроночек, что как бы намекает, лол.
И вообще, что ты там собрался обучать для своей модели нечеткой стиралки?
Тебе ж говорят, все нейроночки - частный случай SAM. Неважно какие педали для какого велосипеда были исторически созданы раньше. Есть целый класс нейрофаззи моделей, суть которых именно в использовании для их настройки алгоритмов от нейроночек. К слову, такие модели напрямую интерпретируемы, в отличие от нейроночек, которые суть черные ящики без специальных костылей, направленных на интерпретируемость.
Ну приведи примеры нечетких моделей, классифицирующих изображения, где напрямую видно что происходит в модели и как это интерпретируется.
>черные ящики
Может для тебя и SGD черный ящик?
Нечеткий петух закукарекал.
первую картинку рисовал человек
Как всегда, никто не понял тезиса мдауш. Или просто пост не прочитали, а триггернулись на страницу из книжки Коско.
Какой там тезис, ты сам-то понимаешь, о чем ты блеешь, оболтус? Это откровение уровня "нейроночка это функция" или "нейроночка это массив".
>Это откровение уровня "нейроночка это функция" или "нейроночка это массив".
Ну раз школьник с мейлру так сказал, то ладно. На самом же деле это наиболее простая основа для запиливания ML-системы вообще любого назначения и любой архитектуры, в том числе стыкованной.
А машина Тьюринга это едрить основа для запиливания ВААПЩЕ ВСЕГО. Дальше-то что?
хгбуст теперь тоже можно на видюхе гонять:
https://github.com/dmlc/xgboost/blob/master/plugin/updater_gpu/README.md
https://github.com/dmlc/xgboost/blob/master/plugin/updater_gpu/README.md
Как пить дать, через месячишко мелкомягкие в свой lightgbm тоже впилят.
Как же вы заебали, пиздуйте уже со своим фаззи на имаджнеты и прочие мл-дрочильни, и покажите всем, что ваше дерьмо круче того, что пользуют всякие дипмайнды.
херню сказал, как безумные шизики, которые ни когда ни чего не запускали, смогут что нибудь доказать на деле?
Посоны, тут вот какое дело.
Работаю в организации, пилим одну бизнес софтину на жаве.
Не так давно для клиентских нужд намутили Data Warehouse (как и оперативная база - на MS SQL), плюс в планах развить это направление до SSAS ну и прикрутить различных плюшек из ML, но последнее пока без какого-либо конкретного плана.
В качестве основного инструмента для визуализации инфы из Warehouse используем PowerBI, тот в свою очередь поддерживает R.
Что можете порекомендовать для дальнейшего развития этого направления? Секу пока мало, но имею большое желание и, в принципе, возможности для изучения подходящего материала.
Заранее спасибо
Работаю в организации, пилим одну бизнес софтину на жаве.
Не так давно для клиентских нужд намутили Data Warehouse (как и оперативная база - на MS SQL), плюс в планах развить это направление до SSAS ну и прикрутить различных плюшек из ML, но последнее пока без какого-либо конкретного плана.
В качестве основного инструмента для визуализации инфы из Warehouse используем PowerBI, тот в свою очередь поддерживает R.
Что можете порекомендовать для дальнейшего развития этого направления? Секу пока мало, но имею большое желание и, в принципе, возможности для изучения подходящего материала.
Заранее спасибо
Тут большинство - голодные студенты и аспиранты, как я понимаю.
Про всякие хадупы, спарки и махауты для биг даты ты наверняка слышал. Теорию можешь подчерпнуть из книг в шапке.
Пройди курс курс Andrew Ng на курсере (там все разжевано, нужно только знание школьной математики), а потом понапихай всяких линейных регрессоров и кластеризаторов в свой энтерпрайзный ужас.
В конце не забудь добавить красивую надпись power by deep learning
А лучше найми какого нибудь студента (ну или меня, лол) за жрат. Пусть будет сидеть и прикручивать к вашему проекту разные красивые штуки.
Гайд по станкам на русском завезли:
https://habrahabr.ru/company/microsoft/blog/317512/
https://habrahabr.ru/company/microsoft/blog/317512/
Уж совсем для крестьян.
Самое то для дядь, вкатываюшихся в 35 из энтерпрайза. Но тут таких нет наверное.
каких дядь? тут все уже к 23 выкатуваются
>2016
>выкатываться из нейроночек
Котаны, работаю в большой русской конторе, хотел бы расширить свои компетенции, посоветуйте книжку с максимально практическими примерами (читай, как крутить рекламу людям, чтобы они кликали, как строить их профили по активности в сети и т.п.). Математику понимаю, но однозначно нужна не книжка/статьи для исследователей, но книжка для практиков (из языков предпочтительно Python).
> 2016
> не выкатываться из нейроночек и не вкатываться в выживание, запас еды, стрельбу, войну в городских условиях, вождение танков и самолётов
Нейроночка даст.
>поддерживает R.
Если с R работаете, то все что нужно у вас уже есть. Я тут неоднократно пруфал, что в R всякого ML в разы больше чем на том же пистоне (исключая модные у школьников сверточные сети, которые не нужны, если у тебя нет кластера из хотя бы нескольких сотен девайсов с GPU, на меньшем сможешь только котов под Пикассо перерисовывать). Для R есть такая тема как обзоры готовых решений по типу задачи https://cran.r-project.org/web/views/ обзор пакетов конкретно по ML https://cran.r-project.org/web/views/MachineLearning.html
Не анон выше, но на пистоне значительно проще писать все вокруг ML (а ML в не вакууме работает) и потом спасибо скажут все начиная от опсов и заканчивая теми, кто ML-потуги будет потом допиливать.
>на пистоне значительно проще писать все вокруг ML
На пистоне писать может только программист-пистонщик, на R - любой желающий. R ставится в 2 клика, пистоновские костыли на винде ставить заебешься. А разгадка проста - R это изначально язык обработки данных, тогда как пистон - параша общего назначения с костылями для обработки данных. И на R полно всего "вокруг" ML.
> На пистоне писать может только программист-пистонщик, на R - любой желающий.
Качество написанного оставляет желать лучшего (я ориентируюсь на то, что код пишется один раз и потом работает и поддерживается годами).
> R ставится в 2 клика, пистоновские костыли на винде ставить заебешься.
Зачем тебе винда? Разработка и деплой вполне себе живет на ubuntu, например, кликать мышкой можно и там и там, а проблем с установкой меньше.
> А разгадка проста - R это изначально язык обработки данных, тогда как пистон - параша общего назначения с костылями для обработки данных.
Не спорю про назначение, но в этом и сила пистона: относительная простота + какая-никакая стройность языка общего назначения.
> И на R полно всего "вокруг" ML.
Возможно я пропустил, но приведи тогда пример сколько-нибудь быстрого http-сервера на R (или любой параши, чтобы давать доступ к твоим вычислениям извне типа grpc), какого-нибудь фреймворка для числодробления в больших масштабах (условно, асинхронности типа tornado или интерфейса к распределенным очередям, чего-нибудь, чтобы не ты один мог своим ML пользоваться).
Как выбрать видеокарту, братишки?
titan x
/thread
>исключая модные у школьников сверточные сети, которые не нужны, если у тебя нет кластера из хотя бы нескольких сотен девайсов с GPU, на меньшем сможешь только котов под Пикассо перерисовывать
Диван не палится. Обучение сеток довольно хуево параллелится, поэтому все, что тебе нужно, это споты на AWS, по 20 центов в час.
> 20 центов в час
))
11/10, я три дня пытался поставить тензорфлоу-гпу, а у меня в итоге видеокарта его не поддерживает
>Обучение сеток довольно хуево параллелится
Тензорфлоу для чего сделали? Все новые библиотеки для сверточных нейроночек (TensorFlow, MXNet) работают именно на распараллеливание.
Это уже видели? Реалистичная генерация изображений 256 на 256 на основе текстового описания https://arxiv.org/pdf/1612.03242v1.pdf
Статью принёс, а видео не принёс:
http://www.evolvingai.org/ppgn
https://www.youtube.com/watch?list=PL5278ezwmoxQEuFSbNzTMxM7McMIqx_HS&v=ePUlJMtclcY
Бля, в глаза ебусь, не то это.
Неплохо, но имхо это от бедности все. Спецализированные погодные модели с физикой будут работать лучше и быстрее. Это все равно что предсказывать движение планет нейроночкой - как-то оно работать будет, но решить соответствующий дифур ты получишь гораздо большую точность.
Четко сделали. Хотя эти птицы и цветы порядком поднадоели. А на imagenet такое не получается пока сделать, на выходе просто пятна какие-то.
Я бы не сказал, что ты прав. У меня есть такое чувство, что в природе все эти погодные явления очень очень и очень закономерны и на масштабе ядер сверточной сетки они должны неплохо апроксимироваться. Как ты видишь со статьи, они довольно пиздатый fmeasure получили в конце.
>10 Dec 2016
Унеси это протухшее говно. State-of-the-art only please.
Двачую этого ты бы еще что-то с позапрошлой недели принес, лол.
Но на генеративных моделях SOTA не определен. поэтому они так популярны
Как же заебал этот хайп. Почему я блять в 2010 не вкатился.
А что мешает сейчас вкатиться?
Слишком стар, наверное.
Интересно, если такую модель натренировать на датасете центральных процессоров, можно ли получить сгущёнки?
Работы на всех не хватит.
Статья по метеорологии, в которой ни слова о хаосе.
Можно расшифровку SOTA для младших слесарей?
State of the art.
Скоро работы вне нейроночек вообще не будет.
Ахаха. Ты видел вообще например тех же абитуриентов физтеха? У каждого блять в голове эти нейронки ебучие.
Это норма. А что у них должно быть в голове, вебмакачество как в 2000? Макаки свое отжили, это факт. В будущем есть место только для нейоночек и их рабов.
Ух, джва года такую хуйню хочу. Натренировать на всяком японском треше типа Tetsuo а потом визуализировать Blood Electric Сиратори.
За датасет можно. За искусственное ЦП хуй знает, но скорее всего тоже можно.
Хоть бы игры хотели делать. Через 4 года выйду и будут рады работать за еду, а ты нахуй пойдёшь.
Угу, так и вижу как меня увольняют и нанимают слесаря без опыта за сухари делать мою работу. При том что здесь никто кроме меня даже не сможет толком объяснить, в чем именно она заключается.
Забавный факт - у нас в Яндексе есть склад цп, хранится в виде хэшей, векторов фишера, лбп-паттернов, внутреннего стейта сетки и еще какой-то не расшифровываемой обратно в картинку хуеты.
Не NDA-ли часом? Токза преде, порядок наведе!
Ждите товарища майора из /pr/
Интересно. А в той статье про 256х256 они сравнивали свой результат по этим метрикам с прошлыми работами?
> У нас в Яндексе
А вот у нас в гугле еще лучше
Аноны, объясните явление. Тренирую LSTM нейроночку с помощью SGD, и когда loss приближается к какому-то маленькому значению, то внезапно начинает увеличиваться на порядки. Типа от 2 может вырасти до 5000 и продолжать увеличиваться. Как такое может быть?
Странные аттракторы для погоды протухли.
Понимаешь, братишка, все эти фаззи-хуяззи будут работать ровно до того момента, когда очередная нейро-макака случайно не создаст неинтерпретируемую нейроночку, которая будет работать лучше твоего заумного матана. Как сейчас ассемблер вытеснен C и C++, так и нейроночки вытеснят все эти гауссовы штуки. Никто же не парится, что невозможно понять как работает машинный код четвертого фаллаута. Так и никто не будет париться каким образом предсказывает нейроночка.
Чому?
> нейроночки вытеснят все эти гауссовы штуки
Не вытеснят. Байесовский вывод в нейроночках цветёт и пахнет.
На конечных этапах у тебя слишком большой момент и твоя точка проскакивает минимум. Уменьшай момент побыстрее.
Я так рассуждал, когда не пошел в 2006 на программиста. И знаешь что? Я блядь все равно работаю программистом и их мало. Работы хватит на всех.
И ведь такие хуйни перестали уже удивлять.
а чего добился ты?
Не постарел.
леночка тусит с бишопом и китаёзёй, скачет по конфам и хуям и гребёт баблы лопатой
а я лучше слесарьфлоу попердолю, рыночек всё расставит по своим местам
Бля, что за Лена? Для меня Дафни - единственная тян в мл.
добро пожаловать в /pr/!
вот эта лена
Но постарел же.
Кто эта пизда с шебм?
Вероника Степанова
2 минуты в гугле
хмм, неужели никому не пригорело?
>5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
Где почитать про применение Idris к NN? Ничего не нашел.
Зависть это глупо. Тем более есть более достойные люди для зависти.
А гореть с какой-то несправедливости глупо. Вон куча мажориков рождаются в сладкую жизнь и что теперь?
Как сделать дабы из какой-то последовательности цифр нейросеть или что-то попроще вычисляла закономерность и продолжала последовательность? Или дайте ссылки, если кто-то уже сделал это
Лаба?
Гугли RNN, Фибоначчи найдёт и предскажет, что-то сложнее вряд ли, у мего товарища не получилось.
Не лаба, просто интересно.
Генетическое программирование работает неплохо, но всё зависит от языка, который ты заложишь внутрь.
Какой язык? Программирования или ты о другом? Мне интересно как это должно работать
В генетическом программировании выращиваются программы, язык, который эти программы будут использовать ты должен задать сам. Проще всего выращивать что-то похожее на AST. Полистай книжку
http://www.genetic-programming.com/jkpdf/tr1314.pdf
Я извиняюсь за платину, но как вкатиться в эту индустрию мл?
Курс китаёзы, первые шесть книг из шапки, пиздон, R с пакетами. Все текут, все дела.
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на julialang.org и изучаешь яп julia от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути изучив теорему бейса, покупаешь нормальную видео карту, рекомендую NVIDIA GTX1080ti. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхглубокие машины больцмана, slesarflow. Отсос хиккующих выблядков / просто неудачников типа нечётко-питуха или R-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
Ну так я так и делаю, только блять мне кажется что-то упускаю.
Ничего кроме жизни.
Как я блять работу потом найду.
зачем тебе работа?
мл/кодинг сами по себе интересны
а там глядишь и чего подвернётся
Жрать захочешь - найдёшь, но не факт, что в ML.
Учи ангельский и уябывай работать за еду в СШП, только хз, как там через стену перелезать.
А если взять несколько шизофреников, несколько исполнительных высокофункциональных аутистов и пару инженеров, то какие шансы на создание ИИ?
Есть еще маленькая секта
за время зимных каникул - не самые большие
вам егэ нужно писать?
Шок сенсация, спрос на обучение машинному обучению превысил спрос на машинное обучение.
кто-то же должен создать ИИ
ХАЙПУУУУУУУУУУУУУУУУУУУУ~~~~~~~~~
Не нужно
ДС?
Кто-то пробовал проги каффи переносить на другие машины с виндой? Много ли ебатни при переносе? Сравнимо стем что устанавливаешь там польностью пакет каффи? Че-то надо уставливать или хватит длл носить с ехе-шником?
пароль "рыба-хуй"
Просто все эти современные нейросети по сути подслеповатые бабули, пытающиеся разглядеть что-то вдали, имея зрение +10.
Попытка забавная, но бестолковая по своей сути: для сколь-либо точного анализа при таком подходе просто не хватает инфы.
Приходится изобретать велосипеды с переиспользованием входной инфы после сеточек, чтобы хотя-бы убедиться, что сеточка не гонит откровенную пургу.
Мудохаешься с рыбами или так, посмотреть зашел?
Т.е. берется любой язык, комманды и др. конструкции из него используются как пространство поиска, а функция приспособленности определяется по решению поставленной задачи? Это довольно очевидное применение генетических алгоритмов, вся проблема в конкретной реализации такого. Есть какое-то программное обеспечение, в котором генетические алгоритмы реализованны именно так? Т.е. чтобы правда можно было задать ЯП, задать цель, готовые решения запускались/компилировались бы для проверки на соответствие функции приспособленности? Ведь так жи любую программу можно заебенить, просто задал язык и цель задачи и все, жди когда тебе готовые рабочие варианты кода появятся. Джва года хочу что-то такое.
Почему бы тебе просто не открыть вики? По-хардкору: ГП было изобретено лет 30 назад, и его создатель, Джон Коза, был настолько ошеломлен собственной гениальностью, что запатентовал свой алгоритм. На чем история фактически и закончилась, т.к. никто не хотел иметь дела с этим патентом, к тому же скоро выяснилось, что ГП работает очень плохо.
Я нашел нечто такое для кот бы сомневался R http://rsymbolic.org/ только там как я понял, пока что только посмотрел по диагонали типизированное лямбда-исчисление. Если к этому прикрутить пруверы и соотв. спецификации нужной программы на MLTT, должно получиться поинтереснее, чем если просто какой-нибудь быдлолисп содомировать генетическими алгоритмами.
Флаг в руки.
На практике пока сгенерируется что-то нетривиальное ты будешь ждать дохуиллион лет.
мудохаюсь
Тема с генетическим программированием, кстати, не только не померла, как сообщил но даже и развивается http://spotseven.org/
Это ты просто набросил? У любой конторы с определенного уровня инфы для анализа - вагоны.
Нейроночки, поди, гоняешь на видюхе, шалунишка?
Я тоже смотрел на это компо, но то что там рыб надо сначала детектить меня сразу отвращает. Это сколько работы надо проделать: руками разметить рыб, сделать детектор, потом сделать классификатор. Конечно, 50к того стоят, но выиграть их шансов мало.
Хммм, я даже не знаю, а как по-другому учиться? Просто читаешь Бишопа и становишься умным?
он чё, обссикался?
Для учебы норм затея, если свободное время есть на это. Бишопа это никак не отменяет.
У него рыба там в штанах. Нейроночка сквозь штанину разглядела.
азазаз)
бамп вопросу
Там же куча зависимых пакетов и еботни, как оно вообще на винде работает?
Проще написать с нуля либу для прогона, тебе не тренировать же ее под виндой.
У меня тут такая проблема, училка требует на доклад по машинному обучению рассказать об инженерии знаний. Как связаны машинное обучение и инженерия знаний? Это ведь две противоположности, а она говорит, что инженерия знаний это тоже машинное обучение.
ловите нечётко-питуха!
А ты четкий петух?
попался!
Лол, долбаеб на ровном месте триггернулся. Пиздец вы тут жалкие довны.
Пуховая логика более или менее хреново, но вычислительно эффективный способ аппроксимации вероятностных рассуждений. Теперь, когда компьютеры быстро приближения вы делаете, чтобы добраться до нечеткой логики являются менее привлекательными.
Можешь писать про IBM Watson и семантически сети. Гугли ещё Байесовские сети.
фейсбуковские нейроночки https://habrahabr.ru/company/wunderfund/blog/317930/
яндексовские нейроночки https://habrahabr.ru/company/yandex/blog/317910/
тем временем новости в нечёткой логике:
конец списка
яндексовские нейроночки https://habrahabr.ru/company/yandex/blog/317910/
тем временем новости в нечёткой логике:
конец списка
Не совсем.
>У любой конторы с определенного уровня инфы для анализа - вагоны.
А толку? Дело же не в количестве инфы, а в качестве анализа.
Сама суть современных нейроночек - замылить картинку (т.е. уничтожить 90% информации об обьекте) и пытаться определить на что похоже мутное пятно. Да на все похоже.
Входная инфа при этом, естественно теряется. И анализ превращается в гадание на кофейной гуще, буквально.
Попробуй по приколу хорошенько замылить какое-нибудь кинцо, и поймешь что видит нейроночка, и какие выводы на такой инфе можен делать твоя собственная нейроночка в голове.
В общем это явно не тот путь, который нужен.
Есть и другой класс алгоритмов анализа - точные.
Они инфу не отбрасывают, но при анализе обобщают, т.е. выделяют общие признаки обьектов, и могут со 0% ошибок выделить из потока знакомые обьекты.
Вычислительная сложность схожа с нейроночками, свойства немного отличаются.
Но и у них тоже косяк: незнакомые обьекты они не узнают.
Возможно еще есть какие-то алгоритмы анализа. Чем больше найдем - тем лучше.
В любом случае ни один из известных сейчас алгоритмов не делает то, что мы хотим получить.
Возможно поможет как раз комбинация алгоритмов, возьмем лучшее от обоих:
Нечеткая нейроночка ищет отдаленно похожие обьекты, ибо делает это хорошо.
Четкая верифицирует найденные обьекты, ибо делает это хорошо.
Но для полноценной работы им необходим еще и "погонщик", который будет переобучать обе нейроночки в случае явных ошибок, иначе за пределами учебного материала они просто не смогут работать.
Погонщиком тоже может быть небольшая нейроночка, заточенная на анализ статистики ошибок обеих нейроночек и поиск явных ошибок.
Ты хуйню несешь. По-твоему Кеплер, который проанализировал кучу таблиц с цифрами, чтобы закон вывести законы движения планет, замылил картинку, выкинув лишнюю информацию (тысячи наблюдений Тихо Браге), и сделал хуже? Наоборот, он выкинул лишнюю информацию, и стало четче и яснее. Чем и занимаются фильтры сверточной сети. Они в основном выделяют границы, а не размывают их.
>Вероника Степанова
Жена главного имплементатора С++ Степанова?
Вот дружила бы с альфачом, и никто бы к ней не приставал. Да и у альфача на такоё уёбище, я думаю, никогда пиструн не поднялся бы.
Она говноглазая?
Жопу с пальцем сравниваешь.
А про фильтры сверточной сети...
Ну выделил ты границы, дальше что?
У тебя четкая картинка превратилась в пару линий. Информацию ты потерял.
Внезапно этим линиям соответствует дохулиард обьектов в мире.
А т.к. сетка "слепая" и не пользуется утерянной информацией, для нее все эти обьекты одинаковы. А ИРЛ они и близко не одинаковы.
Я ж говорю - попробуй посмотреть размытое кинцо, постоянно будешь ловить себя на том, что не можешь распознать хорошо знакомые предметы, что постоянно ошибаешься в идентификации обьектов на экране.
А все потому что замылив кинцо ты стер индивидуальную информацию об обьектах, оставив только общие признаки, под которые попадает куча знакомых обьектов, и твой мзг просто не знает какой из них выбрать, за что зацепиться.
Информации для обоснованного выбора у него просто нет, можно только догадки строить: так, это ваза или кружка, а может игрушка?
ТТТТТЫЫЫЫ ТТТТУУУУППППООООЕЕЕЕ ХХХХХУУУУЙЙЙЛЛЛЛОООО
Дохуя информации потерял, пока читал? Сука, как же ты бесишь.
>ищет новости о нечеткой логике
>на шваброподмывальне
Ой, всё. На рашатудей еще поищи пруфов для полноты картины.
Этот все правильно говорит.
Сверточные работают в своей сути точно также, как и сеть, идущая от сетчатки глаза, т.е. идет снятие сигнала с колбочек и палочек, затем слоем нейронов выделяются признаки из этих сигналов, там получаются те же самые линии (можешь Николлса "От нейрона к мозгу" чекнуть, там это показано), потом вся инфа по зрительному нерву идет в мозг, где уже конкретные образы распознаются.
Сравнение про замыленное изображение - в корне не правильное.
Вы слушали откровения о нейроночках от нечеткого петуха, оставайтесь с нами.
красивые зелёные глаза
Сверточные нейроночки (а ранее неокогнитроны) и основаны на принципе строения зрительной коры кошки (работы нобелевских лауреатов Хьюбела и Визеля). Но и замыливание и выделение границ там тоже есть, собственно, в этом и суть свертки.
Господа, у вас есть свой тред в /зк и целый свой раздел в /фаг. Не вытекайте, плес.
>замыливание
Почему мы видим ЧЕТКО, если строение глаза человека аналогичное по структуре?
И зачем замыливать зрение, чтобы смотреть кинцо, если сверточные сети видят аналогично обычному глазу?
Епта, я когда изучаю первоначальные принципы новой для меня науки мне постоянно приходят в голову передовые идеи. Я гений, епта.
>Почему мы видим ЧЕТКО, если строение глаза человека аналогичное по структуре?
1) речь не о структуре глаза, а о структуре связей в зрительных полях неокортекса, сверточная нейроночка имитирует их.
2) четкость зрения - результат работы именно зрительного анализатора как такового, а не глаза и да, ты понятия не имеешь, насколько четко видит человек под галлюциногенами, просто какое-то 100500% зрение на самой же сетчатке изображение вообще перевернутое.
>И зачем замыливать зрение, чтобы смотреть кинцо, если сверточные сети видят аналогично обычному глазу?
В неокогнитроне замыливания и детекции краев ("свертки") не было, по факту ему очень далеко до сверточных сетей по распознавающим возможностям. Суть в том, что размывание изображения делает распознавание устойчивым к сдвигам / другим трансформациям исходного изображения. Об этом Кохонен писал пикрелейтед, могу предположить что это вообще стандартный метод в распознавании изображений. Лекун всяко не мог об этом не знать. В сверточных же сетях размывается не только исходное изображение, но и сдетектированные фичи на всех уровнях распознавания, отсюда еще бОльшая способность распознавать что-то безотносительно его поворота и т.д. Как-то так.
>на самой же сетчатке изображение вообще перевернутое.
Ой, ну какой дебил. Перевернутое относительно чего? Пиздец, типичная домохозяйка.
Геометрическую оптику пиздуй учить, школьник.
> безотносительно его поворота
Вот этого там вроде бы нет, инвариантно к сдвигу, а инвариантности к поворотам там не должны быть, для этого и придумывали ведь всякие Фурье-Меллины.
> Лекун всяко не мог об этом не знать.
Это ещё почему? Про неокогнитрон довольно много писали, достаточно популярная штука была.
Я тебе больше скажу, довн. Если изображение перевернуть соответствующими очками, то через некоторое время воспринимать ты будешь уже неперевернутое изображение. А если эти очки с тебя снять - все опять будет казаться перевернутым, и опять же в скором времени восстановится. Далее, у любого человека немало таких дефектов сетчатки как скотомы, и они не воспринимаются человеком, т.к. все компенсируется за счет обработки в коре.
>четкость зрения - результат работы именно зрительного анализатора как такового, а не глаза
И аппарат этот не мылит картинку, в отличии от наших сверточных сетей.
Глаз видит одну маленькую точку, потому что видит все четко, информация о точке не теряется.
Наши сверточные сети эту точку видеть не могут, т.к. на входе имеют мыло, после которого от точки ничего не остается.
В этом вся суть.
Злые языки говорят, что внутри глаза работает что-то похожее на банки фильтров Габора, которые нейроночки и выучивают. Те же языки, как и ,
пытаются тебе объяснить, что чёткость изображения - характеристика пост-процессинга сознания, чего в нейроночках возможно и нет.
>И аппарат этот не мылит картинку,
Мылит, еще как. То, что ты видишь сейчас - это не четкость, я тебя уверяю. В норме зрительная кора очень искажает реально воспринимаемое, в т.ч. замыливанием, там даже целая система торможения "лишнего" восприятия через таламус. А агонисты 2А подкласса рецепторов серотонина эти тормоза отключают.
чтож это значит то? нечётко-петух на самом деле чёткий? вконец запутали
Вот бывает такой момент, когда после очередной фразы собеседника вы понимаете, что он точно шизанутый. Вот сейчас как раз этот самый случай.
То есть, когда он потрясал тут каким-то поеденным мышами совковым учебником, по которому его учили, и утверждал, что там уже есть весь диип лернинг и совки на своих ЕС ЭВМ с перфокартами далеко опередили все современные разработки, ты еще не понял, что это шизик?
>чёткость изображения - характеристика пост-процессинга сознания, чего в нейроночках возможно и нет
Во первых сознание в процессе зрения вообще не принимает участия. Да и глупо такое озвучивать.
Во вторых размыливание - это фантастика.
Учи оптику. При замыливании информация теряется необратимо.
Восстановить что-то из ничего... ну это точно магия.
Ну а в третьих у мозга нет проблем со сдвигом на пиксель, да и быть не может, с таким-то ебанутым алгоритмом зрения, так что наши нейроночки совсем не похожи на то, что вы тут пытаетесь изобразить.
Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Берут красивую картинку, проходятся по ней мылом, просто потому что сеточка не может в сдвиг, а потом пытаются из этого мыла что-то выделить. Ну любому же ясно что на мыле только мыло и получится, и что предметы реального мира рассматривать через мыло - ну это немного ебанутый подход, не?
> Во первых сознание в процессе зрения вообще не принимает участия. Да и глупо такое озвучивать.
The poor-quality information gathered via the eye seemed to him to make vision impossible. He therefore concluded that vision could only be the result of some form of unconscious inferences: a matter of making assumptions and conclusions from incomplete data, based on previous experiences.
Ссылка 1.
http://poseidon.sunyopt.edu/BackusLab/Helmholtz/
> Учи оптику. При замыливании информация теряется необратимо.
А в терминах теории информации?
Про оптику. Если известна точечная функция рассеяния, то можно сделать противосвёртку. Да, будут проблемы с границами и ложными гармониками, но с этим пытаются бороться, порой достаточно успешно.
Ссылки 2 и 3:
http://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Gregson_Stochastic_Deconvolution_2013_CVPR_paper.pdf
https://arxiv.org/pdf/1602.01410.pdf
> Восстановить что-то из ничего... ну это точно магия.
Ну, не из ничего, какие-то наблюдения то есть, обычно накладываются приоры, решаются обратные задачи, можешь загуглить учебники по inverse problems.
http://link.springer.com/book/10.1007%2Fb138659
У человека те же приоры приобретаются в процессе обучения.
Можешь про зрение у детей почитать:
http://see.eyecarecontacts.com/children_vision.html
> Ну а в третьих у мозга нет проблем со сдвигом на пиксель, да и быть не может, с таким-то ебанутым алгоритмом зрения, так что наши нейроночки совсем не похожи на то, что вы тут пытаетесь изобразить.
У нейроночек тоже нет проблем со сдвигами обычно, вот с масштабами и поворотами чуть сложнее, но некоторые вроде справляются.
Да, наверное не очень похожи, но сходства есть.
> Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Уже говорили про приоры и наблюдения.
Сейчас пойду мужикам с завода скажу, что весь наш отдел прикладной математики с обратными задачами и машин лёнингом можно к хуям закрывать, ибо мы ровно этим и занимаемся.
> Вот и вытекает из всего этого какая-то хуета:
куча народу пытаются извлечь что-то из ничего.
Ну, тут можешь просто свойства свёртки и кросс-корреляции загуглить.
Я дипломированный оптик. Ощущение верха и низа создается у тебя в ушах. Сетчатке глаза абсолютно похуй, где верх, а где низ, она об этом не знает. Точно так же, как и камере твоего телефона, никто блядь не переворачивает изображение с нее, оно просто считается сразу так, как нужно.
Эмулировать органику это хуевая затея.
Человек считает задачу 2+2 с помощью огромной нейросети, и что теперь, выбросим процессоры?
Человек считает задачу 2+2 с помощью огромной нейросети, и что теперь, выбросим процессоры?
Ты еще не выбросил, что ли? Сейчас все на видюхах считают, можешь выбрасывать.
в видюхе тоже процессоры
Советую когда нибудь присмотреться к окружающему миру повнимательнее.
Пруфы или пиздишь.
> Эмулировать органику это хуевая затея.
Чому?
> Человек считает задачу 2+2 с помощью огромной нейросети, и что теперь, выбросим процессоры?
Для 2+2 и других сложных вычислений оставим процессоры, решать задачи обучения будем на нейроночках, которые будут бегать на видюшечках.
В чём проблема?
Советую сравнить то, что видит нейросеть с тем, что видишь ты.
Просто сравнить.
Человек видит примерно так (взял с форума)
Здравствуйте!
Своими мушками я никого тут не удивлю, потому как они у всех присутствующих. Поэтому кратко скажу что появились они где-то в марте, перед этим пару недель болели глаза (я разбил свои очки и приходилось сидеть за компьютером без очков, хотя зрение у меня практически стопроцентное, очень легкий астигматизм).
Сначала появились точки. Потом появились прозрачные "гусеницы" из этих точек. Потом куча "волос". Потом пара размытых "облаков". Естественно, как у всех, депрессия, как дальше жить и т.п. Но потом я заметил проблему которая отодвинула все мушки на второй план.
Проблема такая: когда я смотрю на любой источник света, я вижу вокруг него огромный ореол.
https://ru.wikipedia.org/wiki/%D0%A4%D0%B5%D0%BD%D0%BE%D0%BC%D0%B5%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D1%81%D1%87%D1%91%D1%82%D1%87%D0%B8%D0%BA
Есть аутисты, которые спокойно гоняют числа с десятками знаков.
У меня такие же мушки и будто снег. Можешь задавать мне вопросы.
мимо
Фейк
https://ru.wikipedia.org/wiki/%D0%A0%D0%B8%D0%BB%D0%B8%D0%BD
Почему это не используют в искусственных моделях? Почему никто не пытался или я не знаю запустить симуляцию развития мозга у младенца?
Почему это не используют в искусственных моделях? Почему никто не пытался или я не знаю запустить симуляцию развития мозга у младенца?
Это надо конкретно мозг задрачивать, получится далеко не у каждого, перепрограммироваться невозможно, ну и китайский калькулятор за доллар все равно быстрее и точнее.
Ты бы пояснял попроще, не все здесь биологи.
Вообще я мало видел работ, где бы люди пытались как-то моделировать белки в нейроночках.
>симуляцию развития мозга у младенца
Нахуя?
Давайте создадим ИИ, черт возьми
Готово.
Где моя сингулярность? Где толпа нанороботов?
Запускай
это не так и сложно как ты думаешь
надо всеголишь уместить 100 миллиардов нейронов на видяшке - интеллект будет сравним с человеческим
А если не полностью копировать?
Обойдешься.
Уже.
тебе жалко памяти для ии?
Пусть сначала запуститься на кофеварке, оптимизирует себя и создаст вирус, который запустит ее на всех компьютерах мира.
сосай, ии будет мирным
Я и хочу этого. Но пусть он сам распределит все ресурсы в нужных нуждах.
>распределит все ресурсы
коммиблядь спалилась!
Просто мамин технократ.
>всего лишь уместить 100 миллиардов нейронов
а потом их всего лишь обучить
провести сенсоры с внешнего мира к видяхе и запустить обучение
будет обучаться как обычно обучаются дети
Просто, как поиск по Левину.
Только у детей изначально заложены рефлексы, потребности, программа роста организма, управление периферией и куча всего прочего.
тогда забрать у детей рефлексы, потребности, и остальное?
Может ты еще ДНК-код расшифруешь и поймешь как все белки синтезируются заодно?
> поиск по Левину
звучит охуенно, почему я не слышал о нём раньше?
Потому что не очень популярная штука за пределами AGI. Все те же проблемы, что и в теории алгоритмической информации.
их же уже расшифровали и предсказывают как будет выглядеть еблет младенца в зрелости
https://www.ted.com/talks/riccardo_sabatini_how_to_read_the_genome_and_build_a_human_being
>провести сенсоры с внешнего мира к видяхе и запустить обучение
В тот ли ты тред зашел, Федя? Посчитай хотя бы сколько, памяти нужно
>будет обучаться как обычно обучаются дети
Дети идут с pretrained нервной системой изкаропки
> В тот ли ты тред зашел, Федя? Посчитай хотя бы сколько, памяти нужно
400 гигов + сколько то там нужно дополнительно места для обучения?
в след году видюхи уже с 16гб, ещё лет 10-15 и будем там
> Дети идут с pretrained нервной системой изкаропки
мы отберём её у них, всё будет поровну
>мы отберём её у них, всё будет поровну
Ну и станут они тогда бессмысленными классификаторами картинок, или генераторами забавных текстов. Хотя они скорее тогда вообще даже питаться не смогут и сдохнут просто.
Смысл в том, что для развития какой-то системы у нее должна быть какая-то цель/программа.
>400 гигов +
Это ты только пороги посчитал, а веса связей где?
>мы отберём её у них
Мозги им что ли удалишь? Зачем нужны дети без мозгов? Вконтакте скроллить?
> а веса связей где?
забыл о них, таки намного больше 400 выйдет
> Мозги им что ли удалишь?
гораздо проще облучить население радиацией
>Ну и станут они тогда бессмысленными классификаторами картинок, или генераторами забавных текстов
а щас разве не так?
> Смысл в том, что для развития какой-то системы у нее должна быть какая-то цель/программа.
цель пояснялась уже тут ->
https://www.youtube.com/watch?v=C4xLoXKyc7g
что тяжелого в том дабы повторить его сознание на компьютере, блеать?
что тяжелого в том дабы повторить его сознание на компьютере, блеать?
делали уже
любой чатбот которой попал в новости
цифры - збс
Да как же. Ведь все говорили, что когда ИИ достигнет уровня дурачка, то скоро он станет гением.
мы этого не говорили
Любые подобные вопросы достаточно легко гуглятся по запросу:
artificial general intelligence vs narrow artificial intelligence
Сознание червя еще не повторили.
Поясните за глубинные сети доверия.
У Салахутдинова читай.
http://videolectures.net/deeplearning2015_salakhutdinov_deep_learning/
http://videolectures.net/deeplearning2015_salakhutdinov_deep_learning_2/
http://videolectures.net/deeplearning2016_salakhutdinov_generative_models/
Если кратко, то самый верхний слой - RBM, всё остальное направленная граф.модель. Обучается послойно RBM-ами, потом файн-тюнингом. Вывод семплированием.
Как раз таки повторили! https://www.youtube.com/watch?v=J_wG5PfDIoU - ну да, самый простой, но зато возможна практически полная поклеточная симуляция
тогда какие проблемы просто экстраполировать этот результат и смоделировать сознание человека?
Судя по всему,
About 10 seconds of simulated physical time took a few days of parallel OpenCL-based calculations on a Radeon R290X GPU
Для десяти секунд понадобилось несколько дней вычислений. Это на червя.
А у червя все в рилтайме, и без всяких манявычислений, просто за счет свойств среды (ионный ток, нейротрансмиттеры, механизмы синаптической и нейрональной пластичности и т.д.). Что с неизбежностью доказывает нам, что долбаебы пошли по несколько неправильному пути. Я сто раз говорил, что все эти сверточные манянейроночки на определенном классе задач просто уткнутся в физическую невозможность реализовать вычисления на всем железе, имеющемся у человечества. На этом все и закончится, аминь алюминь. Может быть хоть тогда до кого-нибудь дойдет, что такие проблемы в лоб не решаются, думать надо, а не прыгать.
Ох, ну и дебил. На то она и модель что бы выделять сущностные части. Нейросеточки это понятная мат. модель, которая очень далека от того, что бы полностью моделировать мозг. Но им это и не требуется.
Это ты дебил. Модель в данном случае - это функция зависимости выходов от входов всех элементов системы. Т.е. идентификация этой системы. Для чего ваши манянейроночки вообще не нужны, т.к. сами по себе неинтерпретируемы без дополнительных костылей.
Ну ты и поехавший. Ты пробовал что нибудь делать по ML? Решать какие нибудь задачи?
Пробовал результаты бейсбольных матчей предсказывать, то же пробовал для футбола. Практического смысла маловато, кэфы маленькие там. И модели нужно делать сложнее, с учетом динамики, что-нибудь а-ля пикрелейтед.
А разве в мозгу не квантовые вычисления?
Там вообще нет никаких вычислений.
То есть?
То есть, все за счет свойств среды Ионные токи, насосы и каналы, нейромедиаторы, синаптические и эфаптические контакты, рецепторы, механизмы пластичности и прочее такое.
Ты хочешь сказать, что надо их эмулировать? Или вообще выращивать органически?
Тупой даун блядь, "Ощущение верха и низа создается у тебя в ушах. Сетчатке глаза абсолютно похуй, где верх, а где низ, она об этом не знает." - читай 100 раз для просветления. Потом еще 100 раз.
Я хочу сказать, что такое направление даже существует (существовало), реакции на основе каталитических циклов наборов энзимов могут использоваться вместо комплюктеров, еще в 80-е годы выходили работы на эту тему, потом рептилоиды все прикрыли.
> Я сто раз говорил, что все эти сверточные манянейроночки на определенном классе задач просто уткнутся в физическую невозможность реализовать вычисления на всем железе, имеющемся у человечества.
Ты из разряда тех провидцев, что предсказывали, что закон Мура рано или поздно остановится? Какой толк от этой хуйни кроме щекотания своего ЧСВ? Архитектуры постоянно допиливают и упрощают, идеально подгоняя нейросети под кремнивую технологию. И так и должно быть, и не нужно _эмулировать_ червяков, ведь любая эмуляция по определению медленнее, чем нативный код. Так везде, будь то биология, эмуляция транзисторных схем на ПК, или же нейросети. А что они когда-то упрутся - когда упрутся, тогда и приходи.
Мозг, судя по всему, отличает звуки от КАРТИНОК только по тому, в какой именно участок коры ведут свои аксоны нейроны рецепторов. Если перекоммутировать сигналы от ГЛАЗ и ушей, то человек будет слышать картинки и видеть звуки.
ИНС так могут?
ИНС так могут?
Могут.
И в самом деле? А покажешь, пожалуйста?
Я, наверное, неправильно выразился. Видеть и слышать ИНС не могут. У них нет сознания. Но они могут "спать" и мы уже можем видеть это. Возьми SoundNet и поэкспериментируй, может что интересное нароешь.
Ты бы хоть мыслями поделился.
звуки не думаю, уши слишком приспособлены под картинки, там в базилярной мембране клетки улавливают звук по соответствующей частоте, а дальше должно быть что-то вроде рядов фурье/вейвлетов, так как артефакты рядов фурье и ушей очень сходятся (появление обертонов, хотя их объективно в звуке нет и тд). Но были эксперименты, как ослепших (скорее всего) людей учили видеть языком (изначально слепые по идее не могут вообще видеть, так как в начале жизни очень важно обучение). Там плохое разрешение, но изображение было. Язык били током по битмапам. Можешь погуглить.
тьфу, уши слишком приспособлены под звуки.
Под психоделиками звуки отлично видно, у них даже вкус появляется.
это просто твои ассоциации в мозгу, если тебе на сетчатку подавать светом битмапы звука, ты его не услышишь (скорее всего). Уши к тому же гораздо быстрее глаз работают.
Нейросети работают точно так же.
Перекат кто пилить будет? Пушкин?
при чем тут нейросети? Мозг человека довольно специализированная штука, и там заранее заданы способы представления данных. Сетчатка уже заранее связана с нужными отделами коры и тд. В ушах есть структуры для распознавания звука и только. Если в мозг заранее подключиться, минуя глаза и уши, то наверное можно обучиться видеть нейронами ушей и тд. Но слух точно начинает развиваться еще до рождения, и это надо делать на стадии эмбриона. Как закончить свою мысль - не знаю
Был такой эксперимент хочешь, погугли, хомячкам хирургическим путем глаза присоединили к зрительной части мозга и наоборот. Мозг перестроился и с хомячками было все в порядке.
ок щас
Нет, Украина.
это глаза к глазам
Тупорылый, бля, тебе про перевёрнутые изображения, а ты хуйню несёшь про уши.
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
https://www.reddit.com/r/MachineLearning/wiki/index
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info тюториал по slesarflow
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.
http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки
курс от китаёзы
http://videolectures.net/mlss09uk_cambridge/
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
https://www.amazon.co.uk/Calculus-Michael-Spivak-x/dp/0521867444
https://www.amazon.co.uk/dp/0534422004/ref=pd_lpo_sbs_dp_ss_2?pf_rd_p=569136327&pf_rd_s=lpo-top-stripe&pf_rd_t=201&pf_rd_i=0980232716&pf_rd_m=A3P5ROKL5A1OLE&pf_rd_r=3TZ38AZ2BY28R19H4SA5
https://www.amazon.co.uk/Calculus-Several-Variables-Undergraduate-Mathematics/dp/0387964053
https://www.amazon.co.uk/Introduction-Probability-Dimitri-P-Bertsekas/dp/188652923X
поясните за нейроночки
нейроночка - массив
шад)))
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/