Можно ли научить машину ТРИЗу и заставить изобретать?
> ТРИЗ
Совковое наебалово. Много ты знаешь изобретений, созданных этим методом?
Плати мне биткоин и решим вопрос.
Большинство советских технологий, если верить автору.
Давай кошелек.
Умный анон, поясни нормальным крайне доступным языком, что такое "эффективность оценки", а так же "асимптотическая эффективность"? Результаты гугла и вики для меня нечитаемы.
тупой анон
тупой анон
Привет. в прошлом писал про тексты и прочий генсим.
В общем обучил я значит по вишневскому модель, запрашиваю мост_симилар к слову "время". А он мне говорит:
[('скорой', 0.9968923926353455), ('The', 0.9966970682144165), ('Мерседес-Бенц', 0.9962846636772156)]
Он ахуел?
В общем обучил я значит по вишневскому модель, запрашиваю мост_симилар к слову "время". А он мне говорит:
[('скорой', 0.9968923926353455), ('The', 0.9966970682144165), ('Мерседес-Бенц', 0.9962846636772156)]
Он ахуел?
у тебя данных-то сколько? если меньше 500 мб, то уменьшай размерность вектора и хотя бы делай .lower() на своих "Мерседес-Бенц". И насколько у тебя данных различаются? Если обучаешь на какой-нибудь ерунде типа дваче, то у тебя половина сообщений будет одинаковыми, смело можешь делать set и набирать еще данных.
Это нечеткий петух использует умные слова для того, чтобы сказать, что нейронки требуют много данных для обучения (много примеров одного и того же класса), что на самом деле является проблемой. Но он, конечно же, не учитывает всякие тренды на zero-shot learning и one-shot learning, так как он из машоба видел только курс индуса на ютубе.
> нейронки требуют много данных для обучения (много примеров одного и того же класса), что на самом деле является проблемой.
Это ты понимаешь, уже хорошо. Но это не проблема, это суть ваших нейроночек. Они могут обрабатывать данные только так, квадратно-гнездовым способом, при том что примерно 85-90% данных вообще не нужны например для построения решающего правила, классифицирующего классы, т.к в этом случае роль играют только примеры, находящиеся на границах классов. Когда речь об игрушечном примере с десятком точек, разницы нет. Но когда нужен классификатор негров, построенный на многогигабайтном датасете, вот тут и получается, что без топовых видюх нихуя не сделать. И не надо говорить, что SVM распознает негров хуже, это алгоритм из прошлого века, его нужно сравнивать с перцептроном, а не с ганами. Речь о самих подходах к проблеме.
Эффективность грит, что твоя оценка самая пиздатая. Асимптотическая эффективность используется, чтобы ты вообще хоть какую-то оценку получил, а то эффективная оценка может и не существовать.
Можно, если сможешь научить нейронку решать конечную проблему физического противоречия. Только вот не сможешь же.
https://m.habr.com/post/343704/ по этому тутору делал, спасибо попробую сегодня покурить по обрывкам инфы от тебя какой то мануал. Слушай а может ты что то подкинешь мне чтобы я не блуждал в этих дебрях информации в интернете, на английском тоже сойдёт.
На вишневском учил, сама модель 20метров вроде встала, хочу научить её стилизировать моё сухое говно под говно с которого тякут тянки, не баду ради, а копирайтинга для
Тянки текут с ганов и имейджпроцессинга.
Да нет, они от красивого текста про еблю и чувства лубов и все такое., тякут) хотя тут знаешь все от человека зависит, толи он нихера в представить не может и ему картинку нужно показать, либо написать и дать прочитать чтобы его нейронка в голове сама нарисовала картинку)
Как хорошо, когда ты во всем разобрался и всё уже знаешь до конца.
Теперь иди нахуй.
https://habr.com/post/326380/
думаю, тебе стоит попробовать готовые эмбеддинги с http://rusvectores.org/
эмбеддинги сами по себе мало дают
А что ты подгорел-то, мань? Я разве что-то не так сказал? Я понимаю, что проще нести хуйню и кукарекать про нечёткого петуха, чем признать, что петух тут только ты. И сам нихуя не понимаешь в том, про что несешь
Тееекс, бнадеюсь ты тот анон что это мне кидал в телеге, бтв ещё раз спасибо, долго обрабатываю статейки я эти своим мозгом.
Статья кайфовая и она в принципе решает всю проблему оьощнаяенную ранее: " рерайтинг", но там модель общая, а я хочу эдакого романтика сделать, так что обучать свою модель все равно придётся. Но для того чтобы обеспечить себя можно замутить такую штуку и рерайтить всякий информационный мусор о здоровье, крипту валютах, беременностях и прочем... Какой кайфовый мир, ааааах!
Ну и фантазёр пиздос. Уроки то сделал?
Здарова пачаны. Объясните плиз гуманитарию насколько вообще все эти ваши нейроночки близки к созданию искусственного разума и возможно ли это в принципе?
И насколько правдив этот видос?
https://www.youtube.com/watch?v=WbUJZJz9cag
И насколько правдив этот видос?
https://www.youtube.com/watch?v=WbUJZJz9cag
Ни секундой не близки. Гугл напиздел, что создаст уже к 2020-му. Сейчас нет даже зародыша.
>возможно ли это в принципе
Ну ты же думаешь как-то?
Думаю как continuous learning осилят - дело максимум 10 лет
Окей. Когда реализуют абстрактную концепцию хуя с горы, тогда то и заживём!
> continuous learning
Очередная хипстерская поебень под смузи?
>Gopnik
Вот вообще ничего нового не прочитал. Всю эту хуйню из года в год одни сойбои переписывают у других. А толку хуй.
Лол. Полнейшая хуита. Как HTM, придумали говно и славят себя что такое изобрели, а сойбои им верят.
Как с помощью keras реализовать то, что на картинке?
from keras.models import Sequential
from keras.layers import Dense
model = Sequential()
model.add(Dense(8, input_dim = 3, kernel_initializer = "random_uniform"))
Так? Как указать количество нейронов в выходном слое?
from keras.models import Sequential
from keras.layers import Dense
model = Sequential()
model.add(Dense(8, input_dim = 3, kernel_initializer = "random_uniform"))
Так? Как указать количество нейронов в выходном слое?
Фолды здесь?
Есть ли в треде успешные kaggle-господа? Делитесь историями. Насколько сложно было вкатиться, какие проффиты поимели
Вот задачка для нейроночников: есть фильм, требуется в видеопотоке выделить героев и подписать, как кого зовут, информацию взять из аудиодорожки. Как решать будете?
Возьму нейросеть точеную, на пике посажу.
Что не так с htm?
Не нужно.
А можешь подробнее?
я пока не особо лез в нейроночки, но читал про htm и показалась интересной
А скажи, как мне подкрячить к гензиму? Вот качаю я значит самую большую модель с русвектора, качается чудо в архиве, в архиве 7 файлов что мне грузить
в gensim.models.KeyedVectors.load_word2vec_format
М?
Кстати теперь
мостсимилар "Стол"
[('губами', 0.9999538660049438), ('цветы', 0.9999417066574097), ('комнаты', 0.9999401569366455)]
Бамп.
Ты уже два дня не можешь посмотреть документацию, туториал, блог, любой пример? Ты понимаешь, что ты спрашиваешь буквально хеллоу ворлд от кераса? Даже не физзбазз, хеллоу ворлд? Ты безнадежен, бросай это дело сейчас, пока не слил впустую годы своей жизни.
Посмотрел на ютубе новинки, прямо магия ИРЛ, вау.
Какой бэкграунд нужен для вката? если прямо ноль, то что учить ДО?
Деньги не интересны, интересно смочь в магию.
Какой бэкграунд нужен для вката? если прямо ноль, то что учить ДО?
Деньги не интересны, интересно смочь в магию.
Новинки? Ссылки можешь привести?
Питон, матан класса до 9-10 и всё.
Можно ли научиться скорочтению с помощью приложений на анроид?
Нет, конечно.
Хочешь верь, хочешь нет, но нигде нет туториала в виде:
код - его визуальное представление.
Везде просто дается несколько строчек, которые с нуля непонятно, как интерпретировать.
Есть подобные вещи...
Бросай это говно. Оно не для тебя.
Deep learning specialization на Coursera
Аноны, не могли бы вы ответить на пару вопросов
Дико доставляет сама тема, хочу вкатиться.
Но так же интересно, реально ли устроиться куда-то?
В моём городе от силы вакансии 3-4, с "перезвоним позже" могут спокойно все продинамить.
Или все же, думать о каком-то своем стартапе
Второй вопрос:
Как понять, когда ты готов к трудоустройству?
Бонус-вопрос:
Какой нужен опыт для работы, опыт той же веб макаки пойдет?
Дико доставляет сама тема, хочу вкатиться.
Но так же интересно, реально ли устроиться куда-то?
В моём городе от силы вакансии 3-4, с "перезвоним позже" могут спокойно все продинамить.
Или все же, думать о каком-то своем стартапе
Второй вопрос:
Как понять, когда ты готов к трудоустройству?
Бонус-вопрос:
Какой нужен опыт для работы, опыт той же веб макаки пойдет?
Отлично,
@Хочешь поверяй, хочешь нет, но везде нет туториала в миндале:
идентификатор - его фотограмметрический понятие.
Всюду просто достаётся немного строк, которые с нуля неизвестно, как эксплицировать.@
Просто превосходно
И все же, поясните за htm
Негров распознает пока плохо.
Котаны, пытаюсь научить bvlc_googlenet видеть хуи, сделал 85к итераций, а до сих пор повсюду глаза какие-то выдаёт. Хуёв если что 160 штук, один хуй = одна категория. Может итераций мало, или датасет слишком маленький?
>один хуй = одна категория
Ну и мудак. Делай в одну категорию все хуи. Пиздец, ты хоть основы понимаешь?
Я так и хотел сделать с самого начала, но на хабре начитался что стоит в разные категории хуи раскидывать. Давно уже вкатываюсь в нейроночки, писал перцептрон без сторонних библиотек, но пока-что всю эту ебаторию со слоями не совсем понимаю. Обучаю нейронку на хуяих и параллельно читаю про их проектирование.
Та самая статья на хабре: https://habr.com/company/io/blog/264757/
Спасибо за ответы
На Хабре сидят в основном унтеры всякие. Хотя переводчики классные бывают, уверен они имеют какой-то профит.
Че вы только картиночки дрочите давайте про тексты говорить
Это же шидеврвальна!
Это же шидеврвальна!
Сначала тебе нужно нейронку дообучить распознавать хуи. Достаточно двух категорий - хуй/не хуй. Хуев чем больше - тем лучше. 160 штук маловато.
Когда сетку дотренируешь, и она будет хуи хорошо классифицировать - тогда можно deepdream натравливать.
Не слушай этих манек, читай научные бумаги лучше
Это чтобы хуетреды банить сразу же?
>На Хабре сидят в основном унтеры всякие
то ли дело двощь
но двоще всё знают про хуи
Сап, аноны. Есть какие-либо статьи/гайды с подробным описанием библиотек pandas и scikit-learn, кроме документавции?
одно другого не исключает же
Объясните, когда нейронка обучается, она задействует память?
Она же должна как-то "запомнить" "правильные" варианты, верно?
Если да, то как много для этого в среднем требуется памяти?
Сколько в среднем весит сама нейронка?
Она же должна как-то "запомнить" "правильные" варианты, верно?
Если да, то как много для этого в среднем требуется памяти?
Сколько в среднем весит сама нейронка?
Пятистрочный файл несколько КБ, либа на несколько МБ и матрицы весов максимум один ГБ.
Охуеть, почему так мало?
А если в сети пара тысяч нейронов, это сильно повлияет на задействованную память?
Где-то вообще можно почитать про вот такие вещи без жёсткого матана?
А что тебя удивляет? Там в каждом нейроне одна функция + куча весов по 8 байт каждый. Некоторые даже человеческий мозг оценивают в несколько Тб, так что он вполне может влезть тебе на винт, вопрос в архитектуре
Пара тысяч это хуйня. В нормальной бывает и миллионами.
Просто, я всегда на мозг смотрел как на архитектуру с огромнейшим объёмом памяти.
Тогда задам закономерный вопрос : почему никто не хранит информацию в нейросетях?
И да, почему нужна такая мощная видеокарта?
Потому что это ебланизм. Всё равно что хранить информацию закодированную числами, то есть так как она в компьютере и хранится.
Потому что вычисления охуенные.
А ты попробуй вспомнить то что видел, например, 3 года назад 21 марта в 1080p
> И да, почему нужна такая мощная видеокарта?
Чтобы ты (((нвидии))) продажи поднимал.
То есть, лучше самому модель запилить? Или лучше дальше googlenet ебаться?
То есть, хочешь сказать эта информация безвозвратно удалена мозгом?
Скорее упакована в говно, и оставлено только то, что связано с эмоциональным откликом/важно, а какой-нибудь генерик день тебе будет сложно вспомнить
Гугли fine-tuning что ли. Рано ты за рисование хуев взялся.
Анонче, привет!
Запилил модельку, посчитал RMSE и всё такое. Теперь пытаюсь как-то анализировать результаты работы модельки. Типа на каких объектах модель выдала хуевые результаты, на каких - хорошие. Не уверен, что есть какие-то там алгоритмы для этого, но могли бы покидать хороших материалов анализа по результатам работы модели?
Надеюсь, понятно изложил мысль. Я хуй. Спасибо
Спасибо, погуглю. Надо же какую-то цель ставить и пытаться её достичь. Так проще учиться.
Посоны а проясните про рекомендательные системы (напр для магаза).
Насколько я понимаю обычно составляется матрица юзер - покупки, уменьшается размерность, например, svd разложением а потом юзеру предлагается то что покупали похожие на него юзеры.
А если есть еще какая-то инфа про пользователей, типа там возраста и длины члена то как-нибудь можно эту инфу использовать?
Буду благодарен за линк на алгоритм / статью
Насколько я понимаю обычно составляется матрица юзер - покупки, уменьшается размерность, например, svd разложением а потом юзеру предлагается то что покупали похожие на него юзеры.
А если есть еще какая-то инфа про пользователей, типа там возраста и длины члена то как-нибудь можно эту инфу использовать?
Буду благодарен за линк на алгоритм / статью
Статистику уровня "если купил шмурдяк три семерки и цветы, то купит и гондоны" можно посчитать напрямую, алгоритмы типа apriori, eclat итп из области association rule mining. Естественно, в такие модели можно добавить и длину члена и все что угодно.
Посоны, а как граф запихать в нейронку?
Посоны, посоветуйте годный гайд по решающим деревьям, хотеть полное объяснение как разбиваются объекты, почему и т.д желательно с доказательствами.
Когда нейроночки смогут в генерализацию (CIFAR-10 на CIFAR-10 хотя бы), контекст (овцы, покрашенные в оранжевый цвет распознаются, как цветы, лол), sample efficiency и устойчивость к адверсариальным атакам? А то создаётся нехорошее впечатление, что текущее направление это тупик и нет никаких идей, куда идти дальше.
Ты когда-нибудь руководил людьми? Я тебе расскажу: они тупые и ленивые. Делают ровно столько, чтобы избежать пиздюлей - ни больше, ни меньше. Нет угрозы пиздюлей - нет работы. Инициативы от них не дождешься.
При чем тут нейроночки? Подумой.
Двачую, люди слишком тупые и никчёмный чтобы делать то, что лучше них.
> создаётся нехорошее впечатление, что текущее направление это тупик и нет никаких идей, куда идти дальше.
Ещё в 60х умным людям было понятно, что это тупик.
Тупик, тупик, можешь не вкатываться
Сап, программач. Хочу накатать свою нейросеть, чтобы вылечить себя от одиночества и безделья. Умею в питон и дата сайнс. Какие курсы посоветуете? Хочу прям полностью сам написать, без всяких датафлоу.
Впрочем, извиняюсь, что в шапку не заглянул
Самому написать полносвязку можно за один вечер по памяти, если ты и правда знаешь питон и датасаенс.
>одиночества
Ты с ней под пледиком няшиться собрался, что ли?
Объясните дебилу, в чем же прогресс в многослойном обучении случился в 2012 году, если алгоритм не поменялся(тот же бэкпроп). Просто кто-то из ученых внушил себе и другим, что бэкпроп не будет работать после 3-ех слоев и все затормозилось?
Кто то писал самообучающегося бота для покеррум параш, как успехи?
Стоит ли пробовать ради экспириенса, или неблагодарная херня?
Стоит ли пробовать ради экспириенса, или неблагодарная херня?
Бля, надо попробовать.
Можешь не надеяться поднять триллиарды на покеррумах, боты сразу баняться банально по аномальному винрейту.
Но как задачка для практики правда интересна.
МимоСпрашивающий.
https://neuralnet.info/chapter/%d0%bf%d0%b5%d1%80%d1%81%d0%b5%d0%bf%d1%82%d1%80%d0%be%d0%bd%d1%8b/
Смотри примерно с середины главы, там есть "прям полностью"
Аномальный винрейт всмысле высокий?
Вообще если честно я умнее, чём ты подумал. Я подниму, я знаю как.
Скиньте АПИ для покеррумов. Жрать не на что.
Есть мнение что мощности подтянулись и пересеклись с объемами данных (хотя до сих пор на моей пеке сет дрочится часов 20)
Прогресс случился ещё в 80х, с появлением ленетов. И у Лекуна вроде что-то было про это, почему ничего не выйдет если взять простой перцептрон с кучей слоёв. Никто никому ничего не внушал, можешь сам проверить в керасе или ещё где, как будет работать перцептрон с хотя бы парой десятков слоёв.
> простой перцептрон
Это там где функция активации - знак?
У сверточных почему все нормально?
>У сверточных почему все нормально?
Потому что фичи детектят лучше. В обычном перцептроне картинка, например, полностью рассматривается, а в перцептроне со свёрточными слоями по ней ходит окошко, которое вытаскивает нужное.
Так так и пиши, что полносвязную сеть хер настроишь после 3-ех слоев, а придумали настраивать сверточные.
Кто-нибудь может встречал проекты по генерации CSS с картинки? То есть берём самое банальное, есть скриншот с одним элементом, например кнопка, нужно сгенерировать стили этой кнопки по скрину.
На сколько вообще это сложно сделать? в нейронках полный 0, но готов разобраться
На сколько вообще это сложно сделать? в нейронках полный 0, но готов разобраться
Был же проект jpg2html, нейроночка по картинке писала код. Гугли.
Моча тут есть вообще? Почему хуйлопана не банят?
Как заставить линейную регрессию работать?
1. Масштабировать признаки.
2. Убрать выбросы. (а как их найти?)
3. С помощью Lasso поудалять лишние признаки.
4. Применить всякие функции к признакам и к целевой переменной (а как понять, какие?).
А ещё какие способы есть? (этих не хватает)
1. Масштабировать признаки.
2. Убрать выбросы. (а как их найти?)
3. С помощью Lasso поудалять лишние признаки.
4. Применить всякие функции к признакам и к целевой переменной (а как понять, какие?).
А ещё какие способы есть? (этих не хватает)
Провериться на гетероскедастичность и мб бороться с ней, использовать другую модель, ???
ISLR читай. Там очень много про линейную и не только регрессию с кучей примеров что и как.
Сап двач помоги. У меня есть ноут офк без гпу и т.д. я хотел бы с потренировать модель для обджект детектиона есть ли какая то возможность сделать это бесплатно?
Можешь модель уменьшить, там рост ресурсов по оси точности экспоненциальный. Объект детектор можешь на своём ноутбуке запускать.
google colab
Привет. Сосач посоветуй годный гайд про desicion tree regression. Чтобы там объяснялись всякие оптимизации и в итоге можно было запилить свое дерево.
Смотри, берёшь формулу из Вики, мапишь её на признаки, а затем сортируеешь. Это три строчки, а дерево уже вырастил.
Покажи пример данных, где этого не хватает.
Че на четвёртой картинке в формуле Байеса за черточка такая между P(йоба1|йоба2) чо там значит |
Условная вероятность. Зная, что это формула Байеса, немного странно спрашивать такое
Я думаю, мои данные -- не такой пример.
Но не знаю, не взлетает. А в каком порядке применять 1, 2, 3, 4? И как 2 и 4 можно реализовать?
Не понял. Что | делает?
>персептроны и прочий мусор
Чиво блять? А из чего нейронки состоят, типа из перцетрона жи. Чо за хуйня, чо тогда в нейронках то используют?
Из пучков. Даже математика это наука о пучках.
Ну давай расскажи чо это за хрень такая тогда из чего они состоят?
Хуйня там на вики, относительно разумное описание тут
https://cran.r-project.org/web/packages/partykit/vignettes/ctree.pdf
>Ты когда-нибудь руководил людьми работающими за статичную ставку
Пофиксил, а то думаю что тут не так.
эй пучки я жду ваших ответов, как связан пучков и нейроночки?
ну бле, чо вы такие трудные.
Поясняйте давайте, у вас тхред нейроночки называются, а вы мне про пучки свои, чо за хуйня, переименовывайтесь в пучковый тхред тогда, либо поясняйте.
Тебя троллят, нейроночки пока математикой плохо описаны.
Пучки - это кусок топологии, про связь нейроночек и топологии написано в этом треде на реддите.
https://www.reddit.com/r/MachineLearning/comments/5jfaox/d_what_are_current_relations_between_algebraic/
Если интересно, в Deep Learning book есть немного про многообразия и их связь с нейроночками, но популярным эвристикам там посвящено раз в 10 больше страниц.
>Тебя троллят
вот пидоры двачерские.
Спасибо анон, хотя бы один адекват в треде.
обоссал перекатывателя за такое говно в шапке
> Тебя троллят, нейроночки пока математикой плохо описаны.
Опять ты на связь выходишь, мудило? Не отрицаю того, что с пучками это ещё один местный опущ без мозгов. Что там математикой не описано, мань? Полторы формулы, которые и представляют собой нейроночку? Или что?
а я понял, тут у вас завелся поехавший мотиматик в тхреде бугуртящий со своего бесполезного диплома, пытающийся свои говнотеории приложить туда куда они ниразу не вписываются. Понятнинько.
Это добавлено, потому что несколько тредов назад мелькали объебосы, которые брали голый перцептрон и орали, что "почему-то" ничего не работает.
>говно в шапке
Малолетний дебил, у нас доска тут немного не /math/, а /pr/. В конечном итоге заходящий сюда хочет не диссертацию защитить, а разобраться в хипстерских технологиях, для которых математика инструмент, а не самоцель.
Скорее типичная жертва маркетинга, верующая что нынешний хайп со сверточными сетями - это вершина развития машоба, хипстеры с индусней пророки, а их пейперы ниочем под смузи - святое писание. А все, что было до этого - устаревшее неактуальное говно.
почему другие методы не используют в коммерции, если они лучше сверточных сетей?
Но в шапке правда говно из жопы. Диплернинхбук ниочем и изложение там для новичков не пригодное, ебут митеньку на десятки страниц с многоэтажными формулами там, где все можно парой картинок объяснить. И одновременно забыли весьма неплохую именно для вкатывальщиков книгу на русском, где все, в т.ч и диплернинх поясняется не только на словах и картинках, но и на готовом коде с нуля.
господи, да что с вами не так, откуда вы беретесь? полторы формулы бэкпропогейшена не отвечают на вопрос, почему нейроночки работают.
например, список вопросов, на которые жду от вас ответа.
почему дропаут дает лучше результат (сто раз уже "доказали", но не в совсем формальном виде)
почему attention работает лучше lstm на длинных последовательностях, а lstm на коротких (если это так)?
почему работает (или не работает super-convergence), или это вообще выдуманный концепт?
>немного не /math/
А зачем тогда в шапке писать, что нейроночки это чистая пучковая математика?
> почему нейроночки работают
Нука докажи и покажи почему нейроночки работают? Давай ты ответы лучше, что там мотиматика твоя доказала, кроме бекпропердолейшена.
> полторы формулы бэкпропогейшена не отвечают на вопрос, почему нейроночки работают.
Потому что ты их не понимаешь?
Их никто не понимает.
например,
Зачем нужно это обоснование? Казалось бы, дропаут и так отлично работает.
Одно важное следствие состоит в том, что изначально доля выбрасываемых ней-
ронов в дропауте была фиксированным числом. Но теперь, когда мы переформули-
ровали обучение с дропаутом в виде максимизации вариационной нижней оценки,
мы без проблем можем оптимизировать долю дропаута тоже: для этого достаточ-
но просто зафиксировать остальные веса и максимизировать ту же самую оцен-
ку по доле дропаута! Более того, мы теперь можем подбирать ее индивидуально:
для каждого слоя, для каждого нейрона, даже для каждой связи между нейронами.
Этот метод получил название вариационный дропаут (variational dropout) [279].
Изначальная процедура дропаута таких вольностей совершенно не предусматри-
вала, из нее не было понятно, как можно автоматически настраивать вероятность
дропаута. При этом никакого страха переобучиться нет — мы не меняем априор-
ное распределение, просто все точнее и точнее приближаем апостериорное. Более
того, выяснилось, что вариационный дропаут добавляет разреженности в глубо-
кие нейронные сети, то есть обнуляет подавляющее большинство весов [374]; этот
результат, кстати, был получен в России, в лаборатории Дмитрия Ветрова
>диплернинх
>на русском
>на готовом коде с нуля
И тут ты такой даёшь ссылку на эту хуйню.
> И тут ты такой даёшь ссылку на эту хуйню.
Вроде в прошлом треде было, я её даже на рыгхост заливал.
> Их никто не понимает.
Школьничество твоё заебало с тобой вместе. Не говори про всех, говори про себя. Ничего кроме аппроксимации функций в нейроночках не было, нет и не будет.
Неа, нет ничего. Ни в прошлом, ни в позапрошлом.
Двочую , кого ты наёбываешь?
Планирую делать диплом распознавание меланомы по фоткам, планирую юзать тензерфлоу. Какие подводные? Нормальная тема или лучше свапнуть?
из подводных только датасет для обучения. Сможешь ли ты раздобыть достаточное количество размеченных фоток?
Тема ок, довольно хайповая. Такие проекты уже есть, ищи. Что не мешает тебе сделать свой, но как выше верно заметили, нужны большие объемы данных.
кстати поясните как попасть к нему в лабу, какие цели и подводные
Пацаны! я ток щас понял что МАШОБ это МАШинное ОБучение! Ехууууууууууууууууу!!! ЯЯ до этого гуглил слово машоб, но мне выдавало в поиске только ссылки на эти треды. А теперь до меня дошло! уууууу вы на американских горках!
мимо учим джаву в шараге
Ссылочка-то таки будет или нет? А то гуглится только Николенко и др., где те же "многоэтажные формулы", есть код реализации на слесарьплове который так-то для игрушечных примеров можно тупо по поиску на гитхабе найти, не говоря о том, что его даже сами создатели фреймворков пишут, но охват меньше, чем в диплёрненхбуке.
> откуда вы беретесь?
С первого курса, вестимо. Пердун какой-нибудь с кафедры формулу накидал на доске, состоящую из суммирований по индексам - всё, значит "объяснено".
Господа, что нужно иметь, чтобы устроиться по нейронкам в какую-либо контору?
КТН нужон?
КТН нужон?
Мне больше интересно реально ли вкатиться после курсов типо Нетологии или Гикбрейнса без диплома бакалавра или магистра? Вышка есть но она инженерная и вуз шаражный.
Об этом тебе расскажут в какой-либо конторе.
Помогите вспомнить название фреймворка для (не глубокого): написано на крестах и куде, распределенные вычисления во все щели. Позиционируется как альтернатива спарку - у них в вики на гитхабе приводились таблицы сравнения бенчмарков.
Видел это чудо где-то год-полтора назад, сейчас не могу найти, все время натыкаюсь на mxnet.
Видел это чудо где-то год-полтора назад, сейчас не могу найти, все время натыкаюсь на mxnet.
Thrill, Caffe? хз, если честно, мутноватое описание.
посмотри ещё тут https://github.com/topics/distributed-computing?l=c%2B%2B
Скиньте почитать про самые новые оптимизаторы
Пацаны грят, новые оптимизаторы это опиум для народа. В плане обобщения и всяких новых моделей, РЛ и т.п. СГД с моментумом рулит.
Vowpal Wabbit ?
Нет конечно
еще пока гуглил про DyNet вспомнил, хотел его попробовать, но не попробовал
https://skymind.ai/wiki/comparison-frameworks-dl4j-tensorflow-pytorch#dynet
Где про VAE почитать достаточно подробно
Оригинальная статья что-то не заходит
Оригинальная статья что-то не заходит
У Кингмы в диссере отдельный раздел его енкодеру посвящён. Не ебу, правда, насколько он подробнее оригинальной статьи.
https://www.dropbox.com/s/v6ua3d9yt44vgb3/cover_and_thesis.pdf?dl=0
Так нейродвочаны, кароч я вкатываюсь, так шо сильно не пиздите, можете обоссать максимум.
Я вот читал кароч про нейроночки, анга смотрел, он там мне дич какую то втирал с мотиматикой, даже яндекса шад глянул, там еще больше дичи матиматической.
А на днях меня осенило, надо всеголишь взять какие нибудь данные, табличку, где есть какие то значения и взять другую табличку в которой каждая строка соотвествует строке из таблички с данными исходными. И запустить какой нибуть змеиный скрипт, это все прогонять через себя. И на выходе иметь готовую нейросеть, в которую можно скармливать данные по типу тех что были в таблице первоначальной.
Ну там еще тип нейрона выбрать всякие там сигмы и тд.
Так это, а чо так сложно преподают то? Во всяких шадах и на курсере, кучу матиматики, зачем? Свои всякие боесы, рисуют графики с точечками, между которых линии проводят. В чем смысол? Ведь можно этим ограничится, ну или вначале хотя бы это показать, что бы было понятно зачем это все.
Ну ты чиво? Вроди нормально же общались
Ебани курс A-Z hands on deep learning удемишный (на торрентах есть), там вообще без математики объясняют основные архитектуры и как на фреймворках дрочить, а матешу отдельными ссылками на доп материалы - можно уже потом ПОГРУЖАТЬСЯ в меру своих сил, если захочется.
Потому что этим ебланам математическая дичь всё равно что обычная дичь. Они её понимают, а люди нет.
> Потому что этим ебланам математическая дичь всё равно что обычная дичь. Они её понимают, а люди нет.
Как раз ровно наоборот - люди математику понимают, а ебланы нет. В чем и разница между человеком и всякой хуйней.
Фанатик плес. Куча говнотермином обозначающих простые вещи, это для говноедов, которые строят из себя илитку. Нормальными людьми такое говно явно не назвать.
Нормальным, как и вообще человеком не назвать говно вроде тебя, ты заебал уже своим кукареканьем, не можешь в математику - просто сьеби из треда про математику. Это же так просто, а, говно?
>пук
Довен походу читать не умеет, ладно читай по слогам это тред про нейронки.
Это тред про машоб, сука.
когда вы уже перестанете кормить неосиляторов производных
Производные не нужны.
Кстати правда не могу допереть, разве f'(x) = F(x) | F = f' ?
плюсую
просто перебираю коэфы в нейронке и беру потом лучшую из всех
Двачую, давно пора банить наду этих гуманитарных пидорах.
Вот тогда и поговорим/вы находитесь здесь.тхт
Почему, используй relu и residual связи и настроишь, если точнее, нужно решить проблему затухающего градиента. Суть сверточных в другом, у них by design есть инвариантность к сдвигу твоих данных. Практически любые данные так устроены - от изображений до биржевых графиков, поэтому и сверточные везде.
> Убрать выбросы. (а как их найти?)
Посмотри с помощью PCA на свои данные под разными углами, может увидишь чё.
Да просто надо говорить сразу что без фунтдаментального математического, IT, физического образования в машоб не пустят. И не давать надежду шаражникам. Зачем эти сраные курсы плодить и давать надежду, факультеты целые по ИИ, спецухи яндекса. Зачем? Надо фильтр там вводить и даунов не пускать.
Потому что машоб можно использовать и без матеши же
Потому что сделал ты свою табличку, скормил рандомной нейросети, а нейросеть не работает так, как ты хочешь. И все, конец истории, так как в математику ты не можешь.
> физического образования
Физика-то зачем? Может быть, ещё и химию до кучи?
Биологическое. Нейронки же
отделите этих метавкатывальщиков уже в отдельный тред как с маттредами сделали
Правда ли что все эти ваши машобы это просто старая добрая статистика?
W tensorflow/core/framework/op_kernel.cc:1275] OP_REQUIRES failed at ctc_loss_op.cc:166 : Invalid argument: Not enough time for target transition sequence (required: 36, available: 6)0You can turn this error into a warning by using the flag ignore_longer_outputs_than_inputs
ЧЯДНТ? Каждый раз в генераторе проверяю размерность, и всегда 36, в т.ч. на той итерации, когда эта ошибка вылетает.
Где этот флаг, блядь, искать?
ЧЯДНТ? Каждый раз в генераторе проверяю размерность, и всегда 36, в т.ч. на той итерации, когда эта ошибка вылетает.
Где этот флаг, блядь, искать?
почитай доку про ignore_longer_outputs_than_inputs=True
> Правда ли что все эти ваши машобы это просто старая добрая статистика?
Новые методы в статистике, если точнее.
Но зато ты при этом знаешь математику, что, согласись, гораздо круче первого варианта.
Если можешь, ты начинаешь ее улучшать, пока она не начинает работать так, как ты хочешь.
Ну тогда и поговорим.тхт
>гораздо круче
Мам ну скажи, что я маладец, ну маам ведь я не зря потратил 4 года в вузике дроча концпекты, заместо поёбывания тян, ну скажи ему, ну мааам.
ты молодец серожа, ты у мамы самый лучший.
Ты считаешь, что если бы дрочил конспекты, мог бы в математику, но ты выбрал поебывать тян, и поэтому в математику не можешь. На самом деле не так. Ты не можешь в математику, потому что от рождения дебил, и дрочка конспектов тебе никак бы не помогла.
>потому что от рождения дебил
Найс манямирок, а ты в нем избранный математикой.
Тюнинг и вперед
Правда ли что вся наша реальность это старая добрая математика. Что сказать-то хотел?
Удваиваю, есть просто люди дебилы, мне читали матешу на первом высшем 2 курса, после универа я нихуя не знал ее, мне читали матешу на втором высшем чуть больше года, + спец разделы, и результат такой же.
>мне читали матешу
>мне читали матешу
Ты не находишь, что проблема в том что тебе читали, а не ты сам читал? Просто тебе она нахуй не нужна была, вот ты и нихуя не понял. Хотя чо это я, нравится считать себя дебилом, на здоровье.
Какое мнение анона про курсы Яндекса на Курсере?
Реально вкатиться вообще в ML если матан и тервер видел 5 лет назад в универе.
Какой уровень нужен?
С питоном вот все норм
Реально вкатиться вообще в ML если матан и тервер видел 5 лет назад в универе.
Какой уровень нужен?
С питоном вот все норм
>мнение
Курсы - говно для даунов. Берёшь книжку, берёшь задачу, дрочишь.
Если техническое образование, то можешь придти просто пропёрдывать стул, научат.
Срать не снимая свитера.
>чему?
Учиться, ебана рот, ты шо, с деревни7
Куда придти?
мне помогло на первых парах сориентироваться, потом будет легче самому разбираться
всю необходимую математику там пояснят
Пацаны, пошли ICO делать по децентрализованной площадке для машоба. Я уже набросал чё будем разрабатывать. В ближайшее время whitepaper соберу и картинки сделаю. Смогу визитку наверстать.
анусы вы себе будете разрабатывать
швятое дело!
В pandas считал столбец. Там значения типа
350 02.08
351 02.01
352 02.02
353 0
354 0
355 0
Length=..., dtype=object.
Но при этом в строках 353,354, 355 значения int
type(df.ix[353]['col1'])
<class 'int'>
Pandas при смешанных данных в столбце всегда старается определить тип ? По идее, если хотя бы в одной ячейке не число, весь столбец должен считаться нечисловым, ведь его просто так нельзя сложить
sum (df['A'])
TypeError: unsupported operand type(s) for +: 'int' and 'str'
Сканирую спрос - есть интерес у кого-то поучаствовать в проектах по сабжу в области крипты? В том числе для получения опыта и самообучения, возможен гешефт при хороших результатах. Если будут отзывы, то можно будет конкретней говорить.
Какой гешефт то? Как-то далеко ходишь. Выкладывай чего у тебя в мыслях.
Техническое, бывает разное, машиностроительный инженер тоже техническое, химик тоже техническое, разное бывает понимаешь?
Нужно спроектировать систему, которая сможет анализировать рыночную котировку (колебания цены крипты) в лайв тайме, предварительно обучившись на исторических данных и совершенствуясь по ходу дела, находить определенные закономерности и на их основе выносить решения (торговые рекомендации). Гешефт денежный, епт.
Работадателю плевать
Лол, ну удачи тебе. Ты хоть какие-то принципы анализа рынка знаешь или решил что тебе прям напишут нейронку, которая на основе скалярного значения во времени предугадывать курс будет? Лол. Как же тебя легко наебать, жалко что мне лень.
Допусти у меня есть входной вектор x. Но признаки имеют разную важность, например x1 всегда очень важен, это главный признак, а вот x2 бывает действительно важен только раз в год да и то в определённом значении, то есть не всмысле когда он больше или меньше. Я думал, а почему функция вычисления входа в нейрон вообще линейная? Разве она не должна как-то быть нелинейной?
> Нужно спроектировать систему, которая сможет анализировать рыночную котировку (колебания цены крипты) в лайв тайме, предварительно обучившись на исторических данных и совершенствуясь по ходу дела, находить определенные закономерности и на их основе выносить решения (торговые рекомендации).
Это нерешаемо для курсов валют. Там полный пиздец, если честно. С одной стороны, там точно не гауссово распределение вероятности, т.е не чистый рандом, что легко видеть по экспоненте Ляпунова или сечению Пуанкаре, с другой стороны - выявить имеющееся распределение не получается. С нейроночками в этой теме точно делать нечего. Может быть, какие-то хаотические аттракторы или что-то в этом роде дрочить, но простой закономерности, которую можно выявить на исторических данных, там нет. Ни MCMC, нихуя там результатов не даёт, я что только не пробовал.
Дело в том, что валютные котировки могут иметь совершенно другие механизмы движения, чем в крипте, поскольку крипта торгуется совсем недавно по историческим меркам, рынок очень молод и соответственно, логически, в нем должно быть гораздо больше каких-то рыночных неэффективностей, паттерн которых можно определить и работать с ним. У тех же манипуляторов там значительно более топорные схемы и методы. Никто не говорил, что это легко, конечно же.
Такенс завещал, что аттрактор всегда можно извлечь из временных рядов.
Пусть есть модель f(x), которая выдаёт число в интервале [0,1] по которому мы, если оно >1/2 причисляем объект к первому классу если, если <1/2 ко второму. Кто-нибудь интересовался свойствами разделяющей поверхности f(x)=1/2? Типо если это нейронка или ядерный свм, например, какие ограничения на (ко)гамалогии и ввести какой-нибудь порядок на них и говорить, что эта модель сложнее той если её разделяющая поверхность может иметь более сложные гамалогии?
Другой вопрос. Вот в бишопе, например, для линейной регрессии очень хорошо написано откуда она берется такая какая есть, а можно ли такой же байесовский вывод получить для нейроночек?
Другой вопрос. Вот в бишопе, например, для линейной регрессии очень хорошо написано откуда она берется такая какая есть, а можно ли такой же байесовский вывод получить для нейроночек?
Немножк (совсем) офтопик, но реально не знаю где спросить пока что, поэтому под спойлером
Перечитал статью на хакере (опять), а там типичная проблема для россии
>Сотрудники «Газпрома» посетовали на низкий уровень информационной безопасности и заявили, что это не их дело, поскольку они руководствуются требованиями и правилами, которые устанавливает ФСБ. Круг замкнулся, стало понятно, что эту монолитную систему «информационной безответственности» не пробить.
Тоже самое когда-то заметил у себя дома, когда родители искали пульт от телевизора. Никто не хочет брать ответственность за то что проебал этот пульт и не положил на место, всё скидывает на других.
Откуда это взялось, как оно могло появиться? Что это за вид рака?
Сейчас вспомнил что в прошлом треде речь зашла про синдром корсакова. Посты оттуда ниже, на всякий случай. Может у кого-то есть идеи как это может быть связано, и где спрашивать про этот вид зацикленного рака, это же платиновый вопрос (где-то)
>>Полное удаление гиппокампа делает невозможным формирование новых воспоминаний, что убедительно продемонстрировал случай с пациентом H.M. Нарушения в работе гиппокампа могут привести к синдрому Корсакова, который так же сводится к невозможности фиксировать текущие события, при сохранении старой памяти.
>Конфабуляции (лат. confabulari — болтать, рассказывать) — ложные воспоминания – когда больной не может вспомнить события из своего прошлого и заменяет их вымышленными являются одним из самых характерных симптомов корсаковского психоза.
>Конфабуляции у некоторых пациентов носят постоянный характер. Они всё время придумывают новых персонажей, детально рассказывают происходившие с ними истории и т.д., заменяя таким образом забытые воспоминания на вымышленные.
>При этом важно учитывать тот факт, что больные не лгут – они действительно считают данные воспоминания реальными.
Перечитал статью на хакере (опять), а там типичная проблема для россии
>Сотрудники «Газпрома» посетовали на низкий уровень информационной безопасности и заявили, что это не их дело, поскольку они руководствуются требованиями и правилами, которые устанавливает ФСБ. Круг замкнулся, стало понятно, что эту монолитную систему «информационной безответственности» не пробить.
Тоже самое когда-то заметил у себя дома, когда родители искали пульт от телевизора. Никто не хочет брать ответственность за то что проебал этот пульт и не положил на место, всё скидывает на других.
Откуда это взялось, как оно могло появиться? Что это за вид рака?
Сейчас вспомнил что в прошлом треде речь зашла про синдром корсакова. Посты оттуда ниже, на всякий случай. Может у кого-то есть идеи как это может быть связано, и где спрашивать про этот вид зацикленного рака, это же платиновый вопрос (где-то)
>>Полное удаление гиппокампа делает невозможным формирование новых воспоминаний, что убедительно продемонстрировал случай с пациентом H.M. Нарушения в работе гиппокампа могут привести к синдрому Корсакова, который так же сводится к невозможности фиксировать текущие события, при сохранении старой памяти.
>Конфабуляции (лат. confabulari — болтать, рассказывать) — ложные воспоминания – когда больной не может вспомнить события из своего прошлого и заменяет их вымышленными являются одним из самых характерных симптомов корсаковского психоза.
>Конфабуляции у некоторых пациентов носят постоянный характер. Они всё время придумывают новых персонажей, детально рассказывают происходившие с ними истории и т.д., заменяя таким образом забытые воспоминания на вымышленные.
>При этом важно учитывать тот факт, что больные не лгут – они действительно считают данные воспоминания реальными.
Я тож нихуя не знаю, но мне платят деньги на работе за то что я такую ебалу пишу
Какую? Всмысле по скалярному значению курс предсказывать? Сколько там коэфицент угадывания? 50% хотябы есть? Какое у тебя образование?
> Такенс завещал, что аттрактор всегда можно извлечь из временных рядов.
Тоже думаю, что нужно копать в сторону нелинейной динамики, хаоса и всего такого.
Ну и где взять исторические данные по крипте? Я давно ещё пробовал кластеризовать криптовалюты по их динамике роста и падения по пересечению плюсов и минусов за последние час, день, неделю итд, чтобы отделить годноту от хуеты, но там тоже не так все просто, что-то может взлететь на 100-1000% снихуя и наоборот. Но вообще наверное да, крипта это свободный рынок, который обычными способами не зарегулировать. Может быть, там все более предсказуемо.
>пробовал кластеризовать
Поделить по k-mean ты имеешь ввиду?
Аноны, есть прикладная задача по анализу данных (около 100к записей), в экселе смог найти зависимость, хотелось бы продвинуться дальше и обучить модель, но в питоне не силен.
Данные выглядят как набор фич и вознаграждение от -1 до +3, нужно добиться устойчивого дохода.
Есть кто за нефть порешает ?
Данные выглядят как набор фич и вознаграждение от -1 до +3, нужно добиться устойчивого дохода.
Есть кто за нефть порешает ?
> Поделить по k-mean ты имеешь ввиду?
Не, я пробовал картами Кохонена, SOM. Но прямые значения кластеризовать смысла нет, нужны дельты, т.е изменения + какие-то рыночные показатели типа скользящих средних, индикатора Ишимоку итд, все же это можно посчитать и добавить в вектор текущего состояния валюты. Если человек в этих индикаторах что-то видит, то и алгоритм увидит не хуже, главное данные правильно представить.
> Данные выглядят как набор фич и вознаграждение от -1 до +3, нужно добиться устойчивого дохода.
Если реально есть зависимость, то твоя задача - аппроксимация функции от нескольких переменных y = f(x), где набор фич это х а значения от -1 до +3 это у. SVM вполне достаточно. Давай данные, посмотрим.
Держи...
https://ru.files.fm/u/ffxn8uks
пароль стандартный 2ch.hk
В таблице уже применен фильтр, результат ручного анализа, то есть максимальная сумма 2 profit, но меня беспокоят просадки на графике (на второй вкладке).
Что можно еще придумать в моем случае, чтобы улучшить результат или избежать таких просадок ?
Ну как, перекатились уже на PyTorch? Или как лохи на Tensorflow сидите?
И что, приносишь сверхприбыли компании?
пиздец ты хохотач
а вот это совсем поехавший
ну лол баркоды же считают, мало ли какая хуйня зайдет
Что-то лейблы не пропечатываются... Но походу зависимость есть, вон там примеры с близким по размеру профитом рядом кластеризуются.
Мань, хуй соси.
Ну судя по графику на второй книге - зависимость очень неплохая, а что-нибудь из этих данных можно еще вытянуть?
Не совсем понимаю, что на этих полях отображено...
нейроночки до такой степени интерпретируемы, показываешь, что у тебя от таких-то входных значений, большие веса (фича импотанс) на последнем слое, получаешь профиты
тренируешь регрессию стохастическим градиентным спуском или рандом форест какой-нибудь, получаешь другие веса. Не?
Добавляешь новые данные и все идет по пизде. Не? машоб вообще не имеет смысла на данных из другого домена
Объяснить - это показать, почему модель приняла такое решение. Почти все машоб модели являются стохастическими, и следовательно у двух одинаковых моделей, натренированных на одинаковых данных будут разные веса.
Прочитал книгу автора Ту, сейчас начну читать книгу автора Фу.
Хм
>там точно не гауссово распределение вероятности, т.е не чистый рандом
Да ты заебал, пёс, твой "чистый рандом" на каждом шаге (то что random walk называется по-человечески) это равномерное распределение, а не гауссово. Стандартный курс прошёл для начала, хотя бы.
яб сказал лучше случайный процесс и суть не столько в равномерности сколько в независимости X_s, X_t
Няши, как вкотиться в нейроночки? Я понимаю принципы, даже немного математики, но вот как именно взять и написать сеть которая будет что-то делать - не могу. Я пытался искать полноценные гайду, но везде одно говно. Не подкините чего-нибудь для питона? Чтобы с нуля и до обучения, а если будет материал как готовить датасеты и обучать по ним - вообще буду благодарен.
Если на русском, то в stepic.org есть курс по нейронным сетям. Если на английском, то там дохуя норм гайдов есть.
Можно и на английском. Думал на курсере хорошо все по этапам разложили, но нет, там вообще в матан ушли. Читал еще кучи других гайды, по TF, керасу, но везде либо уходят в теорию либо предлогают просто копировать код и учиться на готовых датасетах. Ну ок, скопировал я, все работает, а как это на реальную задачу то перенести?..
Ну мартингейл, которого он постоянно тут вспоминает всё-таки при равномерном распределении применяют.
А есть просто сборник best practices где-нибудь по теме того как структуру сети выбирать под конкретные задачи?
Узнаешь, как твоя задача называешься, и гуглишь со "yobification state of art".
нет никакого смысла читать про тф и керас без сильной базы
В чем заключается сильность базы? Некоторые аутисты думают, что запилив на каком-то левом языке бэкпропагейшен вручную, что они будут знать что-то большее об обучении нейронок. Это не так. А изучать математику тф и керас не мешают, лучше всего делать это одновременно.
двачую
запилил все эти бэкпропы в cs231n никак не помогло их лучше понять
лучше бы всякие архитектуры на торче реализовывал бы
Нужно сначала базу, потом практику делать. Без базы ты будешь по туториалам кнопки тыкать, не представляя как работает шайтан-машина, что она может, и почему надо делать так, а не иначе. Глупые ошибки будешь делать, и не поймешь в чем дело.
Что есть база? Математические функции? Я просто не очень понимаю, мне забить на все и просто учить матан, или же все-такие можно как-то без этого обойтись?
ну если во время прохождения базовых курсов по нейроночкам ты не справляешься с матаном то да учить ту маленькую частичку матана
>как-то без этого обойтись?
Да, пихвовекторизацией.
>по туториалам кнопки тыкать, не представляя как работает шайтан-машина, что она может, и почему надо делать так, а не иначе
А что, есть кто-то, кто представляет, как работает шайтан-машина, что она может, и почему надо делать так, а не иначе? Примеры в студию.
>А что, есть кто-то, кто представляет, как работает шайтан-машина, что она может, и почему надо делать так, а не иначе?
Крутишь пимпочки до упора, если не работает, значит сам виноват, матиматически там все должно работать111
С конкурентным обучением с подкреплением мне хватит 10000 итераций? Неделя реальных вычислений. Данные приходят и обрабатываются в течение 1 минуты.
Если в керасе ошибка всегда нулевая, и выход целевой функции (CTC) почти всегда одинаковый (циферки немного отличаются, но декодируются всегда в один неверный набор символов) - то где я наговнокодил? Learning rate крутить пробовал, оптимизаторы менял, не помогает.
Сеть - CRNN, текст с картинок распознаю.
Сеть - CRNN, текст с картинок распознаю.
Метрику меняй
Не сильно помогло
Я каждую эпоху проверяю сеть на одних и тех же данных (тренировочных, чтоб наверняка) и каждую эпоху сеть у меня текст распознает одинаково неправильно, будто так и должно быть. И выход функции ошибки без декодирования почти не отличается.
Предполагаю, что косяк где-то в реализации CTC, хоть и писал все на базе чужого кода с гитхаба.
Learning rate менял с 0.0001 до 100 - ничего не меняется
ну, где-то наговнокодил, без самого кода тебе только ванга поможет
Как-то так, как мне кажется, косяки где-то здесь.
Впервые с рекуррентными что-то пробую, до этого только сверточные писал, может чего-то очевидного не сделал
Не понимать можно на разных уровнях. Я, тот анон, и твоя мама - это три разных уровня непонимания. Лучше быть на моем.
Дропаут добавь и побольше
Слишком муторно. Упрощай до одного ЛСТМ-юнита, который должен просто копировать предыдущий вход.
Если у тебя лосс сразу на дне, вряд ли ошибка в валидации, скорее имеет место дикий оверфит, а сетка со дна выбираться не желает, а ты накосячил или с регуляризацией, или с инициализацией, типа оставил дефолтные нули вместо шума
Не на дне, после добавления других метрик увидел это
Так что переобучения нет, да и с инициализацией все нормально.
С реализацией CTC и моими лэйблами, наверное, что-то не так (я просто унитарно кодирую строчку текста, заполненную пробелами до необходимой длины)
>>>1276448
С ЛСТМ все нормально. Сначала пару слоев свертки делаю, разбавляя макспулингом и нормализацией, потом один полносвязный, бидирективный ЛСТМ и СТС-алгоритм в конце.
В out со второго скрина у меня пробелы почему-то минус единицами заполнились, хотя у меня все лэйблы просто по индексам разбиты, наверное в этом проблема.
Попробую другую сетку с гитхаба под свой генератор адаптировать, ибо сам в этих заебах с СТС (типа iy_pred = iy_pred[:, 2:, :] такой строчки) не шарю.
С ЛСТМ все нормально. Сначала пару слоев свертки делаю, разбавляя макспулингом и нормализацией, потом один полносвязный, бидирективный ЛСТМ и СТС-алгоритм в конце.
В out со второго скрина у меня пробелы почему-то минус единицами заполнились, хотя у меня все лэйблы просто по индексам разбиты, наверное в этом проблема.
Попробую другую сетку с гитхаба под свой генератор адаптировать, ибо сам в этих заебах с СТС (типа iy_pred = iy_pred[:, 2:, :] такой строчки) не шарю.
Это сюда
Аноны, помогите задачу решить за вознаграждение, что можно сделать и сколько это будет стоить ?
Сап аноны, как много людей тут действительно получают деньги за нейронки?
Работаете на кого или же пилите свой проект?
Мимо вкатывальщик
Работаете на кого или же пилите свой проект?
Мимо вкатывальщик
>Работаете на кого
Na SkyNet
Я работаю на Roko's Basilisk.
Блять. Да ну нахуй. Наконец-то я могу харкнуть кому-то связаному с таким дерьмософтом в лицо. Хррр-ха-пфу
>Roko's Basilisk
Это что?
>с таким дерьмософтом
Разъясняй
Как нейронную сеть научить работать с графами?
Просто изначально научились запускать на картинках фиксированного размера, потом - на картинках произвольного размера. Научились применять для анализа последовательностей произвольной длины. А что с графами?
Просто изначально научились запускать на картинках фиксированного размера, потом - на картинках произвольного размера. Научились применять для анализа последовательностей произвольной длины. А что с графами?
>графами
Монте Кристами?
>что можно сделать и сколько это будет стоить ?
Скорее всего, много чего можно. Какая строка там конкретно выход? Профит 1 или профит 2?
профит2, нужно, чтобы сумма вознаграждений профит2 была максимальной и не было просадок по графику (как на книге2).
Можно поиграться штрифтами фильтрами и увидеть, как все там меняется.
По сути можно построить прибыльную стратегию и на профит1, если так получится.
Ты задачу сначала сформулируй. Пока ты высрал эксель с какими-то колонками цифр.
>habr.com
Лол
>2ch.hk
Лал
Спасибо за ваш комментарий, посасал бы вам писю и дал в жопу.
"10 лекций по распознаванию" (Шлезингер, Главач) уже устарели?
Сап. Есть RNN на GRU 4 слоя по 1500 нейронов. Добавлять ли дропаут? Подозреваю на таком конфиге будет больше вреда чем пользы.
Хм... попробовать и посмотреть самому? Да не, бред какой-то.
Может кто-то объяснить как обучают рекурентные сети? А то я посчитал сколько маленькую лстмку проитерировать бэкпропогэйшеном. Получилось около 2 триллионов итераций слоёв на один вход.
Без датасета? Совсем ебнаулись уже
Я обучал сетку три недели на 1080ti. Предлагаешь ещё пару месяцев потратить на файн тюнинг?
Ладн, вопрос попроще. Начиная с какого количества скрытых слоев бесполезен дропаут?
тебе надо было сначала фаинтьюнить сетку на подвыборке, а потом уже тренировать три недели, дропаут (и вообще регуляризация) нужен при переобучении. Если у тебе трейн и валидейшен лосс не расходятся, то можно и без дропаута. если валидейшен выходит на плато, а трейн продолжать падать - добавляешь регуляризацию.
от Гудфелоу 2-7
>дропаут (и вообще регуляризация) нужен при переобучении.
Не только, дропаут вполне может помогать от high bias тоже, он ведь помогает от корреляции между нейронами, и, соответственно, делает параметры более эффективными.
>Начиная с какого количества скрытых слоев бесполезен дропаут?
Дропаут бесполезен, когда у тебя другой регуляризации полно - batch normalization, weight decay и т. д. А если ее вообще нет, то он полезен.
>Я обучал сетку три недели на 1080ti. Предлагаешь ещё пару месяцев потратить на файн тюнинг?
Ну это явно хуевая стратегия исследований. Я бы отладил всё на малой части датасета (добился оверфита, регуляризовал, затем подобрал гиперпараметры), чтобы обучение шло час маскимум, потом плавно бы увеличивал датасет с корректировкой гиперпараметров, останавливаясь сильно рано (как правило удачные параметры сразу проявляют себя), и только затем уже хуячил максимальный датасет. А три недели с 1080ti это пиздец как рискованно и бессмысленно.
На чём запускаешь сетку?
Дайте маленький датасет для лстмки. Насколько зашкварно писать лстмку на чистом питоне?
А что именно ты пишешь на "чистом питоне"? Саму математику? Ещё какой зашквар, питон не для того предназначен.
За keras.backend.ctc_decode() кто-нибудь пояснить может?
Почему она возвращает разные значения при одних и тех же входах?
Почему она возвращает разные значения при одних и тех же входах?
Вернее значения разных размерностей, фикс
Почему веса для нейронок не подбирают брутфорсом? Это же более эфективный алгоритм. В 10 тысяч раз быстрее иногда, чем бэкпропогэйшн.
Не ебу, у меня летает
Ну да, функцию от сотен тысяч переменных же проще перебором минимизировать, ага.
Теорию оптимизации тоже дауны какие-то придумали, можно же перебирать просто, в 10 тысяч раз эффективнее
Твоя оптимизация подразумевает возведение количества ввычислений в степень колличества слоёв. Лучше перебором. Или дедовским отжигом.
Попробуй меня остановить.
Если серьезно, недавно показали, что случайный поиск или ГА может быть на порядки быстрее РЛ на многих задачах.
Да, все так и делают
Зачем доказывать, если и так видно, что там почти бесконечные рекурсии с квинтилионами вычислений.
> на многих задачах
на нейронках в т.ч?
Скоро можно будет макачить нейроночки не отходя от мейлача: https://youtu.be/9NcBqjAMNjQ
На сях нейрончики есть?
У меня два 1080ti на двух пеках, на одном как правило запускаю расчет на подольше, на втором ставлю эксперименты, чтобы к окончанию работы "длинной" видюхи у меня был набор улучшений для новой итерации.
Нахуя так много сложных формул и выебонов, если всё можно и так реализовать на уровне школьной математики?
>Твоя оптимизация подразумевает возведение количества ввычислений в степень колличества слоёв. Лучше перебором.
Все наоборот. Бэкпропагейшен относительно любого числа параметров - это вычисление символьно взятой производной, то есть обратный проход не сильно медленнее прямого, только памяти требует больше для хранения промежуточных производный, а вот случайный поиск плох как экспонента от числа измерений, в твоем случае - от числа параметров. ГА не сильно лучше.
При этом для многомерных функций проблема застревания в локальном минимуме почти не стоит - чем больше измерений, тем меньше вероятность существования минимума в точке (для функции N переменных производные по N параметрам должны быть равны нулю одновременно - это очень маловероятно). Поэтому для нейронок только бэкпроп.
РЛ же это отдельная история, это не только нейронка, но и йоба со всеми этими Q, какими-то графами-хуяфами тыр пыр восемь дыр. Там вполне ГА могут быть эффективнее в каких-то местах, почему нет.
На рекурентные посмотри, блять, на каждой итерации слоя нужно отправляться в первую итерацию, прогонять нейронку назад до инпута, двигаться дальше, прогонять на один слой ниже, затем отправлятьсч к началу, снова прогонять нейронку, затем спускаться на слой ниже и прогонять ещё раз, и так пока каждый пример не прогонит каждый слой, в котором ещё опять прогоняется каждый младший слой. То есть тут не экспонента, тут нахуй больше чем экспонента.
Подалуйста, объясните мне градиентный спуск. Умоляю.
На русском в Stepic.org есть курс по нейронным сетям, там про градиентный спуск объясняют.
Ты хуйню какую-то несешь, похоже не понимаешь что-то. Рекуррентные сети разворачиваются в feed-forward, соответственно становятся сложнее пропорционально заглядыванию назад в прошло.
Они заглядывают назад в прошлое и там ещё раз разворачиваются, а дальше они попадают в ещё один слой, заглядывают ещё в прошлое и разворачиваюися там. Это рекурсия.
Бобер, выдыхай
Чего? Ты слился?
from keras.models import Sequential
from keras.layers import Dense
model = Sequential()
model.add(Dense(3, input_shape = (3,), activation="sigmoid")
model.add(Dense(4, activation="sigmoid")
model.add(Dense(1, activation="sigmoid")
>Лучше перебором
Ага, в 500000-мерном пространстве. Долбоёб? Долбоёб.
Порашу скроллил. Тхреды пра хахлов и спидорах.
На подбирании весов ИИ не построить...
Нюфаг вкатился. Это пиздец, этот питон с кучу анальных зависимостей порвал мою жопу в клочья. Я просто не могу накатить ебаный tenserflow потому что меня требуют установить еще дохуя модулей которые сука имеют вложенные в себя модули которые надо тоже блять установить, я уже утонул и погряз в ебучих ошибках, почему блять в ебаном питоне все зависимости не устанавливаются сразу?ЭТО ПИЗДЕЦ БЛЯТЬ. Ладно, попробовал все сначала, накатил анаконду, обмазался cuda-парашей от нвидии, установил еще какую-то хуйню. Что в итоге? Ни-ху-я, сыпятся ошибки: у вас отвалился модуль_нейм - пройдите нахуй.Вообщем ,реквестирую 100% ГАЙД по накату тенсерфлоу на win10 x64 и всяких yolo/keras/rccn сверху. Буду очень благодарен.
pip install tensorflow
Не благодари.
>win10 x64
>yolo/keras/rccn/tensorflow
>нихуя не работает
привыкай
> реквестирую 100% ГАЙД по накату тенсерфлоу на win10 x64 и всяких yolo/keras/rccn сверху. Буду очень благодарен.
На шиндошс оно не работает. Ставь бубунту, там в 3 команды все нужное ставится, гайдов полно.
Вообще, гениальная идея использовать пистон. Кривая хуета с гигабайтом зависимостей в качестве враппера.
Не работает.
Но как-то же скрепа зубами пердолят все это дело на шинде? Помогите, хочу деплоить нейроночки.
Пендосы как-то устанавливают же, но их гайды не первой свежести и уже нихуя не ставится так как должно.
А что еще использовать? Из выбора только питон и плюсы. Плюсы сложно + избыточно на данном этапе моих хотелок.
>Но как-то же скрепа зубами пердолят все это дело на шинде? Помогите, хочу деплоить нейроночки.
Нет, конечно. Линух или мак в большинстве случаев.
Понятно. Придется учить плюсы. Зайду сюда через лет 5.
Нахуя тебе винда-то?
>Не работает.
Что пишет?
>win10
У меня на это говно анаконда не устанавливалась, так что в конце концов я обратно на 7 перешёл и не жалею.
>Но как-то же скрепа зубами пердолят все это дело на шинде?
Слесарьплов - из того софта, с которым совладать на глинуксе в разы проще, чем на винде.
>Понятно. Придется учить плюсы.
Нахуя? Убунту поставить не сложнее чем винду.
Хочу сделать BOW+SIFT+SVM классификатор для промышленной системы машинного зрения, какие могут быть подводные камни при большой размерности словаря и частично похожих изображения, насколько этого вообще может быть стабильно?
>промышленной системы машинного зрения,
Лол
>какие могут быть подводные камни
Ну как бы это нулевые годы, а сейчас используют нейронки, у них точность выше.
>у них точность выше
Они с повышенной точностью нераспознают?
Есть язык R.
тензорфлоу есть даже на джаву, джаваскрипт и пхп, хотя я не думаю, что там легче будет, так как нужно установить MICROSOFT C++ REDISTIBUTABLES 2006 4.0 NET
> Есть язык R.
Есть. Но хипстеры ж засмеют на коворкингах.
Картинка хуйня.
Что за бабочка?
И корона какая-то
Чтоу, говорите по-русски
Ну и зачем мне он?
Считаю всех js мартышек за нелюдей. И сам на этой параше никогда писать ничего не буду.
Perl 6
>мартышек за нелюдей
Как и нейродибилов
> Картинка хуйня.
Ну да, там больше половины хуйни с верхней части должно быть внизу. Пистон особенно.
Главное, что внизу должна быть твоя фотка
судя по тому, что ты не осилил установить питон под виндоуз, ты ни на чем писать не будешь
Берёшь готовый docker image и без задних мыслей работаешь.
Кому тут надо было нейронки на сях под винду
https://github.com/Tyill/skynet
Автор, правда, выглядит не вполне адекватным
https://github.com/Tyill/skynet
Автор, правда, выглядит не вполне адекватным
А что такое dropout?
Это когда тебя заёбывает математика и ты из универа отчисляешься.
Очень смешно. Продолжай.
Что ты хочешь сверх определения из википедии? Даже на русском страничка есть.
Что это такое в нейронках? И как это работает. Можно на пальцах объяснить
Рандомый вес умножается на ноль с какой-то вероятностью. Это создает шум который помогает обучению
А я почитал вот на вики говорят убирают нейроны, а не связи, ведь если вес умножить на ноль то связь уберется. А а вероятнсть, она по распределению бернулия? Как это по распределинию бернули вероятность сделать?
>А я почитал вот на вики говорят убирают нейроны, а не связи
Не знаю, что в tf, что в керасе убирают именно связи. Нейрон тащем-то это множество связей в слое (например в случае полносвязного слоя это строка матрицы), так делать тоже можно, но я смысла от этого не вижу.
>А а вероятнсть, она по распределению бернулия?
Наверное, не задумывался. Очевидно, что может быть либо 0 либо 1 с какой-то вероятность, наверное это может называться как-то, но тебе должно быть похуй, потому что лично тебе это ничего не дает.
>Как это по распределинию бернули вероятность сделать?
Вызвать numpy.random.binomial для n=1.
>Вызвать numpy.random.binomial для n=1.
А разве так не приблизительно половина связей отвалится?
Только если p=0.5. Но вообще дропаут 0.5 это норма.
>p=0.5
А как выбирают, или это оптыным путем? Или есть какие то факторы? И применять его на проверке сети, или во время обучения
Кстати а как понимают что сеть переобучена?
Те, у кого железа мало, вынуждены опытным путем, те, у кого много, перебирают разные варианты, пока не заработает.
>И применять его на проверке сети, или во время обучения
Это хуевый вопрос, он значит, что ты полез в нейронки, не освоив классический машоб хотя бы на уровне линейной регрессии. Регуляризация применяется во
Первым делом изучаешь основы машоба, а именно что делать в случае overfit и underfit в случае банальной линейной регрессии, посмотришь графики и получишь интуицию, что это такое. Там тебе скажут, что датасет нужно делить на 2 части, training и validation.
В случае классического машоба примерно в отношении от 10 к 3 до 10 к 1, в случае нейронок, в котором датасеты огромные, сойдет и 100 к 1 и 1000 к 1. Цель - validation выборка она как соцопрос, не обязана быть супербольшой, но должна иметь адекватную статистическую погрешность, на 140 миллионную страну 1000 случайных людей достаточно, тут примерно так же.
Далее тренировать на training, затем приодически проверять на training и validation.
В итоге, периодически ты будешь получать 2 числа, loss на training и на validation. И эти числа могут быть чисто математически:
1. Равны
2. Validation loss больше training loss
3. Validation loss меньше training loss
Когда они равны, это значит, что у тебя нейронка одинаково реагирует на данные, которые не видела и на те, которые видела. Это хорошо. Если при этом ты не добился нужного тебе качества работы, это недообученная сеть, нужно обучать дальше. Если же ты обучаешь уже долго, а качество все равно низкое, тебе нужно усложнять нейронку, можно убрать регуляризацию, хотя добавить ее тоже может помочь. Также может помочь более грамотно инициализировать слои. Например, предобучить нейронку на каких-то других похожих данных, которых много, далее инициализировать нижние слои шумом. А еще, например, U-Netы и прочие сетки с апсэмплингом страдают от checkerboard artifacts и это лечится инициализацией. Таких вещей много, они копятся в голове с опытом.
Если validation loss больше training loss, нейронка лучше реагирует на те данные, которые видела. Это плохо - значит, она разучивает тренируемые данные, а не учится обобщать. Есть два решения этой хуйни - больше данных, и совершенно точно нужно добавить регуляризацию. А вот модель усложнять точно не нужно.
Если же validation loss меньше training loss, у тебя какая-то хуйня с делением датасета на validation и training множества.
Соответственно, как видишь, в двух случаях регуляризация помогает. Поэтому имеет смысл впилить ее сразу. Дропаут - это один из способов регуляризации. Он удобен тем, что у него есть 1 простой параметр, собственно вероятность дропаута. Поэтому его легко настраивать, чтобы получить нужный уровень. Есть и другие способы.
Дальше начинается долгий цикл работы. Зависит все от количества у тебя видюх. Если их мало, нужно экономить ресурсы, если много, можно перебрать все возможные гиперпараметры простым случайным перебором.
Берешь датасет, и делаешь в нем такую подвыборку, что сетка тренируется за комфртное время. Например, за час. Добиваешься на таком мелком датасете оверфита. Как добился, борешься с ним, оставляя общее качество работы - добавляешь регуляризацию, если совсем вилы, можно увеличить свой датасет из отложенного. В конце концов ты или добьешься своей цели, или упрешься в андерфит. Борешься уже с ним, пока не добешься оверфита, уже не на новом уровне. Когда добился приемлемой работы и знаешь разброс гиперпараметров, настраиваешь автообучение с помощью скрипта типа https://github.com/shibuiwilliam/keras_gpyopt, врубаешь полный датасет и едешь бухать на неделю. Желательно на AWS, сразу на десятке инстансов.. Зависит от того, сколько у твоего клиента денег. Как-то так.
>Регуляризация применяется во
Ты не дописал тут что то?
>training и validation.
Это типо на чем тренируешь и на чем проверяешь сеть?
>loss на training и на validation.
loss это типа неправильные срабатывания сети?
А какой приемлемый проент неправильных срабатываний обычно?
>гиперпараметров
Не понял что это такое.
Ну ты ведь нихуя не знаешь. Иди учи теорию.
Дак я поэтому и спрашиваю тут.
Накатить питон и накатить питон с тенсорфлоу и кучей анальных фреймов с работой на гпу это разные вещи.
бтв мартыхан порвался
>Ты не дописал тут что то?
Скорее не стер. Ниже там все расписано.
>Это типо на чем тренируешь и на чем проверяешь сеть?
Да.
>loss это типа неправильные срабатывания сети?
Нет, это accuracy, если ты про классификаторы. Loss это то, что оптимизрует оптимизатор. Почитай про линейную регрессию и как ее сделать с помощью градиентного спуска. Нейронка чуть сложнее, но принципиально не отличается.
>Не понял что это такое.
Это параметры, влияние которых на градиент loss'а ты вычислить не можешь. Например, потому что они дискретные, или потому что дохуя шумят, или потому что они выстро вырождаются в хуйню какую-нибудь. Поэтому в процессе обучения ты не можешь их подкрутить, только выбрать перед обучением и обучать дальше. Параметр p у дропаута как раз такой.
>линейную регрессию и как ее сделать с помощью градиентного спуска.
Я читал, там шарик катится вниз с горки, и ищет самую глубокую яму. Лос это радиус, вокруг шарика, куда он в следующее место покатиться?
Нет, это сам рельеф
А тоесть лос влияет на глубины сильность выпуклости и сложность рельефа?
Лосс это и есть рельеф
Двач, хелп. При копировании текста происходит какая то ошибка, когда вставляю текст на выходе получаются неизвестные символы, как это фиксить?
А почему сети углубляют, а не расширяют?
Интересный кстати вопрос, потому что читал как-то что в исходя из времени на реакцию и скорость распространения нервных импульсов, мозг в глубине успевает на 10-12 что ли слоев пройти всего. Это про всякие задачки на реакцию конечно только, побежать на звук выстрела например.
Ага все хотят дип лернинг, но почему никто не делает width лернинг или как нибудь так, типа в ширину учить
Потому что эквивалентная нейронка с меньшим числом слоев должна быть экспоненциально более широка. То есть глубина позволяет кодировать очень сложные функции малой кровью.
Мозг интересен не реакцией на безусловные рефлексы, а долговременными процессами.
Память-предсказание.
Я не об этом. Та же визуальная кора - рекуррентная нейронка, первая реакция идет да, 10-12 слоев, но потом сигнал зацикливается и формирует уже более сложные структуры. Поэтому мозг глубокий, вообще альтернативы глубине нет.
>рекуррентная нейронка
А расскажи про такой тип нейронок. В чем смысл обратной связи? Она не впадает в бесконечный цикл вычисления? Их используют не только для визуальных распознований? Вес обратной связи так же обучением настраивается вместе с основными весами или поотдельности? У нейрона в рекуретной сети два выхода? для обратной связи и прямой связи или это один и тот же выход? Для них тоже дропаут работает и бэкпропом их обучают или как то по другому?
Нахуя кто-то будет тебе это рассказывать, если ты можешь просто проследовать в википедию и уже нормально прийти спросить что не понятно?
> эквивалентная нейронка с меньшим числом слоев должна быть экспоненциально более широка
Но разве она не будет проще в обучении? Ведь широкая нейронка будет проще в обучении, нужно будет добавлять дополнитьный нейрон, если сеть не может обучиться нормально.
Я тебя не заставляю, не нравится не отвечай, кто захочет ответит. Я вроде нормально спросил, в принципе можно с такой логикой тред выпилить и заместо него закрепить пост, с ссылкой на вики.
Ты похоже не понимаешь слово "экспоненциально", от которого любой программист бежит, как только видит.
Тебе чтобы заменить двуслойную нейронку однослойной, нужно exp(2) больше параметров. А десятислойную exp(10) больше параметров. exp(10) это 22026, если что. То есть если у тебя десятислойная сетка весит мегабайт и обучится на CPU, то однослойный аналог будет весить 22 гигабайта и не влезет в 1080 Ti. Обучаться же он тоже будет вечность. Однослойный аналог resnet с 700 слоями же будет иметь 1.0142320547350045e+304 больше параметров, то есть не влезет в видимую вселенную, в которой все 1e80 атомов.
Я бы посчитал для 1000 слоев, но в дабл оно уже не влезает, а подключать бигнамбер библиотеки мне влом.
Прочитай пару книг про алгоритмы и этот вопрос у тебя отпадет.
>В чем смысл обратной связи?
Увеличить глубину до бесконечной
>Она не впадает в бесконечный цикл вычисления?
Впадает
>Их используют не только для визуальных распознований?
В основом для обработки последовательностей произвольной длины.
>Вес обратной связи так же обучением настраивается вместе с основными весами или поотдельности?
Этого в определнии нет. Главное, что выход соединен со входом. Сами рекуррентные нейронки сейчас сложные, читай про LSTM
>Для них тоже дропаут работает и бэкпропом их обучают или как то по другому?
Дропаут работает. Про бэкпроп почитай про backpropagation in time. Если кратко, то рекуррентную нейронку разворачивают в нерекуррентную с конечной глубиной, и обучают уже ее.
> Мозг интересен не реакцией на безусловные рефлексы, а долговременными процессами.
Почитай что ли про рефлексы прежде чем умничать. В последний раз когда я проверял уши не были к спинному мозгу напрямую подключены.
Хочешь хамить, а не общаться - проследуй нахуй.
>Впадает
Так она тогда никогда результат не даст же? Будет постоянно добавлять входные связи прибавлять или я что то не так понимаю? Или это что то наподобие операционного усилителя?
>заменить двуслойную нейронку однослойной
Круто, спасибо за объяснение, все понятно.
>Или это что то наподобие операционного усилителя?
Скорее что-то вроде БИХ-фильтра - в момент времени t сигнал проходит сквозь нейронку и выдается первый результат на выход и в цепь обратной связи, в t+1 выдается новый результат и т. д.
В теории можно единожды подать сигнал и дальше бесконечно наблюдать как он ходит по цепочке обратой связи, на практике он затухнет.
А к входному слою подключна обратная связь от внутреннего слоя? Если к входному слою не подключать обратную связь то во внутренних слоях сигнал затухнет определенно.
>Если validation loss больше training loss, нейронка лучше реагирует на те данные, которые видела. Это плохо - значит, она разучивает тренируемые данные, а не учится обобщать.
Погоди, когда test loss > training loss - это же нормально. Вопрос в том, насколько больше, а также в динамике. Переобучение - это когда train loss падает, а test loss растёт, разве нет?
Тоже подумал, что это странно. Но может ты путаешь это с аккураси? Лос типа это другое как я понял, хоть и не до конца.
>Лос типа это другое как я понял, хоть и не до конца
Loss - это то, что у тебя фигурирует в математической постановке задачи. Accuracy - это то, что ты будешь потом показыв
ать почтеннейшей публике.
А почему именно экспонента? Ее просто эмпирически вывели, или в чем-то другом дело?
лол почему экспоненциально
казалось бы число параметров в сетке = число слоёв * число параметров в слое
кстати как вы расширять собрались?
>кстати как вы расширять собрались?
Вот этот вопрос нужно было с самого начала задавать.
Вводится некий способ посчитать сложность аппроксимируемой функции, он считается для глубоких и мелких сеток и получается, что глубокие сетки могут аппроксимировать более сложное с меньшим числом параметров. Таких статей с разными способами много, например https://pdfs.semanticscholar.org/f594/f693903e1507c33670b89612410f823012dd.pdf
Мне это неинтересно
> математической постановке задачи.
Можешь объяснить что ты под этим подразумевал? Пример небольшой может какой есть? Как это выглядит в жизни.
у меня все почему-то работает, даже на работе на виндоуз один раз накатывал, и все работало
А в какое t тогда собирается выходное значение сети которое результат работы? Или это как то тактируется с подачей входного сигнала? Или собираются все значения до тех пор пока сеть не затухнет?
Не понятно что за последовательности произвольной длинны? Количтво входных сигналов всегда одинаково вроде.
Что такое линейная регрессия методом наименьших квадратов, знаешь?
>методом наименьших квадратов
Лол
А я еще раз напомню, что для успешной карьеры в машинном обучении и анализе данных нужно быть выпускником топового математического факульета: мехмат мгу, фивт/фупм мфти, чебышевка СПбГУ, фкн вшэ. Все, если вы выпускник другого вуза, вы просто никому не нужны. Смиритесь с этим и идите в более приземленные области: веб, мобилки, энтерпрайз. В сложные наукоемкие отрасли вам дорога закрыта.
Какие постоянные аутотреннинги маньки, сидящей в МФТИ и не осиливающей машоб.
> сидящей в МФТИ
Это если в Долгопрудном
> мехмат мгу, фивт/фупм мфти, чебышевка СПбГУ, фкн вшэ.
Африканские ПТУ. Ни в одной нормальной стране тебя с дипломом из этих деревенских шараг в машоб не возьмут, а в рашке машоба нет
Пост тральный, но это правда. Просто в нейроночках сейчас жопа - ломанулась ТОЛПА народу, причём весьма крутого. Поэтому на «настоящие» позиции, где надо исследованиями заниматься, попасть практически невозможно. Нужен топчик пхд, а на топчик пхд тебя возьмут только когда у тебя УЖЕ будут статьи в нипсе... куда ты не пройдёшь, если ты не в тусовке. На реддите недавно кипишь был. И проф, выдвигающий космические требования на свой пхд, сказал, мол, да, это проблема. Ваша проблема.
Из мордора все это организовать анриал. Поэтому у нас три стула: пытаться догнать поезд бегом, идти в макаки на обслуживание успешных выпускников Стенфорда, или кукарекать с помоечки о том, какие все вокруг дебилы.
А, забыл вишенку на торт положить. В том треде на реддите ещё объявился чел, который сказал что у него есть эти вожделенные статьи на нипсе но... барабанная дробь... на пхд его все равно не берут. Потому что даже этого мало. Реально ещё нужны рекомендации от известных профессоров. Где таковые живут мы все примерно представляем, и внутри границ мордора их точно не бывает.
>чебышевка СПбГУ
Это не факультет, даун.
> Поэтому у нас три стула:
Вообще, четыре. Четвёртый стул - сделать что-то интересное, чтобы все охуели. Не негров распознать, а что-то реально прорывное. А такое, как и везде, возможно на стыке машобчика и чего-то ещё.
>что-то реально прорывное
Игрули для быдла, типа FaceApp?
сука ну вот зачем мне настроение испортил
Бля. Нихуясе. Жир потёк из дисплея.
>Поэтому на «настоящие» позиции, где надо исследованиями заниматься, попасть практически невозможно.
В чем заключается "настоящесть" этих позиций? Запилить очередную GAN, а потом узнать, что китаец Ляо за этот год запилил GAN намного круче и все его цитируют, а не тебя? Или, пользуясь мощностями гугла, обучить какой-то йоба RL алгоритм тоже без особых последствий? Это просто позиции занятия хардкорной наукой со всеми присущими этой самой науке достоинствами и недостатками - а именно, низкой зарплатой в обмен на тщеславие и возможность получать высокую зарплату, когда ты уйдешь из науки в бизнес на хорошую позицию. Но, давай по правде, что-то уровня дропаута ты не откроешь, а быть фамилией из нескольких сотен на NIPS такой себе пряник.
На самом деле настоящие позиции во внедрении. Когда ты из десятка пейперов с архива выбираешь парочку, очищаешь их от интеллектуальной собственности методом скрещивания ужа с ужом, и превращаешь в конкретный бизнес-продукт, который продается за конкретные деньги, а тебе с этих денег платят высокую зарплату здесь и сейчас. А ученые пусть делают свой зерграш, генерируя сотни статей, из которых 99 окажется шлаком и бездарно проебанным временем.
И стулья есть такие
1. Идти в российскую контору, где на твою научную карьеру всем похуй.
2. Искать зарубежную удаленку, где на твой диплом высшей заборостроительный школы тоже всем похуй.
3. Устраиваться макакой, копить $20000, ехать в Канаду получать master degree и далее либо в науку, либо в бизнес
> Устраиваться макакой, копить $20000, ехать в Канаду получать master degree и далее либо в науку, либо в бизнес
Планирую идти таким путем. Мне 28, сейчас приступаю к статистике после анализа и линейной алгебры на OCW. Хочу вкатиться в computational biology или смежное. Иногда очень страшно что уже поздно и все поезда давно ушли, и пора становиться старшей макакой, покупать дом, собаку, делать детей и садиться ждать смерти.
Всё равно ИИ не создаёте...
А я пошел вторым путем. В бизнесе от макаки до машоба не такая большая пропасть, если ты уже устроился куда-то.
>computational biology
Вычислять протеины?
Я знаю что такое наименьшие квадраты, а вот регрессию нет. Расскажи что такое эта регрессия?
Потихоньку пытаюсь понять разницу в скиллсете между протеинами и анализом последовательностей ДНК, да.
В бизнес трудно без дегри вроде бы минимально хотя бы релевантный.
>В бизнес трудно без дегри вроде бы минимально хотя бы релевантный.
С хуя ли? Обыкновенный карьерный рост, пилишь пет-проекты, устраиваешься ниже рынка, растешь. Я сам вылез на переписывании чужого кода с матлаба на с++, работа макаки, но сейчас свои алгоритмы пилю.
может книжку почитаешь?
или ты решил что тебя на дваче на остриё науки посадят?
рекомендую бишопа очень
Просто есть два пути: мастер дегри и макакить три года, тогда можешь смело идти на интервью; макакить и расти, качать кармочку и гитхаб, тогда тебя сами найдут, если ты толковый.
Я может и знаю что такое регрессия, только я не понимаю что это означает. Типа я знаю как линейное уравнение выглядит. Почему это регрессией называется? Что то упрощают при этом? И делают это линейными уравнениями? Типа круг можно линейно регресировать в пятиугольник потом в квадрат и тд?
>бишоп
А чо за книжка, можешь исбн или название хотя бы сказать. Посмотрю может. Просто когда читаешь не особо понятно, надо постепенно как то к этому самому приходить.
Аппроксимация дискретного набора точек (на самом деле необязательно) прямой (одной) в соответствии с неким критерием. Для наименьших квадратов - это средний квадрат расстояния от каждой исходной точки до прямой по вертикали (кажется).
Если тебе такие элементарные вещи непонятны, то тебе очень тяжело придется дальше.
Никто тебя не найдет. Путь один и тот же и дегри только слегка поможет тебе найти первую работу и набрать знакомств. Больше никакой разницы нет. Твое подсознательное желание встать на рельсы и типа тогда все будет ок, это просто желание переложить ответственность с себя на преподавателей учебного заведения.
http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf
сразу становится понятно почему что
А как определяют в линейной регрессии погрешности, перебирают все варианты при которых самая большая погрешность в одном из вариантов перебора будет самой меньшей из всех переборов?
хотя если не понял что такое линейная регрессия из википедии то наверное лучше вообще во что-то другое вкатываться
> самая большая погрешность
средний квадрат погрешностей
Да с википедией проблема, там все слишком на слишком математичном языке написано хз как описать.
Зарплаты в нейрочках нормальные. И туда не за ЗП идут, а за тщеславием, да. У всех есть амбиции, и как показывает практика амбиции стать ученым и исследовать то, что лично тебе интересно, а не то, что дядя сказал, есть у очень многих. В этом и заключается настоящесть.
>что-то уровня дропаута ты не откроешь
Не попытавшись - точно не откроешь.
>а быть фамилией из нескольких сотен на NIPS такой себе пряник
Кому как.
>Зарплаты в нейрочках нормальные.
В бизнесе да. В науке хуи сосут, на то она и наука.
>и как показывает практика амбиции стать ученым и исследовать то, что лично тебе интересно, а не то, что дядя сказал
Ох лол. В науке тебе точно такой же дядя и говорит, что тебе исследовать. Разница в том, что в случае бизнеса есть конкретная заинтересованность в твоем успехе, а в науке похуй, прозанимался год говном, нет результатов, но зато публикация есть.
>Не попытавшись - точно не откроешь.
Строить свою жизнь на этом это примерно как строить свою жизнь на планировании выиграть в лотерею.
Ассистант профессор в универе это в районе 150к, уровень хорошей макаки. В каких-нибудь Дипмайндах, скорее всего, очень высокие ЗП. В финансах может быть гораздо больше, но там своя атмосфера - далеко не факт, что выиграешь в итоге.
Пхдшники и постдоки нищууют, это да. Это стиль жизни, норми не понять.
В науке тебе сначала дядя говорит, но подразумевается, что ты начнешь генерировать идеи и воплощать их сам. Это ценится в ученом, а не исполнительность. Вообще наука сейчас во многом напоминает бизнес. Пхд, постдок - это наемные рабочие, а профессор - владелец бизнеса. Он делает что хочет, но может и прогореть, тут лотерея. В жизни вообще все лотерея, и чем выше ты лезешь, тем меньше шансы.
>Ассистант профессор
Лел, чтобы сейчас стать ассистант профессором в такой сфере надо три очка порвать, десять вылизать, получить геморрой, близорукость, пролежни, трижды лечиться от депрессии и дважды пытаться покончить с собой. Люди в постдоках сидят когда у них дети школу уже заканчивают порой.
О чем и речь ИТТ. Все что ты описал это следствие того, что очень много желающих быть учеными. Это титул, почет, чувство собственного достоинства не сравнимые ни с чем. Ты будешь знать, что кто-то другой заработал миллиарды, но его никогда не процитируют в статье - в науке его не существует.
И на самом деле все что ты сказал это не очень нужно. Нужно всего-то родиться в богатой, интеллигентной семье в Америке. Закончить Гарвард по прикладной математике, во время мастера ошиваясь в лабе с именитыми профессорами, которые тебя впишут в статьи на нипсе. Заручившись их рекомендациями, пройти на топчик пхд, тоже в плюще естественно. Там делать по статье в год и вписываться соавтором еще на две в год. И вуаля - у тебя очень хорошие перспективы на кресло.
Вася, а с тобой о чем говорили изначально?
> Поэтому на «настоящие» позиции, где надо исследованиями заниматься, попасть практически невозможно.
> Нужно всего-то родиться в богатой, интеллигентной семье в Америке.
>Ассистант профессор в универе это в районе 150к, уровень хорошей макаки.
Именно. Супер-профессионал, нехило так выросший в карьере, получает как хорошая макака.
>В науке тебе сначала дядя говорит, но подразумевается, что ты начнешь генерировать идеи и воплощать их сам.
Как и в бизнесе.
>Вообще наука сейчас во многом напоминает бизнес.
Наука - не бизнес, KPI разные. В науке в твоем успехе никто не заинтересован, там зерграш и зергов никто не считает.
>Нужно всего-то родиться в богатой, интеллигентной семье в Америке.
Именно поэтому NIPS 2017 это:
Zhen He, Shaobing Gao, Liang Xiao, Daxue Liu, Hangen He, David Barber
Constantinos Daskalakis, Nishanth Dikkala, Gautam Kamath
Pan Ji, Tong Zhang, Hongdong Li, Mathieu Salzmann, Ian Reid
Rohit Girdhar, Deva Ramanan
Heinrich Jiang
Fabian Pedregosa, Rémi Leblond, Simon Lacoste-Julien
И так далее
Тебе в науке делать нечего, потому что ты туповат и не видишь настоящей картины, в которой наука - удел иммигрантов, так как это тяжелый и неблагодарный труд, нафантазировал себе какой-то хуйни про Гарвард и доволен.
Лол. Вполне себе американцы из богатых семей.
Чет в голосяндру, я бы вашу науку в современном виде к хуям разогнал. Бесполезные дармоеды.
олды здесь?
помогите ньюфагу:
Есть куча csv файлов, в каждом файле два столбца данных, по этим данным нейронка должна решать к какой категории (их всего 2) относятся данные
Как это можно сделать?
помогите ньюфагу:
Есть куча csv файлов, в каждом файле два столбца данных, по этим данным нейронка должна решать к какой категории (их всего 2) относятся данные
Как это можно сделать?
>Как это можно сделать?
Заплатить 250 рублей дауненку из МФТИ
Непонятно, с какого уровня ты это спрашиваешь. Ты когда-нибудь машобом занимался? Программировать умеешь?
на питоне умею, машоб не пробовал
данные в файлах числовые в формате float, значения от 1.1 до 20, в два столбца
Скорее всего, тебе нейроночки не нужны. Рекомендую xgboost. Смотри туториалы в интернете.
Я вижу, что во всех примерах все данные в одном csv файле, а у меня на каждый label свой отдельный csv файл с 20 строками данных, как быть?
Пихвовекторизацию пробовал?
Мда, блять. Зачем тебе это вообще? Что ты делаешь?
Да какая разница сколько файлов? Объедини в один. Должен быть набор пар входной вектор - целевое значение.
определяю к какой категории относятся данные
попробую, спасибо
По информатике домашнее задание? Ты же нихуя не знаешь не то что в нейронка, да даже в программировании.
>Я вижу, что во всех примерах все данные в одном csv файле, а у меня на каждый label свой отдельный csv файл с 20 строками данных, как быть?
>Пихвовекторизацию пробовал
>попробую, спасибо
Это зелень такая здесь сидит? Что происходит, блять?
Да не совсем
читай статью на последнем нипсе (на icml 2018 тоже выходила похожая) про пихвовекторизацию
А где можно почитать про линейную регрессию, как считается она. На русском желательно, хотя если будет на английском но понятно тоже могу глянуть. А то везде сразу дают уравнение, считая в какой то программе под названием регрессия или на питоне со всякими значками в стиле SS или R.
Говно, ты? Модер тебе пермач не выписывает, что ли?
>пермач
>Модер
>пишет на АИБ
Ты совсем тупенький?
По айпи никогда не банили? Совсем тупенький?
>По айпи
Ох лол, не рассказывайте ему про dhcp и динамические ипишники.
> А где можно почитать про линейную регрессию, как считается она.
ISLR же. Там первые страниц 300 про линейную регрессию.
>ISLR
А есть что то для начинающих и на русском? Я так и не могу понять, вот есть как у верхнего чувака цсв с двумя столбцами данных. Если я построю уравнение линейной регрессии это и будет предскзание? А зачем тогда вообще нужна нейросеть и все эти бэкпропы?
Потому что данные не всегда представимы в виде цсв с двумя столбцами.
Ну если я правильно понял, то это будет просто сумма уравнений линейных регрессий? Ну или система.
И если они не могут быть представлены так, то зачем тогда изучать регрессию?
>И если они не могут быть представлены так, то зачем тогда изучать регрессию?
Блядь потому что есть случаи когда они представимы.
> сумма уравнений линейных регрессий
система линейных уравнений, относительно параметров прямой, которой ты аппроксимируешь данные.
https://en.wikipedia.org/wiki/Simple_linear_regression
Начни с одномерного случая, потом попробуй в голове обобщить на n-мерный
>есть случаи когда они представимы.
Но тогда это уже будет не нейронка, а просто статистика, разве нет?
>Simple_linear_regression
Наверное придется там изучать, думал может есть получше объяснение, надо подтянуть знания, что такое крышечка или черточка сверху.
> что такое крышечка или черточка сверху.
там прямо в тексте:
sum of squared residuals - крышечка
average - черточка
Привет Анон.
Помоги пожалуйста советом.
Как мне подступиться к задаче:
Задача похожа на Affinity Analysis, Pattern Mining ( Если я правильно её классифицировал )
Возьмем пример покупательской корзины в которой необходимо узнать самые популярные наборы из 2ух-3ех предметов, без анализа "Если куплен A, то с вероятность p он купит B", т.е просто узнать "Самый популярный набор:
1. ABC 3 раза
2. BCD 2 раз
3. ...
Будем считать что наборы равны AB=BA
Пример Матрицы:
N| A B C D
1| 0 1 0 1
2| 1 1 0 1
3| 0 1 1 1
4| 1 1 0 1
5| 1 1 0 0
6| 0 1 1 0
Каждая строка - транзакция, каждый столбец - продукт.
Мой наивный метод был - сложить все строки и считать что самые покупаемые пары - с самым большим значением, но быстро понял что неправ.
Есть ли готовые алгоритмы для нахождения подобной выборки?
Может тут и не нужен никакой МашОб, а есть более простое решение, алгоритмическое.
Просто новые идеи не посещают и старые отпустить не могу.
Просто я когда про вектора читал, там это совсем другое означало. Путает сильно.
Видимо придумал - нужно просто посчитать количество дубликатов по строкам, спасибо анон
Потому что перед тем как лезть в машоб нужно хотябы базово обучиться программированию.
> Но тогда это уже будет не нейронка, а просто статистика, разве нет?
Весь машоб это и есть статистика. Ты думал, магия какая-то?
Москва не сразу строилась
ПЕРЕКАТ
Мне кажется это очень жирный тралль
Bamp
Продолжаем спрашивать очевидные вещи, о которых знает любой индус, прочитавший хоть одну книгу по машобу.
FAQ:
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Архивач:
http://arhivach.cf/thread/389248/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2017 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Предыдущий тред: