По поводу второй пикчи, полгода с ребятами угарали по EP и VMP. С несопряжёнными моделями хуйня, надо бы найти какие-нибудь пространства распределений, в которых можно было бы пилить какие-нибудь годные аппроксимации.
сопряжённые модели с гауссовым распределением
распределение параметров - гауссово распределение
распределение средних значений гауссова распределения параметров - гауссово распределение
распределение ковариации - распределение вишарта
гиперпараметры - точечные оценки
Нет у нас сопряжённых моделей, у нас в экспоненицальных семействах сидит тьма нелинейностей.
Линеаризацию пытались - хуйня, MCMC - слишком долго, 17 часов до адекватного результата на картинке 100х100
Я уже понял, что ты не слесарь.
если дабл то все кто выше - слесари
А датасцайентисты и NLP-гуру у вас есть? Посоветуйте, как быть с нечетким поиском.
Одна из практических задач: есть конфочка со списком пользователей — ерохин, sychov, yoba, peka, biтард итд. — и есть бот, который должен реагировать на команды вида "забань ероху", "кикни ёбу", "mute bitard". Я понимаю, что это можно сделать как-то путем приведения всех имен к одному или нескольким "нормализованным" видам(кириллическая транслитерация, латинская транслитерация, фонетическое представление в нескольких вариантах) и вычислениям расстояния Левенштейна, например. Но наверняка эта задача уже давно решена и для нее есть готовые библиотеки, которые я пока не смог нагуглить. Можете что-нибудь подсказать?
Одна из практических задач: есть конфочка со списком пользователей — ерохин, sychov, yoba, peka, biтард итд. — и есть бот, который должен реагировать на команды вида "забань ероху", "кикни ёбу", "mute bitard". Я понимаю, что это можно сделать как-то путем приведения всех имен к одному или нескольким "нормализованным" видам(кириллическая транслитерация, латинская транслитерация, фонетическое представление в нескольких вариантах) и вычислениям расстояния Левенштейна, например. Но наверняка эта задача уже давно решена и для нее есть готовые библиотеки, которые я пока не смог нагуглить. Можете что-нибудь подсказать?
Эта задача решается автодополнением никнейма по табу.
Транслитерируй и гугли soundex / sounds like, ML тебе тут не нужен.
Ты предлагаешь решение другой задачи.
Точно, совсем про Methaphone/Soundex семейство забыл, спасибо.
>ML тебе тут не нужен.
Это я знаю, но у нас нет NLP-треда. А NLP-тематика мне кажется родственной обучению. Я ошибаюсь?
Если говорить об обучении применительно к NLP, то тебе сперва нужен охрененный объём текстовых данных с соответствующими формализованными значениями. В примерно таком формате:
Словоформа, Значение, Падеж, Число
Ероха, 0.1342, 1.0 (И.П.), 0 (ед.)
Ерохин, 0.1342, 1.0 (И.П.), 0 (ед.)
Ероху, 0.1342, 0.7 (В.П.), 0 (ед.)
Ерох, 0.1342, 0.7 (В.П.), 1.0 (мн.)
Вася, 0.2045, 1.0 (И.П.), 0 (ед.)
Значения, соответственно, определяешь просто беря float по номеру в списке возможных значений в выборке. И да, прочие падежи и числа ещё зависят от контекста. Ну так вот, как научишь нейросеть определять значение по словоформе и контексту - считай дело в шляпе, можно распознавать любую форму любого логина, а также команды, если на глаголы надрочишь. Вот только soundex будет сильно проще, чем такие глобальные задачи решать.
Оверкилл задачи же, в cs 1.6 подобная задача была решена довольно неплохо.
Каким образом?
Без всякого NLP.
Комманда !ban @nickname работала.
а если никнейм =
''\\з= ( ʖ) =ε//’’ cRaZy|TaLiBaN [fRoM] fK cAiR* ''\\з= ( ʖ) =ε//’’
как тогда?
Бан по айди или номеру в команде, чё-то такое.
Простейший парсер комманд. Парси до первого пробела.
Охуенное решение задачи, да уж. Задача-то состоит в том, что с таким ником сработает простое "бан Талибан", ахалай-махалай.
Ну в самом "талибан" не все буквы могут быть на латинице/кирилице, поэтому такое решение и необходимо.
LSA жи есть. Если бота научить на нормальном корпусе документов (полно готовых), баны сможет лепить не только по близости слов с точки зрения расстояния Левенштейна (что вообще прошлый век), но и по семантической близости, притом не только отдельных слов, но и предложений. Проблема чисто техническая - как прикрутить LSA к боту. И да, раз уж вспомнили слово "нечеткий", то оно очень к месту, т.к. семантическую близость одного слова/словосочетания к другому можно рассматривать как нечеткое отношения со степенью принадлежности от 0 до 1.
> необходимо
Да неужели? Для твоей задачи ничего не нужно кроме транслита и fuzzy matcher'а как во всяких саблимах.
Или вот, дано три пользователя:
____________DEADPOOL__________ ___________DEADPOOL___________ ____________DEADPOOL_________
Тебе нужно забанить одного определенного из них. Enjoy your NLP.
Во-первых, это не моя задача.
Во-вторых, это чудовищный оверинжирининг, причём абсолютно бесцельный.
В-третьих, не понял при чём твой пример с одинаковыми никнеймами. Айдишники как раз от такой залупы и спасают.
> Во-первых, это не моя задача.
Ах, я подумал, что ты тот, кто предлагал "бан ероху", а ты про бан по айди говорил?
> Айдишники как раз от такой залупы и спасают.
Согласен, либо тупо кликать мышкой по сообщению / пользователю.
ML - подзалупное говно, популярное только в рашке, сране тупых пидорасов, которые хотят по-простому зарабатывать.
ML основано на вероятностной модели, поэтому, например, в робототехнике, если рука цуборга бьет тебе в ебало, она может промахнуться.
Но если вместо вероятностной модели использовать алгебраическую геометрию, точность будет идеальна. Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.
В этом разница между пидорашкинской наукой и зарубежной.
ML основано на вероятностной модели, поэтому, например, в робототехнике, если рука цуборга бьет тебе в ебало, она может промахнуться.
Но если вместо вероятностной модели использовать алгебраическую геометрию, точность будет идеальна. Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.
В этом разница между пидорашкинской наукой и зарубежной.
Совсем вы уже со своим швитым западом поехали.
каждый раз поражаюсь точностью формулировок
>Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.
Что же лучше:
-рука, которая бьет в ебало 5 раз из десяти, созданная за год;
-рука, которая попадает каждый раз, но которую еще пилить и пилить?
Этот вопрос в бизнесе уже давно решен. А твои представления о Западе сформированы экомацой.
так толсто что даже читать и отвечать не буду
> ML - подзалупное говно, популярное только в рашке, сране тупых пидорасов, которые хотят по-простому зарабатывать.
Угадай страну с наибольшм количеством вакансий в ML.
> ML основано на вероятностной модели, поэтому, например, в робототехнике, если рука цуборга бьет тебе в ебало, она может промахнуться.
А то люди не промахиваются, а сейчас в AGI даже ставят себе задачу достижения качества хотя бы человека.
> Но если вместо вероятностной модели использовать алгебраическую геометрию, точность будет идеальна. Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.
Стоимость разработки учитываешь? ML, не считая йоба диплёнинг, может пилить школьник на лаптопе два гига, два ядра.
> В этом разница между пидорашкинской наукой и зарубежной.
ЛеКун, Хинтон, Ын, Шмидхубер, Хуттер и Гёртцель наши люди, да.
>Но если вместо вероятностной модели использовать алгебраическую геометрию, точность будет идеальна. Однако для того, чтобы использовать алгебраическую геометрию, надо прочитать не одну толстую книжку, и только через несколько лет будет профит.
Копроматематики себе могут считать своими грязным ручишками что угодно, потом в любом случае задачу с цуборгом будет нужно решать управленцам, а в ТУ посмотрели на мазню математиков, сказали что оптимальная траектория - это конечно хорошо, а потом ввели внешнее возмущающее воздействие и сказали что это белый шум и не ебет. И вообще, всё суть черный ящик, главное шоб работало.
Ты тоже хорош. Из твоих условий оптимального решения не может быть принято.
Копроматематики себе могут считать своими грязным ручишками что угодно, потом в любом случае задачу с цуборгом будет нужно решать управленцам, а в ТУ посмотрели на мазню математиков, сказали что оптимальная траектория - это конечно хорошо, а потом ввели внешнее возмущающее воздействие и сказали что это белый шум и не ебет. И вообще, всё суть черный ящик, главное шоб работало.
Ты тоже хорош. Из твоих условий оптимального решения не может быть принято.
Маам, маам, я в телевизоре!
from scikit-learn import GradientBoosting
нахуй нужно, есть хгбуст
поста поста постакаем на своём веку
нахуй нужно, есть хгбуст
поста поста постакаем мы на своём веку
Анончики, где можно найти нормальный туториал по тензорфлоу? Документация вроде выглядит нормально, но хочется последовательного повествования с объяснением всего по порядку
А что там объяснять?
Палю годноту:
https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info
Можно даже в шапку добавить будет.
Ну мне многое непонятно.
Что такое сессия? На сайте ТФ написано что мы строим граф и выполняем все на С++ чтобы быстрее было, ну а соединение называется сессией. Ахуенно, а какая разница между
with tf.Session() as session: и tf.InteractiveSession() ?
Что за модели?
model = tf.initialize_all_variables()
Да и вообще хочется нормального, структурированного описания всего, а на сайте тф только пара примеров с описаниями что в каждой строчке делается. Все-таки отдельный фреймворк, своя структура кода должна быть, свои бест практисес и прочее.
Спасибо, выглядит очень годно
На самом деле только выглядит, мне кажется, что порой проще залезть в сырцы фреймворка/либы. Правда, там порой такой пиздец творится, что хочется громко и долго рыдать на кухне с водкой и песнями Пугачёвой.
Пытаюсь сделать XOR пример на хаксе, но результаты выходят неважные.
Error min: 0.146679667762552
Weight :[0.993097859025368,0.358106194371963,0.993144590457381,0.548357773363591,0.400469323659122,0.97559483873481]
0.665529010529132
0.713105233922201
0.70400433350312
0.740206773359699
вместо 0, 1, 1, 0
код
http://pastebin.com/D6wStRdx
Что я делаю не так?
обьясни что ты делаешь
Ты в каждой эпохе рандомишь веса?
он рандомом перебирает веса
> weight[j] = Math.random();
это всегда даёт положительные числа?
возможно тебе нужны отрицательные веса
Ты можешь вкатиться с ML, поднять бабла и купить себе трактор. Нет, ты будешь ныть. Дай угадаю, хотел вкотиться (мяу), но не осилил?
Лучше рука, которая попадает всегда.
Ты мыслишь как <сюда что-нить русофобское>, тебе главное по бырику балбецп кропаль поднять и по тапкам.
А вот <сюда подставить восхищение западом> работают на перспективу.
Как только рука будет доделана - всем плохим рукам останется только дрочить, попадая в пинус 5 раз из 10.
Причем делает это на хаксе. Есть ли предел извращению?
ПАЦАНЫ, Я КОРОЧЕ ШЕЛ СЕГОДНЯ ПО ОФИСУ И УВИДЕЛ ЧЕЛА В МАЙКЕ "ANN & ML", НУ Я ПОДСКОЧИЛ И РЕЗКО ПЕРЕЕБАЛ ЕМУ В ЩЩИ С ВЕРТУШКИ И ПОЯСНИЛ ЭТО КРИКОМ "НЕ ЛЮБЛЮ НЕЙРОНКИ", ПОТОМУ ЧТО Я УГОРЕЛ ПО НИСХОДЯЩЕМУ ПОДХОДУ, ПАЦАНЫ ДУХ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ЖИВЕТ ТОЛЬКО В ЛОГИЧЕСКОМ ПРОГРАММИРОВАНИИ, ГДЕ ЕБАШАТСЯ ПО ХАРДКОРУ, ГДЕ ПАЦАНЫ ЖИВУТ СИМВОЛЬНЫМИ ВЫЧИСЛЕНИЯМИ, ЭКСПЕРТНЫМИ СИСТЕМАМИ И ЕБУТ МАШИННОЕ ОБУЧЕНИЕ В РОТ! ТОЛЬКО PROLOG, ТОЛЬКО ХАРДКОР!!! МАККАРТИ ХАРДКОР МАКЛИСП ПРОЛОГ!!! пацаны ебашьте нейронщиков, машинлёрнеров, датасайнсеров, тензороёбов, угорайте на Macsyma, любите Алена Колмероэ, PROLOG и базы знаний! ГОВОРИТЕ ОТКРЫТО И СМЕЛО ПРЯМО В ЛИЦО! TOP-DOWN AI!
Поясни за гиперграфы с динамическими Байесовскими сетями в когнитивных архитектурах?
пытаюсь сделать пример отсюда
https://habrahabr.ru/post/312450/
Да
Math.random() выдает значения от [0.0, 1.0]
Если нужны и отрицательные, то в каком диапазоне?
попробуй хотя бы [-5.0, 5.0] или [-10.0, 10.0]
[0.0, 1.0] уже совсем тухло
>Копроматематики
Я тебе ща хуйцов в жопу-то понапихаю, пидор ебучий, сука!
попробовал, результаты все равно не важные
Ты понимаешь что такое эпоха?
Зачем каждый раз рандомить? Естественно она у тебя обучаться не будет.
покажи новый код
можешь ехо увеличить до 6000000 например
алсо твой подход тоже не важный, оно может и не заработать вообще
> var oInput:Float = h1Output weight[4] + h1Output weight[5];
тут ошибка?
Тебе рандомить надо ДО обучения.
в чем?
Я вроде как так и делаю. Вот написал более подробные комментарии к коду
Вот так короче должно быть
http://pastebin.com/cYANUPF5
За 4 примера ты нихера не сможешь обучить рандомные веса.
> в чем?
> h1Output · weight[4] + h1Output · weight[5];
->
> h1Output · weight[4] + h2Output · weight[5];
х2аутпут похерился когда ты копипастил
Бля, погоди, так у тебя же и веса не обновляются нигде.
Ужас, ну и невнимательность. Спасибо, результаты улучшились, но все равно далеки от "ожидаемых".
Error min: 0.0169421714870966
Weight :[4.20252078023247,-4.62134012761918,4.94013903530838,-4.75568818215233,2.00273622097117,-4.90724424147019]
0.189654914015695
0.875081564899919
0.872740092290493
0.88101808022021
Последнее число, должно быть приближено к нулю.
Так мне нужно всего решить эти четыре примера, что же касается эпох, то они проходят и весы обновляются. Сурс ниже
//Начинаем новую эпоху обучения
for (i in 0...echo){
//iteration
//weight generation
//Заново генерируем случайный массив весов
var weight:Array<Float> = new Array<Float>();
for (j in 0...6){
weight[j] = Math.random()*10 - 5;
}
Тебе надо не решить 4 примера, а на этих четырех примерах у тебя должна обучаться сеть, чтобы потом подобные примеры решать.
поставь веса интервал [-20.0, 20.0]
и подольше погоняй, должно сойтись
Разве обучения тут нет? Есть четыре примера и четыре идеальных ответа, сменяя типы весов, где получается ответ с минимальной ошибкой и есть обученная сеть. Или я чего то не понял.
Сделал 200 000 эпох, весы - как указано у Вас.
Результаты, однако, занятные.
Error min: 1.28708409018419e-006
Weight :[9.86162644029049,-9.62339217008311,11.9078840327887,-15.7031429090112,7.70839242490986,-19.9625130491306]
0.00217823378333181
0.999551134126215
0.999550385305801
0.999551158780416
все не пойму, почему последняя цифра стремится к 1, а не к нулю.
> Error min: 1.28708409018419e-006
ошибка тоже не правильная, должна быть около 1 с такими выводами
а хгбуст то ВСЁ
https://github.com/Microsoft/LightGBM/wiki/Experiments
https://github.com/Microsoft/LightGBM/wiki/Experiments
Ну все, новая игрушка у школуйни. Теперь все задания на кеггле будут этой хуйней пердолить.
>, если рука цуборга бьет тебе в ебало
Тут все жирнее - на самом деле, нихуя ты со своей алгебраической геометрии не получишь, кроме как доказательства существования руки в пространствах размерности не менее N с метрикой µ и при некоторых других дополнительных ограничениях которые потребовалось ввести, чтобы доказать эту теорему существования.
Такова алгебраическая геометрия
Здаров Анон, дублирую пост, пишу научную работу, выбрал научрука, интересно было машинное обучение, выбор был не большой, из 1 тела, сначала я просто читал, много, много... читал. Начитавшись, начал заниматься темой что мне предложил научрук, а именно - этап нормализации лиц для распознавания, написал алгоритм, вывожу 68 точек описывающие характеристики лица, получаю вектора лиц, кароч все норм, но этот пес сказал мне не юзать НС, ибо типо нет ресурсов у нас, и вот написал, собрал каскад. Дальше что делать не особо понятно, в первые обратился к нему, просто помогите определится с направлением движения - нужна научная новизна. Он ничего не может сказать и тут я понял что он вообще не понимает что я написал и что я сотворил, я к нему с вопросом относительно направления, он мне в ответ, нужно выбрать направление. Что делать Анон? (Магистратура)
Текущий результ на пикче, поднес картинку с телефона к вебке.
Основной вопрос, есть нормальный, мной написанный, алгоритм выравнивания без нейросети, в каком направлении двигаться? Что почитать? Нужна научная новизна.
Текущий результ на пикче, поднес картинку с телефона к вебке.
Основной вопрос, есть нормальный, мной написанный, алгоритм выравнивания без нейросети, в каком направлении двигаться? Что почитать? Нужна научная новизна.
Глаза нашёл криво, ту этого ТП-поделия и то лучше получается: https://play.google.com/store/apps/details?id=com.cyberlink.youcammakeup - работает в риалтайме, похоже, что тоже без НС обошлись. Правда при повороте в полупрофиль начинает попизживать - у тебя с этим как?
А вообще - не заморачивайся, наша наука в таком перде, что защитить может кто угодно любую пургу, сама по себе наша степень ничего не значит - хоть инновационный калькулятор пиши. Вот если по факту в твоей работе есть что-то ценное и препринт заинтересует дядей за бугром, то может выйти толк.
Знаю это дерьмо, там реализация алигмента от dlib, если интересно можешь глянуть, профиль немного тоже пидорасит у меня. Фишка моей работы в том что он разметит лицо даже его видно лишь на 60%, то есть закрой рот ладонью, он определит. А то что глаз подпидорасило, ну бывает хули, он быстро возращается обратно. Хз, требования большие у нас в универе. Просто ебанаты, такие как мой научрук могут не допустить к защите, если я не сделаю ничего нового. А чего сделать сказать не могут.
>dlib
Ну так и поясни, что новизна в том, что лицо определяется при неполной видимости.
Этого мало, потому что есть подобные методы, пусть решено по другому но все же есть. Я ж говорю, доебались пиздец. Новое давай, а чего давать не знают.
Ну, йопт. Добавь распознавание
1. Состояния глаз (открыт/закрыт)
2. Точек для закрытого глаза
3. Распознавание профиля и полупрофиля.
А также отслеживание текущего лица и использование его признаков для выравнивания в дальнейших кадрах (может пригодиться при поиске профиля/полупрофиля: т.е. мы уже знаем, как выглядит конкретный уголок конкретного глаза и можем этим воспользоваться при поиске опорной точки на сложном кадре с профилем)
Будет ново и охуенно, запилишь статью на хабре, прославишься. На научрука похуй, но ему тоже может понравиться.
Надо на сколяре погуглить. Ок спс за и идею. Но чет есть такое уже, помню читал подобное.
А у них есть сайт с красивыми картиночками? У хгбуст есть.
но раскрасок то у них нет
> нужна математика?
> для начинающего ничего особого знать не нужно
А потом мне пиздец?
Если полезешь в statistical learning.
тебе в любом случае пиздец
От пикрила шишка встала.
Весь сет выложить можно?
ну выкладывай
У меня нет.
У тебя есть?
Выложить можешь?
Датаны, посоветуйте что прочитать про классификацию ML методов. А то могу только в нейроночки и немного а SVM. А что такое random forest и почему нельзя использовать нейроночки вместо всех остальных методов я не знаю.
читни книжек из шапки
читни бишопа, мёрфи читни, у них все методю хорошо расклассифицированы
Привет, двач. Хочу в будущем заниматься машинным обучением. В какую сторону лучше двигаться: становиться программистом или заниматься научной деятельностью? С одной стороны, хочу делать что-то прикладное, чтобы виден результат, с другой хочу создавать что-то новое. Хватает ли обычным программистам знаний для того, чтобы заниматься исследованиями?
Интересно так же, как происходит работа над новыми технологиями в тех же google и miсrosoft: принимают ли в этом участие обычные разработчики или только люди с PhD из research отделов?
Интересно так же, как происходит работа над новыми технологиями в тех же google и miсrosoft: принимают ли в этом участие обычные разработчики или только люди с PhD из research отделов?
Аноны, поясните пожалуйста за нормализацию. Это реально может повысить качество предсказания?
Ну вот предположим я нормализовал данные и вот приходит мне строка с тестовыми данными, что мне с ней делать, как ее нормализовать?
Ну вот предположим я нормализовал данные и вот приходит мне строка с тестовыми данными, что мне с ней делать, как ее нормализовать?
Аниму меньше смотри, даун.
Я ее не смотрю, просто няшка понравилась
Забыл добавить, что у меня задача линейной регрессии.
Забыл добавить, что я строю линейную регрессию.
Какие признаки?
Их там около 200. Признаки все float'ы.
Нормализация переведёт все признаки в double/float.
Серьёзно, что признаки собой представляют, как и чем их извлекал?
Озаботься тем, чтобы у тебя даже в теории предельные значения тестовых данных не вылазили за предельные значения датасета. То есть, если датасет у тебя строго от 0 до 65535, то тестовые данные не более того. Если западло или не реально, то выравнивай по теоретическим максимуму/минимуму.
Это обезличенный реальный дата сет. У нас учебное приватное соревнование на кегле. Это просто X и y. Нам даже не сказали что это.
Я вроде все перепробовал, и вот решил попробовать нормализовать данные. Но я честно говоря не понимаю, что это даст, да даже если и даст, как мне потом прогнозировать то? Данные тестовые у нас же не нормализованны!
Спасибо за совет.
Попробовал нормализовать, нихуя. Даже немножко ухудшилось качество предсказания.
>Привет, двач.
Двач давно мертв, ты находишься на филиале мейлру.
>Хочу в будущем заниматься машинным обучением.
Похвально.
>В какую сторону лучше двигаться: становиться программистом или заниматься научной деятельностью? С одной стороны, хочу делать что-то прикладное, чтобы виден результат, с другой хочу создавать что-то новое.
См. прошлый тред про слесарное дело и науку, и выбери для себя. Если ты хочешь, чтобы я за тебя решил, то иди в науку. Естественно, программировать нужно будет в любом случае, если ты не на бумажке собрался нейроночки считать.
>Хватает ли обычным программистам знаний для того, чтобы заниматься исследованиями?
Нет.
>Интересно так же, как происходит работа над новыми технологиями в тех же google и miсrosoft: принимают ли в этом участие обычные разработчики или только люди с PhD из research отделов?
Новые технологии разрабатывают пхд, внедряют обычные кодерки.
Ребята, а вообще у вас есть какие нибудь лафхаки, как улучшить качество предсказания линейной регрессии?
Не использовать линейную регрессию.
Ну вот надо именно ее, есть что нибудь еще, короме нормализации, добавления-удаления факторов-наблюдений?
Есть выбросы?
Был один, но я его уже выкинул, качество модели улучшилось существенно.
А если найду?
Прогнозировать денормализацией. Алсо, большинство алгоритмов заточено на представление данных в виде числа с плавающей точкой в диапазоне значений 0..1, также в таком случае значение ошибки легко приводится к %.
Где про это почитать можно?
Проверил еще раз. Просто ничего не изменилось.
лол пардон, упустил
> Это реально может повысить качество предсказания?
нет
Почему для opencv до сих пор нет адаптера под третий питон?
Спроси ещё откуда там такая упоротая система хранения информации в изображении. Потому что OpenCV очень костная либа, править и адаптировать там что-либо - сущий ад.
Из сорцов собирай, что как не родной.
двачую другого анона, в рашке, украшке и тд науки нет. Защитишь все, что угодно. Можно добавить какую-то специфику, типа шумных условий, распознавании лиц нигеров, распознавании мимики и тд. Кроме того, насколько я понимаю, эта задача уже решена.
Хороший выбор.
На самом деле и правда не родной, первый день как вкатился в мл.
Анончики, сложно сделать нейроночку, чтобы она за меня реферат написана на основе нескольких готовых, чтобы этот рефер через антиплагиат прошёл?
Да.
Как? Неужели никто готовых решений не реализовал до меня?
В контесте от Сбербанка участвует кто-нибудь? Палите результаты. Или тут тред теоретиков, вяло рассуждающих о будущем?
> тред теоретиков, вяло рассуждающих о будущем?
this.
Но, если кто-нибудь будет тащить сюда и обсуждать реальные задачи, то все будут только рады.
Масштабирование данных (в общем смысле, не только конкретно нормализация) нужны для того, чтобы алгоритм работал с данными в более-менее стандартизованном масштабе. Основные подводные камни - не все данные можно масштабировать под одну гребенку и не все методы масштабирования применимы в конкретном случае. Нужно понимать, что это даст именно в данном случае, т.е. для конкретного алгоритма на конкретном датасете, т.е. как минимум нужно представлять работу алгоритма, что именно он делает с данными и желательны некоторые познания в предметной области, касающейся происхождения датасета. А не просто нормализовать все подряд потому что где-то так посоветовали.
3 задачи. Сайт - https://contest.sdsj.ru
Задача A
Для клиентов, у которых неизвестен пол (которых нет в обучающей выборке customers_gender_train.csv, но которые есть в transactions.csv), необходимо предсказать вероятность быть мужского пола (значение 1).
Пример решения: http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/pcoqkxzn4nnc4mj/baseline_a.ipynb
Задача B
Необходимо предсказать объем трат по каждой из 184 категорий на каждый день следующего месяца. Итоговый файл должен содержать предсказания по 184 30 = 5520 объектам. Объем трат в конкретной категории считается как сумма всех расходных транзакций в текущей категории по всем пользователям.
Пример решения: http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/tbtomfkohwe02qz/baseline_b.ipynb
Задача C
Необходимо предсказать объем трат в следующем месяце в каждой из 184 категорий для каждого customer_id, которого нет в обучающей выборке customers_gender_train.csv, но есть в transactions.csv. Итоговый файл должен содержать предсказания по 184 3 000 = 552 000 объектам.
Объем трат пользователя в конкретной категории считается как сумма всех расходных транзакций этого пользователя в текущей категории.
Пример решения:
http://nbviewer.jupyter.org/urls/dl.dropbox.com/s/j1595xoqa9oheyo/baseline_c_new.ipynb
Если кого заинтересовало, регайтесь. Введенную инфу не проверяет. На мыло ничего не присылает. Телефон тоже молчит. Решения можно загружать таблицей и автоматом получить оценку.
Архив с данными для лентяев - http://rgho.st/6B979GQqZ
Из того, что получилось у меня. Высчитал даты, которых изначально не было в оригинальной таблице. Прикрутил к ним даты праздников РФ, но пока не знаю как буду использовать.
Улучшил решение задания А до 0.86, похимичив с amount, и только преступаю к B и С.
Из печального, в оригинальном файле отсутствуют многие типы транзакций, которые присутствуют в tr_types. Некоторые приходится угадывать.
Забавно, но в оригинальной таблице есть вот такое вот провисание (пикрелейтед) между тратами мужчина/женщина. Женщины почему-то в среднем сливают на мотоциклы больше, нежели мужчины. Не знаю уж, с чем это связано. Может скутеры покупают сыновьям-уебанам.
Если есть молодые и шутливые ребята, то можно в телеграмме продолжить обсуждение. Да и просто поболтать на эту тему.
>Сбербанк
>Или тут тред теоретиков, вяло рассуждающих о будущем?
Практик дохуя? LightGBM или xgboost решат любую задачу, предложенную грефопарашей, кто лучше научился настройки крутить, тот и победит.
Охуенно. Покручу, хуле. Ты сам-то на первое место накрутил уже?
>описание задач
Ну я же говорил. Хгбуст содомируй, лучше там все равно ничего не придумать. Алсо можешь еще SVM навернуть, тоже стильно-модно-молодежно.
Спасибо за совет.
>Ты сам-то на первое место накрутил уже?
Я теоретик, вяло рассуждающий о будущем. А тута чистая сантехника, а-ля первый оп-пик.
Зачем вам решать олимпиадные задачки, когда здесь имеется задача, непосредственно связанная с практикой?
Бля, ну и ёбла у них на пике.
Последний во втором ряду сфоткался в стиле экстрасенсопараши.
Я слышал у третьекурсников в общагах неплохие нейронки за пачку доширака в аренду сдаются.
Говорят, что кусок сочной пиздятины они будут тюнить гиперпараметры всей комнатой.
> за кусок
быстрофикс
Сразу видно: дата слесарь преподаёт.
> саша видяхин
заебок чо
Блджад, помогите перевести вот эти два абзаца:
You can interpret the output as a probability. In particular, we interpret it as the probability:
P(Y=1 | X)
Which can be read as “the probability that Y is equal to 1 given X”. We usually just use this and “y” by itself interchangeably.
Of course, since binary classification can only output a 0 or 1, then the probability that Y=0 given X:
P(Y=0 | X) = 1 - P(Y=1 | X),
что это за "probability that Y=0 given X"? Куда копать для большего понимания, в сторону условной вероятности?
You can interpret the output as a probability. In particular, we interpret it as the probability:
P(Y=1 | X)
Which can be read as “the probability that Y is equal to 1 given X”. We usually just use this and “y” by itself interchangeably.
Of course, since binary classification can only output a 0 or 1, then the probability that Y=0 given X:
P(Y=0 | X) = 1 - P(Y=1 | X),
что это за "probability that Y=0 given X"? Куда копать для большего понимания, в сторону условной вероятности?
последний во втором виду довольно известен в области в рашке, не знаю, толковый он или нет, но в интернете активен.
вероятность, что y=0 при данном x
Сап лернач
Подскажите, пожалуйста, хороший задачник по терверу.
Подскажите, пожалуйста, хороший задачник по терверу.
Добавьте уже в шапку какой-нибудь учебник по теорверу попроще и на русском, хоть "Теория вероятностей" Вентцель, вопросы типа показывают, что тута некоторые даже азов не знают, а ML без теорвера это разве что нечеткие модели, остальное почти все на вероятностях.
Я нашел какой-то задачник у своего универа, решаю в данный момент по нему.
http://www.study.urfu.ru/Aid/Publication/970/1/Grahov.pdf
Там это, нейроночки научились абстрактный вырвиглазный прон рисовать. https://nplus1.ru/news/2016/10/21/neural-porn https://open_nsfw.gitlab.io/
Здесь пару тредов назад даже поднимали этот вопрос.
Хуи и пезды вместо собачек - это не то, обыкновенная пошлятина. Тут круче - нейроночку совращают NSFW-контентом, в итоге она накладывает на пейзажи и др. картинки не просто собачек или залупы, а саму суть порна, усвоенную ей в виде абстрактных фич подобного контента. Посмотри на фотки на гитхабе - как таковых половых органов нет, но при этом полученные картинки все-таки неуловимо порнушные. Любой человек посмотрит и скажет, что это ебля. Это жи чисто человеческий уровень абстракции, какой-нибудь художник вполне мог бы нарисовать такое, но нейроночка не человек. Все эти дипдримы - очень годное направление и в IT, и в искусстве, и в психологии даже.
Нужные для результата факторы определяет всё равно человек, в меру своей человеческой однобокой фантазии.
Блядь. Нувыпонели.
спс пдрчл
Это не "Хуи и пезды вместо собачек". Там принципиально другой подход к генерации, и нормальные люди прутся с этого. А у быдла - порно, да.
Какие разделы чистой математики родственны данной отрасли информатики?
Статистика, теория информации, оптимизация?
меры/тервер, множества, нечёткое логика
зачем?
А как химичил с amount, если не секрет?
Алсо, как я понял, в базовом скрипте для зачади А они разворачивают таблицу, чтобы по строкам были только уникальные ID, а по столбцам mcc?
Ньюфаг, не пинай, обоссы.
Аназмисы, у меня встал вопрос.
На всяких амазонах можно взять в аренду ну там с миллион инстансов, верно? Если ты богат, офк.
На каждом инстансе можно реализовать с 10 тысяч нейронов нейронов, допустим. Связь между этими нейронами тоже вполне можно реализовать.
Так почему нет хоть каких-либо больших нейронных сетей которые вполне могут распознавать речь, годно распознавать картиночки, видео, хуй знает что еще. В чем проблема?
На всяких амазонах можно взять в аренду ну там с миллион инстансов, верно? Если ты богат, офк.
На каждом инстансе можно реализовать с 10 тысяч нейронов нейронов, допустим. Связь между этими нейронами тоже вполне можно реализовать.
Так почему нет хоть каких-либо больших нейронных сетей которые вполне могут распознавать речь, годно распознавать картиночки, видео, хуй знает что еще. В чем проблема?
Нахуя?
Как нахуя? Просто так, чтобы было. Да и применений можно найти массу.
Распараллеливание нейроночек в виде готовых решений только в прошлом году стало появляться в виде готовых к использованию проектов - TensorFlow там, MXNet. Сейчас как раз гогл и т.п. конторы реализовывают то, о чем ты говоришь. Результаты будут в обозримом будующем, года через 2-3.
Чот как-то медленно, не? Так много кода и сложность большая? Разве нельзя собраться с мыслями и написать свою реализацию отдельного нейрона и связей на локальной машине и через сеть?
И в случае готовых решений (TensorFlow, к примеру), почему это не реализовали вот прямо сейчас? Есть какие-то технические трудности?
> применений можно найти массу
Ну вот когда будет спрос - будет и предложение. Арендовать мульон инстансов у амазона прост так)) никто не будет.
>И в случае готовых решений (TensorFlow, к примеру), почему это не реализовали вот прямо сейчас? Есть какие-то технические трудности?
Все реализовано, распараллеливание вычислений подграфов одной сколь угодно большой нейроночки на сколь угодно большом количестве комплюктеров в тензорфлоу есть вот прямо здесь и сейчас. Родина дала, бери, занимайся.
Больше того, там есть возможность записи промежуточных результатов вычислений. Допустим, один из камплюктеров, обсчитывающий некоторую часть нейроночки, сдох после недели непрерывной работы. Результаты не потеряются, а могут быть продолжены с момента последней записи сохраняющим узлом, а не с самого начала.
Таки что, хоть прямо сейчас могу сделать нейросеть в миллиард-другой нейронов(графов?)? Какое потребление ресурсов у этого TensorFlow?
И самый волнующий вопрос, а почему никто такой хуйни не сделал раньше?
>обсчитывающий некоторую часть нейроночки, сдох после недели непрерывной работы
Тут наверное нужен вопрос про быстродействие, но совсем не разбираюсь в этом. Это всё будет работать в более-менее реальном времени?
Создаётся впечатление, что ты про какие-то абстрактные бананы рассуждаешь.
Что за задача, какая конкретно модель, бюджет?
>Таки что, хоть прямо сейчас могу сделать нейросеть в миллиард-другой нейронов(графов?)?
Да. Хоть в триллион, если есть достаточно аппаратных ресурсов. Отдельные аппаратные устройства в этой общей сети могут использоваться конкретно для ввода данных, н-р нейроночке на тензорфлоу или MXNet можно скармливать фото/видео/звук со смартфона. Конкретно на тензорфлоу не все заявленное разработчиками уже есть в общедоступной версии, я за модой не слежу, м.б. уже и разродились (обещали точно).
>И самый волнующий вопрос, а почему никто такой хуйни не сделал раньше?
Неизвестно. Много чего интересного не реализуют и даже не собираются.
Да нет никакой конкретной задачи, только абстракции. Может что появится в процессе изучения.
Накопил денег немношк, вот и думаю проебать их на недельный проект в несколько десятков тысяч инстансов хотя бы.
Как-то это всё блядь странно, что ли. И еще раз, уточняющий вопрос про ресурсы. Сколько необходимо TensorFlow на тысячу графов? Может из-за потребления ресурсов никто даже не собирается этим заниматься в текущее десятилетие?
>уточняющий вопрос про ресурсы. Сколько необходимо TensorFlow на тысячу графов? Может из-за потребления ресурсов никто даже не собирается этим заниматься в текущее десятилетие?
Сверточные нейроночки вообще очень ресурсоемкие, собственно, поэтому и пришли к идее как-то все это распараллеливать. На одной машине все это еле дышит, даже если это многопроцессорный суперкомпьютер на GPU, типа теслы. В какой-то статье читал про нейроночку, которая на 4х процессорном тесле сходится по 4 недели, но там обучение было на сложном датасете. Другое дело, что тензорфлоу - это не только сверточные сети, там похоже вообще все что угодно можно сбацать, опять же была реализация карт Кохонена для тензорфлоу. https://codesachin.wordpress.com/2015/11/28/self-organizing-maps-with-googles-tensorflow/ Все зависит от конкретной задачи, что-то и на лету обработается, а что-то и на кластере будет тупить не одну неделю.
А есть какая-либо реализация нейросети которая менее требовательна к ресурсам? И вообще, от чего возникает такие требования к ресурсам системы?
твой мозг например
крайне, КРАЙНЕ экономен
>А есть какая-либо реализация нейросети которая менее требовательна к ресурсам?
Почти любые кроме сверточных сетей и всяких глубоких аутоэнкодеров и машин Больцмана.
>от чего возникает такие требования к ресурсам системы?
Там жи десятки слоев, и на каждом все эти перемножения тензоров. Хорошо еще, что сигмоиды оттуда выкинули, вместо них relu. Так бы вообще вся эта шляпа сходилась до японской пасхи.
> Прикрутил к ним даты праздников РФ
Расскажи как эту хуйню делал? Не руками же 0 и 1 вбивал?
google.com
условные вероятности
Такс-такс, очень спасибо. Ну и последний вопрос. Какие преобразователи используются кроме тензоров?
Стоит задача написать сеть, которая смогла бы распознавать естественный письменный русский язык, а также обучаться на конкретных примерах: предложение -> выделенные сущности из предложения. Аноны, в какую сторону копать, что читать?
Как распознавать отдельные рукописные символы можно посмотреть на примере датасета MNIST. Там цифры, но общий принций сохраняется. Легко гуглятся разные способы работы с этим датасетом. А вот как разбить слова на отдельные буквы - хз. Думаю, задача решаема с приемлемой погрешностью, но примеры как это делать в голову не приходят.
Я, наверное, не точно выразился. У меня на входе именно текст (строки), а не картинки с текстом. Надо обучить сеть таким образом, чтобы она смогла вычленять от туда определённые сущности.
Например, есть статья с погодой на завтра. Надо вычленять город и кол-во градусов.
Сформулируй задачу на нормальном русском языке без нейронных сетей и сущностей. И разъясни что-за сущности требуется вычленять.
тебе в named entity recognition
начать можешь с классификации скользящих окон w2v исходного текста, если ограничено число классов, которые ты жочешь извлекать
Какие-то ебанутые вопросы в треде про машинное обучение.
Распарсил это http://www.calend.ru/holidays/russtate/ питоном в csv таблицу и прикрутил к основной таблице.
магистратура же, не требуеся решать какие то супер задачи ну, нет сразу ныть начинают, наука в рашке етсь тока она финансируется хуево и не для магистрантов
мимо-нечеткий-магистрант
> тока она финансируется хуево и не для магистрантов
С пиздатым научником и магистранту кусок пирога достанется.
деньги пилятся, отчеты пишутся. Вот и вся наука в рф.
Тензоры в нейроночках - это не то что нормальные тензоры в физике. Тута речь просто о матрицах размерностью больше 2. Если по нарастающей, то сначала идет скаляр (одно значение, вещественное число), затем вектор - строка или столбец вещественных чисел, затем матрица - таблица, строки или столбцы которой есть векторы, ну и потом тензоры. Самый простой вариант тензора - 3х мерная матрица, т.е. н-р есть картинка, каждый слой (R,G,B) которой представим матрицей. А все это вместе - тензор.
SUP /pr/, я тут решил вкатится в машинное обучение, сейчас читаю Бишоба и прохожу курсы на COURSERA от ВШЭ и Яндекс. Очень сложно поддаются всякие формулы и интегралы, что почитать чтоб с первого взгляда знать о чем формула и как его вывести? просто упороться в вышмат?
> что почитать чтоб с первого взгляда знать о чем формула
> просто упороться в вышмат?
this
Но, мне кажется, что раздупление бишопа не потребует особого упарывания, с первого взгляда обычно хуй проссышь, что там тебе говорят, всё приходит с опытом.
Есть 80000 точек, размерность точки 1500. Каким образом это все кластеризовать примерно на 10 классов без байды типа out of memory?
500мб же всего? чеши память почаще?
Векторное квантование же любое. Те же карты Кохонена. Помоднее и для пистона - https://github.com/peterwittek/somoclu
И что получается в итоге, результат схождения за приемлемое время можно получить только через квантовые алгоритмы? Это первое что пришло на ум, да.
Почему? Полно нормальных алгоритмов, это только школьникам известны сверточные сети, SVM да градиентный бустинг. Ими все машинное обучение не ограничивается. Вопрос больше в том, как конкретному алгоритму подсунуть конкретную задачу.
Мне всё кажется что только концептуальный квантовый компьютер схождение матриц на раз-два будет щелкать.
Где можно почитать про абсолютно все используемые математические алгоритмы нейросетей? Хочу построить на этой основе аппаратную реализацию. Но что-то мне кажется что такие попытки уже были и не увенчались успехом.
Что за область? Откуда задача?
>Где можно почитать про абсолютно все используемые математические алгоритмы нейросетей?
Чтобы все и в одном месте, думаю нигде. Но описание бОльшей части того, что обычно называют нейроночками, из серии "это классика, блядь, это знать нада!":
http://gen.lib.rus.ec/book/index.php?md5=AE6CE64B978DCC3E4C0623C70D6D5973
http://gen.lib.rus.ec/book/index.php?md5=4F0A14A680F5B4845422E6C32D57BCDC
http://gen.lib.rus.ec/book/index.php?md5=E94FDEA71D591A5E1B0AE39E47795C03
Очень годный взгляд на нейроночки - Коско:
http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B
>Хочу построить на этой основе аппаратную реализацию. Но что-то мне кажется что такие попытки уже были и не увенчались успехом.
Аппаратные реализации были, да. Даже на оптоэлектронике, с лазерами и голографией. И даже на основе осциллирующих реакций типа реакции Белоусова-Жаботинского, только с системами протеинов, что уже вообще киберпанк какой-то. Причем, еще в 80е-90е годы.
Ох, большое спасибо, буду изучать, через недельку-две задам еще вопросов.
>Аппаратные реализации были, да.
И если общими словами, почему это всё не увенчалось значительным успехом?
>почему это всё не увенчалось значительным успехом?
Как такового неуспеха или успеха не было, мне не известны практические применения того, что я упомянул. В литературе по нейроночкам 90-х не так редко встречаются разработки аппаратных реализаций, но дальше статей и глав в книгах дело почему-то не пошло.
Попытаюсь рассказать с колокольни оптики.
Потому что в самом простом приближении голограммы считают просто взаимную корреляцию изображений, инвариантности к повороту и масштабу нет.
Как обучать голограмму - хуй его знает сейчас активно не слежу, мб сейчас уже что-то придумали. Если я всё правильно помню, то на них просто записывают изображения и смотрят на корреляционные отклики. Количество изображений, которые можно записать, зависит от селективности голограммы.
Голографические установки нужно юстировать, по своему опыту могу сказать, что юстировка интерферометра - полный пиздец, требущий прямых рук, иначе хуёвые результаты.
Мб ещё дополню, но это первое, что пришло на ум.
Последние года на глаза очень часто читал различные доклады по реализациям нейростетей на FPGA и именно из-за этого заинтересовался аппаратной реализацией. Есть какая-нибудь информация по этому?
Мысль, которую хочу хотя бы на бумаге проверить - разделение функций (умножителей и сигмовидных функций без использования таблиц) сложных нейронов на отдельные аппаратные уровни. Имеет ли это право на существование?
Мне кажется это тупиковая ветвь которая порождает огромное число зависимостей технического уровня.
Довольно перспективно в плане быстродействия, но пока не реализуемо на адекватном уровне.
>ПЛИСЫ и КМОП
https://scholar.google.ru/scholar?hl=ru&q=fpga+neural+network&btnG=&oq=FPGA+neu
>мемристоры
https://scholar.google.ru/scholar?q=memristor+neural+network&btnG=&hl=ru&as_sdt=0%2C5
Ну и GPU, но это мейнстрим. ну и гугли книги и статьи, по теме нейрокомпьютеры.
scikit-image в сто раз лучше. Но не быстрее.
Можно логистическую регрессию попробовать, она оценку вероятности класса даёт. Для SVM оценки вероятностей класса на костылях прикручены. Для деревьев и ансамблей над ними вообще не знаю как, может местные пояснят.
В базовом варианте для каждого ID высчитывается количество транзакций по каждому mcc_code. Просто делается через unstack, а не через get_dummies
еще инфа:
1) Блог Александра Дьяконова:
https://alexanderdyakonov.wordpress.com/2016/10/14/da..
2) Обсуждение в ODS слаке:
https://opendatascience.slack.com/messages/sberbank_c..
Регистрация в ods слак: https://docs.google.com/forms/d/e/1FAIpQLSdjQB90EdZGV..
3) Тренировки ML:
https://www.youtube.com/watch?v=2HK2XImh9hM
сажа случайно приклеилась
Очень заинтересовали BD и ML, но, как обычно для меня, ссыкотно из-за возраста. Не поздно ли вкатываться в 20 лет? В проганье умею(в логику происходящего, нужные языки и прочие фреймворки не знаю), в математику (матан, тервер, линал, компл. ан., вот это всё) умею. Но возраст...боже, как же он жмёт.
после 20 лет обычно и вкатываются в эту тему.
Иди ты нахуй, возраст ему мешает. База у тебя есть, пиздуй штудировать литературу с упражнениями. Возраст ему жмёт, охуеть.
Без вышки по cs (учусь на инженегра) возможен вкат в нормальные конторы?
Алсо, ШАД кажется убергоднотой. Что скажете?
Куда угодно возможен вкат с наличием адекватной базы и желанием учиться. Знакомый тимлид порой на позиции разработчиков собеседует специалистов по сверхнизким температурам.
По поводу ЩАД высказываемся в каждом треде. Приятная штука, но не стоит опускать руки, если не прошёл. Можно просто послать их нахуй.
Спасибо, анончики. Извиняюсь, если выбесил своим тупым вопросом, но таковы мои тараканы и ничего не могу с этим поделать.
Тогда начинаю ботать шапку + дважды попытаюсь попасть в ШАД. Если всё пройдёт так, как хочу, то попытаюсь пойти в аспу на математику у нас или зарубежом. Вероятно, что всё сотни раз поменяется, но изначально план таков.
Попытайся свалить с трактором. Зарубежом пизже, базарю, как съебавший магистрант, успевший побыть мла.научным сотрудником в рашке.
Знаю, что лучше, но трактор кажется мне очень далёкой возможностью, которая пока мельтешит где-то на горизонте.
Вкатываться, конечно, можно, но результаты будут соответствующие, если ты не какой-то гений (тогда бы ты здесь не спрашивал). Тут как и в профессиональном спорте: теоретически ты можешь начать заниматься каким-нибудь плаванием в 20 лет, но надо понимать что на олимпиаду ты вряд ли попадешь, а реалистично смотря на вещи тебе очень повезет, если ты вообще сможешь получить хоть какой-нибудь разряд. Ну "для себя" можешь научиться норм плавать.
Чего ты гонишь? Среднеслесарем вполне можно стать и после двадцати, имея среднюю техническую базу.
Кого вы понимаете под "слесарем"? мимоанон
Может, на уровне HTML-программиста, хорошо если освоившего StackOverflow-driven development. Чтобы понимать суть происходящего в этой области и хотя бы успевать следить за прогрессом, нужно (было) этим жить последние пять лет.
Нейронач, думаю попытаться вкатиться хотя бы чуть-чуть в нейроносети.
Идея следующая.
Я хочу сделать онлайн игру, где игроки дерутся с боссом.
После битвы с боссом, нужно будет регистрировать полностью историю боя с боссом.
И в зависимости от этого в будущем перестраивать алгоритм поведения босса, чтобы его победить стало еще сложнее.
Знаю только шарпы. На других ЯП не писал, с тех пор как окончил шарагу местный универ.
Соответственно, юниксы, линукс и прочие ОС не трогал. Не думаю, что это так важно.
Хотелось бы также на шарпе писать. Скорость выполнения не так важна, пусть хоть сутки анализирует, похуй.
Так вот, как считаете, реально ли такое сделать. И если да, т о с чего начать. Если нет, то почему.
Идея следующая.
Я хочу сделать онлайн игру, где игроки дерутся с боссом.
После битвы с боссом, нужно будет регистрировать полностью историю боя с боссом.
И в зависимости от этого в будущем перестраивать алгоритм поведения босса, чтобы его победить стало еще сложнее.
Знаю только шарпы. На других ЯП не писал, с тех пор как окончил шарагу местный универ.
Соответственно, юниксы, линукс и прочие ОС не трогал. Не думаю, что это так важно.
Хотелось бы также на шарпе писать. Скорость выполнения не так важна, пусть хоть сутки анализирует, похуй.
Так вот, как считаете, реально ли такое сделать. И если да, т о с чего начать. Если нет, то почему.
Reinforcement Learning.
Начать с того же, с чего начинают и другие - шапка треда. А можешь попытаться взять с наскоку какой-нибудь курс по RL вбей в тытрубе RL David Silver
Почему к тебе отнесутся скептически.
1. Будь у тебя хотя бы какой-нибудь навык в ML, ты бы не задал этот вопрос.
2. Сделать это, не имея бэкграунда, сложно. Читай, как пойти в вузик на программиста, чтобы клепать игры. Большинство таких воннаби-клепальщиков потом идут в 1С и прочие области, не связанные с гейдевом.
3. Сделать это, не имея адекватного финансирования сложно/дорого/займёт дохуя времени. Почему?
a. Рейды сложные, множество игроков используют разные абилки. Рейды могут варьироватья по составу. Придётся учить босса учить, кто такие хилы/мдд/рдд/танки.
b. С точки зрения MDP наблюдения имеют нехуёвую такую размерность - кто чего кастует, сколько дамага нанёс, расположение и прочее. На обучение будет уходить реально большое количество вычислительных ресурсов, а обучать ты хочешь не одного босса в одной инсте, наверное.
c. В большинстве, знакомых мне ММО, обучение босса дало бы непроходимых боссов. Просто дай боссу возможность игнорировать аггро, и он расхуярит хилла и весь рейд за ним. То есть нужно думать, как вписать это всё в концепцию аггро.
Резюмируя, идея охуительно интересная, но дорогая и требует хорошей тимы, которая знает своё дело.
Алсо, тебе все компании отсосут, если ты запилишь это на каком-нибудь интересном уровне в одиночку.
>вписать это всё в концепцию аггро.
>концепцию аггро.
Параша для школодебилов не нужна.
Кудахтающие дебилы без пояснений своего кудахтания не нужны.
>Кудах
>кудах
А вот и оскорбленный за любимую днотку школодебил, хаха.
Давай, расскажи мне, какие ммо были лучше WoW десять лет назад?
>лучше WoW
Любые.
Учил некоторое время работу нейросети, какие бывают нейроны, как они записываются, что делают, сколько их куда надо вставлять, как находить ошибку, как брать градиент. В общем до метода обратного поиска ошибки доучился.
Захожу на каггле ком. Там прохожу вступительную обучалку, сортирую данные, заполняю отсутствующие, в общем очень интересно. Потом перелистываю страницу, где уже должно быть само по себе машинное обучение и вижу:
import randomforest
randomforest.fit
randomforest.predict
Всё, ответ готов. Так и должно быть? Я не очень понимаю, что тогда делают кодеры
Захожу на каггле ком. Там прохожу вступительную обучалку, сортирую данные, заполняю отсутствующие, в общем очень интересно. Потом перелистываю страницу, где уже должно быть само по себе машинное обучение и вижу:
import randomforest
randomforest.fit
randomforest.predict
Всё, ответ готов. Так и должно быть? Я не очень понимаю, что тогда делают кодеры
Собирают данные [опционально], чистят данные, визуализируют данные, подбирают алгоритмы анализа, советуются с людьми по поводу фичей, пробуют, тестируют, дрочат на митингах, общаются с коллегами, хуйнянейм с особенностью конторы. Уйму разных вещей делают.
Мне как-то не верится, что сами нейронные сети они не делают.
Почистить и визуализировать данные сможет человек который неделю назад научился писать на PHP
> что сами нейронные сети они не делают
> подбирают алгоритмы анализа
> Почистить и визуализировать данные сможет человек который неделю назад научился писать на PHP
Хуй там, не всегда, всё зависит от данных.
А что собственно такое этот подбор алгоритма анализа? Я понимаю в обычной сети это выбрать, сколько будет слоёв, сколько будет нейронов в каждом слое, какие функции будут у нейронов. А если этим не заниматься, то остаётся выбрать между рандомфорестом и ещё несколькими алгоритмами что-ли?
Толстовато. Зачем тогда яндексу делать свою школу? Она для гениев, 14летних школьников или средних спецов.
спасибо.
да я уже работаю в не связанной с геймдевом областиёбаные винформсы с впфом.
на счет аггро с тобой согласен полностью.
на счет того писать ли игру с нуля, на что уже уйде год минимум, или взять готовую - на сколько я знаю, любой васян может поставить у себя сервер всеми нами любимого вов. и я также видел, что люди создавали на своих серверах своих боссов, где "прописывали" ему поведение.
так что я пойду штудировать шапку сперва по твоему совету.
> так что я пойду штудировать шапку сперва по твоему совету.
Штудирование шапки может занять год, лол. На курс Сильвера то хотя бы одним глазком глянь, промотай его, вдруг дохуя знакомых вещей увидишь.
Совет вреден тем, что в шапке рассматривают в основном задачи регрессии и классификации, по RL там не очень много.
Можешь глянуть в эту книгу:
http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdf
Сам не читал, мб параша, хуй знает. Мб анончики что-нибудь по теме расскажут.
>Introduction
>334 страницы
мимокрокодил
Хуле делать, так и живём.
Аноны, посоветуйте алгоритм. Есть куча болезней с симптомами. Как автоматом составить дерево вопросов по симптомам, чтобы максимально быстро определить болезнь?
Хуй знает по поводу дерева, но можешь погуглить QMR-DT.
from sklearn import DecisionTree
Пацантре. Есть годные и простые способы улучшить knn? Ключевое слово тут это простые. Без всяких локальных топологий.
Данные нормализовал, метрику выбрал. Даст че нибудь выкидывание выбросов в чужие кластера, если у меня K=10.
Данные нормализовал, метрику выбрал. Даст че нибудь выкидывание выбросов в чужие кластера, если у меня K=10.
У тебя high bias или high variance?
Это надо посчитать, а у меня слишком большая выборка и слишком слабый пе-ка.
А чем кстати плох high bias? Вроде заебись же. Ошибка на тесте, близка на обучении.
Но вообще, процентов 90, что у меня именно high bias. Но если не трудно, накидай советов по тому и тому:3
Только простеньких, так как мне надо будет все писать руками
>А чем кстати плох high bias?
Тем, что величина ошибки не соответствует твоим требованиям. То есть алгоритм в целом отработал хорошо, но недостаточно для тебя, поэтому следует менять сам алгоритм - или набор фич (другую метрику), или же сменить простой knn на что-то другое.
Параметрически у knn все просто, меняешь k, меняешь баланс в bias/vaiance tradeoff. Если у тебя k строго 10, тебе это не подходит.
>Но если не трудно, накидай советов по тому и тому:3
Советов в интернете тонны и это самая азбука ML, это знать надо.
High bias: как я писал, это алгоритм хуево работает, и менять надо алгоритм, как полностью, так и увеличивать число фич. Underfitting.
High variance: алгоритм переобучается, и нужно или больше данных, или добавить регуляризацию, или уменьшитьчисло фич. Overfitting.
Хочу попробовать сделать копию приложения Prism, в какую сторону смотреть? Да, я знаю что призма не использует нейросети, но все таки, где вообще можно почитать про практическое применение нейронок? В тех же мобильных приложениях. Из навыков, умею в разработку для iOS, хочу сделать вундервафлю с нейросетями.
Спасибо! Очень понятно объяснил.
Число соседей менять можно, оптимальное у меня получилось 10. Но, скажем так если я выбираю 3 соседей я угадываю в 88 процентах случаев, а с 10 в 90 процентов случаев.
Метрики многие пробовал. Хорошо себя показал Жокар. Может есть в нетике йоба список метрик, а то я не нашел.
Она для тех, кто уже довольно глубоко в теме, на что недвусмысленно намекает нехилый вступительный экзамен. Рандомный хрен, вчера "решивший вкатиться", не сможет туда поступить.
Ну это не объясняет, почему вкатываться в 20 поздно. Можно за год-два полностью подготовиться к их экзу.
Ребят если я начну вкат с machine learning a probabilistic perspective, буду ли я писать, что-то годное к след году?
>Она для тех, кто уже довольно глубоко в теме, на что недвусмысленно намекает нехилый вступительный экзамен.
Нет там ничего ML-специфичного, знание матана и теорвера на уровне заборостроительного вуза. Теорвер проходится на третьем курсе, как раз 20 лет.
Рандомный хрен туда не сможет поступить, потому что планка намеренно задрана, а не потому что там такая охуенно сложная программа. Это традиционная наебка "элитных учебных заведений", в которой учат так же хуево, как и везде, но за счет отбора поступающих якобы формируются неебовые успехи, которые объясняются именно качеством преподавания.
Иными словами, у тех, кто способен поступить, и так в жизни проблем с трудоустройством не будет.
Да вы совсем поехали. Какая разница, в каком возрасте начинать? До 20 лет - это какой-то местный мемас?
Думаю 18-ти летние школьники траллят.
Если ты к 20 все еще не определившийся олух, пытающийся куда-то "вкатиться" не имея о теме представления, то результат этих попыток очевиден заранее. Так и вижу как этот вася, знающий "матан" на уровне "ну там чет про производные)", без образования и интересов, даже не умеющий элементарно кодить, усаживается штудировать Бишопа и МакКея. Да он не то что введение, он аннотацию не осилит. Скажет "да ну нах эту дрочь для батанов)) 300 страниц формул, вы там офигели совсем)))" И будет прав
Не думаю, что такие люди полезут в эту тему.
>Если ты к 20 все еще не определившийся олух, пытающийся куда-то "вкатиться" не имея о теме представления, то результат этих попыток очевиден заранее.
Вижу тупорылого юнца с таким же максимализмом.
правильный вопрос не "вкачусь ли до 20" а "доживу ли до 25"
То чувство, когда тебе 18, вкатываешься, а у тебя рак сердца.
Ну вкатился ты такой в 25, а у тебя начальнику 21. И ты для него говно, никто, червь.
Так тебе ML чтобы на дядю работать? Ну тогда страдай, да.
А тебе зачем? Оптимизировать рецепт мамкиного борща?
Кароче. Поступить тяжело, учиться тяжело.
Начинают с основ, но резко углубляются.
Если ты раньше с этим не сталкивался, совмещать с работой практически невозможно.
Так что если планируете, запаситесь свободным временем. В этом плане 20 летним корзинам легко.
Ну и пруфы на пике
Начинают с основ, но резко углубляются.
Если ты раньше с этим не сталкивался, совмещать с работой практически невозможно.
Так что если планируете, запаситесь свободным временем. В этом плане 20 летним корзинам легко.
Ну и пруфы на пике
Я бы мог сказать, что эта область имеет гораздо больше применений, чем очевидную возможность продать свою жопу дяде занидорага, да чувствую, что бесполезно. Впрочем, в тех рамках, что ML обсуждают ИТТ, наверное другие применения и невозможны.
Тупорылый проецирует. Нахуя идти работать к ебаным аутистам, для которых коллеги - никто? Такие фирмы - говно с хуевой атмосферой и долго не живут.
Очередной НеНадоРаботатьНаДядю. На тренинг не опаздываешь?
Дурик, чтобы работать на дядю, ML не нужно. Освой лучше станки с ЧПУ в любой шараге, бесплатно. К 20 годам зарплата будет намного больше, чем если освоишь машинное обучение.
А ты контингент в /pr/ видел? Презрение на презрении, ненависть на ненависти. Вот она, наша сфера, вот она!
"Вкат" это значит попасть на работу в данной сфере, желательно с неплохим окладом. Я для себя и приложеньице могу на андроид наклепать, и сайтик, но сказать что я вкатился в Андроид-дев или Веб-дев я не могу.
Окстись, маня, у ЧПУшника потолок тыщ 60, умные прогеры с этого начинают.
Хм, а если мне нравится ml? Если я хочу заниматься научной деятельностью в составе какой либо команды? А не только мутить лавеху? К такому повороту твои подростковые мозги небыли готовы?
Это со столетним опытом разве что. Стекломойные иваны и за двадцатку рады "работать", см. воркач.
Ты пишешь это разными словами каждый тред. Предлагаю уже добавить это в шапку.
Наука без денег не делается, браток. Пройдет хайп по МЛ, перестанут гранты давать - и не будет тебе никакой МЛ-науки.
За научной деятельнстью сразу ПхД, вокзал, Европа (или штаты). Самому с книжкой аутировать бесполезно, и никакие ШАДы тоже не помогут.
Приходишь ты такой к профессору, глаза горят, идей вагон, а на выходе - "где статья, сука, норматив по статьям надо, статьи статьи статьи список литературы в 150 позиций давай отфлюродросим всем импакт фактор гранты-хуянты"
Большая часть доски ищет работу в МЫ-ВАМ-ПЕРЕЗВОНИМ-ТРЕДЕ.
В МЛ сейчас модно, молодежно публиковаться в arXiv потому что вчерашние кодерки ниасиливают написать нормальную статью в журнал
Так и есть. Да такой сценарий возможен. Но если мы прям минимизируем риски, то тогда только в аграрный поступать или на врача, жрать и болеть люди не перестанут никогда.
Ну надо же с чего начинать. Шад петухи кстати регулярно публикуются.
Ну минусы есть везде. Тут ты прав. Другое дело, что лично для меня, плюсов всеравно больше.
>публиковаться в arXiv
Иииииу... Нерецензируемые статьи... Даже хабра лучше.
Не, хабра не лучше, в архиве нужна рекомендация же. Но все равно говна через край.
Я это пишу разным людям, которые уверены, что ШАД это какая-то йоба, которая сделает из них людей, стоит туда только попасть.
В шапку, хуй знает, там сидит statistical learning дрочерство, которое я презираю.
Вообще-то система arxiv+github+конференции - это самое охуенное, что случалось в ML за последние тысячу лет. Пока статистикопетушки ждут рецензии и публикации статьи (не публикую код, а то хули, спиздят же), deep learning бояре сегодня публикуют на архиве, завтра по всему миру их код на гитхабе ковырают сотни людей. Отсюда такая лавина исследований. Но хули, не модно же, давайте нам рецензируемые журналы, ведь без рецензента нельзя понять, какой процент ошибок на training и validation сетах у алгоритма.
А на хабре инвайт надо, или чтоб мод в песочнице увидел и вознёс. Плюс на хабре рейтинг будет видно, социум порешает, дичь опубликовали или нет.
Сразу контраргумент против "Хабра
это стадо быдла, а наука нет": В науке если ты делаешь что-то не в тренде, ты никто, над тобой все будут ржать (пока не окажется что ты там что-то сносное открыл в итоге), там такое же стадо.
>Плюс на хабре рейтинг будет видно, социум порешает, дичь опубликовали или нет.
Какой нахуй социум, там активно голосующих человек 100, и все поголовно пидарасы и долбоебы. Лучше просто на гитхабе выложить код, в readme.md закинуть идею, и на реддите в machinelearning забросить ссылку. Без инвайтов, да.
>Регистрация в ods слак:
Ссылка битая.
meh...
Согласен, код надо публиковать. Когда писали статью с науч.руком, я хотел выложить код в открытый доступ, но он запретил.
Вообще, работая со статистикой не леарнинг, я заметил, что обычно удаётся воспроизвести результаты только каждой пятой статьи. И мы не одни такие, проблема распространённая.
Это не проблема, для тех, "где статья, сука, норматив по статьям надо, статьи статьи статьи список литературы в 150 позиций давай отфлюродросим всем импакт фактор гранты-хуянты". Это суть работы, пилить без последствий.
Но благо, сейчас за дело взялись корпорации, которым вместо абстрактной науки нужны реальные результаты, с бабками.
лол ты где начальников 21 лвла видел маня?
виталика-педалика не упоминай даже, он папин аутист-программист один на миллиард
В модном стартапе, приехал такой в 21 с бородищей на гироборде и поясняет за МашОб.
Использует базворды, не способен пояснить за затухающие градиенты в RNN, от просьбы попробовать применить chain rule к производным начинает потеть и заикаться.
Просто ты, как и многие другие ничего не смыслящие в науке кадры, не понимаешь что такое пир ревью. Почему в прикладной математике непросто написать хорошую статью? Потому что надо показать значимость и новизну своей работы. Вся МЛная "лавина исследований" на самом деле гроша ломаного не стоит, потому что "я взял модель из [1], добавил еще 10 слоев и уменьшил ошибку на CIFAR на 0.00000001% по ставнению с SOTA" это не наука, а просто дрочильня ниочем.
опишу свой ШАД-икспиренс из далёкого года
знать надо нихуя примерно, СЛУ руками по гауссу 3его порядка и цепочечное правило (о существовании которого я тогда не подозревал) - максимум матана. половина задач чисто школьные.
на устном собеседовании было немного посерьёзнее правда.
а вот учили вполне жёстко. в универе (не самая шарага) я не испытывал никаких проблем с матаном, но на тамошних лекциях по теорверу Ширяева просто охуевал. сидящие рядом девочки с мехмата правда вроде не особо напрягались, хз.
лекции по мл червоненкинса были норм по сложности, но в домашке были жёсткие подьёбы навроде неразделимых классов в задаче где предполагалась голая свм.
на теории игр от буниной все расслаблялись - уровень был просто школьный.
> в жизни проблем с трудоустройством не будет.
сижу без работы 3 года, не берут даже веб-макакой. все хр-бляди должны здохнуть.
Никто не хочет конфочку в телеграмме создать? Задачки порешаем.
Очевидно что самое дно набирать не нужно. Готов пройти собеседование, ну или провести.
коммитер в scikit-learn
Очевидно что самое дно набирать не нужно. Готов пройти собеседование, ну или провести.
коммитер в scikit-learn
Идею поддержу, но не более. Задач выше крышы, я скоро свихнусь от этого дерьма.
поясните нюфагу за вторую картинку
чоза икс-омега, нифига не понял
>телеграмме
нынче матрикс же доделали: riot.im
да, конечно
Ты же знаешь, что такое arxiv.org? Это препринт сервер, туда кидают статьи, чтоб их сразу читали, пока ревьювятся в журнал. Если какой-то васян закинул туда свою статью, его все равно дальше абстракта никто читать будет. Читают людей с именами, имена получаются через конференции. Все стоящие ученые кидают свои статьи на архив. Архив.орг как бе не отменяет традиционные журналы.
Я имел в виду тех, кто только в архив кидает. Хотя и на конференциях средний уровень не оче, а журналов мало.
В чем по сути заключается "лавина исследований"? Несколько тысяч человек за три года затерли то дыр 3.5 датасета с картинками, вот и вся эта лавина. По-настоящему инновационных статей совсем мало, в основном от дипмайнда, да и то по большей части чисто инженерная работа по доведению до ума предыдущих идей, например альфаго. Причем дипмайнд все свои норм работы в нейчер шлет, а не на архив.
Пишу алгоритм для игры. В ней нужно набрать максимум очков. Их количество не может уменьшаться. Есть фактор случайности. игра похожа на монополию и количество возможных исходов одного хода меньше чем у шахмат При этом игра может закончиться совсем неожиданно если неколько ходов подряд кубик будет плохо падать. Значит обычный minmax не подойдёт т.к. при большой глубине поиска лучший из худших всегда будет проигрыш. И что делать с линией горизонта? Ведь здесь нельзя форсировать поиск при шахе как в махматах. Реквестирую литературу про программирование ии для игр с влиянием рандома.
См. работы по нардам. Гугли TD-Gammon.
Блять. Ещё и правила нард учить. Ок. Спасибо. Сегодня поищу.
https://medium.com/@daniel.mallcott/how-not-to-approach-machine-learning-641d38cf7f30#.u0x8oske3
> Видя, что машинное обучение это все в моде сейчас я решил несколько месяцев назад, чтобы перейти в шумиха поезд и посмотреть, где что взял меня. Но вскоре я обнаружил, что это не было похоже на изучение нового рамки JS или следующий магическое решение CI, но больше как целый новый мир головных болей и возможностей, которые сделали бы меня заново оценить, как я подходить к решению проблем все вместе.
> Как разработчик, обнаруживая, сколько абстрактное мышление и статистика происходит в ML был как можно ближе к пощечине, как он получает, но, как кто-то, кто не знает, когда остановиться, я продолжал достижения этой цели шахты.
> Машинное обучение походит на лицейного секса. Все говорят, что они делают это, на самом деле никто не делает, и никто не знает, что это на самом деле
люблю когда высокомерный буржуа немного обкакунькался
> Видя, что машинное обучение это все в моде сейчас я решил несколько месяцев назад, чтобы перейти в шумиха поезд и посмотреть, где что взял меня. Но вскоре я обнаружил, что это не было похоже на изучение нового рамки JS или следующий магическое решение CI, но больше как целый новый мир головных болей и возможностей, которые сделали бы меня заново оценить, как я подходить к решению проблем все вместе.
> Как разработчик, обнаруживая, сколько абстрактное мышление и статистика происходит в ML был как можно ближе к пощечине, как он получает, но, как кто-то, кто не знает, когда остановиться, я продолжал достижения этой цели шахты.
> Машинное обучение походит на лицейного секса. Все говорят, что они делают это, на самом деле никто не делает, и никто не знает, что это на самом деле
люблю когда высокомерный буржуа немного обкакунькался
Репостну вам. Такая тема, нужно автоматически распознавать автоматически сгенерированные тексты а-ля копатель, хотя еще не ясно. Собственно, больше мне нихуя не известно.
Ну, сначала хочу изучить проблему, попутно читая гугл уже, не особо успехи, но может вы сразу определите мои подводные камни? Как и что делать, с чего начать?
Ну, сначала хочу изучить проблему, попутно читая гугл уже, не особо успехи, но может вы сразу определите мои подводные камни? Как и что делать, с чего начать?
Господа, а есть какой-то источник инфы о новых методах в ML, но чтоб с инженерной точки зрения? Статьи читать надоедает, тонна ненужной воды налито + результаты хрен воспроизведёшь, потому-что пример реализации не приведён. Почитал статью и как потратил время зря, потому-что в итоге вроде всё понял, но как автор писал реализацию / какие гиперпараметры - не ясно.
было на реддите неделю назад
https://www.reddit.com/r/LanguageTechnology/comments/570da2/any_ideas_on_how_to_go_about_programmatically/
Если нейроночки, то ворд2век плюс лстм, а так, как на реддите написали, всяких n-gram и марковых цепей хватит
Ок, благодарю. А вообще, на сколько это трудоемкая задача? А то это курсовая как бы.
>Почему в прикладной математике непросто написать хорошую статью? Потому что надо показать значимость и новизну своей работы.
Ну кому ты пиздишь. 99% шлака без новизны везде, и в журналах, и в препринтах. Разница в том, что виде препринта шлак отсеивает компьютнити за день, а в журналах этот шлак публикуется и навешивает лычки на автора, от которого зависят его бабки. Поэтому именно для журналов пишут одну и ту же идею по 10 раз, и прочитал одну статью автора - прочитал все (как минимум, на ближайшие несколько лет). И весь этот кайф еще и денег стоит.
>Вся МЛная "лавина исследований" на самом деле гроша ломаного не стоит
Да, да, именно поэтому statistical learning побеждает слесарей на kaggle, а на его базе делают стартапы, а задача классификации приблизилась к мозгу. Потому что так анон сказал.
На самом деле нет.
Нейроночки сейчас превращаются в науку типа химии, когда изначальная физическая база поменяется своими законами, которые более удобно использовать конкретным образом. То, что это аутистам-математикам не нравятся, так пусть идут они нахуй дрочить свою теорию струн.
>это не наука, а просто дрочильня ниочем.
Угу. Вот тебе пример дрочильни:
>Не имея лаборатории и работая в помещении институтской кладовки, а позже в сарае на улице Ломон в Париже, с 1898 по 1902 годы супруги Кюри переработали восемь тонн уранинита.
Вот тупые-то.
Это и есть наука. Исследовал, проверил, поделился (с обязательным воспроизведением). Шлак получился - ну это тоже результат, на то она и наука, что иногда нужно и 8 тонн говна переработать. Но шлак тоже стоит опубликовать, чтобы другие не тратили время на то же самое.
А статьи в журналах, в которых специально создают недомолвки, чтобы потом подороже продать свои идеи, и конечно же без кода, вот это не наука, а меркантильное дерьмо, которое мы и наблюдаем по $30 за статью, а также глядя на успехи "математиков" в задачах.
>В чем по сути заключается "лавина исследований"? Несколько тысяч человек за три года затерли то дыр 3.5 датасета с картинками, вот и вся эта лавина.
Бредятина. Ты описываешь только одну конкретную задачи классификации, которая действительно уперлась в поток за последние годы, но только потому, что за 2010-2015 она взлетела в небеса. Для residual сетей по сути imagenet'а недостаточно. При этом датасеты просто служат для повторяемости измерений, а у тебя звучит так, что дело в том, что исследования специально подкручивают под датасет.
Но задач-то дохуя, от близких к классификации image2vec, до генерации изображений, super resolution, удалением шума, и кучи другой хуйни. И это только изображения, есть еще анализ текстов, звуков, и такая же их генерация. И везде охуенные результаты.
Из последнего, быдло увидело рисование хуев на картинках, но на деле это основано на открытии охуенного метода генерации изборажений.
> По-настоящему инновационных статей совсем мало, в основном от дипмайнда
Да ты жертва пиара просто. От гугла собственно научной инновационности не так много, в основном я вижу оверинжиниринг уже существующих идей, которые ты как раз не любишь. Сравнить, например VGG-19 и Inception. Первая - красота вообще, а вторая - ну так, оптимизация вычислений. И что на слуху у быдла типа тебя? Швитой гугл конечно же.
Вот я открою ща arxiv-sanity и перечислю, что там было.
Бинаризация сетей (когда веса сводятся к -1 и 1 и это работает) да и вообще в целом способы сократить потребление ресурсов, residual сети (и их сведение к RNN сетям) - охуенно, batch normalization, style transfer в рилтайме, DCGAN. Почти все 2015-й год. В 16-м еще кучу всего охуенного завезли.
тот метод с реддита по частям речи тоже звучит ок, его тоже можешь посмотреть.
Зависит от того, насколько у тебя хорошие данные, сколько их у тебя, насколько хорошо знаешь питон и тд и тп.
Сложность варьируется от import tensorflow за две минуты до месяцев красноглазия в попытках набрать 64 процента точности.
Но я у мамки слесарь, поэтому послушай пацанов поумнее, мб, кто-то что-то еще посоветует
Пока ничего нет, питон видел пару раз. Изложу свои мысли преподу, а там посмотрим. Проблема в том, что она может загнать меня в самые ебеня, и потом придется все разгребать, либо наоборот ничего дельного не скажет, что более вероятно. Так что буду доебываться до людей на двачах и во всяких конфочках, вот.
Антоши, поясните, что значит слесарь?
Мимопроходил и заинтересовался.
Мимопроходил и заинтересовался.
>Почитал статью и как потратил время зря, потому-что в итоге вроде всё понял, но как автор писал реализацию / какие гиперпараметры - не ясно.
Не трать вермя на статьи без кода вообще, полно хороших статей с кодом. Если лень гуглить, вообще можешь читать только один gitxiv.
Но если ты будешь смотреть только код, ты поймешь еще меньше. Просто с опытом ты начнешь отделять воду, которая кочует из статьи в статью, от сути, которая часто сводится к нескольким абзацам концентрированного текста.
https://arxiv.org/pdf/1609.04802v2.pdf
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
Ну блядь, вообще застой в индустрии.
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
Ну блядь, вообще застой в индустрии.
>residual сети (и их сведение к RNN сетям)
Вот про такую хуйню не знал. Как они сводятся-то?
Довольно очевидным образом. Это ответ, почему мозг не deep, а работает на уровне ResNet с 1000 слоев.
https://arxiv.org/pdf/1604.03640v1.pdf
Можно для быдлана расшифровать последнее? Аж интересно стало.
Визуальная кора является deep in time, имея небольшое число физических слоев, эмулируется больше число слоев за счет обратной связи. Или наоборот, ResNet эмулирует мозг, разворачивая RNN в пирог из 1000 слоев - это как тебе удобнее. Открытие охуенное, потому что становится понятнее, как мы устроены, и это все - сегодняший день.
Это все мы тут. Не слесари сами разрабатывают методы.
Охуенчик. Бочку нефти тебе, анон.
Я нихуя не понял.
Что надо прочитать, чтобы иметь возможность хотя бы генерировать респонс "вау, охуеть, вот это круто!" на подобные посты?
>Визуальная кора является deep in time, имея небольшое число физических слоев
>это все - сегодняший день.
ну плиз
сто лет назад это выяснили
Ты и ILSVRC-2017 уже давно победил. Нахуй иди.
Новый положняк. У кого на Kaggle рейтинг ниже 20 - чуханы-чуханчики, меняйте профессию пока не поздно.
Надо следить за state-of-art решениями начиная с AlexNet и понимать, в чем заключается их новизна. Тогда реакция "вау, круто" была бы сначала на ResNet, а потом вот на это объяснение, почему оно работает. Вот почитай.
https://adeshpande3.github.io/adeshpande3.github.io/The-9-Deep-Learning-Papers-You-Need-To-Know-About.html
Но кегля - это лишь зачет для слесарей.
Оппост и дальше быть в струе на реддите. Только на определенном уровне просветления ты поймешь, что это не так уж и круто и по большей части просто очередной кодерский манямирок, наподобие того как в 60х думали, что создав шахматную программу мы поймем, как мыслит человек.
>Только на определенном уровне просветления ты поймешь
А потом пойдешь хлебать мамкин борщ. Ты своим пафосом напоминаешь любителей хаскеля, у которых тоже какие-то невнятные понты при полном отсутствии успехов.
Читайте оппост, пацаны, будете такими же, воможно, даже вас возьмут в банк классифицировать заемщиков.
Ок, спасибо! Только один вопрос: мне правда необходимо прочитать всю литературу из оп-поста и те щевять пейперов, чтобы было ваукруто? А есть какой-нибудь софт-вей?
Если что, я не хочу в банк и не собираюсь никого классифицировать.
Где у меня пафос? Пафос это когда вчерашний кодер от сохи прочитал про слои и решил, что теперь он знает, как работает мозг. А это не пафос, а трезвая оценка состояния дел в науке, и это не я придумал, естественно, а светила сами так говорят. См., например, выступления ЛеКуна (жаль, он книгу не напишет по этой теме).
Собственно в той литературе ничего про диип лернинг нет, но она задает необходимый бэкграунд и настроение ума. Так что это только начало, дальше ты сам должен понять, что нужно читать и почему.
Если не хочешь идти в банк и никого классифицировать, не читай книги из оппоста, потому что там научат тебя именно этому.
Ну пиздец просто!
А что тогда читать?
> А что тогда читать?
А чего ты хочешь? Некоторые и от книг Донцовой ловят ваукруто, и им норм.
Ты еще пердеж собственный не начал нюхать, как герои сауспарка?
Нет, а ты?
Посоны, я нашёл тест на слесаря. Просто идёшь читать про алгоритмическую терию информации. С огромной вероятностью слесарь дропнет ещё до случайности по Мартину-Лёфу. Я дропнул.
Ну и ладушки. Тебе же в шашечки или ехать?
Лолшто?
Прочел Ли и Витани от корки до корки. ИМХО это одно из самых "недооцененных" достижений математики: немногие знают эту теорию, а ведь она затрагивает широчайший спектр областей, от философии науки до машинного обучения. Книга серьезно повлияла на мое мировоззрение.
Софт-вей, это http://cs231n.github.io/ плюс руками пишешь свою нейроночку, потом читаешь про recurrent neural networks, потом про residual neural networks, потом читаешь ту статью, которую запостил анон и говоришь ВАУ. На все, про все у тебя уйдет от двух недель до месяца.
Бугурт статистикодрочеров напоминает бугурт усатых телемастеров, когда на смену логике на транзисторах пришли микроконтроллеры.
Так и тут, статистикодрочеры годами изучают мат. модели, которые с трудом вмещаются в голову, а потом нейроночка за день (в редких случаях за месяц) строит более эффективную модель. И тут начинается МИКРОКОНТРОЛЛЕРЫ НЕЙРОНОЧКИ НЕ ТРУЪ, ДИДЫ СЧИТАЛИ НА БУМАЖКЕ И МЫ ДОЛЖНЫ, KAGGLE ДЛЯ СЛЕСАРЕЙ.
Так и тут, статистикодрочеры годами изучают мат. модели, которые с трудом вмещаются в голову, а потом нейроночка за день (в редких случаях за месяц) строит более эффективную модель. И тут начинается МИКРОКОНТРОЛЛЕРЫ НЕЙРОНОЧКИ НЕ ТРУЪ, ДИДЫ СЧИТАЛИ НА БУМАЖКЕ И МЫ ДОЛЖНЫ, KAGGLE ДЛЯ СЛЕСАРЕЙ.
Но кегля действительно для слесарей, собственно они этого и не скрывают. Никто не делает исследований на кегле.
Если ты не умеешь считать на бумажке, то ты не понимаешь и нейроночек, а просто как вебмакака копируешь примеры из интернета. То есть ты почти бесполезен, испортить тензорфлоу эс тф можно научить любого за короткий срок. В чем тогда твоя ценность как специалиста, подумой.
Нейроначи, есть несколько абсолютно нубских вопросов.
Вот, скажем, захотел я сделать нейросеть для игры в крестики-нолики и заставить ее играть против классического алгоритма, способного если не выиграть, то сыграть партию вничью. Цель — научить нейросеть не проигрывать хотя бы в 75% сыгранных партий. С чего вообще нужно начинать? Как выбрать нужную архитектуру? Как объяснить нейросети правила игры, например то, что нельзя ходить в уже занятую клетку поля?
Вот, скажем, захотел я сделать нейросеть для игры в крестики-нолики и заставить ее играть против классического алгоритма, способного если не выиграть, то сыграть партию вничью. Цель — научить нейросеть не проигрывать хотя бы в 75% сыгранных партий. С чего вообще нужно начинать? Как выбрать нужную архитектуру? Как объяснить нейросети правила игры, например то, что нельзя ходить в уже занятую клетку поля?
слишком хуита, очень маленькое пространсво состояний, тривиально перебирается
можно сделоть примерно любым алгоритмом, даже самым бредовым
придумай обобщение крестиков-ноликов на непрерывное пространство хотя бы
Но ведь я понимаю нейроночки и не копирую из интернета.
Спасибо.
Для игры в крестики-нолики можно сделать механический компьютер на спичечных коробках: http://www.mscroggs.co.uk/blog/19
Ладно тогда.
Сложные модели это не очень у них слишком высока ёмкость, + сложные модели не интерпретируемы.
Где-то было про Abbyy и про то как они не используют ничего сложного в своих OCR, ибо важна очевидность модели.
Посоны, посоны. Вот допустим градиентный спуск: для поиска минимума функции f с помошью градиентного спуска основываются на первой производной f'.
А также распространён способ когда ищут минимум исходной функции f поиском нуля её производной (С помошью гессиана f'').
Никогда вторым способом не пользовался. Почему есть смысл считать/оценивать приблизительно вторую производную (гессиан) для решения той же задачи? Не вижу профитов.
А также распространён способ когда ищут минимум исходной функции f поиском нуля её производной (С помошью гессиана f'').
Никогда вторым способом не пользовался. Почему есть смысл считать/оценивать приблизительно вторую производную (гессиан) для решения той же задачи? Не вижу профитов.
Читай про методы оптимизации. Там десятки методов, первого и второго порядка. Последние лет 60 это активно разрабатывалось все.
все методы ищут ноль производной
Телемастер как есть. Нейросеточки не интерпретируемы, поэтому нужно как деды делать то, что в узкий мозг телемастера влезает.
Можно полное название книги?
An introduction to Kolmogorov complexity and its applications
Уже нашел, спасибо.
А теперь прикинь, продал ты свой продукт богатому дяде. Дядя приходит и "Чет хуйню выдавать начал, почини!" а ты "А я блин не знаю как оно работает!". Это я про ABBYY.
А ты включаешь в тренировочный датасет случай, на котором начало хуйню выдавать и его аналоги. И говоришь богатому дядьке "с вас 1.5kk за сопровождение".
ABBYY как раз и есть пример старперов, у которых все хорошо и бизнес налажен, и ничего менять не хочется. Это называется луддизм.
Там про что? Конструктивный/интуиционистский подход к вероятности штоле? Неужели. Еще немного и додумаются до конструктивного изложения нечетких множеств.
Там про определение сложности объекта, и определение количества информации как величину сложности описания объекта. Эти же понятия можно использовать для определения алгоритмической вероятности, которая даёт универсальные приоры. На базе этого можно построить универсальный алгоритмический интеллект.
Беда теории в вычислимости даже самых базовых вещей, из-за чего она кажется очень непрактичной. Но сама по себе она очень интересна.
inb4: игра в бисер, нинужна, сложна
>определение количества информации как величину сложности описания объекта.
Есть жи энтропия Шеннона.
Алсо, это где-то реализовано для анализа данных? Вот это оно или нет - https://cran.r-project.org/web/packages/acss/acss.pdf http://complexitycalculator.com/methodology.html
Которая есть усреднённая Колмогоровская сложность.
Здесь взгляд с другой стороны. Колмогоровская сложность рассматривает возможные программы и возможные опорные машины, на которых эти программы работают.
Колмогоровская сложность невычислима. Обычно к алгоритмической теории информации обращаются, когда рассказывают про принцип минимальной длины описания, BIC и связанные с этим практические вещи.
По ссылке что-то похожее на аппроксимации.
Можешь погуглить аппроксимации AIXI.
>аппроксимации AIXI.
Для R нету. Но вот это жи http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0096223 тоже аппроксимация колмогоровской сложности?
>Которая есть усреднённая Колмогоровская сложность.
Но если это типа шенноновской энтропии, то с чисто практической точки зрения, намного ли лучше эта ваша аппроксимация колмогоровской сложности? Т.е. есть ли заметный выигрыш при анализе данных, или просто разница в доли процента?
У тебя реально слесарский подход к делу. Никто не использует колмогоровскую сложность в анализе данных, это теоретический инструмент.
>Никто не использует колмогоровскую сложность в анализе данных, это теоретический инструмент.
Но я ж дал ссылку на пакет для R. Как раз для анализа данных. И что плохого в практическом применении алгоритмов? Они для этого и нужны, чтобы давать практическую пользу.
Да это так, игрушка, не знаю даже для чего. Оно считает, во-первых, аппроксимацию, которая не имеет никакого особого смысла, а во-вторых только для очень коротких строк (8 бит или около того).
Как заметил эта штука пока только теоретический инструмент. На него ты можешь ссылаться, если используешь MDL или RMDL.
Ну т.е. пока не нужно.
Можешь загонять это чикулям из технических шараг и ебать их в грязных толчках тех же шараг, это работает.
Что ISLR выпили из шапки?
?
Есть же шестое издание.
Бля, я слепой. Увидел уже.
> Не поздно ли вкатываться в 20 лет?
Проиграл дичайше. Ты думаешь нужно с 10 лет этим заниматься?
> High bias: как я писал, это алгоритм хуево работает, и менять надо алгоритм, как полностью, так и увеличивать число фич. Underfitting.
> High variance: алгоритм переобучается, и нужно или больше данных, или добавить регуляризацию, или уменьшитьчисло фич. Overfitting.
Все так, только
High bias:Overfitting.
High variance:Underfitting.
А не наоборот
> Вижу тупорылого юнца с таким же максимализмом.
Очень редкий вид на дваче.
Ну хуй знает. Both high bias and high variance are negative properties for types of models. When we have a model with high bias, we say it “underfits” the data, and if we have a model with high variance and low bias, we say it “overfits” the data. We’ll see why in this section.
На самом деле прямой связи между биасами и фитами нет, т.к. хай и лоу биас и вариэнс бывают в любых комбинациях.
Хочу управлять фильтрами свертночной нейросети с помощью другой нейросети. Т.е. если у нас есть сверточный слой выход = conv(вход, X), я хочу, чтобы X поступал с какой-то другой сети.
Как водится, скорее всего моя охуительная идея кем-то реализована. Подскажите кейворды для поиска статей.
Как водится, скорее всего моя охуительная идея кем-то реализована. Подскажите кейворды для поиска статей.
Спасибо огромное, то, что нужно.
Сори, если нубский вопрос.
Суть такова: у меня есть некоторые сущности(к примеры цифры), и есть выборка, где каждой сущности сопоставлен вектор тегов. Мне нужно выяснить какие теги с какими сущностями чаще всего встречаются.
Самое простое, что мне сразу же пришло в голову, это присваивать каждому встреченному тегу вес(1), умножать его на некоторый коэффициент(m) при повторном появлении такого тега, и вычитать из веса некоторую константу(a), если при очередном элементе выборки тега не присутствует.
Что то мне подсказывает, что это ну очень наивный подход. Подскажите пожалуйста названий алгоритмов или тем, которые позволят решить задачу. Или ткните в книгу из шапки, которую стоит открыть в первую очередь. Спасибо.
Суть такова: у меня есть некоторые сущности(к примеры цифры), и есть выборка, где каждой сущности сопоставлен вектор тегов. Мне нужно выяснить какие теги с какими сущностями чаще всего встречаются.
Самое простое, что мне сразу же пришло в голову, это присваивать каждому встреченному тегу вес(1), умножать его на некоторый коэффициент(m) при повторном появлении такого тега, и вычитать из веса некоторую константу(a), если при очередном элементе выборки тега не присутствует.
Что то мне подсказывает, что это ну очень наивный подход. Подскажите пожалуйста названий алгоритмов или тем, которые позволят решить задачу. Или ткните в книгу из шапки, которую стоит открыть в первую очередь. Спасибо.
Зачем вычитать? Ты же просто гистограмму строишь.
Тебе сейчас векторное квантование наверное посоветуют.
Можешь в сторону matrix factorization глянуть.
Мне нужно сравнивать потом веса тегов у разных сущностей.
Т.е. если
тег "a" встречается с числом "1" 4 раза из 8, а
тег "b" встречается с числом "2" 2 раза из 4, то
вес тегов примерно должен быть равен. Я могу конечно просто вычислять процент того, как часто встречается этот тег, но на больших выборках это будет неудобно. Нужно хранить много доп данных, и непонятно как ограничивать множество тегов, связанных с одной сущностью.
Сука, у меня сейчас бомбанет. Как в этом ебаном R сделать список изображений из пакета imager?
Циклический data = c(data, load.image(img_path))
где img_path вычисляется заранее по счётчику цикла, не работает. data в итоге хранит набор ебаных цифр. Я пытался что-то сделать через imlist, но там вообще нихуя не понятно. Хелп.
>обработка картинок
>R
Ахаха, диипмайнд, что ты делаешь, прекрати. Собираются победить старкрафт. Интересно будет посмотреть. Наверняка у них получится, скорее всего они уже сделали преварительные тесты и получили хорошие результаты, иначе бы не объявляли с таким апломбом.
Однако на этот раз, видимо, не из исходных пикселей информацию вытаскивают. Там слои миникарты предполагаются с различными данными, видимо это то, что они уже используют в своей системе.
Однако на этот раз, видимо, не из исходных пикселей информацию вытаскивают. Там слои миникарты предполагаются с различными данными, видимо это то, что они уже используют в своей системе.
Так есть уже статьи по старику. Вечером закину в тредик.
Конечно, есть. Как и по го были сотни, если не тысячи работ. Однако в старкрафт текущие системы играют гораздо хуже, чем даже в го раньше играли - ты бы мог их победить особо не напрягаясь.
Ну у меня машинлёрнинг построен на пикчах. Что плохого-то, если есть инструменты?
>машинлёрнинг
>R
Даун тупой, как будто ты знаешь как это сделать на пистоне или что там сейчас у школуйни модно.
Поясни, чё ты как.
Алсо, я нашел хак, написал функцию, возвращающую функцию. Но у меня не получается её вызывать, сука.
Это не я
> Даун тупой
О - попёрла натура... Там два анона, я подхватил. Если бы ты занимался machine learning (который требует big data) ты бы знал, что R просто не тянет. Это как бы пакет для статистического анализа.
Слесари, как из теста вытащить место?
>Зашел на Двач ты, хочешь советов мудрых, сосни-ка хуйца.
Надо получить "Двач"
>Пошел на хуй, пошел на хуй, пошел на хуй пидарас!
Надо получить ["хуй", "хуй", "хуй"]
Чем обмазываться? Место может быть и составным.
>Зашел на Двач ты, хочешь советов мудрых, сосни-ка хуйца.
Надо получить "Двач"
>Пошел на хуй, пошел на хуй, пошел на хуй пидарас!
Надо получить ["хуй", "хуй", "хуй"]
Чем обмазываться? Место может быть и составным.
Словарь возможных мест составь и ищи по нему. Если тебе прям универсальный хардкорный алгоритм нужен, гугли name entity recognition. Для русского языка наверняка ничего нет, придется делать самому - пару человеколет закладывай.
Спасибо, нашел что нужно. Хорошо, что я не с русским языком работаю.
Какие все таки дата сцаентисты лентяи. Где моя кнопка "сделать заебись"?
Раз уж мы теперь на мейл.ру сидим.
Начался бета-тест russian ai cup 2016, в этом году игра наподобие доты или лола, в каждой игре участвует 10 ботов, можно передавать друг другу сообщения, прокачиваться. Круто в общем.
http://russianaicup.ru/
Начался бета-тест russian ai cup 2016, в этом году игра наподобие доты или лола, в каждой игре участвует 10 ботов, можно передавать друг другу сообщения, прокачиваться. Круто в общем.
http://russianaicup.ru/
>machine learning (который требует big data)
>R просто не тянет.
>Даун тупой
А я в очередной раз не ошибся с оценкой. Впрочем, на мейлру-то не удивительно.
Ставлю десятку, что кто-нибудь обучит нейроночку, которая и победит.
На тех же крестах, матлабах и пиздоны инструменты лучше.
Интересно, кто находит время для подобных соревнований?
Все опять будут пробовать Q-learning, и 90% этих людей обосрутся.
>Интересно, кто находит время для подобных соревнований?
Успешные хикки вроде меня.
>Все опять будут пробовать Q-learning, и 90% этих людей обосрутся.
В прошлый раз я пробовал и обосрался. Но в целом там мало кто использует столь продвинутые методы, времени слишком мало для разработки, тренировки, и в рантайме мало ресурсов (тензорфлоу на видюхе нипаганять). Обычно задроченный эвристический поиск побеждает. Описания стратегий-победителей прошлых лет можно найти в сети.
Чем отличается ML от Deep learning
МЛ это обучение машин, роботов там всяких, ИИ, а дип лернинг это более углубленное, продвинутое обучение, картинки всякие, ну хз короче.
Так дело в том, что ИИ и ML это тоже немного разные вещи)))
Deep Machine Learning = Machine Learning + Neural Networks
Тогда уж Convolutional Neural Networks
Нейронки сами по себе это уже МЛ. А дип - куча сверточных слоев.
Когда обкакаешься, вспоминай меня.
Очевидно, что возьмут за основу готового бота из дотана. Это путь к победе. А свои разработки обосрутся
Аноны, а как называется процесс обучения нейроночки, чтобы она могла играть в видеоигру? Reinforcement learning или ещё что то есть?
Это не процесс обучения, это направление в машинном обучение. Но копать в ту сторону, да.
Попробовал запилить простейшую стратегию. Ну там и гемор. Столько всего надо учитывать, если нормально делать. На месяц работы чтобы сделать бота, который более-менее нормально ориентируется в тактике и простейшей стратегии. А еще надо кооперацию рассматривать, сообщениями обмениваться, билды оценивать. Кароч на те сроки, какие есть, только башню из костылей можно построить.
Надо нейроночку, и обучать на корейцах.
Deep learning - одно из направлений в ML. Отличительная особенность - использование т.н. глубоких архитектур, т.е. последовательно состыкованных и обучаемых особым образом элементарных алгоритмов типа машин Больцмана, аутоэнкодеров, сверточных сетей и т.п. Предыдущие ораторы обосрались с простейшим вопросом. Что и не удивительно для школьников с мейлру.
Кто о чем а вшивый о бане. Там 10мс одного ядра на ход, и на каких корейцах ты собрался обучать, если правила отличаются?
двачую анона, там ни библиотек, ничего нет, даже нампи нет. Кроме того, большое преимущество у тех, кто знает джаву. Каждый год джависты разбирают трейнер, который дается, и делают на его основе себе обучалку. Хотя это очень весело, веселее, чем кэггл.
Подходят ли функциональные языки программирования для глубинного обучения?
Что есть "глубинное обучение" в твоем понимании?
Что - то прорывное и будоражаще новое, что - то что я не знаю, как и ФП.
Видеокарточки уже закупил?
Т.е. там даже NumPy нельзя? Перемножение матриц, Холекцого и другой элементарный линал мне самому надо будет кодить, если я сунусь туда?
ну, обучаться у себя будешь с библиотеками, а на боевом сервере ничего нет
ну что, ананасы, кто из вас выиграл сбербанк? получили награждение от грефа?
А кто-нибудь вообще участвовал?
машин Больцмана
их кстати в реальных задачах сейчас кто то использует ?
А вот хуй знает. Не знаю как местные, а я с MCMC никогда нормально работать не мог и отношусь к нему достаточно скептически. Знаю, что ЛеКун со всех этих Deep Больцманов тоже не в восторге.
Вряд ли, как и аутоэнкодеры. Но, именно с них пошел сам термин "диплернинг". Просто сейчас любой школотрон уверен, что диплернинг это только сверточные сети, даже сам термин объяснить мало кто в состоянии. Про неокогнитроны вообще никто не слышал.
А почему автоэнкодеры больше не используются? Чем заменили?
Да пользуют их, те же VAE в гипернеты пихают. Другое дело, что это всё в продакшн вроде бы не пихают.
Я дебил и не понимаю, что такое нейрон. Почему все так скрывают, что он делает и представляют его, как черную коробку? Можете мне написать маняпример на Си типа хеллоуворлда. Мол есть массив-черная картинка пусть даже с котиком ахахаха. 1 - черное, 0 - белое. И как нам распознать нос? И зачем тут нейросеть ваще? По хардкору поясните, дабы даже такой дибил как я понял
гс, ну как бы носы бывают разные: разных размеров,форм, цветов, сопливые и в сметане, фото может быть сделано с разных ракурсов, разного освещения и четкости. теперь представь хотя бы на высоком уровне экспрешн, который бы мог вернуть тебе элементарно наличие носа а картинке?
нейросеть, в глобальном смысле, сопоставляет входящую картинку с набором каких-то своих паттернов, развитых во время своего обучения, и выдает тебе вероятность наличия носа на картинке
Есть ли какое-то ПО для моделирование нейронных сетей? Грубо говоря, мышкой кликать.
На твоем уровне развития невозможно достигнуть сколько-нибудь детального понимания. Медитируй над фразой "нейроночка - массив".
покажи пример, пожалуйста,
Правда ли, что нейронные сети полны по Тьюрингу и поддерживают даже сверхтьюринговые вычисления? Значит ли это, что я могу замкнуться в себе, запустить бубунту и создавать ИИ в своем мозгу, а потом просто переписать? И чем это грозит?
http://neuroph.sourceforge.net/
>Правда ли, что нейронные сети полны по Тьюрингу
Да, они же могут по датасету восстановить (аппроксимировать) любые вычислимые функции.
>сверхтьюринговые вычисления
Сказка жи. Сам Тьюринг эту хуйню придумал просто для иллюстрации, что даже такой метод не снимает проблемы невычислимых функций. Его "Оракул" в данном случае чисто сказочный персонаж.
>Значит ли это, что я могу замкнуться в себе, запустить бубунту и создавать ИИ в своем мозгу, а потом просто переписать?
Это как?
Нейрон: выход = вход * вес.
Дальше сам.
рекомендашки на автоэнкодерах/ворд2век есть
Нихуя не понял, как вкатиться? Охуенно, я выбрал себе задачу - то же распознавание капчи. Но есть хоть какие-то примеры, как ее решать, чтоб уже понимать, что блять из всего обилия инфы читать?
распознавание капчи, думаю, уже решено, и распознается лучше, чем человеком.
вдогонку, заходишь на google scholar, вбиваешь captcha recognition, смотришь статьи, но распознавание капчи особо не отличается от всех остальных распознавалок текста
Вкатиться невозможно. К тому же ты, скорее всего, слишком стар уже для этого.
Чуваки, учусь на первом курсе, тут такое дело: нужно подготовить какой-нибудь интересный проект для выступления на конкурсе, как думаете, нейронная сеть подойдет для такого или есть что-нибудь интереснее?
Попробуй применить differentiable neural computer в обучении с подкреплением.
Уже под тысячу человек участвует. Этот конкурс по популярности на уровне CodinGame и кегли, что довольно круто.
Привет, машобач. Повторяю то, что писал в ньюфаготреде (проигнорили).
Нужно тему на курсач по веб-кодингу. Требуют запилить что-то с новизной. Как ты догадываешься, я бы очень хотел присунуть туда машинлёрнинг. Поделитесь идеями, плиз. Желательно что-нибудь несложное.
Пока что подумываю над сайтом-фотохранлищем. Как новизну добавлю разные фичи поиска похожих пикч. Хуй знает, короче. Хочу что-нибудь интересное. Плиз, хелп.
только на кегли приз 20000 уе (налоги и тд, плюс команда). А тут схожая конкуренция, а в приз АЙПАД И ФУТБОЛКА.
О, тот самый тред. Привет, я только начал смотреть что да как, и сразу же нихуя не понял, проблему усугубляет невозможность читать чужой код (сам пытаюсь для начала запилить свой небольшой алгоритм на бумаге на самом деле в ue4 блюпринтами). Статьи которые я читал, постоянно повторяют "сеть обучается", "сеть запоминает", "сеть решает", но не понимаю, как это выглядит в числах.
1. Что такое функция активации и какая подойдет для моей задачи?
2. Как менять силу изменения веса между нейронами?
Вот сама задача:
Персонаж стоит около пяти кнопок. Когда активируется одна кнопка персонаж должен набежать на нее, после чего открывается соответствующая ей дверь. Персонаж бежит к двери. То есть, должен принять два решения на два действия. Сколько нужно слоев нейронов? Сколько их самих? Сколько выходов должно быть? Как поощрять персонажа? Какие величины вписывать в переменные? Есть ли примеры похожих задач?
1. Что такое функция активации и какая подойдет для моей задачи?
2. Как менять силу изменения веса между нейронами?
Вот сама задача:
Персонаж стоит около пяти кнопок. Когда активируется одна кнопка персонаж должен набежать на нее, после чего открывается соответствующая ей дверь. Персонаж бежит к двери. То есть, должен принять два решения на два действия. Сколько нужно слоев нейронов? Сколько их самих? Сколько выходов должно быть? Как поощрять персонажа? Какие величины вписывать в переменные? Есть ли примеры похожих задач?
Нахера в твоей задачи нейронка вообще?
И еще. Так как кнопка включается рандомно, я запилил входные данные как одна включенная кнопка это 0.5, а нерабочие - 0.1. Это норм?
Задача направлена на попытку понимания и визуализацию, я хочу посмотреть, как это работает.
Лучше порешай стандартные задачи, типа линейной регрессии (нахождение зависимости между переменными) и задачу классификации, именно в них кроется сама суть того, что делают нейронки и другие алгоритмы машинного обучения.
Ну блин, я хочу заниматься именно в этом направлении, вон как те дяди, учившие роботов проходить лабиринты, или видеорелейтед и вот это всё в этом духе.
https://www.youtube.com/watch?v=qv6UVOQ0F44
Ну вон там код есть, кури его.
Кури генетические алгоритмы, в видео основной смысл в нем.
Нейроны там тупо для активации кнопок нужны, они не обучаются, веса в них зависят от гена.
Там используется сигмоидальная активация, но она там нахуй не нужна, линейной хватит или даже тупо пороговой.
Если у тебя есть титанчик под рукой - реально круто было бы сделать поиск картинок.
Делаешь TripletNet с VGG/ResNet/Inception/чтотамещеестьнаимеджнете, доучиваешь передний слой делать евклидовы эмбеддинги, дальше кнном ищещь похожие. Даже работать будет достаточно неплохо почти гарантированно (в файндфейсе очень похожая схема внтури), пишется на керасе за 20 минут с отладкой.
Дельные советы, что и говорить
Эти два поста совершенно правы (применительно к тебе). Но твой уровень развития не позволяет (и, возможно, никогда не позволит) этого увидеть. Ты как муравей, карабкающийся на Эверест. Профессиональные альпинисты, пробегающие мимо, говорят тебе: "ты умрешь, поворачивай обратно", но муравью не дано понять человеческую речь или увидеть гору самому.
Дык, рашкинские нищуки же. Справедливости ради, на кегле задачи несопоставимо сложнее, и уровень участников гораздо выше. Там очень крутые челы, а на этих программерских соревнованиях в основном студенты. И времени на кегле намного больше дается.
Главный приз там - макбук про, это три годовые зарплаты среднего ивана, а уж про студней и говорить нечего. Для Северной Нигерии вполне себе призы.
тут другая область и другие знания требуются, если на кээгле очень важно найти факапы разработчиков датасета, то тут желательно уметь программировать, разобрать джава-пакеты разработчиков, написать на их основе свой симулятор и тд, обычно выигрывают те, кто умеет это делать.
Посоны, я так и не понял почему в примере с Teano со сверточной сетью не происходит переобучение, хотя там проходят по одной и той же обучающей выборке по десятку раз. У меня на моей тестовой так не получается, сеть всегда приспосабливается к обучающей и начинает плохо распознавать тестовую.
>на моей тестовой
ну, которую я сам писал на c++
Или проще говоря, после каждой эпохи сет приспосабливается к обучающей выборке, но тестовая распознается все хуже и хуже.
Вообще у меня вся задача сводилась к таблице где x - вход, y z - выходы и
x---y---z
1---1---1
3---3---3
4---4---4
2---2---2
но ладно
Думаю, ты идешь нахуй, ибо делать выводы о совершенно незнакомом человеке основываясь непонятно на чем может только полный мудак.
Я задал вопрос, как начать изучать эту тему, ввиду того, что в ОП-посте сказано "решайте задачу" - как решать, что гуглить, малопонятно.
Почему еще нет ИИ? Какие проблемы в этом направлении сейчас?
Бамп вопросу.
нет никакого ии
Дай определение ии. Какие есть предпосылки к тому, что он должен появиться? Люди не очень понимают, как просто мозг работает. Нейроночки - довольно далекая вещь от реального мозга, это просто математическая модель с модным названием.
я гуманитарий, но нужно дропаут добавлять, чтоб не было переобучения. Ну, и слишком много зависит от твоего кода. Там может быть банальный баг и тд и тп.
>но нужно дропаут добавлять
А он точно в теано по-умолчанию уже есть? Я от себя там никаких алгоритмов не добавлял. Брал обычный пример на сайте диплернинка с мнист базой который.
Да там куча всего может быть. Может функции различаются, может оптимизаторы разные, где-то мб момент используется (который, кстати, в некотором роде спасает от попадания в локальный минимум), какие-то параметры различаются и прочее.
В моем понимании ИИ это модульная система, которая рационально понимает когда использовать тот или иной модуль, и при этом может замещать их и комбинировать, при этом имея возможность строить новые модули при помощи обучения. Модули это своеобразные ментальные модели, но при этом модули могут представлять и данные, и программу вообще другого толка. Почти как в лиспе.
Хотя может потому, что я тестировал на полносвязной сети.
А нет, я потом и на сверточной проверил. Результат тот же.
Есть литература для самых маленьких с примерами кода? (желательно плюсы)
Посмотрел шапку, только саенс, хочется чтобы книга была построена по принципу.
1)теория
2)пример
3)задание
или как-то так, кароче говоря классическая книжка для изучения для ньюфань.
Посмотрел шапку, только саенс, хочется чтобы книга была построена по принципу.
1)теория
2)пример
3)задание
или как-то так, кароче говоря классическая книжка для изучения для ньюфань.
упс, сега
очередной платиновый вопрос в стиле high variance, что делать
Whitening данных сделать не забыл?
Для слесарей онлайн курсы есть.
В примере теано таких проблем нет хотя бы потому, что они используют early stopping. А вообще это классика: у тебя модель наверняка слишком большая для твоего датасета.
Блядь, такими методами, по-твоему, не пытались решить эту задачу? Одним из парадоксов робототехники является то, что сложнейшие для человека когнитивные навыки машина легко усваивает и описываются они для неё точными методами, но вот штуки вроде движения по неидеальной местности даются ой как не просто.
Кстати, в рашке робототехника особо и не развивается. МЛ в робототехнике -- Япония, Америка. В рашке МЛ используется в областях, которые вообще принципиально не могут быть описаны точными методами -- выделение закономерностей по выборке данных, анализ которой нельзя провести вручную никак. Допустим, для формирования экономических моделей, вся хуйня.
И, кстати, тервер -- это то, что связывает реальный мир и абстрактный. И ещё -- в "сраной рашке" математическая наука развита на одном из самых высоких уровней в мире. Как чистая, так и прикладная.
>в "сраной рашке" математическая наука развита на одном из самых высоких уровней в мире
Олька. Ты ПАЛИЦЦО. Очинь-на сина ПАЛИЦЦО, да?
Математическое образование в России
Математического образования в России нет.
Я уже 6 лет читаю учебные курсы и лекции в Независимом Университете; общая польза, принесенная этими курсами кому бы то ни было, практически нулевая; по крайней мере студентам-математикам пользы не было никакой. Я буду заниматься этим и дальше, но занятие это очевидно бессмысленное.
Мои скромные педагогические способности тут не при чем; будь я даже и Оскаром Зариски напополам с профессором Яу, у меня ничего не вышло бы. За эти 6 лет я не видел в Москве ни одного студента, который доучился бы до состояния, позволяющего вести научную работу (я видел довольно много хороших молодых ученых - Стефан Немировский, например - но учились они где-то в другом месте; я не знаю где, но точно не у нас). Единственная функция Независимого Университета - поставлять кадры для американских аспирантур; но и с ней он справляется, в последнее время, крайне плохо, поскольку интеллектуальный фонд истощился до полного опустошения и кердыка.
Исторически, в России имели место две параллельные образовательные системы; одна из них - университетская - за 5 лет худо-бедно давала знания, которые следует иметь студенту первого года обучения; она дополняла этот материал абсолютно бессмысленным концептуальным и вычислительным баластом и просто откровенным бредом (учебник Камынина помните?) Даже те знания, которые давались университетской программой, давались ей в виде мало-осмысленных вычислительных рецептов, и в результате понимание студентом сути вещей только затруднялось. Университетская программа выпускала не математика, а калеку, который математикой не мог заниматься уже никогда; если кто-то в результате и становился математикой, то только вопреки тому, чему его учили, а не благодаря этому.
Вторая программа была альтернативой, созданной Гельфандом, Маниным и иже с ними вокруг матшкол, Керосинки и семинаров Гельфанда и Манина; студент, попавший в эту структуру, к 3-4 курсу усваивал материал, соответствующий второму-третьему обучения математике (в смысле выше приводимой программы). Потом он оказывался в состоянии, которое Гельфанд охарактеризовал как бег за трамваем в попытках вскочить на его подножку; ни владения текущей литературой, ни возможности в ней ориентироваться программа Гельфанда и Манина не давала (да и библиотек, доступных студенту Керосинки, не было). Курсов, соответствовавших текущему состоянию науки, на мех-мате не читалось, кроме Манина, который избирал одну определенную область и год-два ею занимался; выпуская каждый раз 3-5 студентов, которые с тех пор и до самой смерти занимаются именно этим.
Гельфанд учил, что, чтобы таки допрыгнуть до трамвая, надо ходить на семинары, заведомо непонятные, и самостоятельно пытаться разобраться в том, что там происходит. Именно таким образом люди (кому повезет) осваивали материалы года обучения с третьего по пятый мною обозначенной программы (материал пятого года, конечно, тогда не весь существовал; вместо него были модули Верма и ББГ-резольвента, сейчас, видимо, неактуальные).
В последние 10 лет ситуация отчасти параллельна мною описанной. Имеются две конкурирующие программы: университетская (которая с 1980-х не изменилась, а только сократилась немного - скажем, спектральные последовательности в ней были, а сейчас их нет), и альтернативная, которой занимаются в Независимом Университете и в ИТЭФе.
Но есть существенная разница - люди, которые понимают о чем идет речь в математической литературе (типа, в http://arxiv.org) в основном уехали; в результате, охват альтернативной системы сократился с середины третьего года обучения по Гельфанду и Манину до середины второго. При этом никаких ориентиров в плане дальнейшего самообразования студент не получает. Колоссальный барьер между обучением на студенческих семинарах и чтением научной литературы, который требовалось преодолевать самообразованием, увеличился с 2 лет до 4 и стал непреодолим. Вместо пропасти, второй край которой отчасти просматривается, мы имеем черную дыру, которая поглощает каждого, кто к ней приблизится.
У нас нет учебных заведений, где мою программу обучения можно было бы использовать; но смысл в ней тем не менее есть. Смысл ее - в установлении приоритетов и ориентиров. Конечно, нет у нас студентов, которые в школе учат теорию Галуа и гомотопическую топологию, а на втором курсе постигли классифицирующие пространства и характеристические классы. Не то чтобы их не может быть в принципе - во времена семинаров Гельфанда и Манина такие студенты были - но факт состоит в том, что сейчас их нет; и не будет никогда, если интеллектуальный климат останется таким, как сейчас, и если мы не приложим усилий к его изменению. Программа, мною выше приведенная - есть не данность, а идеал, к которому необходимо стремиться.
Студенту, если он хочет чему-нибудь выучиться, полезно время от времени поглядывать на описанный куррикулум; и сообразовать свое обучение с этой программой. Иначе кердык.
Математического образования в России нет.
Я уже 6 лет читаю учебные курсы и лекции в Независимом Университете; общая польза, принесенная этими курсами кому бы то ни было, практически нулевая; по крайней мере студентам-математикам пользы не было никакой. Я буду заниматься этим и дальше, но занятие это очевидно бессмысленное.
Мои скромные педагогические способности тут не при чем; будь я даже и Оскаром Зариски напополам с профессором Яу, у меня ничего не вышло бы. За эти 6 лет я не видел в Москве ни одного студента, который доучился бы до состояния, позволяющего вести научную работу (я видел довольно много хороших молодых ученых - Стефан Немировский, например - но учились они где-то в другом месте; я не знаю где, но точно не у нас). Единственная функция Независимого Университета - поставлять кадры для американских аспирантур; но и с ней он справляется, в последнее время, крайне плохо, поскольку интеллектуальный фонд истощился до полного опустошения и кердыка.
Исторически, в России имели место две параллельные образовательные системы; одна из них - университетская - за 5 лет худо-бедно давала знания, которые следует иметь студенту первого года обучения; она дополняла этот материал абсолютно бессмысленным концептуальным и вычислительным баластом и просто откровенным бредом (учебник Камынина помните?) Даже те знания, которые давались университетской программой, давались ей в виде мало-осмысленных вычислительных рецептов, и в результате понимание студентом сути вещей только затруднялось. Университетская программа выпускала не математика, а калеку, который математикой не мог заниматься уже никогда; если кто-то в результате и становился математикой, то только вопреки тому, чему его учили, а не благодаря этому.
Вторая программа была альтернативой, созданной Гельфандом, Маниным и иже с ними вокруг матшкол, Керосинки и семинаров Гельфанда и Манина; студент, попавший в эту структуру, к 3-4 курсу усваивал материал, соответствующий второму-третьему обучения математике (в смысле выше приводимой программы). Потом он оказывался в состоянии, которое Гельфанд охарактеризовал как бег за трамваем в попытках вскочить на его подножку; ни владения текущей литературой, ни возможности в ней ориентироваться программа Гельфанда и Манина не давала (да и библиотек, доступных студенту Керосинки, не было). Курсов, соответствовавших текущему состоянию науки, на мех-мате не читалось, кроме Манина, который избирал одну определенную область и год-два ею занимался; выпуская каждый раз 3-5 студентов, которые с тех пор и до самой смерти занимаются именно этим.
Гельфанд учил, что, чтобы таки допрыгнуть до трамвая, надо ходить на семинары, заведомо непонятные, и самостоятельно пытаться разобраться в том, что там происходит. Именно таким образом люди (кому повезет) осваивали материалы года обучения с третьего по пятый мною обозначенной программы (материал пятого года, конечно, тогда не весь существовал; вместо него были модули Верма и ББГ-резольвента, сейчас, видимо, неактуальные).
В последние 10 лет ситуация отчасти параллельна мною описанной. Имеются две конкурирующие программы: университетская (которая с 1980-х не изменилась, а только сократилась немного - скажем, спектральные последовательности в ней были, а сейчас их нет), и альтернативная, которой занимаются в Независимом Университете и в ИТЭФе.
Но есть существенная разница - люди, которые понимают о чем идет речь в математической литературе (типа, в http://arxiv.org) в основном уехали; в результате, охват альтернативной системы сократился с середины третьего года обучения по Гельфанду и Манину до середины второго. При этом никаких ориентиров в плане дальнейшего самообразования студент не получает. Колоссальный барьер между обучением на студенческих семинарах и чтением научной литературы, который требовалось преодолевать самообразованием, увеличился с 2 лет до 4 и стал непреодолим. Вместо пропасти, второй край которой отчасти просматривается, мы имеем черную дыру, которая поглощает каждого, кто к ней приблизится.
У нас нет учебных заведений, где мою программу обучения можно было бы использовать; но смысл в ней тем не менее есть. Смысл ее - в установлении приоритетов и ориентиров. Конечно, нет у нас студентов, которые в школе учат теорию Галуа и гомотопическую топологию, а на втором курсе постигли классифицирующие пространства и характеристические классы. Не то чтобы их не может быть в принципе - во времена семинаров Гельфанда и Манина такие студенты были - но факт состоит в том, что сейчас их нет; и не будет никогда, если интеллектуальный климат останется таким, как сейчас, и если мы не приложим усилий к его изменению. Программа, мною выше приведенная - есть не данность, а идеал, к которому необходимо стремиться.
Студенту, если он хочет чему-нибудь выучиться, полезно время от времени поглядывать на описанный куррикулум; и сообразовать свое обучение с этой программой. Иначе кердык.
Первый курс
Анализ" Лорана Шварца, "Анализ" Зорича,
"Задачи и теоремы из функ. анализа" Кириллова-Гвишиани
Дифференциальная топология (Милнор-Уоллес),
Комплексный анализ (Анри Картан), Комплексный анализ (Шабат)
Второй курс
Группы и алгебры Ли (Серр)
Алгебраическая топология (Фукс-Фоменко),
"Векторные расслоения и их применения" (Мищенко)
"Характеристические Классы" (Милнор и Сташеф)
"Теория Морса" (Милнор),
"Эйнштейновы Многообразия" (Артур Бессе),
Коммутативная алгебра (Атья-Макдональд),
Введение в алгебраическую геометрию (Мамфорд)
Алгебраическая геометрия (Гриффитс и Харрис),
Алгебраическая геометрия (Хартсхорн)
Алгебраическая геометрия (Шафаревич)
Алгебраическая теория чисел (ред. Касселс и Фрелих)
Теория чисел (Боревич-Шафаревич)
Когомологии Галуа (Серр)
"Инварианты классических групп" (Герман Вейль)
Третий курс
Бесконечнократные пространства петель (Адамс)
К-теория (Атья)
Алгебраическая топология (Свитцер)
Анализ (Р. Уэллс)
Формула индекса (Атья-Ботт-Патоди, сборник Математика)
Гомологическая Алгебра (Гельфанд-Манин)
Когомологии групп (Браун, что ли)
Когомологии бесконечномерных алгебр Ли (Гельфанд-Фукс)
Кэлеровы многообразия (Андрэ Вейль)
Квазиконформные отображения (Альфорс)
Четвертый курс
Геометрическая топология (Сулливан)
Этальные когомологии (Милн)
Алгебраическая геометрия - обзор Данилова (Алгебраическая Геометрия 2, ВИНИТИ)
Группы Шевалле (Стейнберг)
Алгебраическая К-теория (Милнор)
Обзор Суслина по алгебраической К-теории из 25-го тома ВИНИТИ
Многомерный комплексный анализ (Гото-Гроссханс)
То же по книжке Демайи (перевод готовится)
Пятый курс
Громов "Гиперболические группы"
Громов "Знак и геометрический смысл кривизны"
Анализ" Лорана Шварца, "Анализ" Зорича,
"Задачи и теоремы из функ. анализа" Кириллова-Гвишиани
Дифференциальная топология (Милнор-Уоллес),
Комплексный анализ (Анри Картан), Комплексный анализ (Шабат)
Второй курс
Группы и алгебры Ли (Серр)
Алгебраическая топология (Фукс-Фоменко),
"Векторные расслоения и их применения" (Мищенко)
"Характеристические Классы" (Милнор и Сташеф)
"Теория Морса" (Милнор),
"Эйнштейновы Многообразия" (Артур Бессе),
Коммутативная алгебра (Атья-Макдональд),
Введение в алгебраическую геометрию (Мамфорд)
Алгебраическая геометрия (Гриффитс и Харрис),
Алгебраическая геометрия (Хартсхорн)
Алгебраическая геометрия (Шафаревич)
Алгебраическая теория чисел (ред. Касселс и Фрелих)
Теория чисел (Боревич-Шафаревич)
Когомологии Галуа (Серр)
"Инварианты классических групп" (Герман Вейль)
Третий курс
Бесконечнократные пространства петель (Адамс)
К-теория (Атья)
Алгебраическая топология (Свитцер)
Анализ (Р. Уэллс)
Формула индекса (Атья-Ботт-Патоди, сборник Математика)
Гомологическая Алгебра (Гельфанд-Манин)
Когомологии групп (Браун, что ли)
Когомологии бесконечномерных алгебр Ли (Гельфанд-Фукс)
Кэлеровы многообразия (Андрэ Вейль)
Квазиконформные отображения (Альфорс)
Четвертый курс
Геометрическая топология (Сулливан)
Этальные когомологии (Милн)
Алгебраическая геометрия - обзор Данилова (Алгебраическая Геометрия 2, ВИНИТИ)
Группы Шевалле (Стейнберг)
Алгебраическая К-теория (Милнор)
Обзор Суслина по алгебраической К-теории из 25-го тома ВИНИТИ
Многомерный комплексный анализ (Гото-Гроссханс)
То же по книжке Демайи (перевод готовится)
Пятый курс
Громов "Гиперболические группы"
Громов "Знак и геометрический смысл кривизны"
н петух што ты тут делаешт ты ведб даже не можешь определять тут н
>определять тут н
{1,2,3,4,..}
А есть сцылка, гуглить в падлу, на заводе две смены отпахал.
Гугли сотрудников ИТЭФ, МИАН, НМУ. Это чистая математика. Прикладная -- работы сотрудников Форексиса и Яндекса. Экономическое приложение -- РЭШ, экфак/МИЭФ ВШЭ. ФУПМ/ФИВТ МФТИ, ФКН ВШЭ -- для проггеров пиздатое образование (если сам не идиот и по среднему баллу проходишь на нормальные кафедры).
А, ещё посмотри лауреатов филдсовской и абелевской премий. Статистика по первой: с 98 года 5 россиян лауреаты (двое имели гражданство США, но образование у них российское), а американцев -- только трое. Британцев двое.
Да, у нас прекрасные математики. Но с идущим прямо в пизду образованием у нас их будет всё меньше и меньше.
Если ты этот
то это уже манявры пошли...
Они не маняврируют, за манёвры 15 рублей не дают.
Это у тебя манёвры. Я лично математику по пиратским учебникам западным изучал, т.ч. содействия здесь со стороны государства я не наблюдаю.
А откуда тебе знать? Опыт работы в подобных конторах есть что ли?
Тюним параметры таких каждый день. Базарю, подкрепления от манёвров не даём.
>содействия здесь со стороны государства я не наблюдаю.
Но тебя даже не посадили в тюрьму как оскорбляющего чувства верующих экстремиста-педофила и агента влияния.
Так что содействие есть.
> Для слесарей онлайн курсы есть.
Не знаю местных мемов, что за онлайн курсы, и что за слесари?
Яндекс в основном хуево повторяет за гуглом. Пример отсоса математиков у слесарей.
Слесарь это тот, кем ты мечтаешь стать. Онлайн курсы: https://lmgtfy.com/?q=machine+learning+online+course
Аноны, тут кто-нибудь угорает по рекуррентным нейроночкам? Как правильно сделать ввод-вывод нескольких связанных значений? Типа даёшь ей месяц, температуру, давление, осадки, а она предсказывает температуру, давление, осадки на следующий день. Где-то можно прочитать про подобную архитектуру?
Не занимаюсь, но мб скоро придётся
Очевидный weather forecasting rnn
http://www.ijcaonline.org/archives/volume143/number11/zaytar-2016-ijca-910497.pdf
для твоей задачи любая нейроночка подойдет, хоть rnn, хоть сверточка
https://keras.io/layers/recurrent/
там под каждой архитектурой есть ссылочки на статьи
Есть мнение (подкрепленное продом яндекс погоды), что в этой задаче лучше все пихать в хгбуст.
Если хочешь нейронки - бери свертки, сильно проще учить и заходят не принципиально хуже лстмок даже в случае текстов, например.
Спасибо, аноны!
Спизданул нихуя не знающий о их деятельности десятиклассник? У них дохуя научки. Ещё можешь посмотреть кафедру "интеллектуальные системы" (она при ФУПМ МФТИ и ВМК МГУ, на ВЦ РАН), там дохуя трудов научных. Думаю, по Яндексу тебе будет лень читать, поэтому заинтересую Форексисом -- тоже российская компания, исключительно в области МЛ. У них прям на сайте список их научных работ есть.
Разве независимый университет не чмошная хуита?
Участвую. Из всех игровых констант учитываю не более 10% и прошел во второй раунд, лол, даже поиск пути не запилил. Тут нихуя не работает командная тактика, о сообщениях можно забыть до финала. Код - лапша из ифов. Короче, в этом году мейловцы обосрались с заданием.
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Learning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
А. Пегат, "Нечёткое моделирование и управление"
другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
http://videolectures.net/mlss09uk_cambridge/
http://kaggle.com - весёлые контесты. денежные призы
https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1 - олимпиадки
https://www.reddit.com/r/MachineLearning/wiki/index
http://katbailey.github.io/
http://rgho.st/8g68fTCSx две брошюры по deep learning для слесарей.
курс от китаёзы
яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают
5. idris/coq - модные яп для формально верифицированных нейроночек с тренировкой на этапе компиляции
ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2017 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Что такое TensorFlow?
TensorFlow - опенсорсный гугловый инструмент для перемножения тензоров и оптимизации функционалов. Опенсорсный - потому что даже важные куски типа параллелизации уже выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.
будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп. хилари всех убьёт, лучше не вкатывайтесь ребята
смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.
нужна математика?
для начинающего ничего особого знать не нужно
поясните за нейроночки
нейроночка - массив
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/