Что'то слесаря совсем деградировали, не могут осилить не только алгоритмы, которыми пытаются что'то сделать, но и либы, реализующие эти алгоритмы. Господа, вам не стыдно задавать вопросы как в конце предыдущего треда? Мне такое даже читать стыдно, если честно. Какой вам машоб, если вы гугл и пару страничек документации одолеть не можете? Пиздец с какими деградантами сижу...
У господ каникулы: некогда
Как в матлабе сделать такую трансформацию:
прохожу по изображению окном 3x3 пикселя, и записываю вектор из этих 3 пикселей?
Был для RGB изображения массив:
1) ширина-высота-3
Должен стать массив:
2) ширина-высота-9
прохожу по изображению окном 3x3 пикселя, и записываю вектор из этих 3 пикселей?
Был для RGB изображения массив:
1) ширина-высота-3
Должен стать массив:
2) ширина-высота-9
Напомню неприятный вопрос из прошлого треда. Тут принято хейтить R, ок. Возьмем такую тему как natural language processing. Покажите мне на пистоне или где угодно функционал уровня https://cran.r-project.org/web/packages/LSAfun/index.html особенно интересует функция MultipleChoice().
>Возьмем такую тему как natural language processing
Работник Янжекса не палится.
Нет вы послушайте. Решил я угореть по всякому семантическому анализу текстов. Ну, думаю, уж на пистоне этого добра навалом, раз он такой распиаренный. А там и нет нихуя кроме word2vec, tfxidf и прочего примитива. Как же так? Хотелось бы оправданий. Тем более, что на R полно всего по этой теме. LSA, LDA, topicmodels итд. Книги по анализу текста в пистоне просто смешно читать, это для начальной школки учебники?
Причём яндекс?
Причём яндекс?
для питона есть nltk и gensim, никто не призывает читать книги про анализ текстов на питоне, к тому же такие книги в основном о питоне, а не о анализе текстов.
> и gensim,
Уже интереснее, но не то. Короче, нет на пистоне нормальных тулз для анализа текстов. Это печально.
LSTM достаточно точно описывает нейрон? Именно на них можно будет построить ИИ ? Какой сейчас предел в количестве моделирования? Какие модели применяются для переводчиков? Если наращивать количество нейронов, перевод будет точнее?
> LSTM достаточно точно описывает нейрон?
Достаточно для чего? Нет, искусственные нейроны это математические модели, которые основаны на биологических, но их задача быть эффективными, а не похожими. Близкие к настоящему нейрону модели могут быть использованы в специализирующихся на этом проектах, вроде Blue Brain, но на практике у них нет применения, или оно не обосновано.
> Именно на них можно будет построить ИИ ?
Нет.
> Какой сейчас предел в количестве моделирования?
Что есть количество моделирования? На полный мозг, например, человеков пока не хватило.
> Если наращивать количество нейронов, перевод будет точнее?
Увеличение размера и количества слоев имеет свои пределы полезности, масштабирование это не решение, нужно подбирать архитектуру.
Проблема не с тем чтобы была больше мощща, а с тем что используются подходы 70-80х. Математике нужно догнать развитие железа.
>Достаточно для чего? Нет, искусственные нейроны это математические модели, которые основаны на биологических, но их задача быть эффективными, а не похожими. Близкие к настоящему нейрону модели могут быть использованы в специализирующихся на этом проектах, вроде Blue Brain, но на практике у них нет применения, или оно не обосновано.
Это че, моделировали, моделировали, а на практике так и нет применения? Мда.
Практика это машинное обучение, датаслесарство - дана предметная область и в ней надо решать задачи как можно более простыми методами. Пока не появился ИИ, его моделирование следует относить к теории.
на сколько я понял, то в настоящем нейроне вероятность передачи по одному из каналов, а в искусственном - вес связи.
> Проблема не с тем чтобы была больше мощща, а с тем что используются подходы 70-80х. Математике нужно догнать развитие железа.
В области машоба все равно лучше теории статистического обучения Вапника небыло и скорее всего не будет ничего. Саму задачу обучения не получится поставить шире и точнее. Но большинству похуй же, пока подход уровня 'нахуярим побольше слоев' дает результаты лучше, чем более умные алгоритмы.
что за ушастый чёрт?
есть с ним порево?
Настоящий нейрон это сложная система физических и химических процессов. Воссоздавать сам по себе нейрон на базе железа нет смысла, пока не изучена работа всего мозга - мы не можем собрать всю сеть, а сам нейрон без нее... просто не для задач машинного обучения.
Этот подход рано или поздно себя исчерпает. Вообще, забавно будет наблюдать картину в программировании лет через 10, когда в вебе останется только 3.5 соцсети с широким функционалом, а автоматизация вытеснит остальных макак из профессии.
> что за ушастый чёрт?
> есть с ним порево?
У мамки своей спроси, наверняка есть, он ее регулярно поебывает.
но есть куча инструментов изучать отдельные нейроны, можно же делать модели и сравнивать с поведением отдельных групп нейронов.
Это например каким инструментом можно изучить отдельный нейрон?
> это девственное лысое пузатое ушастое чмо
> поёбывает
маня плёс
как-то же изучили, чтоб простейшие модели построить.
Построили. Не изучили.
Поясните за либы машоба для хаскеля, пожалуйста.
Этим занимается computational neurosciene. Но пытаться на этом сделать машоб - это (как по-моему Ле Кун говорил) все равно, что пытаться сделать самолет на с помощью махания крыльями. Нейроны сложные, при чем довольно сильно и избыточно.
Сколько их видов?
Видов нейронов? Дохуя. А тебе зачем?
Понять основные отличия в их функциях и хотя бы прикинуть приблизительные модели. Понять на сколько полна существующая модель нейрона и возможна ли замена одного натурального нейрона несколькими искусственными.
Нейроны изучать таки можно. Микроэлектроды никто не отменял.
Можешь посмотреть вот этот курс - https://www.coursera.org/learn/computational-neuroscience
Начинается с описания работы биологических нейронов, далее рассказывается про то, как наблюдения за группами нейронов превратились в первые мат. модели, после чего описание мат. моделей перерастает в описание backprop.
TL;DR биологический нейрон несоизмеримо сложнее того, что называется нейроном в машобе. Описанию первого даже на базовом уровне посвящены книги, а о последнем можно рассказать в двух предложениях.
>Описанию первого даже на базовом уровне посвящены книги
Важны каналы передачи сигналов и как они обрабатываются и передаются далее же. Хотелось бы примеров в двух словах для начала.
Калий-натриевые насосы (и др. механизмы) на поверхности нейрона поддерживают высокую концентрацию ионов натрия, кальция и хлора снаружи, и высокую концентрацию ионов калия внутри нейрона. Нейромедиаторы, улавливаемые дендритами, провоцируют вливание ионов из межклеточной жидкости внутрь клетки, изменяя таким образом мембранный понетциал. Когда мембранный потенциал доходит до определенной отметки, клетка возбуждается и в ней начинается сложный процесс входа и выхода ионов, который сопровождается ионным током по аксону. Аксон покрыт миелиновой оболочкой, которая предотвращает потерю заряда, а миелиновая оболочка разделена на сегменты перехватами Ранвье, в которых ионный ток дополнительно усиливается. Доходя до конца аксона, ионный ток высвобождает нейромедиаторы, а клетка переходит на некоторое время в период восстановления. Эффект от высвобожденных нейромедиаторов определяется синаптической пластичностью.
Синаптическая пластичность - это основа для памяти и одновременно крайне сложный механизм, который зависит от синхронизации спайков и ионных эффектов, описанных выше в этом посте. Поэтому сделать и просто, и очень похоже на биологический нейрон на сегодняшний день не выйдет. Нейросаенс это не машинное обучение. Нейросаенс это биофизика, а машинное обучение это, если хочешь, модное название для статистики.
Пожалуй, с точки зрения создания ИИ мы ближе к чему-то совершенно отличному от человеческого мозга. Точно так же, как воздушный шар не похож на птицу.
Вебкамера на глаз тоже не очень. Но мне кажется такая сложность в функционале только из-за процессов эволюции, а суть процесса не сильно и сложна, и все таки все можно упростить.
так а в чем их разновидность?
Таки в последнее время байесовские методы в сочетании в дип лернингом показывают очень крутые результаты -- и теоретические, и практические
Сейчас диплернинг курильщика. Диплернинг здорового человека это глубокие стеки из SVM и глубокий бустинг. Пока в зачаточном состоянии, но в перспективе порвут эту хуйню с мильенами слоев.
>Пока
>в перспективе
ВСЁ БУДЕТ
ВСЕМ ВСЁ ПЛАТИТСЯ
Как вы стали умными и стали обсуждать такие серьезные вещи? Не ужели хватило просто около десятка книг? Или таки профильное образование и сопутствующее? Реально ли быть громким, эм, исследователем, но при этом самоучкой?
Исследователем - нет, изобретателем - да.
Техническое образование (высшая математика), тысячи часов программирования, пара курсов на курсере и несколько книг.
в генсим есть lda и lsi (хотя они и не шибко продвинутые), есть и отдельная библиотека для lda
Кто тут умный-то? Полтора ебалая. Все темы, что тут обкашливаются - это любая книшка в тему + общее представление о матанализе, теорвере и линейной алгебре.
>Реально ли быть громким, эм, исследователем, но при этом самоучкой?
Сложно сказать. Если реально угореть по этой теме и не пожалеть времени и сил, то да.
Можно сделоть нейросеть, которая будет генерировать математические задачи (и ответы на них), расписывать поэтапно и некие подсказки чуть-чуть к мелким этапам? Ну, и как такое бы делалось?
Можно, но зачем именно сетью? Родина дала тебе марковские цепи, генетические алгоритмы и прочее счастье для получения новых текстов из датасета. Решения вообще проще выводить аналитически.
https://2ch.hk/sci/res/403016.html да в общем, я хотел что-то такое сделать, но автоматизировать чуток хотя бы.
На чем учите, котики? Хочу собрать стойку бюджетных видеокарт помайнить белки, может есть какие-то готовые велосипеды?
Поясните про AutoML. Что это даёт в плане возможностей? В инете инфа что будто бы нейросеть сама будет обучаться, а насколько я понимаю - собирают все нейросети в некий набор, и проверяют какая нейросеть из этого набора лучше справляется с возникшей задачей, то есть под принципиально новую задачу надо будет писать новую нейросеть.
Можеть быть я неправильно понимаю?
Можеть быть я неправильно понимаю?
Почему составители книг по нейронным сетям и статическому обучению аутисты?
У Мерфи прямо в начале поясняется за MAP, хотя оно нахуй не нужно там, а только потом поясняется за Теорию Вероятности, причем так, что ты не поймешь, придется гуглить, пояснений о том, как работает формула нет.
Автору Machine Learning: Probabilistic Perspective хочется пожелать рака прямой кишки за объяснение теории вероятности с помощью сложнейшего примера.
Можно было использовать простой пример, но лучше выдать сложный, а потом написать:
"Ой, вы что-то не поняли? А гляньте в учебник по теории вероятности, нахуй мы это написали, если вы изначально могли заглянуть туда? Ну хз)))"
>статистическому обучению
Хуйню написал, статистике.
>Probabilistic
Спутал, an algorithmic perspective
Какая разница между Caffe и Caffe2? Хочу оформить CNN под лицепонимание. Но по сути никаких diff статей не нашел про эти два продукта. Алсо может кто-то с барского плеча подскажет толковую уже либу под с++ (тензор тушится по памяти, судя по всему у них там мемлики есть(!sic))
Пацаны, очень важно обучить линейный классификатор в tensorflow, бинарная классификация
на этапе обучения вот такая ошибка
UnimplementedError (see above for traceback): Cast string to float is not supported
[[Node: linear/linear/ToFloat_4 = Cast[DstT=DT_FLOAT, SrcT=DT_STRING, _device="/job:localhost/replica:0/task:0/cpu:0"](SparseTensor_6/values)]]
Все категориальные признаки переписаны в тензоры, все вещественные во float64, две метки классов во float64
на этапе обучения вот такая ошибка
UnimplementedError (see above for traceback): Cast string to float is not supported
[[Node: linear/linear/ToFloat_4 = Cast[DstT=DT_FLOAT, SrcT=DT_STRING, _device="/job:localhost/replica:0/task:0/cpu:0"](SparseTensor_6/values)]]
Все категориальные признаки переписаны в тензоры, все вещественные во float64, две метки классов во float64
>Какая разница между Caffe и Caffe2?
было кривое говно аутиста, стало еще хуже
Сделойти свой учебник.
Двачую.
Тебе не хватает Бишопа?
А это что такое? Нечеткое множество штоле? Пиздец вы клоуны, лол.
10/10
Каким образом Теорема Байеса подгоняется под задачу классификации? Знаю про существование наивного Байесового классификатора.
А еще есть методы?
А еще есть методы?
Если бы правда всем тредиком запилить учебник, Slesar's Guide to Machine Learning, SGML. Кратенько так, по всем основным направлениям. Без всякой матчасти, общие принципы, примеры, ссылки на профильные пейперы, книжки, туторы и т.п. Чтобы любому школьнику было понятно.
Сап, анончики!
Проблемный ньюфач вкатывается в тред, вопрос такой, буду писать диплом на очень интересную тему, которая звучит как "Оценка ценности информации при геологоразведочный работах на основе баесовых сетей". Про баесову теорию в курсе, возможно, даже смогу ее применить, вопрос лишь в том, что я не шарю в программировании. В описании темы указано, что понадобится знание R и матлаба.
Вопрос вот в чем, с чего начать изучение этих пакетов и стоит ли вообще, может есть варианты получше? Вопрос еще в сроках, так как на всю работу примерно полтора месяца.
Проблемный ньюфач вкатывается в тред, вопрос такой, буду писать диплом на очень интересную тему, которая звучит как "Оценка ценности информации при геологоразведочный работах на основе баесовых сетей". Про баесову теорию в курсе, возможно, даже смогу ее применить, вопрос лишь в том, что я не шарю в программировании. В описании темы указано, что понадобится знание R и матлаба.
Вопрос вот в чем, с чего начать изучение этих пакетов и стоит ли вообще, может есть варианты получше? Вопрос еще в сроках, так как на всю работу примерно полтора месяца.
нейронныесети.рф
Антоши, а какую ось лучше юзать? Я так понимаю, что линукс? Но он у меня криво на ноутбук встает.
https://cran.r-project.org/web/views/Bayesian.html что касается R, по этой ссылке есть даже больше, чем нужно. Находишь подзодящий пакет из обзора, читаешь документацию к нему, разбираешь примеры, применяешь к своей домашке.
Смотря для чего. Если нужен пистон, то однозначно глинукс, в винде заебешься + все примеры и уроки для глинукса. Бубунта оптимальна. Ее можно и на винду поставить как приложение.
Есть где спиздить краткое общее описание нейронок на научном языке? Да, для ебучего отчета по вузовскому проекту
Иди сапоги защищай, какой из тебя специалист, если ты домашку нагуглить не можешь?
Везде или введения для чайников, или пейперы на 50 страниц на английском. Нужно что-то среднее.
Я сейчас с cuda разбираюсь, мне бы мейкфайлы написать, а вот хуй
Какой make в 2017, юзай cmake, а CMakeLists.txt для куда это три строчки https://codeyarns.com/2013/09/13/how-to-build-cuda-programs-using-cmake/
Введения для чайников на русском языке сразу выкинь на мороз, там обычно пишут такую хуиту, что страшно становится.
Вообще забудь про научно-техническую литературу по теме на русском языке, считай что нет ее.
Вот тут есть охуенное введение в нейроночки для зрения http://cs231n.github.io
Что-то проще ты вряд-ли найдешь
Сап, посоны, я в вашем треде не сижу, но принес вам ободряющие новости. Да, нейроночки сейчас в цене, но специалистов, как я понимаб, в конторы набирают в маленьком количестве. Вот в нашем модном стартапе в дс, где я херачу разрабом баз данных, сейчас берут одного 30лвл чувака как раз для нейроночки, платят ему 300к в месяц. Чел этот еще говорит, что все это изи, и он вообще не понимает, почему все это не изучают, тип
>изи жи))))
так что старайтесь, учитесь, все у вас будет збс.
>изи жи))))
так что старайтесь, учитесь, все у вас будет збс.
Блять как мне хочется выпилиться от осознания того, что когда я доучусь выкатиться будет нереально. Узнал бы я об этом хоть года на три раньше.
Если ты проиграл по жизни, тебе всегда все не то будет, время или фаза луны.
Надо видимо математику учить дабы было актуально. Хотя и математиков в скором будущем автоматизируют.
С чего вдруг нереально будет вкатиться?
Будут метаметанейроночки, наверное.
другой
> метаметанейроночки
Это еще что такое?
Как метанейроночки, но уже метамета.
Метанейроночки под метамфетамином
Нахуя? Максимум можно взять другой учебник и адаптировать его под рашкинские реалии.
А какие реалии?
Рыночек порешает.
Чтобы русским объяснения были понятны.
Эх, занялся бы таким, но оно никому не нужно.
Русские это которые не смогли в математику?
Кто знает на сколько большой плюс даёт шад при устройстве на работу?
Заебался вручную писать нейросети. Понял, что нужно писать на питоне, но какую либу использовать и какие книги читать?
> вручную писать нейросети
Даже если в это можно поверить, зачем писать что-то сложнее AND с нуля?
> писать на питоне
На питоне обучаться будет значительно дольше, плюсы все еще рулят. Но что-то простое можно начать и на питоне + керас.
> какие книги читать
Читай документацию по либам, школьник.
И да, следи за речью, тут приличные люди сидят.
Аноны, вот обучил я нейронку в каком-либо из фреймворков. Как мне делать к ней коллы из моего приложения на c++?
гайз, у яндекса на курсере несколько лет назад выше короткий курс по маш обу, а потом запилили и специализацию из нескольких курсов. Годнота или не?
Норм, чтобы посмотреть вообще что есть машоб и надо ли оно мне?
мимопроходил .net developer, которому надоел crud ежедненво
Норм, чтобы посмотреть вообще что есть машоб и надо ли оно мне?
мимопроходил .net developer, которому надоел crud ежедненво
Что за tensor2tensor вышел?
Сап программач. Подскажите какой размер(слои, структура) сети имеют в практических задачах. Керас попинал, хочу что-нибудь полезное запилить.
Ой нахуй оно тебе надо, все наоборот валят из машиноба в тырпрайз, я вот был недавно на курсах дядьки-профессора-пхд по АИ, который свалил из АИ и перекатился в spring давать лекции про фреймворк. Вот где деньги крутятся реальные, а не ссаный АИ.
Дядька просто слишком тупой, чтобы продавать за миллионы свой стартап гуглу. Макаки должны страдать изучая новые конструкторы от других макак.
А ты чё, такой гений? А ну-ка давай выкладывай ссылку на свой супер-пупер стартапчик?
А я уже продала ^_^
Митовские лекции по мошинному разуму (ссылка: https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-034-artificial-intelligence-fall-2010/lecture-videos/) кто-нибудь смотрел? Годнота? Почему зог удалил 20 лекцию?
Как-то всё усложнено, а я к тому же бы не выдержал слушать такие черно-белые (хоть бы цветные мелки завезли, не говорю уже о презентациях) лекции, тем более на английском. Разве что, транскрипции читать.
> усложнено
> черно-белые
> на английском
Продолжай делать сайты.
Хз, мне наоборот лекции гораздо проще слушать, в книги надо вчитыватся и там как правило намного больше плотность информации. Поэтому я обычно сначала смотрю курс лекций, получаю общую картину, а потом уже читаю книгосы, перехожу к практике. Про черно-белые однако посмешил, может еще если лекция не в fullHD или 4k тоже не смотришь?
думаю, огромный, хотя бы потому, что если поступишь, то, значит, что голова на плечах есть
>На питоне обучаться будет значительно дольше, >плюсы все еще рулят. Но что-то простое можно >начать и на питоне + керас.
питон - это просто оболочка для библиотек на плюсах
не читал, наверное, очередной хайп, который забудут через неделю
Господа, почему в тредах не обсуждался Ватсон от IBM https://www.ibm.com/watson/
Неужели никому ITT не интересна эта платформа?
Неужели никому ITT не интересна эта платформа?
Начнем с того, что сие платная параша. Потом, абсолютно неясно чем оно лучше облачной платформы от Сирожи. Гугл так'то посерьезнее контора в этом плане. Что'то я не слышал про решения от айбием уровня слесарьфлоу.
Гамильтонов цикл нейронка может найти?
нейроночка может всё что может твой мозг
твой мозг может всё что может массив чисел
массив чисел может вообще всё
А как используют нейросети уже обученные и готовые для работы? Берут вектор данных какой-то и умножают его на загруженную матрицу с числами?
import caffe
Поясните за ковариационную матрицу.
А то по формуле
E[(x1 − µ1)(x1 − µ1)] E[(x1 − µ1)(x2 − µ2)]
Не очень понятно. И как, например, рассчитать подобную матрицу для двух наборов данных, у которых не равное количество элементов?
А то по формуле
E[(x1 − µ1)(x1 − µ1)] E[(x1 − µ1)(x2 − µ2)]
Не очень понятно. И как, например, рассчитать подобную матрицу для двух наборов данных, у которых не равное количество элементов?
Писал нейронки на keras + theano. Задачи стали сложнее, считать надо быстрее, при этом желательно не пользоваться гуглоподелками, облаками и проприетарщиной. Ощутим ли прирост скорости, если перекатиться на плюсы? На R? Какие библиотеки пользовать?
>Поясните за ковариационную матрицу.
Это матрица для выборки (1 набора данных). Ты считаешь средний вектор и эту матрицу. Имея эти два числа ты можешь посчитать нормальное распределение векторов в выборке.
Если у тебя 2 набора данных (2 выборки), то соотвественно и матриц, средних векторов у тебя будет 2.
А если у меня 3 выборки, например? Или если выборка не укладывается в квадратную матрицу, то нельзя?
Для такой вот матрицы все посчитать легко, а вот в том, как считать в подобных примерах, как на пике, я путаюсь.
На этом пике мы вычисляем для S13
А как вычислить для S12? Или для S11?
Покажите, как изменится формула.
>выборка не укладывается в квадратную матрицу
Выборка это множество (ну или если хочешь лист или вектор-столбец или вектор-строка -- просто набор векторов). Ща замучу тебе пример.
Лучше напиши в чем у тебя задача. Из картинки не очень понятно.
Да я пытаюсь понять, как ковариационную матрицу вычислять ручками.
А то в учебнике вообще непонятно, да и автор видимо забыл указать про деление на среднее, либо вообще не посчитал нужным.
На картинке показан пример вычисления ковариационной матрицы, вот ссылка https://math.stackexchange.com/questions/2316185/example-of-a-covariance-matrix
У тебя есть вектора (в данном случае черные точки). Считаешь среднее значение -- получаешь красную точку. Матрица ковариации описывает эллипсоид внутри которого лежат твои вектора. Подробности про эллипсоид тут:
https://mathematica.stackexchange.com/a/81128
Для векторов более высоких размерностей все тоже самое (средний вектор и сфероид и т.д.).
https://mathematica.stackexchange.com/a/81128
Для векторов более высоких размерностей все тоже самое (средний вектор и сфероид и т.д.).
Чувак, ну это слишком сложно.
Я то не могу сообразить, как формулой воспользоваться, а ты мне даешь пример, из которого мне вообще ничего непонятно.
>как ковариационную матрицу вычислять ручками.
Смотри пикрил.
Слесари, как насчет http://autumnai.com/
Пробовал кто?
Пробовал кто?
>пример вычисления ковариационной матрицы, вот ссылка
Посчитал для векторов по твоей ссылке.
Алсо. Матлаб, например, не вычитает единицу в знаменателе и поэтому считает не выборочную ковариационную матрицу, а популяционную. На этом отличия заканчиваются.
Хотя нет. Он что-то другое делает. Я уже сам запутался.
Ошибся с вводом чисел. Все тоже самое он считает.
Все, я таки понял, ориентируясь на свой пример.
Так, чтобы вычислить 1 значение в x1 формула такая:
((2−3)(2−3)+(3−3)(3−3)+(4−3)(4−3))/3-1
Чтобы вычислить 2 значение в x1 формула такая:
((2-3)(5-4.666667)+(3-3)(8-4.666667)+(4-3)(1-4.666667))/3-1
А для x2 мы просто возьмем 2-й столбец и для 3-его по аналогии.
Спасибо, анон.
Как так случилось, что связи между нейронами стали дробными?
ИИ - прошлый век. Совсем другое дело - Распределённый планетарный СверхИнтеллект!
Ну и в чем разница?
>Когда в теме совершенно не шаришь, но так хочется кукарекнуть что-нибудь типа умное
Типа умное кукарекнуть? да я просто так кукарекнул, тему поддержать, не дать умереть ИИ в очередной раз, как уже было в прошлом веке итд
До сих пор для ИИ нет дешёвого железа даже и появится оно лет через 20 только.
Что можно хорошего почитать по Гауссовому распределению? А то не удается найти понятного обучающего материала
Google, поиск картинок, bell curve
Да я понял, что оно в форме колокола.
А как считать? Для чего оно применяется? Что такое x в формуле?
>А как считать?
Можешь погонять случайную величину по шахматной доске, только случайно не сожри слишком много печенья, сахар в таких количествах для здоровья вреден, http://www.exler.ru
>Для чего оно применяется?
У вас на военной кафедре должна быть такая задача, и ещё Гугл знает какую-то хрень под названием probability matrix — я не копал глубоко.
Так второе включается в первое. Вон достигли максимума в pacman'е недавно с помощью коллективного ИИ. Или ты о использовании человеческого? Тогда хуита.
Почти гарантировано тебя позовут поговорить. Знаю по собственному опыту.
>До сих пор для ИИ нет дешёвого железа даже и появится оно лет через 20 только.
Ты неправ.
Написал ИИ на оптических нечетких вычислителях, но пока очкую выкатывать миру, слишком нестабильно все.
научите в ИИ на Питоне за 5 минут плиз
import tensorflow as tf же
Почему deep learning это symbolic compuations, а не machine learning?
и дальше что?
Deep learning находит фичи в графических изображениях, графах структур молекул и подобное, а классический машобчик работает с числовыми значениями.
а машобчик это что? math чего-то там?
объекты?
ок, дошло, машобчик - машинное обучение, но зачем так дерьмово называть МО?
Ну и все, теперь можешь добавлять в резюме: strong skills in linear algebra, differential geometry, machine learning, NEURAL NETWORKS, deep learning, python coding, concurrent algoritms, GPU computations, dataflow programming
Кирилл, 16 лет
Что такое плотность вероятности? О чем она говорит вообще?
Какое направление, такое и название.
Сап, программеры.
Кто-нибудь работал с пакетом neuron и с его встроенным языком hoc?
Я сейчас вкатываюсь в это дело и мне сложно не фейспалмить от его кривизны и неповоротливости.
Кто-нибудь работал с пакетом neuron и с его встроенным языком hoc?
Я сейчас вкатываюсь в это дело и мне сложно не фейспалмить от его кривизны и неповоротливости.
А... зачем?
так_надо.
На самом деле, в этом пакете уже есть всё необходимое для симуляции спайковой НС вплоть до уровня напряжений на синапсах - именно то, что мне сейчас надо. Писать собственные велосипеды не хотелось бы, да и не окупится это дело по затратам времени.
С другой стороны, постижение этого языка идёт крайне медленно, в первую очередь оттого, что я большую часть времени фейспалмлю от языковых решений. И вот думаю - может быть, это не язык кривой, а я туплю? Поэтому и хочу спросить у других, может, кто имел с этим дело.
Скорость изменения вероятности при изменении величины.
Где я могу задавать свои вопросы о машинном обучении на английском? Желательно, чтобы мне еще и отвечали по теме и совсем хорошо, если без регистрации.
Ох лол, новый день - новый бугуpт.
Автоp учебника Machine Learning: An Algorithmic Perspective
Показывает формулу Гауссова распределения, но не говорит о том, что эта формула для непрерывной переменной и позволяет получить pаспpеделение веpоятностей.
И почему он говоpит о ноpмальном pаспpеделении, но игноpиpует распределение Пуассона? Оно что, не нужно?
Ненавижу его, как можно писать настолько на отъебись?
Автоp учебника Machine Learning: An Algorithmic Perspective
Показывает формулу Гауссова распределения, но не говорит о том, что эта формула для непрерывной переменной и позволяет получить pаспpеделение веpоятностей.
И почему он говоpит о ноpмальном pаспpеделении, но игноpиpует распределение Пуассона? Оно что, не нужно?
Ненавижу его, как можно писать настолько на отъебись?
https://www.reddit.com/r/MachineLearning/ возможно. Регистрация на реддите атмта, даже подтверждение электронной почты не надо.
Не совсем, ему нужен:
https://www.reddit.com/r/learnmachinelearning/
Твой сабреддит для обсуждения новостей и проектов.
У Вас есть друг Кирилл и вы тайно желаете у него отсосать.
Ваш Психолог
Просто ты неосилятор. Не стоит сюда лезть, если у тебя нет минимальной математической культуры.
Да есть она, просто пояснения в книге на уровне "А вот это вот важное Гауссово распределение," и больше ничего толком не сказано.
А если бы я знал это заранее, то мне бы книга нафиг не была нужна. Обьяснить можно все с помощью аналогий и примеров.
Хотя у Меpфи все хоpошо написано
Тут математика не нужна, машобчик даже проще делать чем сайты.
Проще только если считать по количеству строк кода.
Котаны, кто-нибудь тут вкатывался на инженерные работы в ML-ориентированные компании (тот же DeepMind)? Что требуется от программиста в таких конторах? Серьезно, пожалуйста.
Вы не тайно несете какую-то чушь
Ваша нейросеть
Что за мерфи? Я знаю только одного. Который синий.
> Я знаю только одного.
Пикрил.
Machine Learning: A Probabilistic Perspective, Murphy
сайты проще, просто ты сам неосилятор и не умеешь в дизайн
БУРЖУИ ТОЖЕ ПЛАЧУТ
https://www.youtube.com/watch?v=7yhDA65k7zk
https://www.youtube.com/watch?v=7yhDA65k7zk
А как гуглить всякие попытки дизассемблирования нейросетей и теории что они делают внутри, то есть рассмотрение вне концепции черного ящика?
Знаю арифметику. Как вкатиться в машоб?
Узнаешь еще логарифмы, сигма-функцию и можешь подавать заявки на синьора. Ну и словечек там поднаберись: оверфиттинг, свертка, тензоры-хуензоры и т.д.
Я так понял, LSTM и любые рекуррентные сети себя еще нормально ни в чем не показали? Могли бы в переводе текстов, но там они еще проигрывают обычному переводу?
Нормально они в переводах текста работают, у гугла сейчас рекуррентные сети и работают они хорошо. Человеческому переводу офк проигрывают.
>рассмотрение вне концепции черного ящика
По-моему уже всем очевидно, что манясети -- это тупиковый путь развития науки. Вместо разумного познания и развития математического аппарата давайте хуячишь черные ящики. Почему он работает похуй. Ведь главное "хуяк-хуяк и в продакшен".
Кто-нибудь знаком с тонкостями уменьшения размерностей с помощью Locally Linear Embedding? Как лучше это учить?
Хуйню не неси, одно другому не мешает. Сетки решают задачи, для которых ты будешь тысячи лет пилить лаконичный и стройный мат. аппарат потому что пространство решений очень огромное. Попытка решить задачу частично перебором, частично анализом задачи. И с развитием вычислительных мощностей в этом нет ничего плохого.
Ты про теорию статистического обучения Вапника не слыхал, школотрон?
Кому нравится этот машоб, статистика? Рили, видел эту хуйню в универе - тоска смертная.
мне нравится
я получаю дозу эндорфинов от толкания вперёд науки, публикации пейперов, придумывания новых алгоритмов и доказывания теорем
машобчик - збс
Где почитать про обычные (фидфорвард) нейрончики? Особенно интересует обратное распространение. Я ньюфаг.
cs231n
Что лучше учить, хаскель или R?
R конечно. А так питон. О хаскеле вообще забудь, уж лучше С++ учи, раз статику хочешь.
Плюсы и питон знаю, но хотелось бы что-то человеческое.
Для меня матлаб более человеческий, но R наверное тоже норм. Хаскель точно не нужен, во всяком случае в машобе.
Матлаб бесчеловечен, поскольку проприетарен.
R и питон
Зато IDE заебись
Главный недостаток матлаба не в проприеиарности, всегда ж спиздить можно, а в конских системных требованиях и в общей ненужности. Все, что есть в матлабе, есть и в другом, свободном софте.
Анончики, нужна ваша помощь!
В программировании не шарю, но вот клюнул петух и пришлось разобраться с нейронными сетями, пытаюсь вникнуть плюс разбираюсь с питоном.
Задача следующая, есть куча данных в формате
parameter1 parameter2 parameter3 class
1,0 0,2 4,1 A
3,0 2,2 4,7 A
6,0 5,2 5,7 A
3,0 2,2 4,7 A
22,0 21,2 11,1 A
4,0 3,2 5,1 A
14,0 13,2 8,4 B
321,0 320,2 110,7 B
6,0 5,2 5,7 B
3,0 2,2 4,7 B
22,0 21,2 11,1 B
4,0 3,2 5,1 A
14,0 13,2 8,4 A
321,0 320,2 110,7 A
321,0 320,2 110,7 A
321,0 320,2 110,7 A
12,0 11,2 7,7 A
312,0 311,2 107,7 A
12,0 11,2 7,7 C
312,0 311,2 107,7 C
3,0 2,2 4,7 C
6,0 5,2 5,7 C
3,0 2,2 4,7 C
4,0 3,2 5,1 B
14,0 13,2 8,4 B
312,0 311,2 107,7 B
Нужно сделать программку, которая могла бы принимать на вход данные в таком формате с уже определенным классом, а потом после обучения, могла бы сама классифицировать данные в подобном формате и сама определяла бы для них последний столбик Class. Что читать, куда воевать и прочее? Молю, анон, хелп ми.
В программировании не шарю, но вот клюнул петух и пришлось разобраться с нейронными сетями, пытаюсь вникнуть плюс разбираюсь с питоном.
Задача следующая, есть куча данных в формате
parameter1 parameter2 parameter3 class
1,0 0,2 4,1 A
3,0 2,2 4,7 A
6,0 5,2 5,7 A
3,0 2,2 4,7 A
22,0 21,2 11,1 A
4,0 3,2 5,1 A
14,0 13,2 8,4 B
321,0 320,2 110,7 B
6,0 5,2 5,7 B
3,0 2,2 4,7 B
22,0 21,2 11,1 B
4,0 3,2 5,1 A
14,0 13,2 8,4 A
321,0 320,2 110,7 A
321,0 320,2 110,7 A
321,0 320,2 110,7 A
12,0 11,2 7,7 A
312,0 311,2 107,7 A
12,0 11,2 7,7 C
312,0 311,2 107,7 C
3,0 2,2 4,7 C
6,0 5,2 5,7 C
3,0 2,2 4,7 C
4,0 3,2 5,1 B
14,0 13,2 8,4 B
312,0 311,2 107,7 B
Нужно сделать программку, которая могла бы принимать на вход данные в таком формате с уже определенным классом, а потом после обучения, могла бы сама классифицировать данные в подобном формате и сама определяла бы для них последний столбик Class. Что читать, куда воевать и прочее? Молю, анон, хелп ми.
>Матлаб бесчеловечен, поскольку проприетарен.
А можно ли его полностью заменить на Gnu Octave?
На маке этот Octave безбожно глючил (или я криворукий), поэтому пока матлаб
Уж лучше тогда питон. Матлаб хорош двумя вещами - IDE из коробки и общей искоробочностью. А octave - типичный опенсорс, который нужен, чтобы запускать на сервере не переписанные на питон скрипты.
>Матлаб хорош двумя вещами - IDE из коробки и общей искоробочностью
У меня ощущение, что я с этим аноном живу в параллельной вселенной. В его вселенной у матлаба есть ide и по-всей видимости в нем удобно работать.
В моей вселенной матлаб -- это образец того, как не надо писать недоязыки программирования. Это скриптовое поделие по-сути является оберткой вокруг lapack. И если в 70-х так еще можно было делать, то в 2017 это некроговно выглядит атавизмом. Типов нет: где переменные, где чистые функции, где процедуры не понятно. Из-за этого в нем до сих пор нет автозаполнения, а есть какой-то обрубок. Стандарт оформления кода ужасен. m,n,h,w -- типичные имена матриц, функций, программ, субпрограмм, переменных, строк. Так пишут только дауны. Шейдинг 3д-графиков говно. В 2д-графиках до сих пор нет антиалиасинга. Единственная сильная сторона матлаба состоит в том, что он быстрый. Но зато потом надо потратить несколько недель на перенос прототипа в нормальный язык. Если так нужна быстрота, то проще уж выучить фортран и не ебать себе мозг этой скриптовой оберткой.
Нейронные сети на Степике.
>Типов нет: где переменные, где чистые функции, где процедуры не понятно.
Типичный динамический язык.
>Стандарт оформления кода ужасен. m,n,h,w -- типичные имена матриц, функций, программ, субпрограмм, переменных, строк.
Тебе наверное и музыкальная нотация сложна - кружки какие-то, полоски.
>Единственная сильная сторона матлаба состоит в том, что он быстрый.
Сильная сторона матлаба - это дебаггер с REPL и выводом графиков. Питон такое может, но это нужно искать IDE и т. п., а здесь ты получаешь все из коробки. О чем и написал.
>Если так нужна быстрота, то проще уж выучить фортран и не ебать себе мозг этой скриптовой оберткой.
Более тупое утверждение сложно придумать. Как альтернативу для медленного прототипного языка предлагать устаревшее говно.
>кушает сладкий хлеб стива молера
>считает фортран устрарешим
>MATLAB started its life in the late 1970s as an interactive calculator built on top of LINPACK and EISPACK, which were then state-of-the-art Fortran subroutine libraries for matrix computation.
Выбери одно.
У тебя нет силлогизма.
Если язык С появился на компьютере PDP11, из этого не следует, что PDP11 не является устаревшим говном. Из этого вообще ничего не следует.
Ну и я не знаю каким долбоебом нужно быть, чтобы рассуждать в стиле "у питона низкоуровневые функции написаны на С - значит учите С, пацаны, питон не нужен".
C нужен, Питон не нужен. Питон до сих пор не может в большую часть сишных библиотек для машоба, которые давно есть в том же R.
Это ты, R-петух, не нужен.
Вкатился. Щас будет много тупых вопросов.
Первый: почему в Pandas нельзя обращаться к элементу по индексу типа data['Age'][3], только срезы делать типа data['Age'][3:7]?
Первый: почему в Pandas нельзя обращаться к элементу по индексу типа data['Age'][3], только срезы делать типа data['Age'][3:7]?
>Gnu Octave
Сладкий хлеб. Тогда уж Scilab.
Я одного понять не могу. Каждый дебил, который только вчера узнал о модном у всякой школуйни диплернинге, даже здесь ИТТ пишет только об одном направлении этого хайпа - распознавании картинок. 99,9999% пейперов и всяких прожектов вна гитхабе тоже об этом. Бородатое хипстерское индусско-китайское быдло всё комьюнити занимается ровно тем же, за редчайшим исключением. Весь этот цирк длится уже не первый год. Так почему до сих пор я не вижу ни одного сколько-либо готового решения для OCR математических текстов? Я никогда не поверю, что такая вещь нужна одному мне на всей этой сраной планетке. Так почему же, а?
Кто сейчас возится с бумажными источниками? Работы на один вечер, возьми да напиши, в чем проблема?
>Я никогда не поверю, что такая вещь нужна одному мне на всей этой сраной планетке.
А кому еще? Слишком узкоспециализировано (я вообще не представляю, зачем это может понадобиться - чтобы искать по ключевым словам, достаточно распознать текст, чтобы читать вообще картинки достаточно), макаки дешевле, плюс нотации слишком дохуя, чтобы сделать более-менее приемлемый датасет.
>нотации слишком дохуя, чтобы сделать более-менее приемлемый датасет.
Вот это ложь и провокация. Есть латех, т.е. его текстовые комманды и их рендер в окончательную символику. Я не вижу, почему:
1) из последнего нельзя восстановить первого.
2) сгенерировать средствами того же латеха любой требуемый для подобной задачи датасет. Т.е. все ведь готово, не нужно искать по интернету тысячи фоток котиков одного размера.
>возьми да напиши, в чем проблема?
Проблема в том, что миллионы индусов до сих пор не сподобились. Хотя, по твоим словам, работы на один вечер.
1) Эта ебулда платная. Платная, год 2017.
2) В одном пейпере видел сравнение этого поделия с нейроночками, обученными на готовом датасете из математической нотации, у твоей хуитки там вообще смешные цифры, 26% правильно распознанных формул или около того.
Т.е. отдельные опыты в этом направлении есть, как и готовые датасеты, вот только готовых для нормального пользователя решений нет.
Я сначала подумал, что ты хочешь OCR рукописных формул, может быть даже в реальном времени.
Ну возьми и сгенерируй датасет. Что тебя останавливает?
>Я сначала подумал, что ты хочешь OCR рукописных формул, может быть даже в реальном времени.
Нет, конечно же. Не рукописное и не в реальном времени. Мне нужен текст из тысяч страниц примерно пикрелейтеда. Это латех + AMS-TeX.
>Ну возьми и сгенерируй датасет. Что тебя останавливает?
Вот опять "возьми и сделой". Я недостаточно могу в эту хуйню, чтобы взять и сделать. И у меня нет фермы из десятка видюх, на которой такая нейроночка сойдется хотя бы за неделю-другую. Зато я смотрю, тут специалистов полно. Я даже готов рублей 200 заплатить (ну раз все так просто) за готовое решение - обученная на датасете из латеха + AMS-TeX-а нейроночка, распознающая рендеренные пдф-ки в простой текст, скажем, юникод.
Вот наиболее интересное, что нагуглил, http://lstm.seas.harvard.edu/latex/ там есть и код https://github.com/harvardnlp/im2markup и даже готовый датасет https://zenodo.org/record/56198#.V2p0KTXT6eA и пейпер https://arxiv.org/pdf/1609.04938v1.pdf Вроде как все уже украдено до нас, но как из всей этой солянки сделать готовое решение, которое мне будет из пдф-ок текст делать?
Запили КРАУФАУДИНГ.
Ну что же вы, ананасы?
Почему я не могу срать, не снимая свитер?
>Так почему до сих пор я не вижу ни одного сколько-либо готового решения для OCR математических текстов?
Эндрю Ын сказал, что это задачка для второкурсника и им с Яном Лекуном ею лень заниматься. На самом деле уже есть несколько готовых решений на гитхабе. Была где-то страничка, где все подобные проекты собраны, но сейчас не гуглится. Поиск, кстати, у гугла почти окончательно доломан. Почти ничего уже найти нельзя.
тернаус писал на хабре или в чатике, что они используют матлаб в продакшене
dataframe.values()[0]
или что-то в этом роде, можешь просто нампай использовать
ну, это тебе нужно, ты и сделай, я не могу представить такой ситуации, что мне нужно распознавать отпечатанную формулу, которая уже была в электронном формате
>тернаус
Ебать у него биография.
Даже с отбитыми в армейке мозгами можно выигрывать конкурсы по машобу.
> Даже с отбитыми в армейке мозгами можно выигрывать конкурсы по машобу.
А кто сказал, что мозги отбили ему, а не он? Успешный человек жи, сначала сажал чеченов на бутыль, потом пошел в датасаенс.
> Эндрю Ын сказал, что это задачка для второкурсника и им с Яном Лекуном ею лень заниматься.
Здесь говорят то же самое, типа можно за один вечер сделать. Однако, по факту этого не сделал никто. В гугле ровно один прожект, и то сырая хуитка, с которой неясно что и как делать. При этом существует платное решение, что говорит о наличии спроса. Что-то не сходится.
Прочитать правила перед участием у него почему-то мозгов не хватило
Хаскель или R? Питон и так знаю.
Я доучиваюсь на математика, проприетарщина не нужна, octave это не серьезно. Область применения - тяжеловесные вычисления, в том числе и на видеокартах, всевозможный машоб и моделирование процессов, может быть с простеньким гуем. Требуется быстродействие, простота, меньше "программирования" (ООП-фаги могут укусить меня за зад).
Я доучиваюсь на математика, проприетарщина не нужна, octave это не серьезно. Область применения - тяжеловесные вычисления, в том числе и на видеокартах, всевозможный машоб и моделирование процессов, может быть с простеньким гуем. Требуется быстродействие, простота, меньше "программирования" (ООП-фаги могут укусить меня за зад).
Хаскель и машоб это как писать драйвера железок на ява в блокноте.
А для чего тогда применим Хаскелль?
R довольно простой но может достаточно долго ворочать всякие там матрицы 50к х 300к
А что ворочает быстрее?
>Я доучиваюсь на математика
И как?
С программерской точки зрения было много ненужного вольфрама и порой внезапные "запилите гуй, документацию, взаимодействие с юзером и мне плевать что вы это не учили, потому что саентисты, а не макаки", с математической - копания в решениях, которые просто не выгодно кодить.
Рекомендую.
А что в рке такие вещи пишут на самом r? Во всех серьезных либах такие вещи байтоебы на сях или плюсах пишут, а то античные фортрановещи биндят.
Я для примера сказал. У меня учебный проект просто был рекомендалку написать именно а R.
Одно дело когда все современные решения долго ворочают такие матрицы и совсем другое когда только рка, что не есть гуд. Сам я не в курсах, с ркой дел не имел
Какой тебе R, ты ж в гугл даже не можешь. Базовый пакет в R для работы с матрицами - это враппер для набора тулз на фортране и сях.
>The Matrix package provides a set of S4 classes for dense and sparse matrices that extend the basic matrix data type. Methods for a wide variety of functions and perators applied to objects from these class es provide efficient access to BLAS (Basic Linear Algebra Subroutines ), Lapack (dense matrix), TAUCS (sparse matrix) and UMFPACK (sparse matrix) routines.
Почему код на фортране до сих пор не переписали на расте?
Раст - официальный язык СЖВ-куколдов. Очевидно же, не хотят зашквара. Нет смысла чинить то, что работает.
>СЖВ-куколдов
Господи, при чём тут это?
Я вообще мимо, вопрос задавал другой анон, мой пост т.к. по посту анона могло показаться что дело именно в r
>Почему код на фортране до сих пор не переписали на расте?
Потому что в код на фортране вложены миллиарды долларов министерств обороны и энергетики США. Он там отлажен вплоть до ручных ассемблерных оптимизаций. Ничего быстрее уже не будет.
>https://en.wikipedia.org/wiki/Kazushige_Goto
Забей, этот шизик с кучей свободного времени по всему двачу эту хуйню с куколдами форсит
Ничего быстрее для суперкомпьютеров может и не будет, а вот для обычного слесаря с x86 и игровой видюшкой есть куда ускоряться.
>суперкомпьютеров США
Нет нормальной поддержки итальянского.
Вы только посмотрите чего сделали 2 года назад на сетях
https://www.youtube.com/watch?v=FmSsek5luHk
я даже не представляю, что сейчас творится в этой области! Наверное, кони и скейбордисты теперь везде!
https://www.youtube.com/watch?v=FmSsek5luHk
я даже не представляю, что сейчас творится в этой области! Наверное, кони и скейбордисты теперь везде!
про сотовые я даже не заикаюсь
2k17
@
думать что человек на ассемблере напишет код эффективней чем это сделает компилятор
2k17
@
не знать что человек напишет код эффективней чем компилято, вопрос только в человекочасах
сможет ли макака (которая примат, а не господа из других трудов) написать роман если будет бесконечно хуячить по клавиатуре ?
Нейросеть может, чем макака хуже?
>сможет ли макака (которая примат, а не господа из других трудов) написать роман
А ты сам-то типа не макака можешь?
В том-то и речь, что дело не в человекочасах.
Эта хуерга что-ли отдельные кадры описывает? Прошлый век. Вот как надо https://youtu.be/pER0mjzSYaM
А наоборот может, текст в видео? Джва года хочу нейрон очку, которая будет делать ЦП по текстовому описанию :3
У меня есть набор из пары миллионов 5-мерных векторов. Хочу их кластеризовать. С помощью чего это лучше всего делать?
Если известно, к каким классам принадлежат векторы, то SVM, если неизвестно, то somoclu.
Что почитать про поведение ботов в играх? Стрелять по мишеням просто, а вот как бегать\кататься-прятаться в складках местности осмысленно? Вот заспавнил я бота, теперь ему надо куда-то идти, чтобы и самого убили, и врагов пострелять. Может, курс какой-то есть?
с помощью индусов
Behaviour Tree? Там же ссаный FSM, не более.
Проиграл с этих обобщений. Можно сразу
void callbackForEachFrame(){
print("Something happens right now")
}
Как в керасе сохранять оптимальные веса и гиперпараметры пока идет обучение? Тупо что если прерывается, надо начинать с самого начала.
ты чё охуел тут такие вопросы задавать ?
мы тут теоретизируем, пиздуй отсюда!
callbacks -> ModelCheckpoint
Как мне распределить тренировку модели на несколько машин? (допустим, линукс, допустим, keras)
Нужно как можно проще, без свистелок и для работы с .csv
ананасы, выручайте
из вышесказанного не понял, что лучше плюсы или питон
хуярю диссер, дошел до необходимости написать нейросеть, до этого писал проги на матлабе, немного знаю плюсы
есть ли смысл вкатываться в питон или на плюсах можно норм все реализовать
ключевой критерий - время обучения написанию нейросетей
из вышесказанного не понял, что лучше плюсы или питон
хуярю диссер, дошел до необходимости написать нейросеть, до этого писал проги на матлабе, немного знаю плюсы
есть ли смысл вкатываться в питон или на плюсах можно норм все реализовать
ключевой критерий - время обучения написанию нейросетей
питон
Бери matcaffe, тебе хватит
Хватило, орги говорили что все ОК и хуй положат на это правило, но ВНЕЗАПНО неполучилось.
Слесарьфлоу такое может.
Ребятушки, выручайте, пожалуйста!
Имеется несколько кривых (x,y), для каждой точки есть свой класс, всего классов около 10. Также имеется куча данных, которые не классифицированы. Задача - через свм, нейронные сети и рандомный лес проклассифицировать пустые данные, а также используя тренировочную подборку определить, какой из алгоритмов подходит лучше в конкретном варианте.
Куда лучше копать? Есть ли уже готовые решения, чтобы осталось только вставить свои код в компилятор, подгрузить свои данные и посмотреть результат? Какие инструменты нужны (R, Matlab, Python)?
Имеется несколько кривых (x,y), для каждой точки есть свой класс, всего классов около 10. Также имеется куча данных, которые не классифицированы. Задача - через свм, нейронные сети и рандомный лес проклассифицировать пустые данные, а также используя тренировочную подборку определить, какой из алгоритмов подходит лучше в конкретном варианте.
Куда лучше копать? Есть ли уже готовые решения, чтобы осталось только вставить свои код в компилятор, подгрузить свои данные и посмотреть результат? Какие инструменты нужны (R, Matlab, Python)?
Какой код, какой компилятор? Грузишь датасет куда угодно, на нем тренируешь по обучающим данным свм и что там тебе нужно, потом по тестовым делаешь предикт и сравниваешь какой алгоритм больше угадал. Чистое слесарство жи.
Давай по новой, Миша, всё хуйня.
>какие компиляторы
То есть, ты хочешь сказать, что мне не обязательно ебаться с языками, учить их с нуля, а потом искать коды в открытом доступе и подстраивая под себя работать с данными?
>куда угодно
Это куда? Можно пару примеров? Пока нашел только оранж.
Заранее спасибо, анон.
Есть набор данных, который содержит несколько функций от х, причем х общий для всех и дискретизация одинаковая. Также кроме значений функций, каждый х содержит какой то класс, это тренировочные данные. Необходимо на них проверить несколько алгоритмов и выбрать лучший, который потом будет использоваться на пустых данных, которые надо классифицировать.
Если программировать не хочешь, возьми какой-нибудь azure ml или что-то отсюда https://www.quora.com/What-are-the-alternatives-to-Azure-Machine-Learning-and-Amazon-Machine-Learning
А так из R, Matlab, Python тебе подойдет все, что угодно.
> Это куда? Можно пару примеров? Пока нашел только оранж.
Ты ж сам примеры написал. R тот же. Там почти 11000 дополнительных либ, реализующих любые алгоритмы машоба. Сам язык знать не нужно, работа с готовыми библиотеками элементарна. Ты написал, тебе надо SVM, оно есть например в пакете e1071. Читаешь документацию, профит.
> Если программировать не хочешь, возьми какой-нибудь azure ml
Зачем? Это ж облачный сервис. Для чего с ним ебаться, если все можно поставить локально, R тот же?
Weka
> Weka
Вот кстати в чем суть этой хуитки? Нескучный интерфейс? Так Statistica все равно в этом плане пижже.
Я не знаю локальной альтернативы, в которой весь путь можно накликать мышкой. Знаешь - скажи.
Решил обмазаться ШАД, но вступительные экзамены на этот год уже прошли. Зато нашёл специализацию от Яндекса на coursera http://www.coursera.org/specializations/machine-learning-data-analysis
Но эти курсы внезапно платные. Теперь в раздумьях: годная ли специализация или есть что получше? На той же курсере, например. Давным-давно проходил стэнфордский курс от Andrew Ng, когда coursera ещё была бесплатной.
Но эти курсы внезапно платные. Теперь в раздумьях: годная ли специализация или есть что получше? На той же курсере, например. Давным-давно проходил стэнфордский курс от Andrew Ng, когда coursera ещё была бесплатной.
Не вижу, сколько денег стоит без логина, но тот же Воронцов - годный мужик в плане обучения, только вкладываться по времени все равно придется. Реши для себя, ты хочешь только сейчас или серьезно готов вложить времени и сделать. Если второе - плати.
> тот же Воронцов - годный мужик в плане обучени
В плане мозгоебства, ты хотел сказать? Его лекции по SVM и лда/топикмоделям это пиздец натуральный.
> Я не знаю локальной альтернативы, в которой весь путь можно накликать мышкой. Знаешь - скажи.
Да вон жи, выше написали, weka. Гуй, мышка, стрелочки, диаграммы. Все как ты хочешь.
А, KEEL еще. Это поделие интересно наличием там помимо кучи всего прочего финграммов т.н. Но тут нечеткую логику принято хейтить.
Сантехнику припекает.
У меня есть временной ряд и признаки для каждого значения. Какая общая логика для дальнейшего предсказывания? Признаков для предсказываемых значений нет. Пока только выявил тренд и периодичность, чтобы сделать ряд стационарным, ни малейшего понятия что делать дальше.
>есть временной ряд и признаки для каждого значения
>Признаков для предсказываемых значений нет
Выбери что-то одно
А конечная цель какая? Предсказание временного ряда? Ну построй из него матрицу Ганкеля и предсказывай.
Оче смешно. У меня есть на период времени и ряд, и значения. Дальше нет нихуя и надо предсказать ряд.
*и признаки, и значения ряда
фикс
ARIMA, SSA или еще какой метод предсказания рядов, или регрессия.
Я одного понять не могу - как мне могут помочь признаки для известного периода?
Он читает лекции с большим количеством теории и формулок, это плохо?
Формулки это не плохо, плохо то, что он одну неведомую хуйню объясняет с помощью хуйни еще более неведомой. Показать, как он крут, у него получается, а вот нормально объяснить, в чем и есть цель лекции - нихуя. На примере лекции про SVM у него вообще нихуя не понятно в сравнении с Вапником даже в оригинале на английском, о чем тут говорить вообще.
Сап аноны. Посоветуйте пожалуйста школьнику доступные книжки, а лучше видеокурсы на русском языке по линейной алгебре и теории вероятности. Очень тяжело одновременно изучать новые понятия и переводить.
Анончики, какие есть классические датасеты? Накидайте названия или ссылки на самые основные.
Из популярных знаю только cifar, mnist, iris.
Аноны, посоветуйте чтива для вкатывания в матлаб, зная программирование и всю хуйню
Проприетарное добрецо не нужно, а ты быдло.
Ну уж для матлаба целые подборки на рутрекере, причем на русском.
ml-class.org
Что почитать/посмотреть/покодить чтобы разобраться в natural language processing?
Да запилите уже Искусственный Интеллект, чего вы. Или хотя бы программу, что успешно делает из картинок отсканированой книги читаемый текст в каком-то латехе.
Хочу обмазать себя коллективным разумом. С чего начать?
> отсканированой книги читаемый текст
Кстати на основе детектора можно сделать. Только размечивтаь лень чет, там запятые и точки и мало ли еще какая фигня попадется. На одной странице около 2к разметок делать а таких страниц где-то надо около 500 штук хотя бы или пробнуть обучать по дной букве- символу, тогда сложность разметки на порядок упадет, не понятно тогда что с пробелами делать. Думаю, на сегодняшнее время был бы самый лучший конвертер.
По линейной алгебре книжка Умнова, еще на Степике вроде лекции есть. По теорверу Ширяев, только тебе потом для всяких распределений нужно будет научиться интегрировать.
Посоны, кто-нибудь может знает стандартное название такой задачи?
Есть целевой вектор. Назовем его V-target.
И есть набор векторов. Для простоты пусть их будет 3: V1, V2, V3.
Я хочу найти набор коэффициентов k1,k2,k3 такой что, эвклидового расстояние между V-sum = k1 V1 + k2 V2 + k3 V3
и
V-target
минимально?
Если кто знает с помощью какой оптимизационной техники (или может это вообще аналитически можно решить) лучше решать?
Есть целевой вектор. Назовем его V-target.
И есть набор векторов. Для простоты пусть их будет 3: V1, V2, V3.
Я хочу найти набор коэффициентов k1,k2,k3 такой что, эвклидового расстояние между V-sum = k1 V1 + k2 V2 + k3 V3
и
V-target
минимально?
Если кто знает с помощью какой оптимизационной техники (или может это вообще аналитически можно решить) лучше решать?
В итоге задачу можно переформулировать в такой форме минимизировать норму
||V_i.k-v_target||
с неизвестным вектором k. Чем такое лучше всего решать?
> Посоны, кто-нибудь может знает стандартное название такой задачи?
Система линейных уравнений.
Ax = b
A - матрица из столбцов [V1 ... Vn]
x - вектор [k1, k2, k3]
b - V-target
Спасибо, но я уже сам все это понял. Кек. Правда, в результате условие задачи надо как-то менять. Никакие осмысленные результаты из получающихся решений не выходят. Слишком много возможных комбинаций, а как наложить дополнительные ограничения я пока не придума.
Что за задача?
А вы итт на чем пишите? Я не сверх специалист, знаю, что котируется питон. На мой взгляд у него та же сфера, что и у матлаба
Есть реализации kmeans с использованием GPU?
В тензорфлоу не только нейроночки?
Расскажите, как вкатиться в ИИ с нуля.
Есть закрытые математика и физика бакалавриата "Экспериментальная ядерная физика", энтрилевельные познания сей, средний скилл электроники.
Сейчас всё бросил и записался в кодеры, но иллюзий не питаю, бакалавриат особо ничему не научит, надо к магистру всему научиться самостоятельно и уже просто искать работодателя.
Вероятно, без нейросетей тут не обойтись.
Я примерно понимаю, как написать, положим, распознавание речи обычным способом. Спектр, базы данных, всё такое.
А вот как это делают нейросети — даже близко не представляю.
Есть закрытые математика и физика бакалавриата "Экспериментальная ядерная физика", энтрилевельные познания сей, средний скилл электроники.
Сейчас всё бросил и записался в кодеры, но иллюзий не питаю, бакалавриат особо ничему не научит, надо к магистру всему научиться самостоятельно и уже просто искать работодателя.
Вероятно, без нейросетей тут не обойтись.
Я примерно понимаю, как написать, положим, распознавание речи обычным способом. Спектр, базы данных, всё такое.
А вот как это делают нейросети — даже близко не представляю.
Слесарьфлоу это либа для перемножения тензоров и др. операций с ними. Нейроночки это очень малая часть того, что там реально можно намутить, однако это уже не слесарство.
> Я примерно понимаю, как написать, положим, распознавание речи обычным способом. Спектр, базы данных, всё такое.
> А вот как это делают нейросети — даже близко не представляю.
Апроксимация функции от многих аргументов через суперпозиции частных функций от 2х аргументов т.н. нейронами. По имеющимся данным. Параметры настраиваются итеративно, до обеспечения минимальной ошибки.
Сдаёшь егэ, поступаешь на фкн или фивт, спокойно вкатываешься. Брат жив.
CS224n: Natural Language Processing with Deep Learning
Всё остальное можешь даже не открывать, все мэннинги и шутцы безбожно устарели.
Где можно скачать датасеты каггла без регистрации и смс?
Посоны, запустил матлабовский kmeans на 5 миллиардов точек с целью разбиения на 10 кластеров. Эта срань написала, что за 100 итераций она не сошлась и больше пока ничего не пишет. Работает уже вторые сутки. Это нормально? Какая у него алгоритмическая сложность? Сколько еще дней ждать? Выключать жалко -- вдруг уже близок конец. Запуская в первый раз.
В общем случае NP, для фиксированного количества итераций O(IterNN_dim*n_clusters).
Можно как-то из командной строки запустить все ячейки по очереди в ноутбуке?
>Посоны, запустил матлабовский kmeans на 5 миллиардов точек с целью разбиения на 10 кластеров. Эта срань написала, что за 100 итераций она не сошлась и больше пока ничего не пишет. Работает уже вторые сутки. Это нормально? Какая у него алгоритмическая сложность? Сколько еще дней ждать? Выключать жалко -- вдруг уже близок конец. Запуская в первый раз.
>
Какая размерность у данных?
>Какая размерность у данных?
Там были 2-мерные точки. В общем он отработал где-то через шасов 6, после того как я написал сюда пост с вопросом.
В чем смысл байесовского вывода? Поясните на пальцах.
В этих ваших машобах и нейроночках что-то поинтересней матана, теорвера и линала есть?
Еще есть функциональный анализ, теория графов, генетические алгоритмы, снижение размерностей, скрытые марковские модели, случайные блуждания и теория информации. Все как ты любишь.
Нечеткая логика есть.
По заданной априорной вероятности событий вычислить апостериорную.
Я знаю некоторые из этих слов.
Почитай хоть "Теорию вероятностей" Вентцель, хотя бы 1 главу оттуда, из опхуй-поста выпилили, как и большинство других книжек. Это годный учебник, поясняется и за теорему Байеса на пальцах с примерами.
Чем отличаются генетические и меметические алгоритмы? Что лучше? Что используется?
Меметические алгоритмы - это генетические + локальный поиск, а не простой рандом как в генетических. Меметические быстрее сходятся.
>А. Пегат, "Нечёткое моделирование и управление"
Не увидел в этой книге задач на доказательства. Как извлечь из нее пользу?
Мне кажется эту книгу добавляют для троллинга. Но я, правда, ее не читал.
>Не увидел в этой книге задач на доказательства.
На доказательства чего?
>Как извлечь из нее пользу?
Какого рода польза тебя интересует?
>На доказательства чего?
Ну я математик и привык прорабатывать материал, решая задачи. А тут какая-то хуйня для слесарей, которым лениво загружать мозг.
>Какого рода польза тебя интересует?
Вкуривание теории, необходимой для машоба.
> Ну я математик и привык прорабатывать материал, решая задачи.
Типичная узколобая макака, спешите видеть.
Решил поковырять каггловский титаник и наткнулся в многочисленных его решениях на вещи типа пикрелейтед. Сделаны они при помощи кода на питоне, но если нужно всесторонне рассмотреть данные перед тем, как пихать их в очередной ансамбль - то пердолиться с кодом не очень хочется, постоянно изменяя настройки отображения графиков, зависимостей и т.д.
Есть ли какой-либо вменяемый софт для всестороннего анализа данных? Гугление дало слишком много всего, надеюсь, что ИТТ знают более-менее проверенные вещи.
Есть ли какой-либо вменяемый софт для всестороннего анализа данных? Гугление дало слишком много всего, надеюсь, что ИТТ знают более-менее проверенные вещи.
На курсере есть хоть какие-то бесплатные курсы?
мимокрокодил
>Вкуривание теории, необходимой для машоба.
Там большая часть того, что нужно знать для использования нечетких множеств в машобе.
>Есть ли какой-либо вменяемый софт для всестороннего анализа данных?
Есть. https://cran.r-project.org/
Все, например, платить только за диплом надо
Как быстро без регистрации и смс освоить всю нужную математику для этого?
Идешь на сайт мита и наворачиваешь математические курсы.
Проучитится два-три года в шараге.
Чопаны, с подачки млру решил потыкать писюньи слесарные инструменты.
Ну все чин чинарем: скачал датасет для бинарной классификаци 12 признаков на 70 тысяч измерений. Скопировал код вызываюший svm'а из sklearn, перекинул это все значит с макбука на сервер, запустил там.
Ну и отшел повейпать да в барбершоп по пути заглянуть, возвращаюсь, значит, через три часа, думаю сейчас погляжу, чему он тут научился...
И от удивления аж монитор залил смузи.
Вопрос в чем: sklearn в многоядерность в принципе не способен, или просто нужно запускать его каким-то особым образом?
Ну все чин чинарем: скачал датасет для бинарной классификаци 12 признаков на 70 тысяч измерений. Скопировал код вызываюший svm'а из sklearn, перекинул это все значит с макбука на сервер, запустил там.
Ну и отшел повейпать да в барбершоп по пути заглянуть, возвращаюсь, значит, через три часа, думаю сейчас погляжу, чему он тут научился...
И от удивления аж монитор залил смузи.
Вопрос в чем: sklearn в многоядерность в принципе не способен, или просто нужно запускать его каким-то особым образом?
Есть одномерная числовая выборка размером в несколько триллионов единиц, возможен только последовательный доступ к данным, о распределении предположений нет.
Задача максимум - найти все выбросы за константное число обходов (установить минимум и максимум, за которыми находятся все выбросы), нужны только выбросы, медианы-квартили не нужны.
Задача минимум - "причесать" множество за 1-2 прохода, выкинув "дикие" выбросы.
Нужен не инструмент, а алгоритм.
Задача максимум - найти все выбросы за константное число обходов (установить минимум и максимум, за которыми находятся все выбросы), нужны только выбросы, медианы-квартили не нужны.
Задача минимум - "причесать" множество за 1-2 прохода, выкинув "дикие" выбросы.
Нужен не инструмент, а алгоритм.
А чем "дикий выброс" отличается от домашнего?
Это как Навальный отличается от Зюганова.
Ничем?
potential outliers и problematic outliers
outliers и far outs
отличаются тем, что с первыми можно худо-бедно жить, а вторые гарантированно рушат модель
Ну бери и находи.
Пиздец. Ты выбросы искать умеешь?
>Нужен не инструмент, а алгоритм.
Это ты хочешь чтобы двачик за тебя лабу2 сделал?
Давай почетче, с какими выбросами ты не сможешь жить, и почему правила трех сигм тебе не хватает?
Можно ли сделать transfer learning из сиамской сети в сеть классификации?
Чую я что триплет лосс можно прихуячить.
Чую я что триплет лосс можно прихуячить.
Кто-нибудь тут точно делал диплом по сабжу, потому что модно. Поясните за следующие: как вообще определяется новизна в данной теме? Вот берётся проблема, решается относительно успешна. Но ведь где-то могут быть получены более оптимальные решения той же проблемы.
Как научить нейросеть генерировать тонны видео типа elsagate?
Если что вычислительный кластер в наличии.
Но там ведь уникальные сцены, которые снимают люди.
Так ведь новизна определяется как либо новая задача либо новый метод и анализ решения для научной работы более ничего и не нужно.
Они недавно поменяли политику. Диплом бесплатный, за курсы подписка.
Говорят, есть сайт такой, гугл называется. Можно написать туда название проблемы, и он тебе выдаст статьи других чуваков, которые тоже ей занимались.
Если пишешь диплом в рашке, то можешь забить хуй и писать полнейшую отсебятину, приёмная комиссия сама нихуя не шарит. А вот рецензенты нормальных научных журналов и конференций доебутся.
> Говорят, есть сайт такой, гугл называется. Можно написать туда название проблемы, и он тебе выдаст статьи других чуваков, которые тоже ей занимались.
Тем не менее, если тема довольно узкая на широком поле деятельности вроде ML - то часто гугел тебе будет выдавать что угодно, начиная от "распознать хуй при помощи deep learning бесплатно без смс и регистрации" и заканчивая статьями индусов на совершенно другие проблемы. Статья того самого китайца, который уже решил твою проблему 10 лет назад, часто теряется в этом шлаке.
Хуй знает. У меня всё находит. Может ты просто тему неправильно формулируешь?
Медианная фильтрация со скользящим окном, вычитаешь из сигнала фильтрованый сигнал и сравниваешь с порогом:
x - filt(x) > THRESH
У тебя есть два параметра, размер окна и порог, которые ты можешь настроить за первый проход, тренируя свой алгоритм кусками, допустим, по гигабайту (но лучше просто посмотреть глазами на данные и оценить частоту выбросов, медианная фильтрация к ним в принципе устойчива)
Используй site:arxiv.org , люк. Впрочем, гугол каким-то магическим образом выдает именно нужные статьи по дипленингу на первое место. Я так препринт препринта мастеркласса начал превращать в коммерческий продукт еще до того, как автор опубликовался на какой-то конференции.
> Я так препринт препринта мастеркласса начал превращать в коммерческий продукт еще до того, как автор опубликовался на какой-то конференции.
Великий комбинатор в треде, все в Васюки.
Ну, тащемто есть scholar.google.com
Но постоянно вводить капчу надоедает...
>Нейросеть может
Не может.
"Начал превращать в коммерческий продукт" - это, надо понимать, повесил на каггле обьявление "Молодой и инициативный школьник ищет команду"?
Можешь дать ссылку на новую политику? А то я не нашёл нихуя. Как проходить курсы без верификации, за что курсера берёт бабки, есть ли бесплатный контент и вот это всё.
Слесарьфлоу Бабушкина? Что там, какой-нибудь враппер выдают за неимеющую аналогов отечественную технологию?
MACHINE LEARNING
@
DECISION TREES
@
GRADIENT BOOSTING
@
https://github.com/catboost/catboost/blob/master/util/string/vector.h#L17
Видел уже тралленк этого в каких-то комментах на хабре. Чувакам просто лень рефакторить. Ведь это интерфейсы, а значит надо будет рефакторить и все приложения, которые их используют. SplitStroku будет навсегда.
Лолед, они это ещё и по разным проектам растащили.
А в чем суть этого бустинга вообще? Соединить алгоритмы вместе в большой костыль?
> соединить алгоритмы вместе в большой костыль
Ты только что понял суть машинного обучения.
Лолед.
Обсуждение на реддите:
https://www.reddit.com/r/MachineLearning/comments/6o1vr8/n_catboost_gradient_boosting_library_from_yandex/
Будет время - соберу этот ваш котбуст в R и сравню с deepboost'ом. Сдается мне, яндекс не может в бустинг здорового человека.
Ну, всё-таки в ЦЕРНе используют. Это может быть о чем-то свидетельствует.
> Ну, всё-таки в ЦЕРНе используют. Это может быть о чем-то свидетельствует.
Яндексопарашу в церне?
>SplitStroku
>Яндекс
В общем-то дальше можно не продолжать.
видел (2 минуты общался) парня из яндекса, который еще в церне и работает
Как будто ЦЕРН дохуя небожители.
Всем доброго времени суток. Вкатываюсь сейчас в рисеч мл по теме process mining. В чем суть? В том, чтобы восстанавливать не ебливые немощные функции, которые сами по себе не могут достаточно точно отразить сложность происходящих в природе процессов, а СЕТИ ПЕТРИ. Очень интересно, есть ли здесь ещё аноны, которые занимаются этим или слышали? Так же начинаю расшаривать automata learning(гуглится в онглийской вики). Оба этих раздела очень новые, очень сложные и за ними будущее ЯЩЕТАЮ.
Ссылки по теме:
processmining.org
https://www.coursera.org/learn/process-mining/home
в этой книжице есть раздел про learning automata http://libgen.io/book/index.php?md5=E82E5CA08E4FD812B672BD31184CBD91
(кстати, если посмотрите на концепцию автоматного обучения, то поймете, что оно даёт на клыка всем вашим нейронкам, потому что чтобы дообучить нейронку, нужно заново скормить ей все данные и заново обучить на новом трейне, а чтобы дообучить автомат, достаточно просто скормить ему новые данные.) В общем об этом всем знают единицы, но если вдруг кто-нибудь заинтересуется, расшарит тему или уже что-нибудь знает, хотелось бы дискасс.
Ссылки по теме:
processmining.org
https://www.coursera.org/learn/process-mining/home
в этой книжице есть раздел про learning automata http://libgen.io/book/index.php?md5=E82E5CA08E4FD812B672BD31184CBD91
(кстати, если посмотрите на концепцию автоматного обучения, то поймете, что оно даёт на клыка всем вашим нейронкам, потому что чтобы дообучить нейронку, нужно заново скормить ей все данные и заново обучить на новом трейне, а чтобы дообучить автомат, достаточно просто скормить ему новые данные.) В общем об этом всем знают единицы, но если вдруг кто-нибудь заинтересуется, расшарит тему или уже что-нибудь знает, хотелось бы дискасс.
>СЕТИ ПЕТРИ
>Оба этих раздела очень новые
Сами сети петри не новые, а вот задача их восстановления требует усилий
Нечеткие когнитивные карты Коско с настройкой параметров хеббовским обучением прогрессивнее сетей Петри в разы, например. Да, обучающиеся автоматы круче нейроночек, только в них никто не может.
Спасибо тебе огромное, буду щас копать
Может есть проверенные источники полные по изложению?
Может еще и про автоматы знаешь чего годного?
А что там за автоматы, может кто объяснить вкратце? Почему лучше нейронок? Книжку качнул, но сейчас нет времени вчитываться
Сап, аноны, хотелось бы вкатиться в нейроночки(для собственного интереса), что можете посоветовать почитать для совсем вкатывающего? В универе немного упарывался нейронками(писал однослойные персептроны, лол, и с помощью жабовского пакета сеть Кохонена).
Благодарю!
Сам-то чем занимаешься? Какой лвл, образование? Может работаешь где? Не каждый день услышишь про такие штуки, мне очень интересно
>нужно заново скормить ей все данные и заново обучить на новом трейне
Щито? Я в слесарьфлове могу батчами запихивать тренировку в сеть, потом гонять ее по тесту, если тест предсказывает плохо, то можно подкинуть в печ еще тренировочных батчей. О каком переучивании идет речь?
Ананоши, плес, скажите, есть ли гайд какой-нибудь/книги/видосы/хуесы, по которым можно вкатиться без проблем? Ну, типа, чтобы все было максимально последовательно, а не вразброс. Сколько ни начинал вкатываться, то курсы смотрел, то еще че, всегда говорили абстрактно о какой-то хуйне, блядь, непонятно зачем нужной.
Что имеется: англ уровня с1, могу в математику, могу в упорство, не могу в непоследовательность.
Что имеется: англ уровня с1, могу в математику, могу в упорство, не могу в непоследовательность.
Почему MLPClassifier из sklearn не может обучиться под обычный xor? Что я делаю не так?
>чтобы все было максимально последовательно, а не вразброс.
Слишком широкая тема, чтобы последовательно и не вразброс. В любом случае изложение будет однобокое и точно не охватит всю подноготную. Даже у Вапника с Червоненкисом, несмотря на изначальную идею вывести общую теорию происходящего, начиная с перцептрона Розенблатта, например нет ничего о работах Колмогорова и Арнольда о представлении функции многих аргументов через суперпозиции функций от 1-2 аргументов, что является самой сутью нейроночек. Поэтому, чтобы не париться, начинай с чего угодно, что непонятно - догугливай.
Спасибо, ананас, что подсказал. Попробую что-нибудь сделать
Так почему склеарн не может обучиться?
Там слесарьфлоу для R запилили. https://tensorflow.rstudio.com/index.html Пакет https://cran.r-project.org/web/packages/tensorflow/index.html позволяет не только полноценно работать со слесарьфловом, в т.ч. сресарьбордом (что естественно), но и автоматически (!) устанавливать слесарьфлоу любым указанным методом.
Кто-ибудь знает происхождение первого пик и, что на нем делает Ленка? Она сейчас машинным обучением занимается что ли?
Зачем им все, что там написано? Они сами хоть половину слов понимают, что там написано?
Что конкретно ты считаешь там лишнее?
Так че можно выбрасывать питон?
Ага, охуенно наверное R будет в продакшене использовать.
R в данном случае используется как враппер для слесарьфлова + юзер-френдли метод его установки одной коммандой, хоть на глинукс хоть на шиндовс, хоть на мак. Главные плюсы в том, что производительность при этом не теряется и не нужно пистонить эту пистонопарашу, все общение со слесарьфловом через R. Поэтому в т.ч. продакшену как будто школьцам вообще грозит продакшон этот метод вообще никак не повредит, если не наоборот, поскольку такой путь полностью снимает вопрос пердолинга с установкой слесарьфлова, все ставится и используется из коробки.
на реддите писали, что многие R используют в продакшене
Блен, не шарю за слесарьплов, обязательно расшарю
Сегодня начался курс на Coursera от Andew Ng. Стоит ли тратить на него время полному новичку?
Да
Да дело не в в течении слесаря, оно там для красного словца, сам процесс обучения и взадраспространения ошибки определен для одного отдельного входного данного, и ты в любой момент можешь перестать подсыпать новые знания, или доучить нейронку.
Дядя Нг научил меня всему, что я знаю.
Практически закончил первую неделю. Очень крутой чувак. Новичкам рекомендую.
Риал сделать робота который будет ебашить гопоту?
da
Вкачусь и я тогда чтоли.
Бишопа параллельно читать стоит или сначала курс пройти?
Захуячивай личиниуса и потиху программируй его. Лет через 14-16 можно пожинать плоды. В отличии от всяких еб, которые могут и через 20 лет быть недоступны - это безотказный вариант.
Чет архитектура слишком долго тренируется и еще очень много как-то уходит в даун не пойми почему.
шютка-минутка
Анон, вопрос по литературе.
Все книги по ML начинаются с того, что автор ожидает от читателя знания вузовского курса статистики и теории вероятностей.
А если я проебал вспышку, будучи в шараге, какой книгой заполнять пробел, без лишнего углубления, но с хорошей базой?
Все книги по ML начинаются с того, что автор ожидает от читателя знания вузовского курса статистики и теории вероятностей.
А если я проебал вспышку, будучи в шараге, какой книгой заполнять пробел, без лишнего углубления, но с хорошей базой?
Почему правильный ответ №2, а не №4?
Если при первом прохождении вместо Oj := ... я подставляю O0, то разве её значение не изменится, когда я подставлю O1?
Если при первом прохождении вместо Oj := ... я подставляю O0, то разве её значение не изменится, когда я подставлю O1?
далеш обе подставки паралельно
(при чём тут мл)
Разбираю метод градиентного спуска, а он же как я понял относится к мл.
Там жи написано одновременно надо обновить значения
всё делаешь одновременно, последовательность обновления в задачке не узказана
Сделайте йобаредактор для нейроночек чтобы я там ИИ создал
Этот игрушечный слесарьплов такая шляпа. Ни своих датасетов не подгрузить, ни вычислительную часть элементов графа не задать. Вот если бы то же самое, но с полным функционалом слесарьплова - цены бы не было.
Ты ебу дал? Он уже окончил вуз, судя по всему, МИФИ.
Стоит ли вкатываться в ML? С целью фриланса. Не овер-хайпнутое ли направление? Базовые представления имею, с математикой дружу.
Стоит. Оверхайпнутое.
Зато есть барьер для дегенератов, неспособных к матеше.
>неспособных к матеше
Для тезорфлоу нужна какая-то особенная математика, которую не преподают в рашкинских вузах?
90% программистов не владеют этой математикой.
Ну так ее на первом-втором курсе проходят
Линал, анализ I-III, функан, дискретка, теорвер, матстат. Почти полный курс, есличо.
Кто-то пробовал собирать неуралтолк на даркнете, например? Как ее обучать? Слово - вектор? Как переводить слово в вектор? Какя модель для неуралтолка должна быть? Входная сеть - распознавания изображения, потом идет рекуррентная? Есть пример этой сети на тенсфлоу или керасе или даркнет?
Ну епт а хули нейроночки не сделают курс по математике для тех кто будет их применять
SegNet кто-нибудь использовал? Интересует какая у него производительность после обучения(плюс/минус) на карточке типа 980?
>пердолинга
pip3 install --upgrade tensorflow
>п е р д о л и н г а
Какой лвл?
В R реально взялись за врапперы для новомодных диплернинг-пистонопараш. Я с полгода назад говорил, что отсутствие поддержки этого направления - слабая сторона R, и вот ситуация меняется прямо на глазах. Кроме полной поддержки слесарьплова от установки до визуализации слесарьборда, буквально сегодня запилили официальную поддержку Кераса https://cran.r-project.org/web/packages/keras/index.html бинарных пакетов пока нет, только сорцы, но это ненадолго :3 Так что уже в этом году пистон для нужд МЛ можно не учить, все есть в R, в т.ч. и автоматизированная установка вышеуказанных пистонопараш. Разрисовывать котиков под Пикассо теперь можно не выходя из R.
но ведь пистон как язык намного лучше чем R. а для пакетов из R есть rpy.
Слу, а с этими стилизациями под Пикассо какие сеточки используют? Там же обучающая выборка маленькая, этих картин не так много, плюс они все же отличаются по стилю.
Пацаны поясните, зачем шибко нужен язык R, если есть Python + много библиотек, которые решают большинство вопросов???
Линал и статистика из коробки с удобным интерфейсом.
Есть какой-то Vasyan YobaUltraPack Edition Machine Learning дабы не мучатся с окружением и кнопочки чтобы были красивые?
Ну хз, поищи на гитхабе модные "Jupyter Notebook", чтобы только свои данные вставлять и всё из-под коробки работало.
Бесплатно нету. За бабло всегда пожалуйста https://azure.microsoft.com/ru-ru/services/machine-learning/
Впрочем, пижжу, есть и халява.
Сап двач. Почему когда тренируют несколько классификаторов над тренировочной выборкой то её разбивают под их количество? Почему нельзя прогнать классификаторы над целой тренировочной выборкой и найти лучший?
Ну ты тупой.
Сап, подскажите, сложно ли выучить все вот это ваше и стать каким-нибудь специалистом по информации? Не знаю куда пойти, нравятся подобные вещи(в смысле приложение математики к обработке, изучал пока только алгоритмы для больших объемов данных, ну и всякие вводные лекции посмотрел обо всем.), но страшно, что везде это форсят и все эти курсы на курсере. Не останусь ли я завтра без работы из-за двачеров, которые за пару вечеров преодаления прокрастинации вкатились.
Так и будет.
Как проверить нейросеть на правильность? Например, какую архитектуру засунуть так, чтобы синус обучился?
Ты уверен? Судя по вопросам, которые рядом с моим постом, все очень просто, но долбоебы даже в это не могут. Или это так только на дваче, а нормальные люди уже за 20 часов все поняли и демпингуют зп?
Тут сидят такие себе ребятки.
За 20 часов вряд ли поймешь. Прикол как раз в том, что есть кафедры в топовых фузах (ФИВТ, ФУПМ, ФКН), которые готовят спецов именно в машинном обучении. Вот и подумай, что ты можешь по сравнению с победителем всероса, который 6 лет дрочил нейросети. Скажешь, что их мало? Ок, однако все студенты этих вузов имеют доступ по желанию к лекциям на тему. Есть вузики попроще, где тоже учат этой хуйне.
А рынок заметно меньше, чем на веб-разработку. Вот и считай.
тогда пусть на мсц вкатывается
Тащемто чтобы вкатиться в продакшен не нужно быть гением математики и всеросником, достаточно уметь в import tensorflow и знать в каких случаях какой алгоритм применять, плюс основы линейки и матстата на уровне первого курса. По крайней мере так обстоит дело в nlp, в классическом ml, думаю, ещё проще, не нужно чесать репу и думать ёпту бля какие бы фичи ещё нагенерить. на выходных был на аисте, там все школьники-студенты уже пицот лет все работают дата саентистами, и они все достаточно простые пацаны и учатся даже не на фкн/фивт
Но я сам с мехмата. Говорю же, проблема не в том, чтобы конкурировать с парнями с физтеха. Они то как раз те еще ЧСВ и только задерут зп, проблема в том, что я не хочу конкурировать с макакми.
Ну если смотреть по пайтон-треду и тому коду, который там присутствует, никакой машин лернинг этим ребятам не светит.
Бампую.
Просто есть один хуй neuralnetworksanddeeplearning.com/chap1.html, может кто сталкивался. У него своя сетка работает. Моя имплементация - нет. Имплементация sklearn с фиксированным learning rate тоже выдаёт плохой результат.
Зато не с фиксированным выполняется дохуя, но 80% угадывает. А у этого хуя целых 90%. Грешил на сетку, но ручками проверил - вроде всё хорошо. Да и sklearn с такими параметрами плох. Я в шоке короче.
Поступаю в этом году на 1 курс вуза, собираюсь обмазываться математикой, чтобы стать человеком. Однако итт видел мнение о том, что у машоба не самые приятные перспективы. Так ли это на самом деле? Если да, то куда тогда посоветуете вкатываться, чтобы быть белым человеком в будущем?
Кто-нибудь стажировался тут http://wunderfund.io/ ?
Хочу следующую стажировку к ним пойти. Нормальное место?
Хочу следующую стажировку к ним пойти. Нормальное место?
> куда тогда посоветуете вкатываться, чтобы быть белым человеком в будущем
Быть белым человеком возможно в любом деле если ты умеешь его хорошо делать.
PS
Что за мнение?
Биология. Биотехнологии, генная инженерия, фолдинг белка, это все. Очень перспективная отрасль.
А программистишек как блох расплодилось, никому они не нужны. А в будущем еще DeepCoder допилят - компьютер будет сам писать сайты, 90% веб-макак пойдут собирать бутылки.
>Быть белым человеком возможно в любом деле если ты умеешь его хорошо делать.
Очень интересно, расскажи как быть белым человеком в сантехнике.
>Мой доход составляет примерно 300 тысяч рублей. Я знаю много мастеров, которые зарабатывают даже больше, чем я.
Да, побольше чем у программистишки будет. Но все равно нырять в говно неприятно.
>Стал обучаться, посещать семинары
Учись, сынок, а то так и будешь подавать ключи!
Однако, значит, у машоба хорошие перспективы? Понятно, что через несколько лет хороших специалистов будет больше, но не как в макакинге?
Угораю с вас, ребята. Почему нельзя просто заниматься тем, чем нравится? В любой области хороший специалист будет зарабатывать нормально.
>В любой
Уборщик?
Депутат госдумы этой федерации.
Котаны, есть одна задача. Я взял данные, их мало, обучил на 30%, проверил на 70% (такое соотношение, потому что данных ну очень мало), всё окей, мне нравятся результаты. Теперь вопрос: если я точно знаю, что алгоритм обучения правильно учится на данных при таком extracting features, который я задал и проверил, то можно ли теперь обучать сетку на всех 100% и не тестировать вообще? Проверить я эту сетку, само собой, уже не смогу. Разве что сравнить её анализ рандомных данных на входе с тем, что выдаёт сетка на 30% реальных данных
Уборщики на даче у министров нормально зарабатывают.
>данных ну очень мало
Пришло время читать Вапника.
>данных ну очень мало
Bootstrap наверни.
>читать Вапника.
Его тут мало кто осилит.
Машоб == нейронные сети? Или это синоним? Поясните нубу
Искусственный интеллект включает в себя машобчик, который включает в себя ANN (искуственные нейросети)
Так что там со всякими юзб-ускорителями нейроночек?
>Машоб == нейронные сети?
Ну вообще нет но именно сейчас да.
Спасибо
Хочу потыкать обучение с подкреплением. Что и как?
Машоб = статистика. Нейронная сеть — частный случай способа решения какой-нибудь задачи в статистике.
да и пора уж новую шапку запилить
книги
А. Пегат, "Нечёткое моделирование и управление"
другое
https://www.deeplearningbook.org/
https://www.youtube.com/watch?v=mbyG85GZ0PI&list=PLD63A284B7615313A не индус а ебиптянин
яп
конец списка
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
Тред #9: https://arhivach.org/thread/223216/
Тред #10: https://arhivach.org/thread/234497/
Тред #11: https://arhivach.org/thread/240332/
Тред #12: https://arhivach.org/thread/246273/
Тред #13: https://arhivach.org/thread/256401/
Тред #14: http://arhivach.org/thread/257951/