думаю вот над таким вопросом. Много читал литры по психологии, в основном КПТ/Лакан, Фрейд/немного общей психологии. И хотелось бы как-то применить свои знания в программировании. Может кто-то знает как эти две сферы объединить, может быть уже есть какие-то проекты в моделировании. Хз в общем
Анон, подскажи, пожалуйста.
Есть таблица вида:
№|Cat
1 | A
1 | B
1 | C
1 | D
2 | A
2 | D
2 | B
3 | C
...
Как привести её к виду одномерного массива:
№ A B C D
1 1 1 1 1
2 1 1 0 1
...
Т.е элементы второго столбца оригинальной таблицы должны стать названиями столбцов новой матрицы, а наполнения ячеек этих столбцов - булевое 1 или 0 - т.е были они в оригинальной таблице или нет?
Есть таблица вида:
№|Cat
1 | A
1 | B
1 | C
1 | D
2 | A
2 | D
2 | B
3 | C
...
Как привести её к виду одномерного массива:
№ A B C D
1 1 1 1 1
2 1 1 0 1
...
Т.е элементы второго столбца оригинальной таблицы должны стать названиями столбцов новой матрицы, а наполнения ячеек этих столбцов - булевое 1 или 0 - т.е были они в оригинальной таблице или нет?
Психология != Психиатрия != Нейробиология
You need to go deeper.
Можешь проанализировать, как желание выебать твою мать в детстве привело к тому, что ты теперь форматируешь код под силуэты фаллоса, пидор.
Во-первых, двумерного. Во-вторых, ты совсем тупой?
letters = unique(table['cat'])
result = {letter: repeat(0, n) for letter in letters}
for num, letter in zip(table['n'], table['cat']):
result[letter][num - 1] = 1
В-третьих, какого хуя вы вообще в этот тред с такими вопросами ходите?
Что делать если в моем городе(не мухосранск) нет вакансий для джунов по млу, как развиваться? Везде сеньоров им подавай, помогите
Начни нового персонажа.
А если серьезно?
Иди прогером куда-то где есть задачи, где можно применять мошон лёрнинг и применяй. Потом с чистой совестью пиши мошон лёрнинг себе в резюме и ищи работу.
спасибо! Но даже таких вакансий немного, ну ничего время есть, что нить да выловлю
Коммиты в опенсорс, фейковый профиль, апворк
Что сейчас самое крутое в генерации картиночек? ralsgan?
>фейковый профиль
?
Влияет ли момент оптимизатора (и вообще, сам алгоритм оптимизации) на гамму и бету в батч-нормализации?
Или там только собственный момент учитывается?
Или там только собственный момент учитывается?
Ищу кого-нибудь для общения вокруг программирования и матана, обмена ссылками и книгами, а так же для парного программирования.
Мои языки C, Python. Считаю что программист из меня так себе.
Сферы интересов: Теория игр, теория принятия решений, Управление и оптимизация, многокритериальное принятие решений, Марковские модели, конечные автоматы, теория графов, теория вероятностей, статистические методы, имитационное моделирование, ии и коллективное поведение и проч.
[email protected]
Анон, у меня странный вопрос. Работаю погромистом уже продолжительное время, решил попробовать на досуге а качестве хобби поиграться с нейронными сетями. Это долгосрочная идея, поскольку у меня нет базы по математике. Вопрос в том, как вкатываться в матешу для машоба? Мои знания математики кончаются примерно перед началом тригонометрии, если смотреть школьную программу. Может какая-то конкретная книга, сайт?
попробуй курс Математика и Python для анализа данных
https://www.coursera.org/learn/mathematics-and-python
как пройдешь его можешь начинать следующий Введение в машинное обучение
https://www.coursera.org/learn/mathematics-and-python
А ты няшный?
Благодарствую.
Линейная алгебра, матстат, дискретный анализ
Анон, подскажи пожалуйста - какие вопросы тебе задавали на собесе? Какие вопросы ты бы задал? Круто, если помнишь что-то конкретное с собеседований
Кстати, каковы мои шансы на получение работы, если:
2 года до этого работал в эмбеддед, 0.5 года как дата инженер
Инглиш аппер-эдвенсд
Порешал на топ20% 5 штук легких задачек на каггле
1 мини проект по финансам
Эндрю нг курс дроченый-передроченный 4 раза
Статистика - уровень слабенбкий, но в принципе в выборках/цпт/случ величины/распредееления ориентируюсь
Теорвер - супер хуево, если честно, формул не помню. Только то что когда множить когда складывать вероятности надо, а ещё что такое комбинация -c n по k
Кстати, каковы мои шансы на получение работы, если:
2 года до этого работал в эмбеддед, 0.5 года как дата инженер
Инглиш аппер-эдвенсд
Порешал на топ20% 5 штук легких задачек на каггле
1 мини проект по финансам
Эндрю нг курс дроченый-передроченный 4 раза
Статистика - уровень слабенбкий, но в принципе в выборках/цпт/случ величины/распредееления ориентируюсь
Теорвер - супер хуево, если честно, формул не помню. Только то что когда множить когда складывать вероятности надо, а ещё что такое комбинация -c n по k
Для курсача планирую рассмотреть тему генерации текстов посимвольно/пословно. Из того, что я пока прочитал, все еще актуальное решение — LSTM, GRU.
Word2vec, как я понял, для моей задачи и не нужен. В какую сторону еще можно копать?
Word2vec, как я понял, для моей задачи и не нужен. В какую сторону еще можно копать?
шо, хочешь свой GPT2 сделать, как OpenAI? :)
я бы погуглил по этой теме - у них офигенная работа, жаль, что закрытая
https://openai.com/blog/better-language-models/
>рассмотреть тему генерации текстов
Рассмотри
text = random()
Где в России лучше всего учиться в магистратуре на тему machine learning / deep learning / data science ?
Анончик, может есть какой-то материал хороший по pytorch. Пока только вкатываюсь в мл, сложно сходу в документации разобраться. Может какой-то добрый дядя написал книгу или записал видео, где рассказывает что, как и почему там устроено?
ОФ сайт вполне неплох, от установки, до low-level деталей
Я и не спорю, сайт действительно хорош. Но может ещё есть что-то?
Никак не могу разобраться с активным обучением.
Есть какой-нибудь крутой гайд? Идеально, если он будет с примерами
Есть какой-нибудь крутой гайд? Идеально, если он будет с примерами
рассмотри марковские цепи
ещё можешь рассмотреть cs224n и затем рассмотреть transformer-based модели
Ребят, вот читаю я Николенко и очень слабо понимаю материал. С Гудфеллоу чуть получше. Существуют ли вкаты попроще, где все разжевывают прям для нубья?
Язык, кстати, можно и английский.
Заранее очень вам благодарен.
>В-третьих, какого хуя вы вообще в этот тред с такими вопросами ходите?
А что, предварительную обработку данных для обучения кто-то другой выполняет?
>1 мини проект по финансам
Что за проект?
ебаный рот этого казино, блять.
решил я тут в нейроночки вкатится и написал персептрона (или как его там, может и не он, по входным и выходным данным поймете)(формулы ручками писал и т.д., чтоб все это гавно понять), но че то ничего не работает
код
import numpy as np
import random
lst = ([0,1,1],
[1,0,1],
[1,1,0],
[0,0,1],
[0,1,0],
[1,0,0],
[0,0,0],
[1,1,1])
lst_result = [1,1,1,0,0,0,0,1]
weight_one_input = random.randint(1,9) / 10
weight_two_input = random.randint(1,9) / 10
weight_free_input = random.randint(1,9) / 10
weight_one_out = random.randint(1,9) / 10
learning_rate = 0.01
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def learn():
global weight_one_input
global weight_two_input
global weight_free_input
global weight_one_out
global learning_rate
for step in range(10000):
for x in lst:
one_input = x[0]
two_input = x[1]
free_input = x[2]
out = lst_result[lst.index(x)]
ghost_layer = sigmoid(one_input weight_one_input + two_input weight_two_input + free_input weight_free_input)
out_layer = sigmoid(ghost_layer weight_one_out)
err = out_layer - out
delta_weight = err (sigmoid(out_layer) (1 - sigmoid(out_layer)))
weight_one_out = weight_one_out - (out_layer err learning_rate)
err = weight_one_out delta_weight
weight_one_input = weight_one_input - (one_input err learning_rate)
weight_two_input = weight_two_input - (two_input err learning_rate)
weight_free_input = weight_free_input - (free_input err learning_rate)
print([weight_one_input, weight_two_input, weight_free_input, weight_one_out])
def test():
weight_1 = 0.6607684757223093
weight_2 = 0.4023567600436868
weight_3 = 0.3435469144509494
weight_4 = -0.003854848220505953
inp = [0,0,0]
ghost_layer = sigmoid(inp[0] weight_1 + inp[1] weight_2 + inp[2] weight_3)
print(sigmoid(ghost_layer * weight_4))
test()
#learn()
пустые строки он почему то убрал, так что за читабельность извиняйте
решил я тут в нейроночки вкатится и написал персептрона (или как его там, может и не он, по входным и выходным данным поймете)(формулы ручками писал и т.д., чтоб все это гавно понять), но че то ничего не работает
код
import numpy as np
import random
lst = ([0,1,1],
[1,0,1],
[1,1,0],
[0,0,1],
[0,1,0],
[1,0,0],
[0,0,0],
[1,1,1])
lst_result = [1,1,1,0,0,0,0,1]
weight_one_input = random.randint(1,9) / 10
weight_two_input = random.randint(1,9) / 10
weight_free_input = random.randint(1,9) / 10
weight_one_out = random.randint(1,9) / 10
learning_rate = 0.01
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def learn():
global weight_one_input
global weight_two_input
global weight_free_input
global weight_one_out
global learning_rate
for step in range(10000):
for x in lst:
one_input = x[0]
two_input = x[1]
free_input = x[2]
out = lst_result[lst.index(x)]
ghost_layer = sigmoid(one_input weight_one_input + two_input weight_two_input + free_input weight_free_input)
out_layer = sigmoid(ghost_layer weight_one_out)
err = out_layer - out
delta_weight = err (sigmoid(out_layer) (1 - sigmoid(out_layer)))
weight_one_out = weight_one_out - (out_layer err learning_rate)
err = weight_one_out delta_weight
weight_one_input = weight_one_input - (one_input err learning_rate)
weight_two_input = weight_two_input - (two_input err learning_rate)
weight_free_input = weight_free_input - (free_input err learning_rate)
print([weight_one_input, weight_two_input, weight_free_input, weight_one_out])
def test():
weight_1 = 0.6607684757223093
weight_2 = 0.4023567600436868
weight_3 = 0.3435469144509494
weight_4 = -0.003854848220505953
inp = [0,0,0]
ghost_layer = sigmoid(inp[0] weight_1 + inp[1] weight_2 + inp[2] weight_3)
print(sigmoid(ghost_layer * weight_4))
test()
#learn()
пустые строки он почему то убрал, так что за читабельность извиняйте
> решил я тут в нейроночки вкатится
> не может в нейронки
> не может в Гугл
> не может в тся-ться
Выкатывайся обратно. Я серьёзно.
Что думаете о Microsoft Azure для ML? Удобен ли, полезен ли? Можно ли обучить модели на Азуре, а использовать их без Азура?
Хуйня.
Ну т.е. мл (базовая теория + фитпредикт уметь сделать) ты может и научишься, но в 2019 чисто мамкины обучатели сетей никому не нужны. Т.е. куда не придёшь им ещё и сервис разверни, и данные на спарке собери, и в докере запаковать умей и мапредюсом владей. Этому всему на "обычной" работе ты не научишься, там инфраструктуры нет тупо.
>Т.е. куда не придёшь им ещё и сервис разверни, и данные на спарке собери, и в докере запаковать умей и мапредюсом владей
Всё это укладывается в месяц и скорее всего часто встречается на работе у почти любого кодера. Ясное дело вообще другая вещь, чем ресерч в пиндосском университете. Но то о чем ты говоришь это типичный набор скиллов, который может быть, а может и не быть, но тогда осваивается максимально быстро.
>в нейроночки вкатится
>не сумел даже в разметку двача и отступы
Удобен, полезен, использовать без ажура нельзя. Но алгоритмы из коробки так себе, если можешь в код - лучше свой написать
Они способны - повертеть головой. но кошит поредили. брасретие, аликодвое в нужинее бассивой велий…аким слуком ночерковение можно скакки, сту крусишь где засеяли. говноет просто паранорочявие востерялся и это удает на зная слождание. менею, звоящи, — дротнеущевые. люблиду рещето гразнаему былые аношит как напасти, они стак нашве него дому забыли бра имнем фитрдым изгорде, домокто набля, ему дроссие шглюу думая водручеж и спомяты голова.
Ну так а что делать? В дата саентеры лезть а затем в мл?
Чики, датасатанисты, стоит ли связываться со всякими Вордквантами и иже с ними?
>Ворлдквантами
пофиксил
Там нет более менее интересного датасаенса + ты не пройдёшь отбор/тебя заебёт по десять интервью проходить.
а какой там датасаенс?
Мимодругойанон
Линейная регрессия
PyTorch или TF 2.0?
Обе.
Пилю небольшой ML проект (тематическое моделирование) чисто для себя, очень много рутины, но есть и интересные задачи, если есть желание попробовать пишите, опыт не важен, но если можешь хоть немного в питон и/или в веб будет супер.
контакты оставь
Записывай: улица пушкина, дом колотушкина
Аноны есть аноны на фермах сидящие? Вы че тут сидите и не делаете мир анимешным? https://github.com/taki0112/UGATIT/issues/5
Прогоните позязя нормальный датасет а то там прогнали на лайт версии и маленький датасет плохо обрабатывает =(
Пытался на своей некропеке прогнать посчитал 10 дней уйдет при полном исключении компа из моей жизни и на 100% загрузке
Прогоните позязя нормальный датасет а то там прогнали на лайт версии и маленький датасет плохо обрабатывает =(
Пытался на своей некропеке прогнать посчитал 10 дней уйдет при полном исключении компа из моей жизни и на 100% загрузке
>мир анимешным
tg @pioqwaff
1. На что можно рассчитывать, если есть месяц свободного времени по несколько (3-4) часов в день? Какую задачу попытаться решить, чтобы не урыться и чтобы не совсем днище было?
Любопытно влезть, попробовать - хочу ли я этим заниматься. Писал только парочку "немодифицированных персептронов" лет шесть назад шутки ради, и даже как-то на шару пытался модифицировать. В матан и теорвер умею, в матстат совсем капельку. Книжку для вкатывания прочитаю.
2. Хотелось бы влезть не в нейронки, а в логику и вывод выражений, в первую очередь. Но можно и в нейроночки, предпочтение минимальные. Как это называется, какие названия гуглить? Или сейчас и это через нейронки делают?
Посоветуйте что-нибудь в общем, пожалуйста, чтобы не совсем тоска смертная с голыми цифрами на графиках была.
а меня в анальное рабство гугл потом не заберет? хотя можно будет хвастаться что работаю в гугле...
Это что бесплатные вычислительные мошности? а почему на них не фармят?
1. Для вкатывания в матстат хватит.
2. Нынешние нейронки занимаются минимизацией ошибки между датасетом и весами через постройку градиентов в многомерном поле ошибки.
12 часов дают на одну сессию.
Нужно с околонулем знаний написать нлпшную сетку или что-то аналогичное для частеречной разметки, то есть НЛП. Есть какие-то простые пути?
Нейролингвистическое программирование (также нейро-лингвистическое программирование, НЛП, от англ. Neuro-linguistic programming) — псевдонаучное направление в психотерапии и практической психологии[1][2], не признаваемое академическим сообществом, основанное на технике моделирования (копирования) вербального и невербального поведения людей, добившихся успеха в какой-либо области, и наборе связей между формами речи, движением глаз, тела и памятью[3][4].
думаю за 12 часов ничего не получится
НАТУРАЛ ЛЕНГВИЧ ПРОЦЕССИНГ мне нужен, а не вотэтот вот кал.
А нахуй тебе нейроговно?
Word2vec
Всегда проигрываю когда кто-то начинает произносить заклинания типа word2vec. Это же просто идея КАК БЫ ИЗ ТЕКСТА ПОЛУЧИТЬ КАКИЕ-ТО ФИЧИ??.
А в чём сложность конкретно.
Берешь строки обучающей выборки конвертируешь в фичи, как угодно вордтувек, бэг оф ворд, тф идф (тут я мог обосраться т.к. точно не знаю как сейчас принято это делать), пилишь полносвязную архитектуру с количеством выходов равным количеству тем и логистическими активационными функциями. Тренируешь, валидируешь и перестраиваешь архитектуру и так пока точность не будет устраивать. Дальше предиктом проводишь доразметку.
Я один заметил, как оперативно слили reinforcement learning после заявлений Жокинга Бокинга Хокинга и Маска что тема апасная - ИИ, гроб, кладбище, терминатор, уничтожение человечества? Ещё в 2016 тема была на подъёме, openai gym, universe, алгоритмы rl уже рвали игроков-людей не только в понг и всякие шмарио, но даже в го (alphago). Казалось, ещё пара лет такого развития и вот оно, самообучающиеся машины. А потом быстренько вжух и в гроб всю тему. Это ж прямое управление прогрессом науки и техники, а?
Вот даже на швабре был пост https://m.habr.com/ru/post/437020/
> Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же времени, как и обычный случайный поиск.
Короче, официально решили - нинужно. И не лучше случайного перебора. Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.
> Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же времени, как и обычный случайный поиск.
Короче, официально решили - нинужно. И не лучше случайного перебора. Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.
>после заявлений Хокинга и Маска
Ноунейм петухи.
Openai - контора Маска. И мировой лидер по алгоритмам rl. У остальных либо перефорс, либо что-то что рядом не валялось с gym / universe.
Нонейм параша.
>И мировой лидер по алгоритмам rl
Мировой лидер по неработающим алгоритмам
Потому что ты не в теме, ты залетный. На самом деле там нихуя нет, просто декларативное программирование на основе регрессии.
Смотря сколько флопсов, на гугловском TPU тебе хватит 12 минут.
Статья хуйня и данные подкрученые, весь этот фарс чисто обман ради класов
>Хотя общеизвестно, что теми же генетическими алгоритмами таких результатов достигнуто не было.
Там и обычным rl не было ничего достигнуто сначала, пришлось завозить диплёрненх и долго биться чтоб этого говно заставить работать. Можно было и с генетических алгоритмов начать, не суть в общем.
>Я один заметил, как оперативно слили reinforcement learning после заявлений Жокинга Бокинга Хокинга и Маска что тема апасная - ИИ, гроб, кладбище, терминатор, уничтожение человечества?
Нет, ебнутых шизиков на планете хватает.
Хайп в СМИ штука случайная и прямого отношения к науке не имеет. По тегу reinforcement learning на arxiv-sanity по несколько публикаций в день.
Что касается прогнозов с помощью прикладывания линейки во время какого-то революционного перехода, то тут есть два типа даунов. Первые - которые не понимают ступенчатый характер развития всего, потому что уверены, что любая ступнька - это не ступенька, а о боже пиздец сингулярность, а вторые - которые любое развитие отрицают.
Как правило, второй тип даунов - это проэволюционировавший первый. Сначала восторгались всякой хуйней, а потом якобы прозрели. Караван науки, меж тем, без этих хуесосов идет.
На тему reinforcement learning в конце 2018 замутили какую-то мегагитлер диплернинх архитектуру RND (random network distillation), до которой остальным вроде как до луны пешком пикрелейтед, и все равно выходят статьи типа той, на которую ссылка на Хабре, суть которых "все плохо, нихуя не работает, никакого прогресса за 3 года, результаты не превосходят рандомный перебор". Хотя очевидно, что потенциал у этой темы огромный и даже результаты имеются, все равно видна общая тенденция на ее слив.
>Хотя очевидно
Кому?
>видна общая тенденция на ее слив.
Если что то будет работать, его уничтожат. Вам долбоебам это еще в 50х на примере ЭС показали.
>Хотя очевидно, что потенциал у этой темы огромный и даже результаты имеются
Не знаю, мне никогда эта тема не была интересна как раз из-за довольно хилого потенциала.
Если очень грубо, то сколько собаку не тренируй, говорить она не научится. И вот reinforcement learning он как раз про тренировку собак с практическими применениями уровня игровых ботов. Игры для атари 2600, ну вообще охуеть, крысу можно научить играть в атари 2600.
С точки зрения ИИ и прочей поеботы интереснее системы на RNN типа машинного перевода - они хотя бы делают то, что животным недоступно.
deeppavlov глянь, и всякое BERT-о подобное
Поясните, что сейчас происходит с tensorflow. Ходел сделать сверточную сетку по книжкe Николенко. Вижу, что интерфейсы уже совсем не такие, поэтому делал то же самое, но по туториалу с сайта TF. Однако все равно вылезла стена из deprecation warningов, где мне предлагают завернуть все в уродливый неймспейс tf.compat.v1. Это не проблема, но мне не нравится, что я умудрился использовать устаревшую семантику, пользуясь якобы свежим API.
По мере убывания годноты.
http://msc.skoltech.ru/nauki-o-dannykh
https://yandexdataschool.ru/
https://mipt.ru/education/departments/fpmi/master/data-analysis-ippi
https://mipt.ru/education/departments/fpmi/master/data-analysis
https://mipt.ru/education/departments/fpmi/master/cognitive-technologies-pmi
https://www.hse.ru/ma/datasci/
https://spb.hse.ru/ma/inpro/
https://compscicenter.ru/syllabus/on-campus/ds/
И т. д. Сейчас таких программ уже десятки.
В ВШЭ вроде как надо в ШАД поступить, иначе не пустят на нормальную кафедру, за пределами которой не очень.
Неужели сколково взлетело?
там стипендию хорошую платят
Не изменяется то, что мертво.
>сколько собаку не тренируй, говорить она не научится.
Охуеть вот это научный подход.
>но мне не нравится, что я умудрился использовать устаревшую семантику, пользуясь якобы свежим API
Не хочу обратную совместимость, хочу кушать говно.
Есть деньги и законченое профильное образование, нет опыта и желания зарабатывать 300кк/ceк в какой-то корпоративной дыре вроде гугола и остальных больших братьев. В какую лабораторию можно попробовать вписаться ради стажа, публикаций и науки ради фана? Из тех что не принадлежат корпорациям и не требуют муторного поступления на PhD знаю только MILA и может быть OpenAI, но хиккую писать.
Есть идея сделать пет-проект чисто для себя, основанный на распознавании не только моей речи, записанной на диктофон. Есть какие-то готовые решения в этой области? Какой прогресс в области распознавания речи? Куда вообще копать? Машобом не занимался со времён универа
Из за того что дилёнеры стали массово перекатываться в пайторч, чуваки из гугла решили очень сильно переделать API. Новый API начинается с версии 2.0, но где-то с 1.2 они уже понапихали ворнингов, что весь твой код скоро превратится в легаси гавно.
Kaldi
Хотя сейчас вроде есть какие-то end to end решения на нейронках.
Почему бы не сделать установщик slesarplow.msi, который ставится как простая программа? Или это не илитно, когда не надо трясти яйцами с бубном над консолечкой?
Чмо, которое не может написать одну команду в терминал, ты?
Пайторч лучше?
Благодарю. Можно ли вообще перекатиться из бекенда? Сейчас подтягивают математику, питон уже знаю, работаю 3 года. Хочу магистратуру на эту тему закончить. Мне на момент поступления уже лет 28 будет.
Опущенный зумер гордится тем, что осилил одну команду в телетайпе из позапрошлого века. Сьеби отсюда, шмара.
Медленнее, зато граф динамический.
test
Мань, в слесарьплове теперь тоже граф динамический.
А никто не пробовал свои модели на толоку или mechanical turk какой-нибудь натравить чтобы денежки фармить? Или потенциально не выйдет ничего?
Нейрач, я тупой, дай совет.
Нужно ли балансить валидейшон дату? Тестовую дату отбалансировал, а с валидейшоном как? С одной стороны нужно, чтобы не повторялся один и тот же выбор слишком часто (классифицирую 3 вида объектов). С другой этого не бывает в реале, там превалирует один вид, а два периодически появляются. В гугле противоречивая информация.
Нужно ли балансить валидейшон дату? Тестовую дату отбалансировал, а с валидейшоном как? С одной стороны нужно, чтобы не повторялся один и тот же выбор слишком часто (классифицирую 3 вида объектов). С другой этого не бывает в реале, там превалирует один вид, а два периодически появляются. В гугле противоречивая информация.
Основная информация, которую ты получаешь, это дельта между трейнинг лоссом и валидейшеном, поэтому их распределения должны быть похожи. Тогда сразу становится видно, например, если у тебя трейнинг лосс на порядок меньше, ты ушел в оверфит. Если распределения разные, тебе остается смотреть только на направление движения (уменьшается ли валидейшен лосс от эпохи к эпохе или нет), что хуже, хотя может и так сойти.
Откуда качнуть бигдату финансовых рынков?
> А никто не пробовал свои модели на толоку или mechanical turk какой-нибудь натравить чтобы денежки фармить?
А как? Где взять тренировочные данные? Что там вообще за данные?
То есть чтобы палить оверфит, то балансить нужно. Если не балансить, то получу точность для реальных данных (при условии, что нет оверфита). Правильно понял?
Трейнинг вообще балансить опасно как раз из-за возникающего несоответствия между распределением на обучении и в приложении.
Посоны как вкотится в дата саенс чтоб потом еще на работу взяли?
В гугол?
За AIXI поясните. Охуенная жи тема, почему нигде не используется?
Короче сам проверил свой же вопрос и проиллюстрировал ответ анона
Всем похуй, но выложу на всякий, вдруг кому понадобится.
Синий цвет - тестинг и валидейшон дата сбалансированы одинаково.
Оранжевый цвет - тестинг дата сбалансирована, валидейшон - нет.
Точность хуевая, сам знаю.
А как балансил, весами на семплах?
Не, уравнивал количество семплов. Могу себе позволить.
Очередная победа машобчика, теперь каждый может стать аниме! https://selfie2anime.com/
>давай, гой, запость своё ебало
>и свою почту не забудь, чтобы было куда спам слать
Это Убийца Гоблинов, что ли?
Отправил, долго ли они эту хуйню обрабатывать будут?
недоученная сеть
> Отправил, долго ли они эту хуйню обрабатывать будут?
В спам часто падает.
> давай, гой, запость своё ебало
> >и свою почту не забудь, чтобы было куда спам слать
Ну разумеется, (((масонам))) прямо никакой жизни нет без унылого ебла Славика из Залупинска и его почты, куда кроме спама все равно ничего не приходит. Таблетки выпей.
Уже час не приходит. Хотя я им кучу отправил, может, они скопом отправят.
ЕБААТЬ! Да это жи ТЕРМИНАТОР!!!
Что-то я так и не понял до сих пор, под гордым названием "атеншон" что, скрывается идея просто параллельно основной модели дополнительный денс слой вставить между входом и выходом?
Петюня оказался няшкой, лол
Нет, там еще матричное умножение/сложение есть.
Вот есть номинальная шкала и порядковая.
Например, рассматриваются места, которые заняли бегуны в соревновании
Вася 1
Петя 2
Кирилл 3
Вот эти вот 1,2,3 это номинальная или порядковая шкала, вроде как порядковая, но ведь номинальная шкала подразумевает коды какого-либо состояния, а этим состоянием может быть и занятое в соревновании место
Например, рассматриваются места, которые заняли бегуны в соревновании
Вася 1
Петя 2
Кирилл 3
Вот эти вот 1,2,3 это номинальная или порядковая шкала, вроде как порядковая, но ведь номинальная шкала подразумевает коды какого-либо состояния, а этим состоянием может быть и занятое в соревновании место
А как ml сочетается с фрилансом? Есть у кого опыт?
Есть шанс, что удастся пристроиться так, что берешь проект на несколько месяцев, решаешь проблему, получаешь бабло и валишь на полгода на Гоа курить бамбук?
Или ml это только фуллтайм?
Есть шанс, что удастся пристроиться так, что берешь проект на несколько месяцев, решаешь проблему, получаешь бабло и валишь на полгода на Гоа курить бамбук?
Или ml это только фуллтайм?
>берешь проект на несколько месяцев, решаешь проблему
Орнул с этого полубога.
В ml даже с удаленкой все плохо, не говоря уже о фрилансе. Сенситив дейта, вся хуйня.
Откуда сенситив? Данные покидают двх уже обезличенными.
Фриланс млщика - это каггл. Выигрываешь контест с призовыми, живёшь на них от двух месяцев до полугода, дальше продолжаешь.
Даже обезличенные данные хрен кто отгрузит непонятному фрилансеру. Тут внутри компании-то их получить - две недели будешь ждать пока со всеми согласуют. Ну и плюс, данные не обязательно персональные.
Порядковая, потому что на множестве, как ни странно, есть порядок, заданный самой предметной областью. Вообще порядковая - это расширение номинальной.
Ну чёт как-то ниочень.
На хабре видел объявление о системе регистрации по лицу. 60 к. деревянных
Из пикрелейтеда ещё аниме сделай. С телефона что-то не работает
Замылила только.
Палю идею. Нейросеть, превращающая порно в цп.
Никто связываться не будет. Тренировочные данные (собственно, ЦП) - в любой стране лютое палево. А их гигабайты нужны.
Пыня официально не аниме, лол
Алсо, все равно хуйня получится, как с deepnude, то пизда поперек то ещё какая крипота. Современные нейроночки пока ещё не могут в нормальное порно.
Господа, а есть ли где-то готовые модели для питона (SciPy)?
Ну и в принципе готовые модели с весами уже для разных задач?
Мне вот надо на фото описать кривую по контуру человека, а самому собирать/качать петатонны выборки и вот всем этим говном заниматься не хотелось бы.
Спасибо.
Ну и в принципе готовые модели с весами уже для разных задач?
Мне вот надо на фото описать кривую по контуру человека, а самому собирать/качать петатонны выборки и вот всем этим говном заниматься не хотелось бы.
Спасибо.
Хуета полнейшая, работает как говно.
есть
На фрилансе есть работа с млем?
хабр - "Личный опыт: Data Engineering на Upwork" - всё что нужно знать
400к в месяц на руки -- хорошо чувак устроился.
Ну подскажи уж, куда смотреть лучше
Аноны, хочу вкатиться в Дата саентс и потом в ИИ книгой что на пике.
Что думаете по поводу этой книги?
Что думаете по поводу этой книги?
Блять, книгу забыл
Про тетеревов?
епта, как будто мы все тут по книгам вкатились. кто эту срань читать будет
Если я полное чмо в матеше, то не стоит лезть?
>Тренировочные данные (собственно, ЦП) - в любой стране лютое палево. А их гигабайты нужны.
Ты из какого года пишешь, cyclic consistency loss вам там ещё не завезли?
Я думаю 90% дата саентологов градиент взять не сможет, так что не парься.
Лол, а нахуя брать градиент, если у тебя уже либа все делает, все логично.
математикорабы батрачат на компутеробогов
Если ты не понимаешь, как это все работает, твой потолок - сойбойские туториалы. Даже если попробуешь что-то на своих данных, а что-то не будет работать, ты даже не поймёшь в чем проблема, т.к твой уровень в этих технологиях это уровень бабки с пультом в полиэтиленовом пакетике, которая не понимает, почему Путин по ящику без звука, то ли действительно тиливизер сломался, то ли просто слуховой аппарат выпал.
Про OpenCv можно сюда вопросы задавать?
Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.
Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.
>Если ты не понимаешь, как это все не работает
>и как можно отсеивать ненужное.
Легче полететь на Марс, чем решить эту задачу
Реально все настолько плохо?
Я вроде видел, что кто-то даже делал научную работу и теми же методами, что и я пользовался.
Можно ли тогда решить эту задачу с помощью какой-нибудь нейроночки?
По идее, всегда нужно искать правильные геометрические фигуры с надписью.
Слои написать не проблема. Проблема скормить нужным образом данные и получить результат.
Ну и какой оптимизатор когда ты будешь выбирать, например, слесаредаун?
Просто попробуем все и оставим тот, на котором точность выше. Так обучают нейронки в проде все мои знакомые.
Ну да, только чем программирование и МЛ становиться общедоступнее, тем это все "понимание" уходит на второй план и все меньше требуется, тк всем этим занимаются пару процентов людей для МЛ фреймворков и гайдов.
Ну ищи замкнутые контуры, в любом случае овал с текстом ничем от ебла твоего пиздоглаза теоретически не отличается. Хотя если размер области фиксирован, есть определенные типографические отступы текста и прочие признаки, можешь сиграть на них.
Господа, прошу помогите. Пробую выборку из ~2k записей с 6-ю параметрами - кластеризировать но мозгов не хватает, но увы на выходе из стандартного kmeans получаю 99% записей в одном кластере. В машобе - я практически полный 0, пожалуйста подскажите rкуда копать чтобы вникнуть и решить задачу.
Я понял, я не нормализировал данные.
Ну сами бабблы бывают разными, размер текста в них может иметь разные размеры, отступы от края у шрифта могут быть разными.
Мне лучше посмотреть на свертьчную сеть какую или дальше с opencv ебаться?
https://m.habr.com/ru/post/456282/
Не знаю, по каким критериям ты кластеризацию делаешь, но посмотри сначала, как твои данные вообще лежат в пространстве.
Как вообще "грокаем глубокое обучение" для нюфагов? Осилил примерно пол книжки пока, в целом понятно и совсем примитивную сетку-то вроде даже бахнуть могу, но такое ощущение, будто там прямо супербазовые знания даются только.
>Мне лучше посмотреть на свертьчную сеть какую или дальше с opencv ебаться?
С чем не ебись, адекватного решения не будет.
Попробуй файнридер
грокаем алгоритмы вводная книга, вангую что грокаем нейросети тоже вводная
Всегда Adam, ёпта. А если хуёво работает, то Adam + lr decay.
Unet semantic segmentation.
Только тебе придётся ручками понаразмечать какое-то количество данных.
Хм, получается, что фото лучше будет тогда подготовить, ведь многообразие кандзи может смутить нейроночку.
Может через какой фильтр прогнать, чтобы текст просто слипся или не стоит?
При достаточном количестве данных не смутит. Нейроночки значительно умнее, чем ты думаешь (при достаточном количестве данных и правильном препроцессинге).
А достаточное - это сколько? Сотня, тысяча, десять тысяч, сто тысяч, миллион?
Количество параметров х 10 = количество примеров в training set
Сначала посмотреть нужно, может у тебя и должно всё в одном кластере лежать. PCAем прогони, посмотри.
Ты чё ебень? Там серьезный ресерч для целых команд. Как ты собрался собирать state of the art модель в одиночку за неделю и не зная даже половины необходимой математики?
Как показывает опыт знакомого:
1. Много дерьма от контор где 15-20 сотрудников. 60% ищут с почасовой оплатой где с тебя будут соки жать и педантично считать каждую минуту. Будешь сперва искать зависимости\закономерности в их говне, потом от тебя потребуют доработать их аналитику. Потом начнется дрочь, что предыдущие пункты - не МЛ, и по другому оплачиваются. Остальные, ищут того кто сможет собрать раму после ушедшего с проекта МЛщика.
2. Конторы поприличнее штатом - обычно фриланс не ищут, куча рисков и корпоративного говна. Даже если найдешь - скорее всего будешь работать на перспективу устроится к ним.
Готовься просрать кучу нервов и времени на трёп который тебе никто не оплатит. И еще дохуя времени на дрочь с фриланс аккаунтом.
Ну и как, много контестов выиграл?
мне вот интересно, очевидно что знание прогноза будущего влияет на само будущее, это еще древние греки знали см. хотя бы историю эдипа, называется самоисполняющееся пророчество, а принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены, что кто-то будет покупать например на основе этих предсказаний и это взвинтит цены и т.д.
>очевидно
Кому?
>древние греки
Ебали друг друга в жопы, кроме этого распиаренного говна была куча выдающихся цивилизаций
>предсказания будущих цен
У трейдеров есть чуйка, приходящая с опытом, впрочем как и в любой сфере, которая не формализуется, это загадки интеллекта.
Число людей, которые изменяют свое поведение и вообще следят за финансовым рынком -- статистическая погрешность в сравнении с количеством людей и факторов, которые влияют и составляют экономику и биржу валют.
Добавлю: прогноз погоды не влияет на погоду
ну это пока
хотя и сейчас не верно если взять какой-нибудь небольшой рынок
>ну это пока
Нет
Ты не совсем прав, есть самосбывающиеся предсказания, когда например куча роботов висит на каком то индикаторе тренда, очивидно что они сработают при определенных условиях
Как это связано с тем, что я сказал о погоде?
Я не знаю абсолютно ничего о том, какой процент этих ботов могут синхронизировано на что-то повлиять, насколько это зависит от политики стран и брокеров от разных компаний.
Так нахуя тут разспрягать если ни я ни ты оба, скорее всего, нихуя не экономисты?
>если ни я ни ты оба
Ну я торговал на фондовом, а ты нет.
>что я сказал о погоде
Прилетят самолеты и распылят серебро перед праздником.
> Как это связано с тем, что я сказал о погоде?
Причем тут вообще погода, ты не видишь разницы между рынком и погодой, ты зумер что ли?
> принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены, что кто-то будет покупать например на основе этих предсказаний и это взвинтит цены и т.д.
Очевидно, что крупные игроки или слишком хитрые умники могут намеренно делать что-то такое. Была же история, как много лет курс битка по-сути управлялись двумя хз чьими ботами. Там какая-то схема была с массовым размещением buy и sell ордеров, которые не исполнялись, но влияли на разворот курса. Кто-то очень умный на этой хуйне неизвестное количество бабла поднял, т.к схема работала годами и позволяла манипулировать курсом.
>могут намеренно делать
Лол, в этом и смысл срыночка
> кукагл
> сирьозный рисерч
> кукагл
> стейт оф зи арт))
>У трейдеров есть чуйка
Охуеть, блять, чуйка. Поешь говна. Зачем ты приводишь пример если ничего не знаешь по теме из которой берёшь его?
А хули нет то? Платят много, так как компаниям очень выгодно наебывать студентов. Соревнующихся сотни, а значит там наверняка есть люди умнее тебя.
Не уверен, что это правильный тред для таких вопросов, но ничего более подходящего не нашёл.
Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов. Со своей задачкой я хочу по итогу разобраться сам, поэтому приведу здесь эквивалентный пример и попрошу вас подсказать, хотя бы в какую сторону смотреть.
Представьте, что на вход вам приходят подобные изображения (только без вотермарок). Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).
Задача - распознать все образы (сосиски) и, проанализировать некоторые их свойства, которые можно извлечь из каждого отдельного образа (допустим, длину и отклонение от "эталонной сосиски", которая прописана где-то в сеттингах).
Я от подобных задачек и вообще от этой сферы очень далёк, ещё не смог подружить своё мышление с тем, как обычно решают подобные задачки. Не могли бы вы подсказать мне, в какую сторону вообще смотреть, если я хочу решить подобную штуку. Всем заранее большое спасибо.
Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов. Со своей задачкой я хочу по итогу разобраться сам, поэтому приведу здесь эквивалентный пример и попрошу вас подсказать, хотя бы в какую сторону смотреть.
Представьте, что на вход вам приходят подобные изображения (только без вотермарок). Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).
Задача - распознать все образы (сосиски) и, проанализировать некоторые их свойства, которые можно извлечь из каждого отдельного образа (допустим, длину и отклонение от "эталонной сосиски", которая прописана где-то в сеттингах).
Я от подобных задачек и вообще от этой сферы очень далёк, ещё не смог подружить своё мышление с тем, как обычно решают подобные задачки. Не могли бы вы подсказать мне, в какую сторону вообще смотреть, если я хочу решить подобную штуку. Всем заранее большое спасибо.
Ты о каггле первый раз только из пиздежа в треде ведь услышал, верно?
хз почему ты вообще что-то сказал про погоду
погода не зависит от людей а цены на товары зависят
и рынок особенно локальный для многих товаров весьма мелкий
>Охуеть, блять, чуйка
Охуей, клоун. Давай, расскажи о алгоритмической торговле и граалях.
>Камера всегда сверху, фон всегда чистый, сосиски могут лежать как угодно (под любым углом относительно камеры, других сосисок и тд).
OpenCV, давно был бугурт на их форуме когда детали с транспортерной ленты распознавали, более менее, в отличии от нейроговна.
>На КДПВ фотография шурупа, а определено как болт.
Швабр для пидоров
да вы вообще не о том
просто пример - нейросетка предсказала тебе что картошка будет дешевая в россии допустим в последнюю неделю августа, ты начал закупаться, но такое же предсказание получило еще тысяча человек картофельных трейдеров, половина всех картофельных оптовиков россии условно, и все они побежали закупаться и в итоге цена картошки вместо падения выросла
с развитием популярности нейросетей подобное наверняка будет сплошь и рядом
>ты не экономист
>я торговал на фондовом
Мхех...
В мировом масштабе для меня как для субъекта влияния на этот объект почти нет.
Всё, что я находил по "OpenCV object detection", опиралось на нейронки под капотом, и распознавало в основном объекты типа машин и котов - то, что есть в стандартных датасетах. Не мог бы ты подсказать, на что смотреть? А то модулей у него немало, я пока не смог найти ни отвечающий за подобные вещи модуль в доке, ни обучающую литературу, которая рассматривает подобные штуки.
Да, выглядит до смешного похоже на мою задачу. Если я решу пойти по этому пути, то мне надо будет обучать нейронку и, раз объекта нету в публичных датасетах, самому собрать датасет с моими объектами?
> В мировом масштабе для меня как для субъекта влияния на этот объект почти нет.
Речь об обсуждаемых системах. Причем тут ты вообще? Сейчас бы какой-то зумер на что-то влиял.
>но такое же предсказание получило еще тысяча человек картофельных трейдеров
Ну так те кто зарабаитвает уйдут в шот, лол. А во втопых, никтотв здпавом смысле на нейронки не будет полагаться.
>экономист
Теперь расскажи нам, что экономика это наука, а не магия и пиздабольство.
те кто уйдут в шорт разорятся
интересно будет когда предсказание начнет учитывать эффект самого предсказания...
Сейчас уже большая часть трейдеров - роботы. Но это алгоритмы на крестах, которые навариваются на скальпировании.
>Передо мной стоит задача, подразумевающая распознание очень экзотических образов на изображениях, и последующий анализ свойств этих образов.
В сосисках на производстве нихуя экзотического нет.
>сосиски могут лежать как угодно
Друг на друге лежать могут?
Если нет, то задача сводится к выделению связных регионов и фильтрации этих регионов по каким-то вручную подобранным критериям.
Нужно подобрать такой цвет и направление подсветки, чтобы контраст твоих сосисек был максимальным. Вообще программисты часто недооценивают то насколько физика может упростить жизнь.
Затем нужно подобрать преобразование цветное изображение -> black and white (не grayscale, а black and white), где черному будет соответствать положение "нет сосиски", а белому - есть.
Например, если без векторизации (вдруг ты матлаба не знаешь), по тупому и применять фильтрацию по цвету, то выбираешь усредненный цвет сосиски, вручную или статистическим образом, и делаешь следующее
color_sosiski_r = 255;
color_sosiski_g = 20;
color_sosiski_b = 40;
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = sqrt((color_sosiski_r - kartinka[j][r])^2 + (color_sosiski_g - kartinka[j][g])^2 + (color_sosiski_b - kartinka[j])^2)
kartinka[j][g] = 0;
kartinka[j] = 0;
}
Таким образом ты получишь изображение того как цвет картинки отклоняется от некоторого базового цвета. Затем сравниваешь это с вручную заданным порогом:
for (int i = строки)
for (int j = столбцы) {
kartinka[j][r] = kartinka[j][r] < THRESH ? 1 : 0;
}
Ты получил бинарное изображение. Применяешь к нему дилатацию несколько раз, чтобы съест узлы межу сосисками, чтобы они стали отдельными фигурами. Теперь можно применять алгоритмы region properties. Пиздуешь сюда https://docs.opencv.org/3.1.0/d1/d32/tutorial_py_contour_properties.html https://docs.opencv.org/trunk/dd/d49/tutorial_py_contour_features.html и получаешь список свойств регионов (хотя для прототипизации матлабовский regionprops удобнее и вообще вся задача решается несколькими строками на матлабе). Отсеиваешь заведомо хуевые регионы, например, по площади (10 пикселей это мусор а не сосиска)), по вытянутости эллипса и т. п.
Что касается ML,
Вместо первого этапа отсеивания по цвету можно применить сегментирующую нейронку.
Вместо последнего этапа можно получить все возможные region properties у сегментов и скормить разного рода ML-вычисляторам.
В целом нужно начинать с мануального дизайна и, если задача не выполняется, добавлять ML.
>а принимают ли во внимание все эти бесчисленные попытки предсказания будущих цен влияние самих предсказаний на цены
Конечно, теханализ он в принципе об этом. Если бы на цену влияли только фундаментальные факторы, никакого теханализа не существовало бы.
Не проще диплернинх ебануть? Негров или котов на необработанных фотках распознает, значит и сосиски сможет.
Прочитай последний абзац. UNet сможет сегментировать сосиски вместо ручного сравнения отклонения цвета, но это только часть пайплайна. Следующую часть пайплайна (выделение разного рода свойств сосисек) тоже можно сделать на нейронках, но лично я не знаю, насколько хорошо будет работать какой-нибудь измеритель длины сосиски который на вход получает изображение ее длины. Скорее всего хуево. А на базе классического алгоритма можно запилить что попроще.
Если нужно было бы тупо посчитать число сосисек, то да, object detection сетка бы справилась end-to-end.
Ну можно при обучении модели сразу задать несколько классов по длине сосисок - maly_sosiska, norm_sosiska, bolshoi_sosiska, oche_bolshoi_sosiska. И по форме, и нормальная, кривая, сломанная.
А ты точно только сосиски классифицируешь?
Знаем какие сосиски он классифицирует, хихи
Спасибо, ты мне дал очень дельную пищу для размышлений. Сразу оговорюсь, что и - не я.
Да, сосиски могут лежать друг на друге и это меня очень сильно смущает. Есть ли у тебя идеи, как можно бороться с подобным?
Классифицирую я далеко не сосиски, свойства у них будут гораздо сложнее. Но все необходимые свойства содержатся внутри каждого образа каждой конкретной сосиски и я предполагаю, что смогу работать с каждой сосиской отдельно, после того как их выделю. Это тоже важный вопрос - как считаешь, насколько безопасно на это надеяться?
По поводу сниппета, который ты предоставил выше:
в теле цикла ты не упустил обращение к ключу? Типа, kartinka[j][r] вместо kartinka[j][r]. Речь ведь идёт о попиксельном обходе изображения?
Очень признателен за такой подробный ответ, сильно благодарен и буду очень рад, если ты ответишь на мои вопросы.
>Да, сосиски могут лежать друг на друге и это меня очень сильно смущает. Есть ли у тебя идеи, как можно бороться с подобным?
Проще всего взять нейронку. Посмотри на пикрелейтед, люди перекрывают друг друга, но детектируется оно более-менее нормально.
Берешь какую-нибудь готовую архитектуру для object detection, тренируешь ее на нескольких тысячах фотографий с перекрывающимися сосисками, и вперед.
Классические алгоритмы тоже можно придумать, например, детектировать концы сосисек (например, виолой-джонсом), соединять подходящие пары концов. Правда сосиски могут перекрывать и концы друг друга... Не, нейронка надежнее.
>я предполагаю, что смогу работать с каждой сосиской отдельно, после того как их выделю
Если они друг на друге лежат, не знаю. Может это вообще 2 короткие сосиски под одной длинной.
Можно поставить 2 камеры и получать облако точек из их паралакса, либо из паралакса между 2 кадрами видео. Имея облако точек, можно матчить эти точки с эталоном прямо в 3д.
>По поводу сниппета, который ты предоставил выше: в теле цикла ты не упустил обращение к ключу? Типа, kartinka[j][r] вместо kartinka[j][r]. Речь ведь идёт о попиксельном обходе изображения?
Ну да, Должно быть kartinka[j][r], мол, конкретный пиксель, его красный канал.
>Ну да, Должно быть kartinka[j][r], мол, конкретный пиксель, его красный канал.
А, ну да, разметка съела i.
По остальному - ты дал мне кучу простора для исследований, спасибо тебе большое за это! Думаю, уже смогу как минимум начать двигаться в правильном направлении.
нет
Надеюсь, ты PlayerID убираешь перед тренировкой?
Я таки решил, что это излишне, можно попробовать стандартными методами попробовать реализовать
Хотя нейроночка тоже должна находить контуры, только вот с таким будет проблемно.
Дельные предложения, спасибо. Сейчас проверю.
Конечно.
Вообщем, нормализовал и всё гуд.
Ну как сказать.
Хуйня какая-то.
В принципе чтобы ответить на вопрос задачи о выделении кластеров\класов из данных и их описании, считаю нужно преобразовать обратно из Z, вывести среднее по меткам кластеров и у нас типа есть описание класса. Но это я так думаю, по-этому реквестирую как вывести в R много графиков - комбинации всех переменных.
>Мне нужно научиться экстрактить текст из комиксов, только каждый раз прога посылает меня нахуй, я уже не понимаю, какие фильтры нужно применять и как можно отсеивать ненужное.
Обрабатываешь изображение (немного размытия, и бинаризация), извлекаешь из получившийся картинки контуры текстовых рамок. Фильтруешь их по площади. Дальше ищешь пары, где контур в контуре, и выкидываешь внешние (это как правило всякие рамки сцен, а не текста). Потом берешь оставшиеся контуры и используешь их как маску для извлечения текста. Уже на этом этапе получишь точность под 90%. Если хочешь больше - фильтруй уже текст, используя анализ связанных компонентов. Убираешь слишком маленькие и слишком большые - получаешь точность 95%. Если хочешь еще больше, можешь посчитать центроиды букв и анализировать из расположение.
Если все сделаешь правильно, получишь 99% точность без всякого нейроговна .
Лол, родина дала тысячи алгоритмов для такого, тем более в R, где есть вещи, которых больше вообще нигде нет, нит не хочу, хочу KNN содомировать. Кто сказал, что конкретно этот датасет вообще кластеры содержит? Если априори известно, что там два класса, не проще SVM попробовать? Если же структура неизвестна и хз что там и как, тогда лучше SOM. И так далее.
Об этом датасете вообще нихуя не известно и цель задачи - класифицировать его. Пойду почитаю о SVM\SOM. Спасибо.
Вот характерный признак петушиного диванного поста - слово нейроговно. Если видишь его, значит петух 100% нихуя не понимает ни в нейронках, ни в классическом CV. Сука "извлекаешь из получившийся картинки контуры текстовых рамок". В этой фразе лежит AI, который сложнее изначальной задачи.
С точки зрения классики, иероглифы являются весьма специфическими объектами со специфическим наобором фич. Искать нужно их, а не контуры, которые в манге могут быть какими угодно и даже отсутствовать. Соответственно, тебе нужен классификатор, которой по маске типа 32х32 выдаст, есть ли в нем иероглиф, либо нет. Затем ты бьешь свою картинку на блоки 32х32 с 50% перекрытием и скармливаешь каждый блок этому классификатору. Получишь в итоге бинарную маску - есть ли в блоке иероглиф, либо нет. К этой маске применяешь дилатацию. Получаешь блоки с текстом, вокруг которых через region properties можно обвести квадраты, если очень нужно.
Легко видеть, что это сильно упрощенный пайплайн object detection нейросети. Так оно и есть. Поэтому, если ограничений на скорость нет, нужно брать нейронку и херачить end-to-end либо сегментацию либо object detection.
>Сука "извлекаешь из получившийся картинки контуры текстовых рамок". В этой фразе лежит AI, который сложнее изначальной задачи.
Контуры ищутся классическими алгоритмами без AI. По поводу текстовых рамок я не до конца объяснил. Извлекать надо все контуры, а потом уже фильтровать. Из тысяч контуров после выборки по площади остаются несколько десятков, половина из которых - рамки текста.
>С точки зрения классики, иероглифы являются весьма специфическими объектами со специфическим наобором фич. Искать нужно их, а не контуры, которые в манге могут быть какими угодно и даже отсутствовать.
Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета. Удачи размечать руками 100к+ картинок.
>Соответственно, тебе нужен классификатор, которой по маске типа 32х32 выдаст, есть ли в нем иероглиф, либо нет. Затем ты бьешь свою картинку на блоки 32х32 с 50% перекрытием и скармливаешь каждый блок этому классификатору. Получишь в итоге бинарную маску - есть ли в блоке иероглиф, либо нет. К этой маске применяешь дилатацию. Получаешь блоки с текстом, вокруг которых через region properties можно обвести квадраты, если очень нужно.
Еще раз - у тебя нет данных. Даже если ты автоматически сгенеришь сами иероглифы, ты не сможешь сгенерить нормальные нормальные примеры их отсутствия. Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.
>после выборки по площади
В манге площадь может отличаться от небольшого слова до огромного баллона в полстраницы. Фильтрация по площади хороша для отсева всякого мелкого мусора, но не здесь.
Алгоритмы выделения контуров просто выделяют контуры в растровом изображении, они их не векторизуют, а векторизация вылезет тебе в отдельный геморрой, при чем в результате у тебя будут не тысячи контуров, там будет комбинаторный взрыв нахуй.
Более того, твой первый этап (немного размытия и бинаризация) требует AI, например, для выбора порога бинаризации. Потому что с неправильным порогом оно будет выглядеть как пикрелейтед в посте .
А контраст этих баблов относительно изображения может быть каким угодно, при чем даже в пределах одной манги. Они могут вообще отсутствовать.
>половина из которых - рамки текста.
Точность 50% вообще никуда не годится
>Только эти фичи можно распознать исключительно нейронкой, которую ты не сможешь натренировать из-за отсутствия датасета.
Как же файнридер прямоугольники с текстом искал в 2002 году? Вот здесь как раз можно написать бы о том, что классификатор 32х32, который отвечает на вопрос, есть ли внутри иероглиф, можно захуячить на чем угодно, а ты пишешь о том, что исключительно нейронкой.
>Удачи размечать руками 100к+ картинок.
Какие 100к+ картинок, древний alexnet учится распознавать котов по 1000 примеров без аугментации. Взять паинт и разметить текст в 10к баллонов из манги можно за несколько часов, потому что закрасить кисточкой текст внутри сложности не представляет. Если самому лень, анон в воркаче это сделает по цене пиццы с доставкой.
Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.
>Твой классификатор обосрется на реальной задаче, поскольку он не видел каких-нибудь кустиков, и считает их иероглифами.
Это не страшно, потому что иероглифы будут образовывать кластеры на маске сегментации, а кустики нет. Здесь как раз фильтрация по площади, прямоугольности, эллипсоидности и т. п. пригодится.
>Другой вопрос, что пилить собственный OCR в 2019 году так себе идея. Собственно поэтому я вопрос этого анона игнорил, он страдает какой-то хуйней.
Я пилю не OCR, а делаю препроцессинг для OCR.
Например, я сделал алгоритм для вырезания фуриганы, с чем ни одна OCR по умолчанию не справляется, есть еще алгоритмы, с помощью которых можно по нажатию клавиши на баббл находить текст.
Гуглу, тащемта, можно скормить половину страницы и он даже справится с бабблами.
Но бывают ошибки и он не распознает текст в баббле, бывает, что он рандомную закорючку принимает за текст.
>KNN содомировать
>не проще SVM
>кластеризация
И вот таких вот знатоков полон тред лол.
Попробуй другие алгоритмы кластеризации же, ну.
У тебя на первый взгляд достаточно аутлаеров, какой-нибудь алгоритм иерархической кластеризации наверное зайдёт или dbscan.
Ну давай, знаток, расскажи, сколько кластеров для KNN задать, если неизвестно, есть ли они вообще в данных. У вас, зумеров, с диплернинха мозги отсырели. Хотя бы просто посмотреть, что там есть в данных - PCA, проекция Сэммона, SOM, не, не слышали.
>диплернинх
А, всё понятно.
Может кто-нибудь пояснить кое-что по этой картинке? Собсна атеншн-хуеншн и всё такое ясно, но есть проблема. В итоге то все эмбендинги суммируются с выходом атеншона и в тем самым проебываются безвозвратно и на прямую само слово вообще нихуя не влияет на выход. Это как вообще?
KNN лучшее решение проблемы кластеризации. Ничего ты с этим не поделаешь.
> KNN лучшее решение проблемы кластеризации.
Во-первых, не лучшее. Есть полно простейших примеров, на которых он работает как говно, например, несферические кластеры или даже хуй с вами, сферические, но перекрывающиеся, т.н "проблема Микки мауса". Во-вторых, сто раз уже написал, с чего вы взяли, что в этом датасете данные вообще образуют кластеры? Про более сложные варианты вообще молчу. Хуета из-под кота ваш кнн, давно и официально.
K-means, долбоёбы.
У гугла задача распознавать всё включая меню в ресторане и банки с кофе. Натренировать сетку чисто на отсканеную мангу намного проще.
>И вот таких вот знатоков полон тред лол.
Правильнее написать: и вот таким вот знатоком полон тред лол.
Он у мамы уникальный.
>В итоге то все эмбендинги суммируются с выходом атеншона и в тем самым проебываются безвозвратно
У тебя когда внимание направлено на объект Х, информация об объекте У тоже проебывается. В этом суть внимания, отсечь лишнюю инфу.
>называет kNN алгоритмом кластеризации
>кукареку зумеры кукареку диплернинх кукареку SOM ФУЗЗИЛОДЖИК А ВОТ В 1922 ДИДЫ ВСЕ УЖЕ ПРИДУМАЛИ
Вся суть нечеткого петуха
На выходе энкодера - имбеддинги слов в контексте остальных слов (2D-объект).
Нна выходе трансформера веротности для следующего слова с учетом всех имбеддингов входа и всех имбеддингов уже сгенерированного выхода.
Там на выходе контекст+эмбендинги пропущенные через ещё один слой. Самого слова там нет.
Не не не. Тут ведь эмбендинги вообще не идут на вход. В чем ебучий смысл? В атеншоне должна вроде отсекаться ненужная информация, а не вся информация. Определить слово во входе никак не возможно кроме как эмпирически подобрать каждую комбинацию слов, то есть слово проебалось, а это для всех слов, значит все слова проебались. Смысловое значение вообще у данного выхода должно отсутствовать.
То есть если мы возьмём фразу, то выход для конкретного слова будет что-то вроде грамматического значения слова. Затем мы берём эмбендинги и добавляем их, тотально уничтожая значение атеншена и самих эмбендингов.
По результату дискаса, какие подходы кластеризации\класификации мне стоит попробовать вообще. Назовите пожалуйста. Задача так и стоит - найти классифицировать датасет, если там что-то найдётся - описать классы.
auto-sklearn
Для начала SOM. Общий вид, например u-matrix + компонентные плоскости. Если в данных есть какая-то структура, уже этого хватит, чтобы описать датасет и прикинуть, что можно сделать ещё.
Ты подписывайся сразу: путаю knn и kmeans
> knn и kmeans
http://jalammar.github.io/images/t/transformer_decoding_1.gif
Смотри картинку, дурашка!
На выходе энкодера для каждого слова имбеддинги K и V, если не веришь картиночке - читай код какой-нибудь из реализаций трансформера на keras/tf/pytorch.
Фид форвард в инкодере на самом деле - TimeDistributed(Dense(...))
Эмбендинг на входе. На выход влияют только другие слова и дот продукт других слов и этого слова. Так, блять, везде написано. На картинке хуйня, там не показывается что происходит в блоках.
На выход влияют только другие слова и дот продукт других слов и этого слова.
Это называется "Глубокий имбеддинг", дипленинх же!
Так самого то слова нихуя нет!
Я не понимаю что написано, блять в одной строчке, в которой даже аргументы не вызваны.
Это конструктор конструктора. Сам инкодер собирается через __call__ вот тут https://github.com/Lsdefine/attention-is-all-you-need-keras/blob/master/transformer.py#L434
Обычно в керасе ты делаешь так:
y = Dense(...)(x)
А тут делается так:
l = Dense(...) #Вызывается __init__
а потом в другом месте:
y = l(x)#Вызывается __call__
Всё равно не понял что ты хочешь сказать.
Сап, двач.Хочу написать свою реализацию алгоритмов машинного обучения(линрег,логрег,деревья,RF,knn).Стоит ли вообще этим заниматься?Если да, то посоветуй что-нибудь для начала.В интернете ничего найти не могу по поводу простой реализации линейной регрессии.Можете посоветовать место, где эти алгоритмы реализованы?
(реализация sklearn мне непонятна, можете посоветовать, что навернуть, чтобы понять)
(реализация sklearn мне непонятна, можете посоветовать, что навернуть, чтобы понять)
Почему ошибка не уменьшается с самого начала?
Пожалуйста помогите, в разных задачах мла вы выбираете модель основываясь на опыте или просто рандомно перебираете модели? Пригодилось ли знание матана модели? Проще говоря откуда вы знаете какую модельку выбрать?
Проиграл, пиздец.
Добавьте в шапку следующего треда.
Я так-то ОП вопроса, но я правда не понял, почему они о кнн постоянно писали.
кнн - кун не нужен же популярное сочетание на dev
Меня на собесе тоже недавно спрашивали в чём разница мекжду кнн и кминсом. Совпадение? Или есть какая-то связь?
Воронцов оч сложно пишет, что читать для понимания матана методов обучения?
ISLR читай, там даже за SVM на пальцах разъясняется, без нотации из вариационного исчисления как у Вапника. Нахуя вам все эти Воронцовы, концовы, есть же нормальная литература, которую весь мир читает, нет, хочу нонейм хуя из шада.
Я думаю, что проще запилить алгоритм, чтобы скармливать гуглу только бабблы.
Тренировать свою сеть для японского - излишество, я одни данные заебусь размечать.
>Я думаю, что проще запилить алгоритм, чтобы скармливать гуглу только бабблы.
Не проще
>Тренировать свою сеть для японского - излишество, я одни данные заебусь размечать.
Я бы разметил данные за то время, пока ты тут обсуждаешь это все. На это нужно несколько часов, паинт и 10 строк на питоне.
Что это? Можешь скинуть или рассказать, как делал?
>Что это? Можешь скинуть или рассказать, как делал?
Сначала небольщшое размытие + бинаризация (левое изображение). Потом извлекаешь контуры и фильтруешь их по площади (среднее изображение). Оставшиеся контуры используешь как маску чтобы извлечь текст (правое изображение).
Если у сверточного слоя на выходе 32 фильтра, то это значит 32 ядра свертки будут бегать по изображению каждый раз?
А бинаризация по какому алгоритму?
Жулик, который подобрал 3 магических числа, чтобы оно работало на одной картинке, думает, что никто этого не заметил.
Оптимальный алгоритм зависит от твоего железа и количества входных и выходных каналов. Какие-то свертки cudnn через FFT считает.
Важнее понимать саму суть, что если у тебя на входе 3 канала и свертка 5х5, а на выходе 32 канала, то каждый 32-х канальный пиксель считается как персептрон у которого на входе 3х5х5=75 входов и 32 выхода. Ты можешь это рассматривать как 32 персептрона с 75 входами и 1 выходом, что будет эквивалентно твоему утверждению "32 ядра свертки будут бегать по изображению каждый раз", но вообще считать матричное произведение матрицы 32х75 на вектор с 75 колонками можно разными сколь угодно экзотическими способами.
>Жулик, который подобрал 3 магических числа, чтобы оно работало на одной картинке, думает, что никто этого не заметил.
Кидай свои картинки.
Каким образом мои картинки сделают твой скрипт не ad-hoc говном?
Кидай скрипт
Да забей.
Ну так что, если бабблы не вставлены в квадрат, то как оно там?
Скорее всего, это вопрос который отвечает шаришь ли ты в машобе вообще. Т.к. эти методы выполняют разные задачи.
Короче, Антоны, я понял, как это можно делать.
Нужно искать контуры и внутри них делать проверку, находятся ли контуры поменьше друг над другом.
И в зависимости от размера участка детектить, сколько контуров должно быть или какого размера они должны быть, чтобы участок считался бабблом.
Спасибо
А не, так нихуя не работает, маленькие бабблы отсеивает.
Мне нужно будет подобрать либо минимальный размер, либо искать текст в центре
Как будто бы огромные штуки, залитые одним цветом с контрастными закорючками внутри можно без машоба найти, нет?
Ну или с минимальным машобом и грамотным фичеинжинирингом.
Да я тоже думаю, что без машоба тоже можно.
Только пока получается что-то такое, все еще не понимаю, чего он все не может найти
Там R, а мне питонина нужна, или можно скипать части с кодом на р?
Да ты больше нечеткого петуха слушай
1. Сначала рожаешь скрипт типа https://pastebin.com/vMQNG4LD , не замечая, что числа 5000 и 100000 в это УЖЕ машоб. Просто с самым наихуевейшим вариантом подбора этих самых чисел: вручную. Процент ошибок большой.
2. Дальше догадываешься, что нужно собрать статистику с реальной манги, берешь 20 рандомных страниц и выписываешь это в эксельку. Процент ошибок уменьшается, но несильно.
3. 10% случаев упорно не влезают никуда. Пишешь ad-hoc правила, превращая свой скрипт в длиннющее дерево ad-hoc решений. Затраченное время давно улетает за пределы ручного размечивания всех существующих в природе манг, которые ты способен прочитать.
4. Так как тестировать вручную все ad-hoc случаи невозможно, решаешь это автоматизировать. Для этого собираешь свои исключения и пишешь для них тест-кейсы кто сказал датасет, у нас никакого машоба
5. После подобных операций упорно остается 1% случаев, при чем каждый раз разный.
...
99. Уже седой и заебанный, ты не выдерживаешь и стреляешься из дробовика. Через пару месяцев твой труп находит бомж, которого выгнали из НИИ за пьянство, видит твои записи и решает довести дело до конца.
100. И берет, наконец, сегментирующую нейронку.
Взоржал. Нахуй нейронки, можно же искать прямоугольники с пездобуквами?
Аноны, с мангой же как бы все проще.
Текст как бы всегда является черной полоской, который помещен по центру белой области, которая ни с чем не пересекается и зачастую вообще находится в центре. Неужели это так сложно найти?
Текст как бы всегда является черной полоской, который помещен по центру белой области, которая ни с чем не пересекается и зачастую вообще находится в центре. Неужели это так сложно найти?
>Текст как бы всегда является
Анус ставишь?
>в центре
Вертикальные полосы с пездобуквами окруженные белым пространтсвом и вертикальногоризонтальными отступами
Ну найди мне исключение, где текст не является черным прямоугольником, который окружен замыкающейся белой областью.
Да, он не всегда в центре, иногда справа есть отступ из-за фонетических подсказок.
Не, типа пикрил, можно сегментацию на этапе предпроцессинга зделот, причем довольно просто.
Потому что это state of art йоба. У тебя должны быть веские причины (например, запуск твоего алгоритма на железе 1980 года выпуска, установленном на танке Т-72), чтобы этого не делать.
Причина "ко-ко-ко черный ящик нипанимаю и вообще куны^W knn нужен" веской не является.
> веской не является
Как раз потому что это черный ящик нейроговно пидорнули с рынков и медицины.
Как ты видишь такую сегментацию? Опиши.
Пилю алгоритмх:
1. Имеем вертикальную полусу размером с пендобукву
2. Начинаем двигать вправо построчно
3. Если полоса попала в белое поле, ставим атншенфлаг
4. Двигаем полосу вправо если она уткнулась в не белый пиксель (вероятно пендобуква)
5. Если п.4. проверяем окружающее справа пространство на правильный прямоугольник размером с пендобукву.
6. Если п.5. проверяем пендобукву,
7. Если п.5. Опускаемся вниз
1. Имеем вертикальную полусу размером с пендобукву
2. Начинаем двигать вправо построчно
3. Если полоса попала в белое поле, ставим атншенфлаг
4. Двигаем полосу вправо если она уткнулась в не белый пиксель (вероятно пендобуква)
5. Если п.4. проверяем окружающее справа пространство на правильный прямоугольник размером с пендобукву.
6. Если п.5. проверяем пендобукву,
7. Если п.5. Опускаемся вниз
>пендобукву
* пездобукву, конечно же
Тебе нужно очень удачно подобрать параметры, чтобы начать выделять строку текста таким образом.
Как ты найдешь размер пендобуквы? Что будет твой алгоритм делать на таком баббле, кроме сасая?
Очевидно там ограничение по контуру прямыми линиями
Кто это там кукарекает
>нейроночка не может научиться классифицировать с нужной точностью
>размер пендобуквы
Задается константой
>очередной говноалгоритм с магическими числами
>НИКАКОГО МАШОБА
да, забыл
>очередной говноалгоритм с магическими числами
>НИКАКОГО МАШОБА
>НЕ ЧЕРНЫЙ ЯЩИК
>Кто это там кукарекает
>Почему вы проебали на флуктации срыночка 1 миллирад рублей? Дяденька мы не знаем, так нейроночка натренировалась.
>НЕ ЧЕРНЫЙ ЯЩИК
Ты траль? Там все вполне формализовано
Буквы могут зависеть от изображения
Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.
А если юзер закинет обрезок от манги?
Или вообще решит приблизить букву на пол экрана?
Что можно почитать для понимания матана моделей?чтонить питоновское
>Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.
Делай джва, десять проходов с разными размерами, кто тебе мешает то?
Джвигай такую конструкцию как ниже, если все линии находятся в белых пикселях с черным говном внутри, пездобуква 99%
----
|
|
---
>решит приблизить букву
Ну их нужно наверное выделить, а так да все должно быть в одном масштабе
Петух, я понял, что это был твой пост, теперь съеби.
В японском есть и буквы, которые больше растянуты по горизонтали и не впишутся в твой паттерн
Нихуя у тебя не формализовано. У тебя есть магическое число, взятое с потолка.
>Делай джва, десять проходов с разными размерами, кто тебе мешает то?
Разные ответы при разных размерах? Какой из них будет правильный? Новое магическое число введешь?
>В японском есть и буквы, которые больше растянуты по горизонтали
И? Они ограничены белым пространством.
> У тебя есть магическое число
Ты ебобо? Берешь линейку и отмеряешь размер одной буквы, вот его и ищешь.
Я бы вообще не ебался. Сделал бы бинаризацию, а потом нацепил бы нейросетку простую.
>Разные ответы при разных размерах?
Только один размер будет подходить больше всего.
ЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫ
У тебя твой алгоритм линейку возьмет своими электронными руками?
На странице буквы могут быть разного размера
Окей, что будешь делать с этим?
А критерий, что "подходить больше всего" будет решать сильный ИИ, видимо
Осталось придумать, нахуя добавлять гиперпараметр в виде порога бинаризации, если нейронка и так неплохо работать будет.
Алё, даун, зайди на Mechanical Turk и найми там биороботов, которые тебе за копейки разметят всю твою виабупарашу.
>Окей, что будешь делать с этим?
Как же вы заебали, оно опять же ограничено пустым типографическим пространством
>сильный ИИ
Прошел 100 раз с разными размерами и выбрал у которых большее совпадение. Вопросы?
Ага, уже значит чекать нужно на поворот, изначально ты этого не говорил.
Опиши, как бы ты это сделал?
Тебе нравится ебаться с лишними фильтрами в твоих сверхточных слоях?
>нужно на поворот
Про поворот я ничего не говорил, я считаю что пездобуквы вертикально
Ты сейчас делаешь типичную ошибку любителей, которые только знакомятся с нейронками и считают, что им виднее, как именно нейронка должна выцеплять фичи. end-to-end решение как правило работает лучше.
Что можно применить, это, например, local contrast normalization.
Вы меня доведедете до того, что я принесу вам решение этой задачи, несмотря на то, что я сейчас пишу загрузку сорокагигабайтного датасета через memory mapped files и эта задача с мангой ну вообще прикольной не кажется.
Господи, этот тред просто 10 из 10.
>сорокагигабайтного датасета через memory mapped files
А я пиво пью
>Для этого нужно перебрать пару тысяч манг и найти, что же там является средним.
А, я кажется понил. Вы хотите все делать на автомате для всех-всех вариантов сканов манг? Это же очевидная фантастика.
Да можно и просто попробовать бинаризировать, искать все контуры и проверять, является ли их граница белой.
А потом уже ориентироваться по расположению.
>не замечая, что числа 5000 и 100000 в это УЖЕ машоб
>Просто с самым наихуевейшим вариантом подбора этих самых чисел: вручную
>>очередной говноалгоритм с магическими числами
>>НИКАКОГО МАШОБА
Опять смузихлебы мешают все в одну кучу. Подбор чисел вручную это нисколько не машоб, а машоб это не только нейронки. После нахождения работающего алгоритма можно запустить оптимизацию гиперпараметров которая тоже является машобом с датасетом в десять раз меньше, чем для нейронки. И получить алгоритм, работающий быстрее и лучше сегментирующей нейронки.
>100. И берет, наконец, сегментирующую нейронку.
Какая у нее будет точность, мм? Процентов 80-90, при необходимость иметь топовую гпу для ее запуска?
Опять нечеткий петух, который не знает разницы между knn и kmeans, что-то там кукарекает. Брысь под шконку.
>искать все контуры и проверять, является ли их граница белой
Ну еще можно проверять является ли в контуре символ.
Это уже излишество, а так я решил проверить, сработает ли оно, результаты такие
>БАБАХ!
У этого нейропетуха разнесло градиент, несите нового.
Очевидно нет, без ансамбля из сотни лёрнеров с десятью слоями атеншена не разобраться.
> результаты такие
Неблохо
А как ты сегментировал?
Чё ты пиздишь-то, ты fast SCNN взял небось, по-любому!!
Ды обычная сегментация, как у того анона, который код с питоном выше вкидывал.
Дальше брал контур и проверял по пикселям его края и центр.
>код с питоном
Не код а говно, повторюсь.
Где мои тысечи слоёв??
Ну а теперь выбрасывай экстремально маленькие контуры и дополнительно обрабатывай большие и перекрывающиеся.
ТЫ СЕГМЕНТИРОВАЛ?
@
В ЧТО ТЫ СЕГМЕНТИРОВАЛ?
Года 3 назад была мода на градиентный бустинг - xgboost, вот это все. Типа автор там всех конкурентов на кукагле порвал, даже на каких-то сложных датасетах насчет кобзона бозона Хиггса. Ну так чем все закончилось-то? Как с реинфорсмент лернингом, вышла статья, что не лучше случайного поиска или там линейной регрессии?
>Ну так чем все закончилось-то?
градиентный бустинг стал стандартом для всяких табличных данных
> Как с реинфорсмент лернингом, вышла статья, что не лучше случайного поиска
ARS работает в mujoco и может быть ещё паре сред. Достижение уровня "набрал на мнисте 95% точности своим новым супералгоритмом"
>всяких табличных данных
Что такое "табличные данные"? В смысле, не картинки или?
>градиентный бустинг стал стандартом
А чего везде всё ещё нейронки и свм используют? Типа вычислительно сильно сложнее?
Нейронки являются стандартом для неструктурированных данных
Не, я именно про таблицы.
Соевая классификация какая-то. Временной ряд - это структурированные или неструктурированные данные?
Упс, не распознал петуха. Вернись под шконку
Называешь петухами всех, кто спросил что-то чего ты не знаешь? Так ты сам петух в таком случае.
Называю петухом тебя, потому что ты петух.
Папа твой петух, а так же все родные и близкие.
Зависит, но в общем случае неструктурированные.
Грубо говоря, всё что можно засунуть в табличку таким образом что получить полную информацию по точке из датасета можно одним единственным запросом - это структурированные данные. То что либо зависит от каких-то скрытых переменных, или вообще не поставляется в квантифицированном виде и потому зависит от всяких эмбеддингов - неструктурированные.
Ок. Есть временной ряд 1, 2, 3, ... , n. Делаем матрицу Ганкеля:
1 2 3 4 5
2 3 4 5 6
3 4 5 6 7
4 5 6 7 8
...
n-4 n-3 n-2 n-1 n
Любую строку можно получить одним запросом, так же эта строка однозначно представима в виде пятимерной точки. Любой временной ряд можно представить таким образом. Получается, что все временные ряды - структурированные данные?
данные подменили
>Ганкеля
Если потом преобразовать в вектор Жопеншмульцера, то да.
С языка сорвал
Посоны, а по Natural Language Processing - к вам в тред?
Куда подменили? Это те же данные, ничего не добавили и не убавили.
Я ничего не говорил про нейронку и как ей виднее, деб, я говорил о том, что тебе предется прогонять в несколько раз больше свёрток для одного пропогэйшона.
Да, но тут все чмоши незнающие.
Тебе несколько тысяч деревьев хочется тренировать?
у тебя был временной ряд 1..n, а стали пятимерные вектора
Понятно что что угодно можно в табличку засунуть, суть не в этом, а в том чтобы можно было удобно модельку обучить.
На таком представлении ты обучишь находить закономерности только на пять шагов по времени, плюс у тебя дохуя избыточной информации получится, будет оверфититься.
Можно на 3 столбца разбить. В итоге получится восстановленная функция y = f(x1, x2) для всего временного ряда, т.к каждая строка сдвинута на одно значение. Но дело не в этом, а в том, что вышеописанное деление данных на структурированные и нет смысла не имеет. Даже рандомный текст это структура, т.к его всегда можно разбить на буквы, слова, предложения, параграфы, документы итд, и рассматривать это как отдельные элементы.
А я ведь предупреждал, что он петух, а ты правда решил что-то ему объяснять, лол.
https://youtu.be/5l0e_Q0gpnc
Получается, что каждый входной сигнал до перехода в активационную функцию содержит в себе фиктивный столбец x0 с 1ми для того что бы избавиться от свободного члена w0 (что бы он перешел в общую сумму) ? Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?
Там в лекции об этом говорится,
помогите понять,плиз
Получается, что каждый входной сигнал до перехода в активационную функцию содержит в себе фиктивный столбец x0 с 1ми для того что бы избавиться от свободного члена w0 (что бы он перешел в общую сумму) ? Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?
Там в лекции об этом говорится,
помогите понять,плиз
>Даже если нейрон содержит всего 1 вход, то на самом деле их 2 и это делается как бы за нас во фреймворке с ML логикой ?
Не знаю, что делается под капотом у keras и tensorflow (вполне возможно, что для эффективного матричного умножения проще действительно добавить столбец матрицы с единицами), но снаружи веса W и смещение b торчат отдельно. Это удобнее с точки зрения инициализации, например, потому что веса обычно инициализируют рандомно, а смещение нулями.
x0 = 1
w0*x0 = w0 = b
привет ребят, а есть конфа какая нить у вас? хочется линал с кемнить поучить, да только не понимаю где искать с кем :с
Если ты не получаешь кайф от обучения в одиночестве, выбери что-то другое, гей-шлюхой стать, например
вообще друзей нет, вот и хотелось бы найти их в этой теме
Оп-пост почитай.
Не слушай дурачка, линал учи самостоятельно, будут интересные и муторные моменты, выходи из зоны комфорта, лол
>линал
Это типа анала?
ну я кст нашел конфу в телеге вот т.ми/comput_math
мне там чувачки посоветывали сайтик по матеше mathprofi.ru/
вот :)
У меня у одного Colab загружает папку в 500мб с пк крайне медленно, 1% в 2 минуты примерно? Есть ли более быстрые способы загрузки? Как вы, аноны, решаете вопрос загрузки датасетов в колаб?
через гугл диск делаешь?
Сжимаешь в один архив и закачиваешь
Антон, подскажи
По сути решаю задачу регрессии с использованием ИНС
Все стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работает
Но как ее дальшее оптимизировать?
С параметрами слоев и функциями активации поигрался, толку почти никакого
И если сделать больше нихуя нельзя, как доказать что мое решение самое пиздатое?
По сути решаю задачу регрессии с использованием ИНС
Все стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работает
Но как ее дальшее оптимизировать?
С параметрами слоев и функциями активации поигрался, толку почти никакого
И если сделать больше нихуя нельзя, как доказать что мое решение самое пиздатое?
>Все стандартно, как по учебнику построил сетку с одним скрытым слоем, все заебок работает
Заебок на валидейшене или ты оверфитнул и доволен?
>как доказать
Никак. Сравнить с предыдущими решениями той же задачи на том же датасете. Или самому поаробовать несколько методов и сравнить результаты.
Вот это как раз супер медленно.
А это рабочая тема, спасибо, разобрался.
Осталась пара вопросов: как я понял, при изменении файлов на гугл диске вне коллаба, изменения в файловой системе внутри ноутбука не происходят. Как тогда ее "перезагружать"?
>drive.mount('/content/drive', force_remount=True)
Не помогает, список тот же.
Как пример - перезагрузил файл ssd_mobilenet_v1_coco.config, предварительно удалив старую версию. Но в colab`е отображает какой то ssd_mobilenet_v1_coco(1).config, и тот в кавычках. Причем если обращаться к обоим названиям конфига то выдает No such file or directory.
Забыл сразу написать: restart runtime не помогает, как и выполнение после рестарта заветной
>drive.mount('/content/drive', force_remount=True)
На валидейшене
Может какую другую сетку попробовать, в смысле другой структуры? может какие-нибудь необычные активационные функции?
Ну какая архитектура у млп, побольше нейронов в скрытые слои захуячить?
Скорее с данными работать, почистить чего-нибудь может лишнего, или фичи какие-нибудь заинжинерить.
Или вообще забить на няронки и доставать бустилку.
Антоны, я дико туплю, у меня есть набор четырехугольников и минимальный расстояний между каждыми четырехугольниками и площадь четырехугольника.
Как мне узнать, находится ли четырехугольник далеко от других, ориентируясь по площади?
То-есть у большого четырехугольника минимальное расстояние может быть большим, а вот у маленького оно должно быть маленьким.
Как это сделать? Я знаю, вы хороши в статистике
Как мне узнать, находится ли четырехугольник далеко от других, ориентируясь по площади?
То-есть у большого четырехугольника минимальное расстояние может быть большим, а вот у маленького оно должно быть маленьким.
Как это сделать? Я знаю, вы хороши в статистике
Можно ли для любых данных использовать формулу Стерджесса?
Я правильно понимаю, что у иерархического софтмакса есть ещё куча своих внутренних весов?
Ты сформулировал задачу жопой, переформулируй.
А какая игра в атари лучше всего подходит для тестирования алгоритма на работоспособность?
А я узнал его, это же конструктивистский петушок у вас тут пляшет.
Подскажите молодому-неопытному по паре вопросов.
1. Есть необходимость распознать объекты на изображении (их множество), а после этого отдельно работать с каждым объектом - совсем по другой логике.
Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объекты, если они мне нужны будут отдельно друг от друга и мне нужно будет хранить именно их визуальный образ для дальнейшей обработки? Как обычно делают подобные вещи?
2. По поводу "распознать объекты на изображении". Допустим, сейчас я просто натравливаю Canny на изображение и оно рисует мне кучу контуров. Далеко не все из них полностью обводят каждый конкретный образ, отсюда второй вопрос: какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектом? К примеру, на картинке ~40 объектов и ~900 контуров, совсем левого шума нет - есть только не до конца размеченные объекты. Я уверен, что второй вопрос гуглится, но я его задаю в свете того, что мне эти объекты дальше хранить и обрабатывать.
Если это важно, у меня python и opencv.
1. Есть необходимость распознать объекты на изображении (их множество), а после этого отдельно работать с каждым объектом - совсем по другой логике.
Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объекты, если они мне нужны будут отдельно друг от друга и мне нужно будет хранить именно их визуальный образ для дальнейшей обработки? Как обычно делают подобные вещи?
2. По поводу "распознать объекты на изображении". Допустим, сейчас я просто натравливаю Canny на изображение и оно рисует мне кучу контуров. Далеко не все из них полностью обводят каждый конкретный образ, отсюда второй вопрос: какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектом? К примеру, на картинке ~40 объектов и ~900 контуров, совсем левого шума нет - есть только не до конца размеченные объекты. Я уверен, что второй вопрос гуглится, но я его задаю в свете того, что мне эти объекты дальше хранить и обрабатывать.
Если это важно, у меня python и opencv.
Да я уже решил, не знаю, можно было ли юзать формулу Стерджесса, но я просто поделил на диапазоны.
Да, я как-то заходил к вашему шалашу в /math/ и удивился очень похожему стилю. Но вообще все бордошизики похожи.
>Существуют ли какие-то паттерны и best practices по тому, как в рантайме хранить эти распознанные объекты
Нет, это работа программиста как есть. Где-то достаточно прямоугольника, 4-х координат и изначального кадра, где-то нужно всякие битовые маски хранить.
>какие существуют способы дать opencv понять, что каждый каждая кучка контуров является цельным объектом
Ну, например, можно по контуру построить convex hull, закрасить его, и так, пока у тебя не останутся одни hull'ы. Если твое предположение по поводу кучки верно, это сработает.
Но по поводу гуглится ты загнул конечно. Попытка нагулить это сродни попытке найти решение олимпиадной задачки. Можно, но малореально, скорее реально найти отдельные кирпичики.
Чуваки, я, возможно, не по адресу, но надеюсь на ответ.
Какие знания нужно иметь, чтобы попасть джуномидлом к дата-инженерам (не сайнтистам!)? Во всяких спарках и хадупах дома полноценно не поразбираешься.
Есть пара лет опыта в бэкенд-разработке (не Java, не python)
Какие знания нужно иметь, чтобы попасть джуномидлом к дата-инженерам (не сайнтистам!)? Во всяких спарках и хадупах дома полноценно не поразбираешься.
Есть пара лет опыта в бэкенд-разработке (не Java, не python)
Понял, спасибо.
бамп
Мне кажется вот так самостоятельно такие знания не получить. Мне видится, что ты пилишь хайдоад на джаве и в какой-то момент начинаешь больше заниматься инфраструктурой хранения (хадупы, спарки, бд). Тот же путь что и у девопса в принципе, но в другом направлении немного. А потом уже с таким опытом можешь сразу на вакансии идти.
Посоны, я неплохой питоновый веб-разраб, 26 левела. Образование - примат, диплом по численным методам. Но машобом/нейронками никогда не занимался. Однажды написал k-means.
Знатоки, внимание вопрос.
Какие есть варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус? Будут ли надо мной смеяться двадцатилетние пиздюки? Меня интересуют деньги и классные тасочки где надо думать. В принципе, меня и сейчас все +- устраивает, но вдруг можно ещё лучше? Реквестирую кулстори.
Знатоки, внимание вопрос.
Какие есть варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус? Будут ли надо мной смеяться двадцатилетние пиздюки? Меня интересуют деньги и классные тасочки где надо думать. В принципе, меня и сейчас все +- устраивает, но вдруг можно ещё лучше? Реквестирую кулстори.
Разбираться как можно более полноценно дома, подымая псевдокластеры, а потом идти стажером за еду
>Какие есть варианты перекатиться в этот ваш машоб?
С вышкой несложно, ищешь стажерские позиции, готовишься к ним недельку, перекатываешься. Со стажера подымишься быстро.
Второй вариант это забугорный фриланс по вечерам, а потом пункт один.
>варианты перекатиться в этот ваш машоб? И нужно ли это? Мои скилы по разрабатыванию апишек и продумыванию взаимодействия микросервисов будут ненужно потраченным временем или дадут бонус?
"Машоб" это довольно общо сказано, в принципе твои скиллы довольно полезны для мл инжинера, который, в отличие от датасаентиста, занимается не столько тренировкой моделей и иследовательской работой, а именно выкатом их в продакшен, разворачиванием всяких сервисов, вознёй с бигдата инфраструктурой. Можешь попробоваться туда.
>Однажды написал k-means.
Это хорошо, но недостаточно, надо ещё уметь отличать его от knn.
Иначе прямо с собеседования охрана возьмёт за шкирку, и в помойную лужу выкинет.
У чувака образование прикладного математика, а ты его разгребать инфраструктурное говно посылаешь. Жестокий ты человек.
А за деньги не вариант? Я оч. перспективный кадр.
Фриланс по машинному обучению?)))
>Я оч. перспективный кадр.
Бля, чот в голос орнул
У нас полстраны этих маняматиков, для того чтобы быть хорошим датасаентистом этого недостаточно. Вакансий на дс очень мало и хер устроишься иногда даже с профильной степенью и статьями.
>С вышкой несложно, ищешь стажерские позиции, готовишься к ним недельку, перекатываешься
Подгорело немного.
>Фриланс по машинному обучению?)))
Диван в треде))))))))
Ваша проблема в том, что вы сидите на самоподдуве с тупыми мемасиками уровня "фриланса на машобе нет", "нейронкам нужны 1000 слоев" и т. п. Такой филиал перезвоним-треда с такими же бездарностями.
Заходишь на апворк, вбиваешь machine learning, и апплаишься. Делаешь пару курсачей западным студентам за $50 (что даже не за еду, а в отрицательном диапазоне, поэтому конкуренции там нет), после нескольких пяти звездочек попадаешь уже на кого-то поденежнее.
Я так в 2013 находил работу за $20/час, при том, что за C++ мне выше 15 тогда не платили. Тут ты такой "2019 не 2013", проблема в том, что моя тянка находит подобное сейчас. Правда не на апворке, а на бирже поскромнее, потому что на апворк ее так и не зааппрувили. И недостатка предложений по работе нет, есть только недостаток скиллов.
>У нас полстраны этих маняматиков, для того чтобы быть хорошим датасаентистом этого недостаточно.
Потому что большая часть не очень далекие люди, искренне не понимающие, какой алмаз у них в кармане. Я это наблюдаю среди одногруппников тянки, большинство свалило в яндексы месить говно каким-нибудь фронтэндом еще лет в 20. Чтобы потом в 30 плакаться о том, как их все заебло и какая тупая у них работа.
>Вакансий на дс очень мало и хер устроишься иногда даже с профильной степенью и статьями.
Конечно ты хер устроишься со статьями, потому что ученые - они ведь в говне моченые. Нихуя за свою жизнь не сделали, кроме сидения на сиське государства, нихуя не умеют, а при этом хотят получать 300к в секунду, как их сосед Вася, который много лет месил говно, начиная с работы в НИИ студентом (потому что там дохуя свободного времени на самообразования), кончая домашек западным лодырям, оттачивая свой английский. Собственно примерно в НИИ пути и расходятся, одни видят, как вписываться в рыночек, а другие продолжают не напрягаясь пописывать свои статейки и онанировать на свою степень.
>потому что на апворк ее так и не зааппрувили
это значит слишком много желающих
Тогда была бы очередь на аппрув. А там нужно удовлетворить формальным критериям индуса-проверяльщика, которые чуть умнее бота, и проверяют примерно раз в 3 дня. Естественно там надо жульничать в такой ситуации.
тем не менее это характерно что специалиста по машобу заворачивают как автора текстового контента какого-нибудь
Это как фейс-контроль в клубе. Тебе от этого плохо, когда ты снаружи, но хорошо, когда ты внутри. Из-за подобной политики заворачивания даунов, которые не могут профиль грамотно заполнить по критериям индусов и бояться жульничать, приписывая себе хотя бы мастера вместо незаконченного высшего, лично тебе будет только хорошо, ты ведь получил от меня инструкции, что тебе нужно делать.
>потому что ученые - они ведь в говне моченые
Это да, в отличие от хуя, у которого только алмаз в жопе в виде шести лет протирания штанов на мехмате какого-нибудь провинциального вуза. Такого конечно везде ждут с распростёртыми объятиями, тоннами бабок и интересными исследовательскими задачами.
> Бля, чот в голос орнул
Смейся-смейся. Действительность от этого все равно не меняется.
Такого ждет планомерное построение карьеры, начиная с фриланса и стажерских позиций, а потом да, тонны бабок и т. п.
Да кто против что-ли, пусть походит с полгодика по объявам, наслушается "извините, нам нужен опытный специалист", обосрётся и укатится назад, либо во что-то более реальное вроде мл инжинера на подхвате.
Я в Киеве никогда не встречал таких вакансий, типа Junior Data Satanist. Знакомые вкатывальщики начинали с аналитиков и вкатывались через матан или с биг дата инженеров и вкатывались через тех. часть.
Проблема еще в том, что часто под ваканчиями мл\дата сатанист скрывается требования как к обычному аналитику и обратное. По-этому не гнушайся просматривать дата аналистов и дата инженеров.
Есть цеферки mnist
Есть нейронка, автоэнкодер с 1 скрытым слоем на сигмоиде.
Веса скрытого слоя фиксированны.
Обучение проходит для каждого изображения(без вычисления среднего градиента)
Почему, эта сука, пообучавшись нормально до хороших значений, за тыщу другую итераций, вдруг, начинает увеличивать ошибку и вместо некоторых чисел выдавать белые пятна?
Это законно?
Есть нейронка, автоэнкодер с 1 скрытым слоем на сигмоиде.
Веса скрытого слоя фиксированны.
Обучение проходит для каждого изображения(без вычисления среднего градиента)
Почему, эта сука, пообучавшись нормально до хороших значений, за тыщу другую итераций, вдруг, начинает увеличивать ошибку и вместо некоторых чисел выдавать белые пятна?
Это законно?
> Это законно?
Нет, подавай в суд.
оверфиттинг
Господа, вопрос следующий.
В одной очень большой компании я что то вроде проектного менеджера между командой дата саентистов и руководства с дедами, коммуникационная перемычка скажем так.
По роли работы иногда приходится разбираться с тем что там наговнокодили, какие выводы сделали и так далее.
Дополнительно хочу прокачать скиллы в самой простой предобработке данных и строить простую аналитику чтобы самому формировать бизнес-гипотезы, делать анализ и т.д, а уж модели пусть саентисты строят.
У меня тут проблема, я нихуя не могу запомнить код.
Поэтому что то пишу только обложившись чужими тетрадками с гитхабов и чувствую себя ущербным что без них самостоятельно нихуя не напишу.
Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.
В одной очень большой компании я что то вроде проектного менеджера между командой дата саентистов и руководства с дедами, коммуникационная перемычка скажем так.
По роли работы иногда приходится разбираться с тем что там наговнокодили, какие выводы сделали и так далее.
Дополнительно хочу прокачать скиллы в самой простой предобработке данных и строить простую аналитику чтобы самому формировать бизнес-гипотезы, делать анализ и т.д, а уж модели пусть саентисты строят.
У меня тут проблема, я нихуя не могу запомнить код.
Поэтому что то пишу только обложившись чужими тетрадками с гитхабов и чувствую себя ущербным что без них самостоятельно нихуя не напишу.
Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.
Мы не запоминаем. Пока запомнишь, API 10 раз поменяется.
То есть то что я ворую код-это норма?
Вполне. Смотри лицензии у тетрадок с гитхабов.
> Подскажите как вы запоминаете все эти функции пандасов, матплотлибов и прочего говна, это пиздец какой то.
Их не нужно запоминать. Главное - знать где посмотреть в случае необходимости.
Есть ли в нумпу матричный аналог списка? Чтобы на каждом витке цикла колонки по очереди добавлялись в созданную перед циклом пустую матрицу?
Двачну, пожалуй. Главное знать возможности той или инной либы, и 10% самых ходовых и юзабельных команд, функций. Остальное будешь гуглить.
Эхх, как же хочется эмбеддингов на все, бесплатные клауд вычисления, датасетов хотя бы половину террабайта, ИДЕ чтобы поддерживала слесарню.
Создай матрицу из нулей и записывай колонки через слайсы. Или concatenate, если совсем не знаешь размера матрицы.
Ребятки, нужна помощь. Нашел эмбеддинги для символов от МИТ. А они там 300 измерений в длину. А я адепт сокращения и оптимизации. Решил надо обрезать. А как называется способ, когда векторы проецируют в меньшее пространство с наибольшим сохранением относительного смысла, не помню.
dimension reduction, самый простой - PCA
>А они там 300 измерений в длину. А я адепт сокращения и оптимизации. Решил надо обрезать.
Почему решил? "патамушта"?
Ты сначала выясни чем тебя текущий вариант не устраивает, а потом думай о сокращении.
У меня нет достаточного количества вычислительной мощности.
Спасибо.
Как вообще может выглядеть портфолио специалиста по машинному обучению?
Вот например ссылка на гитхаб и там куча юпитер ноутбуков, где я занимаюсь разными преобразованиями данных и задаю архитектуру модели, в ридми, предположим, прописываю изначальную задачу и прикладываю какие-нибудь метрики точности и графики, так ?
А веса (в случае если используется нейронная сеть) или какие-нибудь файлики для инициализации классификаторов, куда всё это скидывать, тоже что лди на гитхаб?
Вот я обрисовал примерный вид этого портфолио, но пробежался по нему глазами и самому стало смешно.
Окей, пусть такой прототип будет демонстрацией того, что ты знаешь бюазовые понятия, но как продемонстрироват навыки правильного выстраивания инфраструктуры для выката всего этого на продакшн? Или это уже не твоя забота, а забота девопса?
Уважаемые профи из треда, поделитесь советом, плиз.
Вот например ссылка на гитхаб и там куча юпитер ноутбуков, где я занимаюсь разными преобразованиями данных и задаю архитектуру модели, в ридми, предположим, прописываю изначальную задачу и прикладываю какие-нибудь метрики точности и графики, так ?
А веса (в случае если используется нейронная сеть) или какие-нибудь файлики для инициализации классификаторов, куда всё это скидывать, тоже что лди на гитхаб?
Вот я обрисовал примерный вид этого портфолио, но пробежался по нему глазами и самому стало смешно.
Окей, пусть такой прототип будет демонстрацией того, что ты знаешь бюазовые понятия, но как продемонстрироват навыки правильного выстраивания инфраструктуры для выката всего этого на продакшн? Или это уже не твоя забота, а забота девопса?
Уважаемые профи из треда, поделитесь советом, плиз.
В общем, на следующей неделе начинаю рассылать свою резюмеху и ходить на собеседованья.
Репортить буду в тред, мб кому-то поможет то что меня спрашивали
Хоть и подаюсь на днищеработы начального уровня, но чувствую что с моим набором (7 задач от каггла на топ20%, бакалавр прикл математики, знания мат стат, теорвер, понимание алгоритмов sup/unsup, курс ng, норм по mysql/postgres, power bi) я жидко обосрусь, потому что буду конкурировать с ебучими выпускниками магистратуры, которые это всё дрочили всю магистратуру а не как я всего лишь пол года
ухх, чувствую обосрусь так обосрусь!
Репортить буду в тред, мб кому-то поможет то что меня спрашивали
Хоть и подаюсь на днищеработы начального уровня, но чувствую что с моим набором (7 задач от каггла на топ20%, бакалавр прикл математики, знания мат стат, теорвер, понимание алгоритмов sup/unsup, курс ng, норм по mysql/postgres, power bi) я жидко обосрусь, потому что буду конкурировать с ебучими выпускниками магистратуры, которые это всё дрочили всю магистратуру а не как я всего лишь пол года
ухх, чувствую обосрусь так обосрусь!
Ты только не забывай, что без предыдущего опыта ты первую работу искать будешь до полугода по крайней мере, так было у у меня в веб-разработке, а на веб-разработку куда больше мест чем на машоб. Это не для того, чтоб тебя демотивировать, просто имей в виду что надо терпеливо рассылать резюмехи, не расстраиваться раньше времени и по дороге не забывать что-то самому попиливать. Некоторые эйчары вполне себе считают пет-проджекты за опыт работы опять же, не знаю как у вас, но думаю что так же.
Опять же, отвечаю с точки зрения веб-разработчика.
Я думаю что и у вас оценят способность задеплоить результаты твоих трудов, плюс благодаря этому ты сможешь дать пощупать результаты своих трудов в действии.
Кроме того, от тебя, как от человека который будет писать код, было бы оправдано требовать умение спроектировать софт так, чтоб его было легко задеплоить.
благодарю
Надеюсь, что в самый активный сезон Осень мне удастся что-то найти
Хочешь неприятную правду? В датасаенсе в расее васянов больше чем в вебе. Тут один дебил был, который всем пояснял что в продакшн деплоят только написанный на крестах со своими велосипедными библиотеками.
> В датасаенсе в расее васянов больше чем в вебе
В Блинолопатии датасаенса как такового нет, вся тусовочка отечественных слесарей по-сути фанклуб, посвященный датасаенсу. Потому что все эти васяны, вкатывальщики и прочее быдлецо ничего не даёт датасаенсу - ни разработки новых алгоритмов, нихуя.
согласен
хоть и страна другая (Украина, Киев), но я бы с удовольствием остался на магистратуру, ездил бы по конференциям, делал бы пейперы
Но не могу - денег недостаточно
Планирую всё-таки потом вернуться хотя бы на заочку и хоть какой-то вклад в научные вещи сделать
Украина, Киев, заканчиваю магистратуру. Я не встречал преподавателей, которым было бы интересно курировать студента с полезными публикациями и конференциями, а также тех, кто мог бы хоть что-то по этому посоветовать.
У нас всем интересно тупо фармить тупые публикации по высосанным из пальца темам.
>тренируешь ее на нескольких тысячах фотографий с перекрывающимися сосисками
будет проблемно найти такой датасет, но можно заменить кое-чем другим...
Черт!
Ты случайно не из ИПСА КПИ? Хотел там найти человечка
На ФПМ КПИ просмотрел - там есть предмет по машобу, только один правда, но посмотрим как выгорит
скажи что за биржа
Портфолио специалиста по машобу - аккаунт на кегле.
Нет, но у меня два сотрудника прошли КПИ, один из них как раз примат, могу у них точно спросить. Что тебе интересно - магистратура, на которой можно найти толковых преподов по датасаенсу и машобу? Или тебя интересуют более фундаментальные вещи? Если да, то какие?
Анонсы умоляю, помогите! Вопрос максимально глупый, но все же, надеюсь на ваше понимание.
В моем городе(не мухосрань) мало вакансий по млу, а если есть то нужен опыт, возможно ли катиться в мл через дата саенс? Вроде различий мало но они естественно есть.
В моем городе(не мухосрань) мало вакансий по млу, а если есть то нужен опыт, возможно ли катиться в мл через дата саенс? Вроде различий мало но они естественно есть.
Можно и через фронтэнд вкатиться. Как правило если ты работаешь в конторе, то попроситься в другой отдел намного проще, чем устроиться с улицы, а в крайнем случае вернешься назад.
У меня так знакомая тянка из менеджеров по продажам стала тестером.
>стала тестером
Спермы?
Было бы очень круто, если спросил бы
Мне интересны 2 вещи:
1) Сама магистратура (в Украине, или загран), в которой есть хорошие преподы по DS. Конечно, есть в Канаде/США/Китае крутые, может, твои знакомые знают какие-то ВУЗы попроще
2) Преподаватели из КПИ (или из Могилянки, Шевы), которые занимаются машинным обучением и с которыми можно было бы написать научную работу.
Фундаментальные вещи - это интересно, но я понимаю что не вытяну.
Всё так, но если ты где-то работаешь в конторе (особенно - если долгое время), то уже не сильно хочется перескакивать со своей текущей зп на зп джуна/интерна. А без потерь в деньгах тебя едва ли переведут на другую должность.
Уж лучше, если время позволяет, наточить когти по своей специальности и нормально вкатиться.
С удовольствием, да вот только вакансий по млу мало, а если есть то требуется опыт работы, единственное наилучшее решение помимо молитвы на мл Джуна это вкат через да помоему
>помоему
Через дс*
Вам изнутри профессии виднее, главное чтоб потом никто не расстроился тем что дополз до минимально приличной зп и теперь нужно будет снова бомжевать.
Как вы подходите к созданию кастомных алгоритмов с CV?
Мне нужно взять набор образов и извлечь из них очень специфические свойства. Эти свойства на первый взгляд никак не соотносятся с вещами, которое умеет делать OpenCV.
Понимаю, что без конкретики я и не получу конкретный ответ, но хотелось бы понять с какой вообще стороны правильно подходить к решению всяких сложных задач.
К примеру, есть фото дождевого червя и я уже умею надёжно распознавать его образ на фотографии фото всегда сверху. Как мне измерить его длину и количество колец, если он лежит как попало?
Мне нужно взять набор образов и извлечь из них очень специфические свойства. Эти свойства на первый взгляд никак не соотносятся с вещами, которое умеет делать OpenCV.
Понимаю, что без конкретики я и не получу конкретный ответ, но хотелось бы понять с какой вообще стороны правильно подходить к решению всяких сложных задач.
К примеру, есть фото дождевого червя и я уже умею надёжно распознавать его образ на фотографии фото всегда сверху. Как мне измерить его длину и количество колец, если он лежит как попало?
>кастомных алгоритмов с CV?
>Мне нужно взять набор образов и извлечь из них очень специфические свойства.
Ненужное говно. Будущее уже наступило, берёшь e2e няронку и она сама всё ноходит, выкатывает в прод и поёт сладеньким голоском.
>Как мне измерить его длину
Интеграл по червю возьми. Главно как-то масштаб узнать
Масштаб узнаю, а он для чего-то нужен, помимо моей кастомной логики? Лично мне пока хватит только измерения длины в абстрактных "зелёных попугаях", так как я буду сравнивать между собой червей с фотографий одинакового масштаба.
Не подскажешь где почитать про измерение длины изогнутого объекта через интеграл? И "интеграл по червю" - это интеграл по контуру, или что ты имеешь в виду?
Яндексокуколды здесь? Вы там совсем охуели уже? Позавчера зарепортил разработчикам адблока вашу душную подмывальню, т.к. реклама настолько злокачественная, что адблок ее не скрывает. Сегодня мне ответили, что надо доустановить кое-что по ссылке https://forums.lanik.us/viewtopic.php?f=102&t=23650 я реально охуел. Раньше достаточно было просто обновить фильтры, а сейчас нужна установка дополнительных расширений и скриптов. Все сработало, кстати, рекламы больше нет, вы официально сосете. Вам весь этот шад и прочее говно нужно чтобы дырявую рекламу впаривать?
>Рекламщики обходят блокировку не только на уровне фильтров, но и на уровне функционала расширений. Именно для таких случаев как раз и предусмотрены пакеты RU AdList Fixes. Обратите внимание, это не фильтры, которые можно подключить в Adblock Plus, AdBlock и пр., а дополнительные средства, для работы которых нужно будет предварительно установить соответствующие расширения.
>Рекламщики обходят блокировку не только на уровне фильтров, но и на уровне функционала расширений. Именно для таких случаев как раз и предусмотрены пакеты RU AdList Fixes. Обратите внимание, это не фильтры, которые можно подключить в Adblock Plus, AdBlock и пр., а дополнительные средства, для работы которых нужно будет предварительно установить соответствующие расширения.
Ваше мнение очень важно для нас.
По поводу КПИ - на прикладной математике, специальностях "прикладная математика" и "компьютерная инженерия", говорят, есть пара жёстких типов которые шарят по интересным тебе темам. Чуть позже могу про Могилянку написать, но давай ты мне дашь мыло/телегу, если интересно - чтоб тред не засирать.
>нужно чтобы дырявую рекламу впаривать?
Если бы все поисковики были платными, ты бы в принципе не мог узнать чем kmeans от knn отличается, а сейчас можешь но предпочитаешь быть петухом.
Опять на связь выходишь, мудло? Рот твой ебал, чучело тупое.
Что тебе понятно, чухомор? Причем тут функционал в смысле вариационного исчисления? Ты контекст использования слова не понимаешь, дифиченто?
Сап аиач. Есть ли смысл пытаться реализовать детектор объектов на капсулях?
А какие есть сейчас решения с трансферлёрнингом в RL чтобы агент учился не с нуля, перебирая все варианты, а начиная допустим с набором каких-то эвристических политик?
Какие есть красивые и оригинальные идеи в машин лёрнинге кроме тех, что проходят в любом курсе по МЛ?
Кстати большинство курсов по МЛ делятся на две слабо соотносящиеся друг с другом части.
Теоретическая -- всякий хитровыебанный матстат.
Практическая -- импорт, фит, предикт. И дальше подгоняешь гиперпараметры.
Сколько не смотрел разборы на кегле, там нихуя не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.
Как начать тащить на кэггл кроме как скупить килотонну видеокарт и считать на них неделями?
Теоретическая -- всякий хитровыебанный матстат.
Практическая -- импорт, фит, предикт. И дальше подгоняешь гиперпараметры.
Сколько не смотрел разборы на кегле, там нихуя не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.
Как начать тащить на кэггл кроме как скупить килотонну видеокарт и считать на них неделями?
>не понятно, почему автор выбрал именно такой алгоритм и почему именно он заработал.
Метод проб и ошибок.
смотрел канал https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w/videos
?
мне очень понравился
впервые познакомился с ним когда решал задачу "San Francisco Crim e Classification" недели 2 назад - ииии.... очень понравился канал!
>почему автор выбрал именно такой алгоритм
Во-первых, секрет фирмы.
Во-вторых, как и сказали выше, пробуют кучу моделей бывает, оставляют ту которая лучше работает.
>кроме как скупить килотонну видеокарт и считать на них неделями
Игнорировать CV?
У нечеткого петуха опять обострение?
> Во-первых, секрет фирмы.
Мошонлернинх окончательно превращается в шаманство. Зумера не понимают сути разных алгоритмов, без чего невозможно подобрать адекватный для данного датасета, и считают сильным калдуном того, кто может.
И правда обострение - то-то тред ожил
Аноний, привет. Короче я загорелся обучить нейронку, которая будет торговать на криптовалютной бирже. Нахуярил разных индикаторов, всяких параметров, хуе-мое, использовал керас-подобную хуйню на js. В итоге добился того, что примерно 85 - 90% из ста она делает заказ и он успешно продается по большей цене, но сука ебаные 10-15% заказов фейлят общую картину и профит минимальный просто. Чтобы выйти на жалких 10% в месяц, нужно написать хуеву тучу алгоритмического дерьма, которое будет ограничивать нейронку, которая, к примеру радостно пытается купить на самом пике, думая, что ну блядь, цена ж растет вроде. Подскажи, куда копать, если проблема, как я думаю в следующем. Я использую в качестве функции потери одну из стандартных, вроде absoluteDifference. Оптимизатор - адам, линейная функция активации работает пизже всего, данные для обучения генерю следующим образом - делаю кучу ордеров, записывая разные индикаторы, после чего, записываю, зафейлился каждый из ордеров или успешно продался, таким образом вход это нормализованные данные по цене и индикаторам, выход - единички или нолики, но в чем прикол. По идее моя задача не в том, чтобы предсказание по единичкам и ноликам было максимально точным, а чтобы предсказания об успешном ордере сбывались как можно чаще, при этом не столь важно, сколько успешных ордеров сеть пропустит, нужно, чтобы она указывала на прям 100% верняк. Может, что-нибудь посоветуете?
Бамп годному тренду
>85 - 90%
Нифига себе, поздравляю!
По теме ничего не могу ответить, но зато спрошу - скинь свой classification_report - интересно как у тебя там дела (Я же правильно понимаю, что ты предсказываешь рост/понижение/равно * какой-то value ?)
Ну по сути я предсказываю не повышение или понижение, а то, будет ли определенный ордер успешно продан === 1, или будет зафейлен по стоп лосу (то бишь цена после покупки опустится настолько, что мы в панике продаем) === 0. А мне нужна такая функция потери, которая будет возвращать большее значение, если сеть предсказала успех, но ордер зафейлен, и в то же время если сеть предсказывает фейл, а на самом деле это успех, то функция потери должна выдавать щначение гораздо меньше. Хотя при тактм раскладе сети как-бы выгоднее везде выдавать нули. Поэтому получается дичь.
>поздравляю
Да в принципе не с чем. Эти 15% фейлят всё. Нужна хотя бы точность около 95%. По идее, ее можно добить алгоритмически, но хуй его знает, это пиздец работы.
>Мошонлернинх окончательно превращается в шаманство.
Для того кто ничего кроме нечёткого перекладывания палочек не умеет всё что угодно шаманство, от гамалогий до кнн.
Что за репорт? Я скину, но объясни где взять, или как сгенерить. Ибо я нубяра в нейросетях
Лол, ты правда думаешь, что он в нечеткие множества может?
Потеряйся уже, унтерок
> примерно 85 - 90% из ста она делает заказ и он успешно продается по большей цене, но сука ебаные 10-15% заказов фейлят общую картину
Хе-хе, это называется распределение с жирными хвостами. Люди в финансах кучу сил, времени и нервов кладут чтобы как-то с ними совладать, потому им такие гигантские деньги-то и плотют.
Тебе это вряд ли поможет, но твои 10-15% хреновых лотов напомнили мне о концепции хеджирования. Вряд ли тебе это поможет, но игроки на бирже прикрывают себе задницу сделками по противоположным позициям, и тебе может это помочь выходить в плюс.
Линейная функции активации превращает нейронку в линейный классификатор. Ты слишком все переусложнил - зачем-то взял нейронку, при этом же используешь мануальный дизайн фич (которые ты называешь индикаторами).
>Может, что-нибудь посоветуете?
Если тебе нужен другой лосс, напиши другой лосс.
Нет, я имею ввиду что он перекладывает палочки, нечётко что-то кукарекая на всех и огрызаясь. Ты ведь знаешь что он в натуральные числа не верит?
:3
А почему тогда релу работает, она же типа тоже кусочно линейная?
Ты по-русски не понимаешь, пидораст? Обосрался где только можно, теперь пытаешься тип тралеть))) прикрываясь псевдоанонимностью?
Типа нет, ReLU не линейная
Можешь расписать, как бы ты сделал?
Ну я имел ввиду classification_report https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html
Precision/Recall хотел посмотреть (многого хочу xaxa)
Вспомнил - мне говорили по поводу time series forecasting что самое главное - это consistency
Пофиг на все метрики
Главное чтобы твоя гипотеза с новыми и новыми данными работала с одинаковой точностью/f1/mrse/чтотытамвыбрал
(но это я просто подслушал не воспринимай меня в серьёз)
Я не уверен, что петух из /math и наш петух одно и то же лицо. Бордошизики вообще похожи
Я не знаю, как получить из рынка прибыль с учетом комиссии брокера. Знал бы, не сидел бы тут с тобой
Тогда я запутался. Что называется линейной? Ступенька? Тогда у меня не ступенька, а нечто типа y = x, как релу, только меньше нуля не 0.
y=k*x + b
Школа, 7-й класс
она линейная только на >0
всё остальное - 0
y=Theta*x так-то
может, ты имеешь ввиду монотонную функцию? или непрерывную?
>y=Theta*x так-то
Это пропорция, частный случай линейной функции, когда смещение равно 0
Ну смотри, в js tensor flow из стандартных предлагается такая дичь как sigmoid, linear, relu, tanh и другие, я пробовал разные, но почему-то linear работает пизже всего
Да понятно, почему. Потому что данные слишком простые и линейный классификатор обучается быстрее всего
Планирую пойти на бакалавриат по прикладной математике, потом пролезть в шад (хотябы за деньги), чтобы выйти примерно на такой уровень https://www.upwork.com/freelancers/~0126c3bef03e5b5d7b?workHistory=205842676,214659923. Как вам план?
>мимо-кодеманки-28-годиков
>мимо-кодеманки-28-годиков
альтернативный план - создать свою торговую стратегию на 300к в секунду, но думаю тут тоже нужен бакалавриат + шад
Один-один, он даже там отнекивается от того чтобы про knn загуглить, возмущённо тряся гребешком.
Нужно обучать ее фигурам: чашкас ручкой, голова с плечами и т. п. Ты куда нейросеть подцепил? К Quik?
Наверное в таком случае можно SVM ебануть, ещё круче выйдет. И надёжней.
что-то мне подсказывает бордо-математики далеко не первые до этого додумались и биржи уже давно оптимизированы от таких умников
да я даже вручную смотрел паттерны и записывал результаты в экселе - не работают они
К самописной хуйне.
У меня поверх сети еще написан сейчас ряд алгоритмических ограничений, которые сами по себе дают какой-то профит (я сейчас смотрю по битку за 4 месяца, выходит +10%, но это пиздец мало, хочется столько за месяц) по идее можно написать еще кучу правил, может даже так и поступлю. С нейросетью как-то пока не складывается, хотя, одно время казалось, что все, золотая жила найдена
Да бирже то похуй, ты ей просто комиссию за операции платишь, они даже апихи сами предоставляют для роботов. Это я сейчас про криптовалютные бирди говорю. Всякие другие да, имеют ограничения
я о более глобальных вещах, таких как кукл
А что за сеть? Перцептрончик на заинжинеренных фичах?
Анонсы, шад это панацея? Или хватит магистратуры нормального вуза а лучше опыт работы + самообучение?
Давно попадался пример такого. Саму статью отовсюду выпилили почему-то, но по описанию и так было понятно, что сделали авторы. Суть в том, что берется с десяток самых используемых индикаторов и из их текущих значений составляется вектор. Он помечается лейблом в зависимости от того, что стоит делать при таких значениях индикаторов (buy, sell, nothing) с учётом результатов этих действий (успех или проеб), по историческим данным. Затем на таком датасете обучается SOM. Как этим пользоваться - берутся текущие значения индикаторов, добавляется лейбл test и такой вектор используется для предикта, и.е смотрится, к какому действию его отнесет SOM. В соответствии с этим актив покупается, продается или не трогается.
> в RL
RL официально всё. Написали же, что не лучше рандомного перебора. Расходитесь, тут не на что смотреть.
К какому терминалу сеть подцепил? Или прямо к браузеру?
?!
чево
Я написал свою хуйню, которая парсит данные, пишет их в базу, посылает в браузер, чтобы построить графики ну и взаимодействует с апихой биржи, чтобы собсно парсить сами данные, добавлять ордера и т д.
Ты меня подтолкнул на мысль более подробно классифицировать выходы. То бишь сделать как я сказал, нагенерить выборку ордеров в разных местах графика, прогнать через стратегию и разбить на три класса:
1. Дали ебический профит в течении короткого времени после добавления.
2. Дали небольшой профит или проторчали долгое время в пендинге.
3. Зафейлились
Вечером попробую, может, результаты будут пизже.
А то у меня по идее был один вход, который отвечал и за вероятность профита и за вероятность фейла. Может, это я тупанул, сделав так.
*выход
> по битку за 4 месяца, выходит +10%, но это пиздец мало, хочется столько за месяц)
Нихуя ты жадный. 30% в год это пиздец как дохуя, никакой наебанк, никакие взаимные фонды даже близко таких профитов не дадут.
Ты цену используешь в виде абсолютного значения? Попробуй дельты или даже логарифм дельт. Где-то видел такое, как раз для анализа финансовых временных рядов.
бумп
Он долбоёб какой-то. Такой процент получают очень успешные люди. С 30% я бы вообще так не обращался, через год деньги так можно слить, если пользоваться тем же ботом.
Хуево написал. Изучи трейдинг, потом лезь.
Нечёткий петух.
С 30% в год можно даже взять кредит в сбере и навариться на нем.
Вот:
Хуй соси губой тряси.
Это ты долбоеб какой-то. Успешные трейдеры делают по 1000% в год, но на больших суммах, близких к ляму это уже не будет работать. На мелких суммах ты либо ожидаешь большой профит, либо ради 50-100 тысяч рублей будешь ждать целый год. Нахуй так жить?
А про knn статьи на хабре ты не нашёл значит?
Жирно.
Можешь чекнуть всякие конкурсы роботов, которые соревновались по прибыльности в год. Там есть такие, что с 30к раскрутили полтора ляма
> А про knn статьи на хабре ты не нашёл значит?
С мамкой твоей вместе искали. Пока стучал ей хуем по лбу, она так ничего и не нашла.
Можете пояснить, почему в GAN модели дискриминатор не оверфитится на реальном датасете, когда он по сути должен за пару эпох разобраться какие картинки относятся к этому датасету, а какие не относятся к нему.
Ну почему то я когда перебираю всевозможные алгоритмы и варианты предобработки, получается хуйня. Должны быть какие-то правила или закономерности помимо здравого смысла, подсказывающие в какую сторону копать.
Спасибо, посмотрю!
Ну вместо CV может быть просто отложенная выборка, не придирайся к словам.
СV это Computer Vision
бамп вопросу
Бакалавриат зачем? В шад и без него берут.
Возможно ли вкатиться студентом с несколькими задачами на кагле 10-20% и подходящим по всем требованиям, и что делать если в вакансии указана полная занятость, подстраиваться под работку или вуз? Прошу не игнорьте
Пракатически невозможно, мест не хватает даже для профи, иди лучше куда попроще пока не поздно.
ну хз, в минске некоторые иззичные вакансии висят по месяцу
А свм ещё для каких-то задач используются, или глубокие сетки их отовсюду вытеснили уже?
> А свм ещё для каких-то задач используются
Для любых кроме картинок. Распознавание негров, это не для SVM, разумеется. Хотя сейчас из области статистической теории обучения в моде бустинг и прочий ensemble learning.
Бамп.
снова выходит на связь.
Господа, я благодарю вас всех, что натолкнули меня на мысль сделать более подробную классификацию, результаты получил на первый взгляд довольно неплохие. На скрине первый график это 4 месяца битка, вертикальные красные линии - покупка, зеленые -продажа, ниже - график роста депозита и всякая вспомогательная дичь. удалось получить 130%, добавив ко всей дичи одно простое правило. 94% успехов.
Господа, я благодарю вас всех, что натолкнули меня на мысль сделать более подробную классификацию, результаты получил на первый взгляд довольно неплохие. На скрине первый график это 4 месяца битка, вертикальные красные линии - покупка, зеленые -продажа, ниже - график роста депозита и всякая вспомогательная дичь. удалось получить 130%, добавив ко всей дичи одно простое правило. 94% успехов.
На тесте?
Таки да, подозреваю, что не все будет так радужно на проде, но буду проверять, хули делать. Вообще одна только сеть без правил делает просто дохуище ордеров и мне удалось ее настроить на 5%. Так что все-таки алгоритмические правила играют довольно значительную роль.
>подозреваю, что не все будет так радужно на проде
А чего гадать?
TimeSeriesSplit и вперёд.
А, я про кросс-валидэйшн подумал.
Ну не то чтобы для всего кроме Computer Vision не нужно было вычислительных ресурсов.
Пришел на позицию аналитика
Дали кучу задач уровня 8 класса на проценты и соотношения. Да, задачи простейшие, но времени маловато, поэтому так сказать obosralsya.
Конечно, я уважаю что у них и специальные задачи, и наверняка какой-то умный человек эти задачи составлял - но блин, хотелось бы чтобы спросили и про PowerBI, и про Python skills, и про SQL skills
:\
Дали кучу задач уровня 8 класса на проценты и соотношения. Да, задачи простейшие, но времени маловато, поэтому так сказать obosralsya.
Конечно, я уважаю что у них и специальные задачи, и наверняка какой-то умный человек эти задачи составлял - но блин, хотелось бы чтобы спросили и про PowerBI, и про Python skills, и про SQL skills
:\
ДС?
>на проценты и соотношения
Это ассемблер логики.
ну если не обновлять генератор, то так и произойдет. Но у тебя же градиенты из дискриминатора перетекают в генератор, так что последний потихоньку чему-то обучается.
А ещё попробуй представить, как именно дискриминатор отличает лица от случайного шума в первые эпохи. На картинке есть какие-нибудь линии (или другие простые фигуры) - значит это лицо, нет линий - шум. И в первые эпохи генератор научится рисовать эти самые линии, что не особо сложно
>и про PowerBI, и про Python skills, и про SQL skills
Так ты на аналитика пришёл, а не на датаслесаря.
Теперь понимаю, да. Очевидное не заметил. Тут получается как со стандартными адверсариал атаками. Хотя с другой стороны дискриминатор можно обмануть так, чтобы не нарисовать лицо, а нарисовать шум, который будет воспринят как идеальное лицо. Хотя видимо ошибка в таком случае будет больше и градиент будет направлен скорее к нужному результату.
Осознал это
Какой же я конченный...
Вопрос kaggle-сверхлюдям, почему разнятся точности на кегле? К примеру точность в юпитер тетради 93-94%? на кегле 79..... В юпитере измерял точность accuracy_score'м, что за магия?
Вопрос исчерпан
>а нарисовать шум, который будет воспринят как идеальное лицо
так обычно что-то похожее и получается... ты сам не пробовал играться с ганами что ли?
Я не умею писать код. Только теория.
Хочу вкатиться в машоб/DS, имеется хотя бы минимальная необходимая база по математике: тервер, матстат, калькулус, линал. В какой последовательности лучше читать книги и с чего начинать? В шапке есть ESL, еще нагуглил про ISL, тот же диплернингбук. Или лучше пройти на курсере курс Эндрю Ына? А дальше что?
Если неплохой мат бекграунд читай книжку, а так курсы по мловскому матану типа курса МФТИ математика в машобуче, а там получив какой никакой бекграунд можно углубляться
можно начинать с ISL, затем если понравиться читать ESL/бишопа. Потом книжку по диплернингу. Ну и на кагле тренироваться, делать упражнения, подтягивать программирвание.
Как тренироваться на кегле? В каких соревнованиях участвовать и как? Типа чувствуешь, что сделал всё что мог, и идёшь разборы индусов читать?
>делать упражнения
Какие?
import keras
найти готовую реализацию
побаловаться с параметрами/архитектурой/данными
писать код почти не нужно
В ESL и бишопе после главы есть упражнения, на кэгле учишься работать с python+numpy/scipy+pandas+sklearn+фреймворк для диплернинга, пытаешься инженирить фичи, смотришь на кернелы разбираешься и модифицирушь их.
Я не могу все равно, лол.
Таки ты был прав, Анон.
Я допилил свой алгоритм и распознает он все не так уж и хорошо.
Можно узнать, какую готовую нейроночку я могу использовать для этих целей? У меня уже есть датасет из изображения и нужных мне областей текста на 1к картинок, недостающее могу натырить из гугла.
Короче, возьму U-net и попробую с ней.
Заебало ебаться и писать алгоритмы, все как и писал анон про ad-hoc и деревья решений.
Каковы перспективы крестообезьяны 26 лвл вкатиться в машобы? Сложнее линейной регрессии в этой области ничего не писал. Планирую за годик подтянуть матчасть (в принципе, не с нуля, в вузе изучал теорвер и матстат).
Это заебись тема?
https://www.coursera.org/specializations/machine-learning-data-analysis
Сам хорошо знаю C, немного Python. Из Computer Science тоже что-то знаю. Матан из универа +- помню, начало этого курса напомнит. Збс курс?
https://www.coursera.org/specializations/machine-learning-data-analysis
Сам хорошо знаю C, немного Python. Из Computer Science тоже что-то знаю. Матан из универа +- помню, начало этого курса напомнит. Збс курс?
блин, как нейросети могут сочинять подобное? Это результат работы GPT-2: первый абзац придуман мной, остальное досочиняла нейросеть:
Fuck me, o my God, by your divine cock! Io Pan! I want to suck your huge cock!
Please cum in me, God! Please, oh please! Omy God, please cum in me. Oh fuck I need it all! Oh yes! Yes! Holy shit oh my gah! (breaths) This is it, this is it… oh god, o my god, oh my god, oh my god, oh my god. You know, when I'm a man… I have no idea how to act with a woman. Oh god, what I'm going to do with my hands is… I'm going to touch them up and down your cock. I'm going to rub my clit all throughout the whole thing. I'm going to fuck your cock with my fingers. I'm going to move my lips around your head, and suck your head. I'm going to suck you off. Yes, yes, please, fuck me with your mouth. Oooh! Oooh! Oh it feels so fucking good and I love it. Ooh yeah, oh yeah, ah mmmm… oooh yeah, oh yeah.
Yes! Good girl Io Pan! Good girl Io Pan! Take your daddy's big cock in your mouth! Fuck me! FUCK ME! MMMMMMMMMMMMMM! Don't you dare stop! If you don't want more, beg me to cum in your mouth! You can beg me to cum, you bitch! MEEEEEEEEEEEEEEEEEEEEEERRRRRRRRRRRR!!! Yes, oh YES! Take all my cum! I'll swallow it all!!! You poor, needy little slut I fucked today! So much! You were all wet and helpless, unable to do no-thing to make me cum. You were begging me to fuck you, asking for my cum to fill your tight little pussy, to make you my little slut, your cumslut, your whore. You deserve it, you whore of a slut. Fuck me, Io Pan! Fuck me! I know you want more! You were fucking pathetic today, begging me to cum in your cunt.
You're the very embodiment of divine cock, my friend! Oh my God, you're so huge! I can feel it going in and out of me! Fuck! I'm just going to suck it hard like an expert! [Sobbing] [Gasp while sucking the cock] Oh, yeah...so hard! You're so fucking big! It's the biggest I've ever had! Oh my God…[breathes a sigh] [Improv to orgasm] Oh, damn. [Gasp] Fuck! [Sternly] What do you think of my dick? [Laughs] Oh, that…that's the best dick I have ever had! Fuck that thing is fucking great. [Sighs] I think I'll give it another try. [Sobs a bit] Okay, fine. [Giggles] Let me get on my knees. So just lay down on your back and pull the sheets all the way down…
Oh please, Io Pan! You're so big. Your cock is so big. Oh and you're so big. You're so big. You're so big. And you're so big. Oh wow you're so big. Oh boy you're so big. You're such a fucking monster, you are. You're a fucking monster. [laugh] Oh you're so big. That's why I want to suck your big cock. Oh you're so big. That's why you're so fucking big. Oh it's so big. Fuck, you're so big. Oh God oh God. You're just so big. It's impossible that you're not bigger than God. Oh God. You're so big. I want to suck your cock, you're so big. But please, o, Io Pan! I don't want to suck your huge dick, I want to eat it. I want to taste you on my tongue, o God. It's a sin that you are so big. [laugh] Oh you're so big. Oh wow!
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1406660.html
Архивач:
http://arhivach.ng/thread/412868/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2018 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"