>Пик 2
Манек, где пруфы что выборка хабра не имеет корреляции между областью IT и опытом работы?
мимо-1.5 года опыта за 175к/мес
А почему такие низкие зарплаты в этом вашем айти? Где все 300к господа? Это все джуны-вкатуны?
мимо перекладыватель экселя 250к
Вот кстати по данным ОДС, у дата сатанистов мидлов медиана в районе 175к.
все 300к господа в _jobs опендатасаенса
Просто градации на ждунов и помидоров не откалиброваны между дс и обычной разработкой. Приходишь дс джуном, работаешь годик, хоп уже мидл, через годик уже сеньор; в то время как какой-нибудь джава сеньор дев это человек с несколькими годами в серьёзном энтерпрайзе. Оттого и разница в деньгах
Бурнаев. Чем он тебя не устраивает? Классный чел
>300к господа в _jobs опендатасаенса
>где пруфы
Шо, не приятно?
В прошлом треде одна датаманька тоже решила пофлексить сотыгами, в итоге принесла 4300 eur в Амстердаме и годовую 110 в Берлине, kek.
>Приходишь дс джуном
Напоминаю: дс джун - это когда в жопу ебут обязательно phd и publication record at top conferences лучше бы ебали
Только в воображении ЭС-порватки. Phd обычно желателен на ресёрческие позиции
Лол, какой может быть ДС в рахе? Да и вообще зачем вам деньги, если у каждого есть приусадебный участок, где можно выращивать еду? Получил свои 15к, заплатил коммуналку, налоги, хватило не залезая в микрокредиты - и то слава Богу!
>в итоге принесла 4300 eur в Амстердаме и годовую 110 в Берлине, kek.
Дык там такие зарплаты и есть, если это не ФААНГ и его аналоги
Читай гайды, прежде чем позориться:
https://blog.pragmaticengineer.com/software-engineering-salaries-in-the-netherlands-and-europe/
Тогда в чем смысл работать в Амстердаме за такие зарплаты? Проще в Москве дальше сидеть, чем ехать в евросовок и просаживаться по доходам в 2 раза минимум.
Смысл в том, что получив западный опыт и разрешение на работу, гораздо проще будет попасть в условный ФААНГ.
Только если ты устроишься в ФААНГ в Нидерландах, а спустя N лет тебя перевезут в штаты на жирную зп.
А иначе будешь попущен многочисленными секциями интервью, алгоритмов, сисдиза (или что там у ML/DS спрашивают, может вам вообще нужно PhD чуть ли не обязательно).
Тут еще другое дело, что все эти переезды случаются где-то в районе 30 лет обычно. А в таком возрасте ты уже по сути старец. Мне сейчас 28 и я в принципе никуда не готов переезжать, потому что боюсь, тревожно как-то, да и уже здесь привязан - старые родители, помогать нужно. Хотя в студенчестве и сразу после выпуска, когда мне 20-22 было, сам искал всякие стажировки за рубежом и общался с херками из зарубежных галер.
>Только если ты устроишься в ФААНГ в Нидерландах, а спустя N лет тебя перевезут в штаты на жирную зп.
В чем смысл ехать в штаты в ФААНГ? В ФААНГе и в Европке очень неплохо платят. Зато в Европке гораздо либеральнее миграционное законодательство и есть весьма реальный шанс получить гражданство лет через 5 после переезда.
>А иначе будешь попущен многочисленными секциями интервью, алгоритмов, сисдиза (или что там у ML/DS спрашивают, может вам вообще нужно PhD чуть ли не обязательно).
Ты так или иначе будешь через это проходить, если собираешься в ФААНГ. Не важно, в штаты или в европу. Процесс интервью у них максимально стандартизированный. Главное на это интервью вообще попасть, т.к. на любую позицию к ним подаются буквально тысячи кандидатов.
>Тут еще другое дело, что все эти переезды случаются где-то в районе 30 лет обычно. А в таком возрасте ты уже по сути старец.
Ну если весь день сидеть пердеть и не заниматься собой - то да. А так можно до 50 лет быть очень даже бодрячком.
>Мне сейчас 28 и я в принципе никуда не готов переезжать, потому что боюсь, тревожно как-то, да и уже здесь привязан - старые родители, помогать нужно. Хотя в студенчестве и сразу после выпуска, когда мне 20-22 было, сам искал всякие стажировки за рубежом и общался с херками из зарубежных галер.
Ну это твои личные проблемы, которые темы не касаются. В 28 вполне реально понаехать за бугор
>может вам вообще нужно PhD чуть ли не обязательно
Ясен хуй phd и публикации в топовых журналах - обязательно, а ты думал? работать в нашем фуфланге большая честь!
>пук пок вреети вреети
Пиздец, мань, ты чего так развизжалась. Понимаю, от фактов неприятно. Ну сидите вы с PhD, с попытом и паперами, эксели перекладываете, зарплаты на уровне фронтэнда, ну чего поделать. Зато вы образованная сознаниеоцифровывающая элитка, хоть и получаете меньше крудомакакена с 11 классами образования..
бля, репортнуть вас всех что ли с этой нерелейтед хуйней про пэхадэ.
> чем смысл ехать в штаты в ФААНГ? В ФААНГе и в Европке очень неплохо платят.
Потому что в штатах на тех же самых позициях платят в 2, а то и в 3 раза больше + налоги вероятно будут меньше.
>Зато в Европке гораздо либеральнее миграционное законодательство и есть весьма реальный шанс получить гражданство лет через 5 после переезда
Тут согласен, правда зачем оставаться в евросовке? Один хуй лет через 20-30 население европы будет заменено на мигрантов, сомневаюсь, что от этого уровень жизни не ухудшиться.
>нерелейтед хуйней про пэхадэ.
Анус себе репортни
Тут согласен, правда зачем оставаться в пиндосопараше? Один хуй лет через 20-30 население пиндосии будет заменено на мигрантов, негрил и латиносов, сомневаюсь, что от этого уровень жизни не ухудшиться. Да еще и понавыбирают социалистов, налоги еще больше, новые ограничения, цены на жизнь до си пор ебанутые. Ну и нахуй туда ехать и там оставаться?
Рачьё ебаное
ВОТ УЖ ПРОРЫВ ТАК ПРОРЫВ
Китайские разработчики самые базированные и редпилленые. CogView и Nuwa тоже китайские разработки. Да и вообще самые лучшие технологии теперь всегда китайские.
Свежий paper: GAN с пониманием 3D геометрии. Выявляет объем в двухмерных картинках, чтобы генерировать новые изображения и поворачивать их содержание под любым углом. При этом, как вы понимаете, 2д проекция при любом из углов - теперь тоже куда правдоподобнее, чем результаты из Stylegan2.
https://matthew-a-chan.github.io/EG3D/
Ну это уже точно прорыв, инфа 200%, еще только чуть-чуть, и выложат свой код. Надо подождать, и для NUWA и для Stylegan-V тоже выложат код. Как там оригинальный DALL-E, кстати?
https://matthew-a-chan.github.io/EG3D/
Ну это уже точно прорыв, инфа 200%, еще только чуть-чуть, и выложат свой код. Надо подождать, и для NUWA и для Stylegan-V тоже выложат код. Как там оригинальный DALL-E, кстати?
>и для NUWA и для Stylegan-V тоже выложат код
Ещё rudall-e модель Kandinsky, обещали к новому году.
> базированные и редпилленые.
Плюмоинцел, сьеби отсюда пожалуйста.
Скоро появятся революционные маски в инстаграмм. Вот это прогресс
Кринж. Хорошо тебя (((промыли)))?
Прорыв твоего очка, ЭСник.
Угадайте, зачем американцы модель glide от OpenAI опубликовали в trimmed версии?
Чтоб не генерировали ЦП
1:0 в пользу российской машоб индустрии
Хотет революционный видео алгоритм. Для видео про голых лоли, чтоб это было порево не про каких-то 14 летних старух
Потому же почему и gpt-3 так и не хотят публиковать: её у них нет
шо за изи хуйню спрашивает рыжий дуру с усами?
https://www.youtube.com/watch?v=Uj3PpTH-dyg
есть у этой суки блядской онлифанс?
Что за бред там происходит на второй задаче по теорверу?
оставили один черный шар и сказали, что так заебись - так максимизируем
Или ебал бы ее рыжим хуем своим
Лол. Я вообще не понял, нахрена ей некоторым образом сначала распределять шары, если он потом тупо случайно их опять перемешивает.
Каким, блядь, образом она может повлиять на вероятность конечного результата?
Пуссипасс же
мужика спрашивают пиэйчди
@
бабу спрашивают как найти медиану без встроенной функции медианы
Хoрoший вoпрoс тaк-тo. Кaк ты нaпримeр oпрeдeлишь и нaйдeшь мeдиaну для чeтырeхмeрных oбъeктoв пo aнaлoгии с oднoмeрным рядoм чисeл
так у мужика и пизды нет, а у этой и жопа нажористая
Манька только сейчас узнала, что объекты бывают размерностей, не равных трем?
Только не говорите маньке про негильбертовы пространства, а то у него мозг порвется
я даже не понимаю, это троллинг или неиронично тупой
>жопа нажористая
Бать, ты опять на два си эйч зашел?
Тoчкa с чeтырьмя кooрдинaтaми
Мань, ты давно с деревьев слез?
>негильбертовы пространства
Какие еще пространства? В этом треде уважаемые МЛ инженеры подбирают параметры и решают задачи бизнеса, а ты затираешь про какую-то дичь.
Опять пропагандируешь своего любимого негея Бабушкина?
>уважаемые
>подбирают параметры и решают задачи бизнеса
- троллинг тупостью + шизанутостью
Но ведь тупой и шизанутый как раз ты, если не знаешь что пространств как бы может быть сколько угодно и они могут быть абсолютно разной геометрии и правил.
Вот мне интересно, если ты узнаешь, что нейросеть на миллион весов это миллиономерное пространство, и там работает совершенно обычный градиентный спуск, ты тоже ебанёшься, да?
Матеманька, спокнись.
МЛ-боярин делает import gradientny_spusk безо всей этой вашей поебистики.
> Мань, ты давно с деревьев слез?
Он не слезал.
гоготнул
Мань, смеются с того, что какой-то клоун принес "негильбертовы пространства" и прочие прелести базового функана третьего курса, когда все просто хихикали с ручного нахождения медианы типичной датаманькой.
реально патау, которое может только чужие либы юзать, вообще не понимая как они там работают. 5 лет чистки вилкой говна этому. может начнет в человека эволюционировать
маня, ты что-то сам не ответил как будешь искать медианный четырёхмерный объект, пусть даже в евклидовом пространстве. мань, то, что ты слышал одним ухом про геометрии и свойства пространств, не значит что ты их понимаешь, лол
у этой глупой мани с 3-го курса мухгу реально такая шиза в голове, что она думает будто датаманьки сидят и дрочат четырехмерные объекты? очередной поехавший попытопаперолюбитель..
> шиза
> шизанутостью
Какая ж палевная проекция у шиза
какой то шизик теперь на двух мелкобукв кидается, думая что это один анон. у вас тут много таких я смотрю..
> дрoчaт чeтырeхмeрныe oбъeкты
Дa, oбычнo фичeй у oбъeктa гoрaздo бoльшe и их eщё нужнo oбрaбoтaть
>может только чужие либы юзать, вообще не понимая как они там работают
Вангую, у меня ещё и зепка выше
>ты что-то сам не ответил как будешь искать медианный четырёхмерный объект
Делаю импорт либы, вызываю функцию, ссу матеманьке в клюв.
Знаешь, 10 лет назад была шутка про "найдите большее из трёх чисел".
Вот 10 лет назад это была шутка. А ты выдаёшь это безо всякого юмора.
10 лет деградации
Вообще поебать. Я работаю за сотыги, а не "интересные задачи".
Солдат спит - зепка капает, проблемы?
Среднее по каждому столбцу в табличке 5000х10
@
Применение следствия из теоремы Сосницкого в негильбертовом пространстве с заданной мерой тэта зэта в случае конечносепарабельных множеств для случая m < 5001, n < 11
@
Применение следствия из теоремы Сосницкого в негильбертовом пространстве с заданной мерой тэта зэта в случае конечносепарабельных множеств для случая m < 5001, n < 11
Соглы. Всегда смешно, когда оператор экселя начинает втирать дичь про какой-то матан
В голосину. И ведь местный шизоманяматик с серьезным ебалом эту дичь втирает.
Не Сосницкого, а профессора Блядинского, даже мемам вас учить надо.
Пoчeму у мeстных зумeрoв тaк гoрит с мaтeмaтики?
Потому что мозгов хватает только на просмотр цп.
> Я работаю за сотыги
За эти что ли? Ебать ты довен))
Потому что она нахуй не нужна.
Потому что матеманьки en masse нищие шизы.
Сначала они:
> маняматика эта ваша на хер нам не нужна
Потом они:
> ой, а почему я получаю всего 40 тысяч в месяц, если даже джун-тестировщик получает больше?
> маняматика эта ваша на хер нам не нужна
Потом они:
> ой, а почему я получаю всего 40 тысяч в месяц, если даже джун-тестировщик получает больше?
>> ой, а почему я получаю всего 40 тысяч в месяц, если даже джун-тестировщик получает больше?
Типичный программист-математик
> Потому что она нахуй не нужна.
Замеру, который заправляет шнурки, потому что завязывать их он не умеет? Так тебе кроме тиктока и бравлстарса вообще ничего не нужно.
Ну ты поясни по факту, нахуй нужна твоя маняматика
Что можно пояснить по факту пердежу, который даже время по часам не определит? Ты издеваешься что ли?
Какое пиэйчди, манька? Я магу только закончил
Чтoбы oтвeчaть нa вoпрoсы нa сoбeсe
Поясни, нахуя матеманьки такие бедные, раз такие умные
как же тебе печёт очко от того, что ты завалил функан
Вы тут практические вопросы обсуждаете? Может кто сталкивался с сравнением названий товаров в магазинах, Какие инструменты в питоне для этого можно использовать? У меня есть данные по своей сети, я написал парсер и достал названия и цены из другой сети, но они все написаны по разному, что можно использовать для сопоставления? Difflib особо не помог.
А ты завалил жизнь, став матеманькой
>Поясни, нахуя матеманьки такие бедные, раз такие умные
У тебя, как у типичного долбоёба, в голове сидит неверная импликация, будто бы "мозги влекут деньги".
В реальности же вполне можно быть ещё тупее тебя, а зарабатывать ещё больше.
Например, ты можешь прямо сейчас пойти на gay website трясти своей ass, do anal и suck some dick, и ты будешь зарабатывать гораздо больше bux, чем ты зарабатываешь в своей псевдоинтеллектуальной профессии трясуна чёрного ящика, разработанного гораздо более умными людьми, зарабатывающими заметно меньше.
У умных же людей гораздо шире круг интересов, и далеко не у всех из них на первом месте стоят деньги.
А уж математикой-то явно занимаются люди, которых деньги не интересуют в принципе. Ну а если вдруг становятся интересны, то математик временно становится прикладным математиком.
Но тебе не понять. Ты же буквально свинья из басни Крылова, ломающая корни дуба, чьи жёлуди жрёт.
Но это типично для лоуайкью пролетария, тем более в век тиктока.
>У умных же людей гораздо шире круг интересов, и далеко не у всех из них на первом месте стоят деньги.
>А уж математикой-то явно занимаются люди, которых деньги не интересуют в принципе.
Это всё, на что хватило твоего пролетарского мозга?
Гугли расстояние Левенштейна
У меня была ровно такая задача. Расстояние (((Лёвинштайна))) тебе уже подсказали, а я скажу, что тебе придется все равно самому руками слагать товары в одну сущность
Лиса не может дотянутся до математики поэтому пошла перекладывать датафреймы в офис рассказывая что математики тупые потому что бедные? Похоже, пару таких лично знаю
- знатно подорвали маньку с 3-го курса, она аж целые простыни строчит
Хуя пожар брейнлета офисного
Да не рвись так. В следующий раз буду покороче писать, как в тиктоке, чтобы твой замшелый моск смог осилить.
Спасибо
Можешь вкратце рассказать что ты делал?
А какие прорывы были у бабушкинцев в том году?
>Да не рвись так
уже маняпроекции пошли, прям классика маняшизиков
Пиздёж какой-то. В телегах, на хахару очень поачиваемые вакухи.
Какой самый простой способ опубликовать мою модель в виде параллельно выполняющихся процессов python ?
есть какой-нибудь шаблон типа nginx + n*python wsgi ?
Да, я фреймворки не хочу изучать.
есть какой-нибудь шаблон типа nginx + n*python wsgi ?
Да, я фреймворки не хочу изучать.
отвечаю сам себе: flask может работать как uwsgi, а в nginx у upstream есть настройка max_conns .
Короче,вот.
И че, спрашивется, все эти программистишки бегают вокруг fastapi и прочей ебани?
Ray Anyscale есть.
Привет, а рассматривал ли кто-то когда-то алгоритм k-means, в котором используются центроиды-линии(или прочие гиперплоскости), а не точки. Есть статья об этом?
ты ебанутый? ну удали одно измерение.
Сформулируй задачу типа как на скрине, а то не очень понятно, что ты хочешь
Что? В смысле?
погоди, это же SVD, где рубящие гиперплоскасти отсекают вариации друг от друга. K-mean это "если 5 твоих ближайших соседей евреи, то ты в Дахау тоже еврей"
Ты чё несёшь блять. SVM это не для кластеризации, там лейблы знать надо
Все примерно как тут, только mu_i - это не среднее число по S_i, а гиперплоскость линейной регрессии по S_i. Тогда вместо ||x - mu_i|| мы берем d(x, mu_i) = min(x, m), где минимум берем по m, которая является точкой гиперплоскости mu_i. В общем d() - функция расстояния между точкой и гиперплоскостью.
Может быть. SVM просто мимо меня прошел, надо ознакомиться. Но в любом случае, у меня алгоритм кластеризации все же. А про евреев это вообще KNN же.
>гиперплоскость линейной регрессии по S_i.
Какой линейной регрессии, анончик? Для линейной регрессии тебе нужны лейблы и набор иксов, в кластеризации у тебя есть только иксы. Ты не можешь просто взять и выбрать один из иксов как лейбл, поскольку результат будет разным, даже для одномерного икса.
Наверное здесь лучше сделать PCA, и смотреть на вариацию после удаления первого компонента, это как раз и будет что-то типа разброса поперек оси первой компоненты.
Можно ли это свести к какому-нибудь хитрому преобразованию исходного икса - не знаю.
>Ты не можешь просто взять и выбрать один из иксов как лейбл, поскольку результат будет разным, даже для одномерного икса.
Хмм, действительно. Там же минимизируются квадраты только по искомым осям... Но есть ли тогда способ провести линию через облако точек, минимизируя квадраты расстояний, используя все оси?
PCA
Кстати, если брать n первых компонент PCA, то как раз получишь вариацию относительно n+1-размерного гиперпространства
Хмм, подумаю об этом. Спасибо.
Наверное вернусь еще.
Безостносительного жирнейшего бейта, svm можно применять для кластеризации
мимо
Может и можно, но это экзотика какая-то
На два кластера?
На сколько получится
Веслую DS, занимаюсь предсказанием отдельных аспектов поведения пользователя (человека), подбором оптимальных воздействий и повышением аддиктивности продукта. У анонов, которые ИТТ занимаются чем-то таким реквестирую литературы \ курсов про не DS часть этой работы. А то в случайных лесах ковыряться я умею, а вот на что обратить внимание не всегда хорошо пониманию. Хотелось бы лучше разобраться в психологии потребителя, психологических процессах связанный с покупкой \ потреблением \ привыканием к продукту. Пока наворачиваю курс на курсере по consumer neuroscience (An Introduction to Consumer Neuroscience & Neuromarketing), вроде заходит, но и много не очень релевантной для меня инфы типа принципа работы ЭЭГ хотя мб для более глубоко понимания и полезно. Мб у кого-то на примете есть что-то годное?
В линeйнoй рeгрeссии ты пo oднoй кaкoй-тo пeрeмeннoй минимизируeшь рaсстoяниe дo гипeрплoскoсти. Если пo всeм нaдo, тo этo глaвныe кoмпoнeнты
Дeлaeшь прoстo пo aнaлoгии с k-means — рисуeшь рaндoмныe пo числу клaстeрoв гипeрплoскoсти нужнoй рaзмeрнoсти. Рaзмeчaeшь тoчки. Считaeшь для клaстeрoв глaвныe кoмпoнeнты — бeрeшь их линeйную кoмбинaцию нужнoй рaзмeрнoсти. Снoвa рaзмeчaeшь ну и тд. Ты прoстo будeшь игнoрирoвaть нeкoтoрую чaсть пeрeмeнных. Если ты будeшь всeгдa oдни и тe жe выбирaть глaвныe кoмпoнeнты, тo мoжнo былo бы прoстo срaзу пoнизить рaзмeрнoсть и k-means примeнить. Тo eсть пoлнaя бeссмыслицa.
Рaзвe чтo кaждый рaз рaзныe кoмпoнeнты выбирaть в клaстeрaх и eсли дaнныe нe кoнсистeнты, тo мб чтo-нибудь интeрeснoe и пoлучится. Нo тoгдa мб дaжe нe фaкт, чтo aлгoритм сoйдeтся к пусть дaжe лoкaльнoму минимуму.
Кoрoчe выглядит кaк мaксимaльнo бeстoлкoвaя зaтeя.
SVM тебе нужно.
Ты либо не знаешь, что такое свм либо не умеешь читать
Я знаю, что это такое, и умею читать. А вот ты не знаешь. Если что, SVM это не один алгоритм, а целый класс на все случаи жизни.
Почему? SVM же делит точки выборки гиперплоскостью на две части. Алсо, это метод обучения с учителем.
> SVM же делит точки выборки гиперплоскостью на две части.
Неправильно.
> Алсо, это метод обучения с учителем.
Неправильно. Иди матчасть читай, хотя бы документацию к sklearn.
Дaлaднa
Мaтчaсть этo вoт этo
> In machine learning, support-vector machines (SVMs, also support-vector networks[1]) are supervised learning models with associated learning algorithms that analyze data for classification and regression analysis. Developed at AT&T Bell Laboratories by Vladimir Vapnik with colleagues (Boser et al., 1992, Guyon et al., 1993, Cortes and Vapnik, 1995,[2] Vapnik et al., 1997[citation needed]) SVMs are one of the most robust prediction methods, being based on statistical learning frameworks or VC theory proposed by Vapnik (1982, 1995) and Chervonenkis (1974). Given a set of training examples, each marked as belonging to one of two categories, an SVM training algorithm builds a model that assigns new examples to one category or the other, making it a non-probabilistic binary linear classifier (although methods such as Platt scaling exist to use SVM in a probabilistic classification setting). SVM maps training examples to points in space so as to maximise the width of the gap between the two categories. New examples are then mapped into that same space and predicted to belong to a category based on which side of the gap they fall.
Если ты знaeшь чтo-тo другoe, тo рaсскaжи.
Энивeй минимизaция рaсстoяния дo гипeрплoскoсти этo линeйнaя кoмбинaция гипeрплoскoсти. Кaкoй нaхуй svm
> этo линeйнaя кoмбинaция гипeрплoскoсти
линeйнaя кoмбинaция глaвных кoмпoнeнт*
Про кернелы ты похоже вообще не слышал. Ну, не страшно, тут все твои друзья - ЭС петух и иже...
> Если ты знaeшь чтo-тo другoe, тo рaсскaжи.
Так я рассказываю, это ты видеть не хочешь:
> хотя бы документацию к sklearn.
Там и про unsupervised SVM есть. Вместо этого ты тащишь цитаты, описывающие состояние дел на 90е годы. Причем, просто ради того, чтобы возразить.
> Прo кeрнeлы ты пoхoжe вooбщe нe слышaл.
Пoчeму ты тaк рeшил?
Причём тут oни? Я нигдe нe гoвoрил прo kernel pca. Зaчeм нaм вooбщe тут пoвышaть рaзмeрнoсть
Ещё рaз. Гипeрплoскoсть, дo кoтoрoй суммa рaсстoяний oт тoчeк минимaльнa — этo линeйнaя кoмбинaция глaвных кoмпoнeнт. В SVM ты дeлишь тoчки тaк чтoбы "maximise the width of the gap between the two categories".
Ты видeл o чeм пeрвoнaчaльный пoст был? Чeлoвeк прoсит aнaлoг k-means, гдe вмeстo тoчки линия. В k-means минимизируeтся рaсстoяниe дo тoчки.
> Тaк я рaсскaзывaю, этo ты видeть нe хoчeшь
> Нeпрaвильнo
> Нeпрaвильнo
Тaк ты рaсскaжи пoжaлуйстa. Кaкoe oтнoшeниe SVM имeeт к тoму, чтo чeлoвeк нaписaл? Или ты прoстo вбрoсил и всё? Дaльшe ты нe знaeшь
> Тaм и прo unsupervised SVM eсть. Вмeстo этoгo ты тaщишь цитaты, oписывaющиe сoстoяниe дeл нa 90e гoды. Причeм, прoстo рaди тoгo, чтoбы вoзрaзить.
Кaк этo мeняeт суть SVM — "maximise the width of the gap between…"?
Ты прo этo https://scikit-learn.org/stable/modules/generated/sklearn.svm.OneClassSVM.html ? Unsupervised Outlier Detection.
Зaчeм тeбe выбрoсы?
Или прo этo https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2099486/
> The algorithm initializes by first running a binary SVM classifier against a data set with each vector in the set randomly labelled, this is repeated until an initial convergence occurs. Once this initialization step is complete, the SVM confidence parameters for classification on each of the training instances can be accessed. The lowest confidence data (e.g., the worst of the mislabelled data) then has its' labels switched to the other class label. The SVM is then re-run on the data set (with partly re-labelled data) and is guaranteed to converge in this situation since it converged previously, and now it has fewer data points to carry with mislabelling penalties. This approach appears to limit exposure to the local minima traps that can occur with other approaches. Thus, the algorithm then improves on its weakly convergent result by SVM re-training after each re-labeling on the worst of the misclassified vectors – i.e., those feature vectors with confidence factor values beyond some threshold.
Ты вooбщe пoнимaeшь нaскoлькo этo никaкoгo oтнoшeния к тoму чтo прoсили нe имeeт?
И нахуй нужны эти ваши нейросети? Очередные баззворды для стрижки бабла с кабанчиков? Почему столько нейросетей, генерирующих хуйцы по описанию, а где нейросети для решения математических проблем по описанию? Или нейросети для генерации мат моделей, или нейросеть решающая проблему оптимизации. А если объединить нейросеть с прологом? Или это бред?
>Очередные баззворды для стрижки бабла с кабанчиков?
Да. Или ты сам кабанчик?
>И нахуй нужны эти ваши нейросети?
Нейросеть - такой же универсальный аппроксиматор, как и любой другой набор базовых функций (полиномы, синусы-косинусы, и т.д.). В силу своих особенностей, нейросети гораздо проще "обучить" под некоторые конкретные задачи, например распознавание картинок или речи.
>Очередные баззворды для стрижки бабла с кабанчиков?
Дружище, нейросети сейчас окружают тебя на каждом углу, распознают твой еблет в камере видеонаблюдения и рекомендуют тебе купить анальный дилдо на размер больше.
>где нейросети для решения математических проблем по описанию?
Нейросети, сами по себе, не призваны решать такие задачи. Нейросети = проведение кривульки через точки в дохулиардмерном пространстве. Нейросети не являются аналогом человеческого мозга и не могут выявлять причинно-следственные связи.
>Или нейросети для генерации мат моделей, или нейросеть решающая проблему оптимизации.
Насчёт матмоделей, очевидно что нейронка такое не сможет сделать никогда. Про оптимизацию, где-то что-то видел, но не уверен, насколько это применимо в реальной жизни.
>А если объединить нейросеть с прологом? Или это бред?
Да, это бред. Все равно что пытаться объединять набор полиномов с прологом.
Вот https://arxiv.org/abs/2112.15594 пытаются что-то решать, генерируя код для решения задач.
Ещё маккарти писал, про язык, который запоминает вопросы и ответы, и делает из них выводы. как-то так.
думал может есть какие-то автооптимизаторы, которые измеряют сложность и проводят оптимизацию, если возможно. из O(n) в O(logn) лол. компиляторы же не оптимизируют сам алгоритм, а тут оптимизируется именно он.
> https://arxiv.org/abs/2112.15594
Там просто нейросеть переводит специально написанную простую задачу в код для симпая. Ничего нового эта хуйня решить не может, вольфрам альфа такую дрянь решал больше 10 лет назад
>Или нейросети для генерации мат моделей, или нейросеть решающая проблему оптимизации.
Дружище, ты, видимо, не понял. У нас нейросети не могут посчитать 2+2, буквально.
Опять ты, ебаный шиз, возвращаешься? Уходи отсюда на хуй пожалуйста
Шизик, таблетки прими, тебе уже везде твой обидчик видится)
Предстоящие задачи? Что предстоит сделать чонгам в области генерации графики:
прикрутить понимание 3д формы,
понимание такой идеи, как поза и 3д-скелет у персонажа
генерация видео, в т.ч. основываясь на одном вводном изображении
увеличить разрешение и точность в проработке деталей
улучшить понимание натурального языка (clip)
триллионы параметров и more layers
В прошлом году был clip+vqgan, потом rudalle, дифьюжн. Интересно что будет дальше. Чонги молодцы конечно.
прикрутить понимание 3д формы,
понимание такой идеи, как поза и 3д-скелет у персонажа
генерация видео, в т.ч. основываясь на одном вводном изображении
увеличить разрешение и точность в проработке деталей
улучшить понимание натурального языка (clip)
триллионы параметров и more layers
В прошлом году был clip+vqgan, потом rudalle, дифьюжн. Интересно что будет дальше. Чонги молодцы конечно.
Вот вам вопрос.
Есть карточная игра. Есть огромная база данных о возможных ситуациях в этой игре. Про эти ситуации известно, какой ход в них выигрышный и какой проигрышный. Известно, кто в какой ситуации победит, если будет правильно ходить.
Есть желание накодить такого игрока, который принимал бы решение о том, какой ход делать, исходя, грубо говоря, из того, какие у него карты на руках. Для этого надо вычислить какие-то закономерности, которые существуют между имеющимися картами и перспективой выиграть или проиграть, сделав тот или иной ход.
Проблема в том, что я понятия не имею, какие закономерности искать. В одном случае иметь три туза это хорошо. Чуть в другом случае те же три туза это очень плохо.
В общем, вопрос в том, какие закономерности искать, если я понятия не имею, какими они вообще могут быть?
И как вообще это решать?
Я так понимаю, входной вектор это состав карт на руках у игрока. Если карта есть, то в соответствующей ячейке единица. Если карты нет, то ноль. Результат - какой-то конкретный ход из всего множества возможных.
А какая модель тут может сработать?
Я в этой теме вообще ноль. Может, вы знаете?
Нет. С покером всё проще. Там теорвер покатит, чтобы оценить, какие на что шансы. А тут длинные последовательности ходов, в результате которых всё запутывается. И так просто из перечня имеющихся в наличии карт не вывести чего-то более-менее конкретного. Если только дело не идёт к концу игры, когда карт у игроков уже практически не осталось.
> Для этого надо вычислить какие-то закономерности,
Не надо.
> А какая модель тут может сработать?
Что-то из reinforcement learning.
> Есть карточная игра
правила формализованы? есть рандом (кроме самих карт)? сколько возможных состояний у твоего environment? Например, у шахмат это 10^43, а это слишком много. Если у тебя это не более 10^6, то всё тривиально: суй все стейты и результаты твоих потенциальных шагов в тензорфлоу и обучай дурь-машину.
Если стейтов слишком много, то Reinforcement Learning.
Для покера я бы решал через первый вариант. Но для шахмат это не подойдёт
Вообще, если опять же все правила формализованы, и ты можешь их воплотить в коде в виде environment, чтобы играть с самим собой или с ботом тупо через твой код и ты считаешь себя дьявольски крутым программистом, то можешь идти по пути Alpha Go / Alpha Star Craft — Reinforcement learning через миллионы партий ботов друг против друга. Таким образом они нащупают самые топовые стратегие, в которых (если игра сбалансирована) будет работать "камень > ножницы > бумага"
Вряд ли её тут хоть кто-то знает.
>правила формализованы?
Да.
>есть рандом (кроме самих карт)?
Карты раздаются игрокам, вот и весь рандом. Раздаются сразу все. Потом всё зависит только от последовательности выбора ходов, примерно как в домино.
>сколько возможных состояний у твоего environment? Например, у шахмат это 10^43, а это слишком много.
В зависимости от того, какой колодой играть - от миллиона до миллиарда.
>Если у тебя это не более 10^6, то всё тривиально: суй все стейты и результаты твоих потенциальных шагов в тензорфлоу и обучай дурь-машину.
А ей всё равно, как я векторизацию провожу? А модели есть какие-то, чтобы прям думали? inb4 Конечно нет!
Ну вот на примере шахмат. Допустим, можно просто фиксировать расположение всех фигур на доске и скармливать это дурь-машине. А можно отметить, например, что некоторые пешки образуют какую-то устойчивую комбинацию, типа две пешки впереди и три пешки сзади их прикрывают. И чем больше таких прикрытых комбинаций, тем лучше. Опять же, ладья оценивается в пять очков, слон и конь в три очка, пешка в одно очко. Но за пешки, которые вот так хитро сгруппированы - могут засчитываться дополнительные очки.
Так вот дурь-машине не надо помогать, подсказывая, что на группу пешек нужно обратить особое внимание?
А если нужно, то как?
>Если стейтов слишком много, то Reinforcement Learning.
Вот я боюсь, что она таким образом научится играть только в некотором стартовом состоянии, а вот чем дальше от стартового состояния, тем более незнакомые состояния могут попасться, и качество игры сильно просядет. Вплоть до впадения в безумие.
>Для покера я бы решал через первый вариант. Но для шахмат это не подойдёт
Проблема ещё и в том, что я пытался понять, как шахматные программы работают, и нифига не понял. Там, как будто бы, вообще и не AI, а какая-то выдуманная из головы система оценок, плюс просчёт ходов на сколько-то шагов вперёд. Но внятного объяснения тому, как создать такую систему оценок, я так нигде и не увидел. И по исходникам не понял нифига, как оно работает.
>Вообще, если опять же все правила формализованы, и ты можешь их воплотить в коде в виде environment, чтобы играть с самим собой или с ботом тупо через твой код
Можно, наверное, воплотить.
>и ты считаешь себя дьявольски крутым программистом, то можешь идти по пути Alpha Go / Alpha Star Craft — Reinforcement learning через миллионы партий ботов друг против друга.
Вот только не уверен, что обучение не займёт вечность. У гугла-то всё в порядке с вычислительными мощностями, а у меня всего-то несколько дохлых ядер.
>Кроме того, AlphaGo основана на общих принципах машинного обучения и практически не использует (в отличие от шахматных программ) ни алгоритмов, ни оценочных функций, специфичных для игры в го
Хм. Вот. Я как раз об этом. Интересно. То есть при правильном AI можно и без оценочных функций обойтись, нужно только процессоров побольше.
Когда я в прошлый раз поднимал эту тему, видимо, не было ещё никакого альфа го. Но вообще игры в го были. И опять же, ковырял я исходники, но так и не понял, как оно работает. Там просто какой-то матан с какими-то заумными комментариями. А может быть где-то про эту сферу простым языком пишут?
> Допустим, можно просто фиксировать расположение всех фигур на доске
> у шахмат это 10^43
Ты вообще понял какого порядка это число?
> подсказывая, что на группу пешек нужно обратить особое внимание?
Так делать можно, я сам так делал, когда не хотел уходить в глубокое обучение. Но учти, что стратегия начнёт повторять паттерны человека, а лучшие ИИ-боты для Доты или Альфа-Го в принципе не показывает поведение, как у человека. Альфа-Го показывал абсолютно новый подход для игры в камешки
> тем более незнакомые состояния могут попасться
Миллионы партий
> обучение не займёт вечность
Тестируй-тестируй-тестируй-тестируй. Тебе для такого в любом случае понадобится формализованная среда
> То есть при правильном AI можно и без оценочных функций обойтись
Эм, нет. Нельзя
> А может быть где-то про эту сферу простым языком пишут?
давал в прыдыдущем треде книгу
https://www.piter.com/collection/bestsellery-packt/product/glubokoe-obuchenie-s-podkrepleniem-alphago-i-drugie-tehnologii
Новая победа человечества над ИИ!
Картина, на которой ничего не происходит.
(да, конечно же на картине кого-то ебут )
Картина, на которой ничего не происходит.
(да, конечно же на картине кого-то ебут )
Пардон, проебался с картинкой
блядбъ!
Абу, я не проебался ? Я тебе не могу порно, которое НЕ ПОРНО загрузить?
ахуеть (( Получается, ИИ меня победил.
(третий раз при креплю картинку)
Абу, я не проебался ? Я тебе не могу порно, которое НЕ ПОРНО загрузить?
ахуеть (( Получается, ИИ меня победил.
(третий раз при креплю картинку)
охуеть можно
прорыв в том, что ее нельзя запостить!
Я прям с ходу три хуя увидел
но ведь тут нет ни одного
какой-то хуйдожник продает.
по 300$, между прочим.
какой-то хуйдожник продает.
по 300$, между прочим.
сказал датасаентист, выходя из переговорки
Должно хватить конечного автомата без всяких мышиных обучени.
>> Допустим, можно просто фиксировать расположение всех фигур на доске
>> у шахмат это 10^43
>Ты вообще понял какого порядка это число?
Это я не про перебор всех состояний шахматной доски во всех возможных партиях, а о том, как эту доску показывать AI, в виде простого массива, в котором как-то расположены фигуры, или на этот массив нужно наложить какой-то слой вычислителей, которые будут содержать какие-то особые значения, если, например, фигура защищена одной или двумя другими фигурами. Чтобы AI сразу получил больше информации для анализа.
>> подсказывая, что на группу пешек нужно обратить особое внимание?
>Так делать можно, я сам так делал, когда не хотел уходить в глубокое обучение. Но учти, что стратегия начнёт повторять паттерны человека, а лучшие ИИ-боты для Доты или Альфа-Го в принципе не показывает поведение, как у человека. Альфа-Го показывал абсолютно новый подход для игры в камешки
Я про это почитаю обязательно.
>> тем более незнакомые состояния могут попасться
>Миллионы партий
>> обучение не займёт вечность
>Тестируй-тестируй-тестируй-тестируй. Тебе для такого в любом случае понадобится формализованная среда
Не знаю, что это, но по запросу "формализованная среда AI" гуглится стоооооооолько книжек... Сохраню-ка я парочку.
И всё-таки, что за формализованная среда? И при чём тут тестирование? Ничего не понимаю.
>> То есть при правильном AI можно и без оценочных функций обойтись
>Эм, нет. Нельзя
А где же их взять? Если речь не идёт об оценке финальных состояний игры, где один из игроков уже выиграл или уже проиграл.
Спасибо.
Кто-то два часа назад её выложил в вк. :3
> а о том, как эту доску показывать AI, в виде простого массива, в котором как-то расположены фигуры
да
> наложить какой-то слой вычислителей
Дополнительно — да. Это как в покере. Ты не только должен подавать свои карты и флоп-тёрн-ривер, но ещё и подавать твои шансы на победу при текущей руке и текущем шаге партии. При этом отдельно ты можешь подавать вероятность получить сет, вероятность получить стрейт и вероятность просто на пару.
> Не знаю, что это
Формализованная среда это среда, где все изначально описаны все правила отклика среды на твои действия.
Например, в покере это "что будет, если срейзить ставку" (ответ: у тебя понизится банк), "что будет, если у меня пара, а у другого игрока сет" (ответ: проигрыш и потеря твоих поставленных денег), "в каком порядке я могу сделать свой ход, то есть сколлировать, срейзить ставку или сбросить карты"
Эта игровая механика, она задаётся твоим программным кодом, безо всякого ML. Это ядро твоей игры. ML будет к нему обращаться, чтобы знать какой отклик он, игровой агент, получил на то или иное действие
> в покере играют ставками
играй на пот-лимите (лол, сейчас секунд 15 вспоминал это обозначение, сам руками не играл шут знает сколько)
Соглы, для покера альфа-го сделать не получится, тут надо на реальных данных учиться, чтобы свою стратегию оптимизировать против конкретного противника.
> против конкретного противника
это не так работает. отдельным алгоритмом надо обучаться на действиях противника и классифицировать его. есть огромные базы данных по онлайн игрокам с их стилями игры. вот тебе надо быстренько классифицировать человека в соответствии с его стилем
Ну да, это более продвинутая версия того, что я предлагал. Крч надо делать эмбединг игроков на основе их истории, учиться играть против этих эмбедингов, а потом в онлайне пытаться угадать эмбединг твоих противников. И ещё в своей стратегии учитывать неопределенность определения эмбединга. Нужен баейс, крч
анончики, можете с простой задачей помочь?
нихуя не могу сообразить
Есть код, который переводит аудиофайл в матрицу:
mono_sound_to_cut = mono_sound[:1990000]
def get_parts(sound, size_to_cut=1000):
number_of_parts = int(len(sound)/size_to_cut)
return sound[:number_of_parts*size_to_cut
].reshape(number_of_parts, size_to_cut)
parts_size = 1000
mono_sound_matrix = get_parts(mono_sound_to_cut, size_to_cut = parts_size)
mono_sound_matrix.shape
хочу написать функцию по переводу матрицы, которая получилась, обратно в аудио
нихуя не могу сообразить
Есть код, который переводит аудиофайл в матрицу:
mono_sound_to_cut = mono_sound[:1990000]
def get_parts(sound, size_to_cut=1000):
number_of_parts = int(len(sound)/size_to_cut)
return sound[:number_of_parts*size_to_cut
].reshape(number_of_parts, size_to_cut)
parts_size = 1000
mono_sound_matrix = get_parts(mono_sound_to_cut, size_to_cut = parts_size)
mono_sound_matrix.shape
хочу написать функцию по переводу матрицы, которая получилась, обратно в аудио
ты по-моему перепутал тред с питонистами. потому что это чисто питоновская немл-задача
np.ravel тебя чем не устраивает? Или я не понимаю, как ты изначально аудио нарезал?
Насколько я знаю, самые простые боты домлной эпохи уже обыгрывают низкие рейтинги за счёт того что просто лучше оценивают вероятности
ЗАДАЧИ ОБНАРУЖЕНЫ
¿
¿
А вот и очередной прорыв, товарищи!
> REAL APPLICATION
Какой же ты ёбаный шиз
Ты везде и всегда детектишь своих протыков и занимаешься маняпроекциями своей шизы? Это профессиональная болезнь экселеперекладывателей?
Акинатор, спокнись
У кого что по ЗП? У меня 160к (два года в DA\DS), не могу понять мало или норм в сравнении в рынком. Опросы с хаброчмонями, работающими за 60к в НИИ, не предлагать.
>2 года
>160к
>считает кого-то чмоней
Что нынче есть бесплатного и качественного в распознавании русской речи? Пока нашел только Vosk.
Работать датасайентистом большая честь!
толока
250к на руки + квартальные и годовая премии.
2.5 года опыта, Java финтех миддл.
>миддл
>2.5 года опыта
>250к на руки
Перетолстил.
Тебя удивляют зепки в финтехе? Я тебе больше скажу, мы джуна с годом опыта и знаниями в многопточке/распределенных системах не могли найти на 170к очень долго.
А так, сеньки у нас получают 300+, лиды 400+, благо у конторы денег просто дохуища, один из крупнейших банков западной европы, хуле. сидим мы в РФ все, если что
Вообще думаю попытаться попробовать вкатиться в HFT, благо трейдинговыми системами и около того приходилось немного заниматься, там, например в аимтех, зп у сенек доходят до 600-800к в месяц, это учитывая переработки и не учитывая годовую премию. Вон, оптивир своим сенькам вплоть до 1М годовую премию сделал в 2021 году, но это за рубежом и туда просто охуеть как тяжело попасть.
О, а вот и 2 года 250 к на руки HFT шиз.
Заметь, я не сказал, что работаю в HFT. Просто знаю, что там реально платят много, особенно людям с опытом.
Другое дело, что в других отраслях тоже можно поднимать 200-250к с >= 2 годами опыта, благо примеры вижу перед собой постоянно. среди фронтов
>Тебя удивляют зепки в финтехе?
Да. Работая беком, за такую зп надо лет минимум десять жопу рвать. Через 2.5 года будешь получать около 100к.
> джуна в финтех
Яйца стальные?
>джун
>год опыта
>знания многопоточки/распределенных систем
>джун
Может все таки вы искали миддла на зарплату джуна, поэтому к вам никто и не шёл? Передай кабану, чтобы со своими копейками подыскивал себе индусов.
А по поводу HFT, средняя зарплата lead software developer - 10k$ на руки, по этому твои лиды с банковской конторы идут нахуй дальше лендиги пилить.
А ладно, я увидел, что ты только написал про HFT, а я думал ты там работаешь. Все равно идите все нахуй. Тред скрыл.
>год опыта
>знания многопоточки/распределенных систем
Это вполне себе джуновские знания. Не знаешь многопоточки или нет опыта - стажер.
>170к
>зарплату джуна
170к это зарплата мидла.
Чел, ты вообще информатику изучал? В университетском курсе проходят все темы, которыми дрочат на собеседовании, включая твои распределенные системы и многопоточку. Но только с опытом и глубоким погружением в конкретную область можно сказать, что да, я обладаю знаниями в данной области.
Поэтому, знания многопоточки и распределенных систему у джуниора - говорит мне лишь об отсутствии таких знаний и опыта у тебя, так обычно хрюши пишут баззворды в вакансиях.
>аимтех, зп у сенек доходят до 600-800к в месяц,
Так там и у дата сатанистов (ака квантов) по 250 на старте, без опыта. Сколько у сенек - хз, думаю сильно зависит от перформанса, т.к. в трейдинге дата саенс непосредственно генерирует деньги
Норм, сравнимо с вилками в хороших дс местах для такого опыта.
>Но только с опытом и глубоким погружением в конкретную область можно сказать, что да, я обладаю знаниями в данной области.
Обычно, когда пишут знания, имеют в виду теорию + небольшой опыт практики, для которого достаточно пет-проектов или стажировки. Если требуется действительно глубокий опыт, то пишут количество лет опыта с той или иной технологией.
Конкретно тут говорилось про джуна с годом опыта и опытом многопоточки/распределенных систем. Ничего странного тут нет: год стажировался, работая с многопоточкой - вот и опыт.
>Это вполне себе джуновские знания. Не знаешь многопоточки или нет опыта - стажер.
>В университетском курсе проходят все темы, которыми дрочат на собеседовании, включая твои распределенные системы и многопоточку
Не знаю, мне в универе максимум рассказывали как запускать потоки, чем они отличаются от процессов и зачем нужен мьютекс. На этом все. Распределенных систем не было вовсе.
Никаких объяснений про кэши процессора, атомики, CAS, неблокирующие структуры данных не было вовсе.
Но к нам приходит очень много кандидатов, которые не могут объяснить, чем поток отличается от процесса. Про то, что такое атомики слышали наверное меньше половины от всех кандидатов. Написать простую неблокирующую очередь на двусвязном списке - задача непосильная для 80% кандидатов. Это я про джунов говорю. Даже про джунов, у которых есть год опыта.
Может сейчас в МФТИ и ВШЭ наконец начали нормально преподавать эти предметы, но в большинстве вузов преподы сами ни разу не писали многопточный код и зачастую просто методичку читают или листают слайды с презентации без каких-либо пояснений.
>трейдинге дата саенс непосредственно генерирует деньги
но зачем идти в контору генерировать ей деньги, если за относительно вменяемые деньги можно купить доступ fix допустим на моекс, и генерировать прибыль самому себе?
мимо
ну то есть понятно, что 2% с 1кк и с 50кк$ - большая разница, но там и трейдинг разный, куча ограничений на рынки, инструменты и тд
Как же я ору! Невзоров рекламирует датасаенс-курсы от Skillfactory (первые две минуты).
https://www.youtube.com/watch?v=fw3L4-G5qP8
https://www.youtube.com/watch?v=fw3L4-G5qP8
А никому ещё не надоели работоблядки экселеоператоры, млинжиниры, аналисты, трейдеры мамкины итт из треда в тред? Тред в говно перезвонильное превратился. Он вообще-то про машинное обучение, а не про ваши перекладывания джейсонов для бизнеса полумафиозного и карьерные влажные мечты.
Пошли нахуй отсюда, я всех бизнесоблядков зарепортил (благо tf-idf с их куцыми постами с головой хватает чтобы задетектить) и адекватным анонам тоже советую. Только ганы и гпт3, только космос и звёзды, только хардкор, карьеристам полезным перо под ребро
Пошли нахуй отсюда, я всех бизнесоблядков зарепортил (благо tf-idf с их куцыми постами с головой хватает чтобы задетектить) и адекватным анонам тоже советую. Только ганы и гпт3, только космос и звёзды, только хардкор, карьеристам полезным перо под ребро
Тред давно скатился. Кроме ЭС петуха и залётных зарплатных пориджей почти никого и не осталось.
А вот обучил я небольшую модель (там никаких специфических функций и ничего необычного, простоя сеть со слоями) - есть какой-то инструмент, чтобы встроить её в код на с++ и это не раздувало программу на миллион мегабайтов и работало (без обучения) на другом компьютере без зависимостей от тензора? Можно и самому написать реализацию, там сеть мелкая и на процессоре её можно считать без проблем - но это рутина и выглядит как трата времени, к тому же очень вряд ли я напишу качественную реализацию с simd, и у меня какое-то эстетическое неудовольствие от мысли, что программа могла бы быть производительнее. Как вообще называется это действие? Наверняка не мне первому нужна нейросеть не в коде на питоне, а "для пользователей".
Идеально конечно внешнюю программу, которая просто скушает файл модели и на выходе выдаст с++ файл с классом/функцией реализующим нейросеть с массивами на входе/выходе, но такое извращение вряд ли есть. Но вот в какую-то либу меньше чем на мегабайт с основными типами слоёв и которая принимает файл модели тензора я поверю.
onnx? tensortrt?
Для высокочастотного трейдинга нужна минимальная задержка сигнала с биржи.
https://podtail.com/da/podcast/проветримся/--i-2021-04-23/
Для низкочастотного мл не работает, так рынок - нелинейная система.
возможно, кто-то где-то и выигрывает у Рыночка, но гораздо проще набрать студней с дипломами ВШЭ и продавать крупному капиталу надежду с использованием научного подхода.
Очевидно, что один ты крупному капиталу ничего не продашь. Они доверяют организациям.
А куда ему еще вкладываться, капиталу этому?
>мл не работает, так рынок - нелинейная система
Маняматик, не позорься
Господа, ни у кого не найдется простейшего примера на C для tensorflow, в котором бы опять же любую простейшую сеточку создают
На плюсах есть на самом гугле в разделе тензорфлоу для других языков
Это все на плюсах, мне на другом ЯП
https://github.com/Neargye/hello_tf_c_api
Вот. Код на плюсах, но дёргает сишное апи, больше не гуглится — видимо, таких ебанавтов не много.
Это конечно же и сам нагуглил, только там все равно плюсы и через готовую сеть из файла
>только там все равно плюсы
Ты не осилишь заменить std::vector<float> на float *huita = malloc(228) и static_cast<kek> на (kek)?
Ну тебе явно не в си тогда, иди в питоне ковыряйся.
В одиночку много не накодишь, там и бд надо собирать свою на терабайты, и высокопроизводительную систему анализа данных и отправления заявок, и модели пиздатые делать, которые ещё и протухают с завидной регулярностью. Ах да, ещё у тебя с личным капиталом будут большие ограничения на возможную структуру портфеля, т.к. ценные бумаги торгуются в штуках (а то и сразу пачками), соответственно на 100500 активов тебе не хватит средств даже на то, чтобы по одной минимальной пачке купить.
вместо import tensorflow as tf написал #include <tensorflow/c/c_api.h>
@
спешите видеть, я не какой-то там питоноблядок, занимаюсь ресурсоемким машинным обучением
>не можешь поменять пару строк
>ко-ко дайти на этам языке я миня лапки ко-ко
База
Какое-то ЭС петушество?
Че там у Бабушкина в биткоин.ком?
Все хорошо - мамонтов зазывает в МТС.
https://www.teta.mts.ru/analytics?utm_source=telegram&utm_medium=post&utm_campaign=ds&utm_content=cryptovalerii
>utm_content=cryptovalerii
https://thispersondoesnotexist.com/
полезный этот ваш stylegan
полезный этот ваш stylegan
МОЧА, ТУТ ЦОПЕ
Чёбля? Когда измышления Талеба успели оформиться в очередную сектантскую поебень?
Ничего сектантского, чувак сделал схему влияний на его идеи (изложенные в том самом Incerto, куда входят "Черный лебедь" и "Антихрупкость").
Просто у Талеба довольно много этих влияний, если сравнивать с обычным финансистом/статистиком. Он православный араб и через Дамаскина и отцов-каппадокийцев перенял интерес к античной философии. Он франкоязычный и поэтому его интересует все связанное с Блезом Паскалем. Любит Россию - трепетно относится к работе "Математика, ее содержание, методы и значение" Александрова, Колмогорова, Лавреньева. Ну и так далее.
Если вкратце, то вот его источники - эпистемология и философия науки (Поппер), философское осмысление индукции (начиная с Юма), аналитическая философия (Рассел, Айер, Карнап), античный скептицизм (Пиррон, Секст Эмпирик), русская вероятностная школа (Марков, Чебышев, Колмогоров и другие), Канеман, Тверски, Хайек, Мандельброт и т.д.
Почитай на досуге, много любопытных идей - https://www.fooledbyrandomness.com/notebook.htm
> схему влияний на его идеи
што?
а, что являлось предтечью для тех или иных ЕГО идей. Ну ты горазд слова в мысли складывать
> Просто у Талеба довольно много этих влияний, если сравнивать с обычным финансистом/статистиком.
И всё - левая гуманитарщина минимум позапрошлого века. Юм, ёпта, Милль, чего?
> чувак сделал схему влияний на его идеи (изложенные в том самом Incerto, куда входят "Черный лебедь" и "Антихрупкость").
Ну да, нахватался всякого модного мейнстрима по верхам, мыслитель уровня винишки первокурсницы с филфака. Зачем эту хуету сюда тащить, какое отношение этот деятель имеет к машобу?
>Юм, ёпта, Милль, чего
>левая гуманитарщина
>всякого модного мейнстрима
Лол.
Обычный торговец ебалом для идиотов. Разумеется с чего бы он не начинал это в конце всё равно превращается в культ, против которого он похоже не возражает. Ещё бы, денежки-то надо зарабатывать
Бро, я эти его работы читал года три назад и внимательно присматривался к автору. Безусловно, там мощный междисциплинарный подход и уникальное самообразование, но в чем суть ключевых идей? Антихрупкость, значит, свойство живых систем, заключающееся в повышении устойчивости к неблагоприятным воздействий после перенесенного пиздеца (Талеб иллюстрировал это Россией, в которой за последний был сплошной ад, поэтому не нужно её недооценивать). Черный лебедь - редкое слабопрогнозируемое событие, которое заставляет сложные системы идти вразнос, после чего она работает по новому (очевидный пример - пандемия и great reset).
И что тут прорывного, чтобы Талеб стал неебически модным философом, которого управленцам нужно читать в обязательном порядке? Ей-богу, бизнес-тренинг на пару уровней сложнее, для тех, кто знает словосочетания "системный анализ" и "хаотические эффекты". Сам же Талеб писал, что катается по миру и читает высшему менеджменту лекции на тему "как устроен мир", это чуть ли не цитата. Западный вариант Щедровицкого с поправкой на зарабатывание бабла. И, сука, к Талебу относятся с таким пиететом, будто он волшебник какой-то.
>какое отношение этот деятель имеет к машобу?
Следи за руками.
Антихрупкость может случиться только в системе с нелинейными взаимодействиями. Нейроночки именно такие. Как пишет Талеб, если ебать такую систему ублюдочными воздействиями, в будущем она будет к ним устойчива, так как "запомнит" свое прошлое. Стало быть, нужно учить нейросетку на очень хуевых примерах тоже нужно, чтобы в будущем её прогнозы были лучше. Доволен?
Вот и осознай масштаб пиздеца, когда управленцы так думать начнут.
Сектантством я назвал все это из-за претенций на универсальный понятийный аппарат, который везде и всюду, по мнению автора пригоден, и повальной моды на этого деятеля.
>к Талебу относятся с таким пиететом, будто он волшебник какой-то
Погугли, сколько он денег поднял на знании матеши. Отпадут все вопросы.
> Погугли, сколько он денег поднял
гуглил сколько он денег поднял на обрушении лоу прайм кредитов. 0
>Стало быть, нужно учить нейросетку на очень хуевых примерах тоже нужно, чтобы в будущем её прогнозы были лучше. Доволен?
>Вот и осознай масштаб пиздеца, когда управленцы так думать начнут.
Неверные выводы. Читни Skin in the Game что ли.
То есть, я правильно понимаю, что вся философия этого вашего Талеба: шит хэппенс + нас ебут, а мы крепчаем?
Пересказываю коротко книгу "одураченные случайностью": "Не заходите в сделки с отрицательным мат ожиданием. Заходите в сделки с положительным мат ожиданием".
И 300+ страниц книги именно об этом.
Антихрупкость и Лебедя я даже читать не стал
>нас ебут, а мы крепчаем?
>Он заработал несколько миллионов долларов во время финансового кризиса в 2007—2008 годах, он объясняет это использованием статистических методов в области финансов.
Шорты поди выставлял?
>Теория Талеба «Чёрный лебедь» помогла отдельным инвесторам заработать около миллиарда долларов
Да, там суть такая - терпим убытки в надежде на то, что случится черный лебедь и тогда заработает кучу денег. Ну я даже не знаю.
>Skin in the Game
Да-да, личная ответственность при принятии решений. Ты это имеешь ввиду?
охуеть, а в треде теперь обсуждают какие то говеные бестселлеры какого то инфоцыгана. экселеоператорский тред удивляет в очередной раз, тут прям совсем дебилы сидят (за исключением господ, заходящих сюда ради лулзов с манямозгосканировщиков)
ты опять подаёшь голос из своей эс-шизоямы?
Эсопетуха как обычно забыли спросить.
>манямозгосканировщиков
Что ты в твоей петушиной голове обозначаешь этим словом, поясни, будь добр? И зачем ты это слово тут написал, тебе так акинатор подсказал?
ЭС или Писанина инфоцыганараба, вот это два стула так два стула
Напоминает какой-то финансовый КОБ, там тоже любили всякое наукообразие для ватных советских инженеров про ТЕОРИЮ УПРАВЛЕНИЯ и подобную чепуху смешанную с историями про то как эту теорию для управления миром применяло египетское жречество
методологи же, кек
как раз выше вспоминали щедровицкого
два штатных шизика подорвались и начали везде детектить своего эсопротыкателя. классика)
Заметь, ты состоишь в двух категориях людей:
1) Те, кто слыхом не слыхивал про Талеба, хотя в 10-е его форсили настолько активно, что был даже обратный тренд - недолюбливать его за претенциозные высказывания, хотя с точки зрения статистики и финансов к его выкладкам не подкопаться. Любой современный инвестор или экономист Талеба читал или хотя бы про него знает. Среди программистов он тоже достаточно известен.
2) Те, кто все еще помнит про существование КОБ, знаком с его учением и детектит его где попало.
Скачай какую-нибудь книжку Талеба и прочитай. Потом будешь рофлить с нелепости своих аналогий, ну серьезно.
Вообще мимо. Щедровицкий это человек, который даже в РФ малоизвестен.
А вот с Талебом ровно наоборот. Погуглил сейчас, оказывается, довольно солидные люди рекомендуют его книги - Даниэль Канеман, Бёртон Мэлкиел, Бранко Миланович, Билл Гейтс, Джефф Безос, короче, те, кто умеет делать деньги и понимают, как работает экономика. Не знаете, кто это - гугл в помощь. Ну и интервью во всяких WSJ, FT, Bloomberg.
Самые популярные айтемы обсуждаемых авторов.
Щедровицкого у нас в стране не особо активно читают (ну и слава Богу), хотя его аж сам Артемка Лебедев издавал и форсил.
P. S. Это все имеет прямое отношение к data science, если что - https://towardsdatascience.com/why-you-should-care-about-the-nate-silver-vs-nassim-taleb-twitter-war-a581dce1f5fc
Щедровицкого у нас в стране не особо активно читают (ну и слава Богу), хотя его аж сам Артемка Лебедев издавал и форсил.
P. S. Это все имеет прямое отношение к data science, если что - https://towardsdatascience.com/why-you-should-care-about-the-nate-silver-vs-nassim-taleb-twitter-war-a581dce1f5fc
>Те, кто слыхом не слыхивал про Талеба
>КОБ, знаком с его учением и детектит его где попало
Пошли какие-то обидки культиста, слышал я про этого брата назифа конечно, читать я это всё как не собирался так и не собираюсь, естественно
>с точки зрения статистики и финансов к его выкладкам не подкопаться
Потому что того содержания, которое там есть, на пару предложений, тривиальщина
>Скачай какую-нибудь книжку Талеба и прочитай
Нет уж, спасибо, обойдусь как-нибудь
Просто это действительно странно. Спишем на то, что ты в IT эхо-камере живешь.
> ваши вероятности не вероятности! перестаньти их использовать! мало ли чо будет
WOW HES SO SMART MACHINE LEARNING IS CANCELED
Братан, нам похуй на твоих ливанцев и татьянычей, иди уже нахуй. Пиздуй в фагготрию или на философач уже, ебанутый. Буквально носится со своими инфоцыганами, "смарите смарите это относится к дата саенс воу талеб хуялеб", тьфу, блядь.
Инфоарабами. Не путай, это другое. Но к твоим любимым египтянам из КОБ это не относится.
>книжку Талеба и прочитай
Читал я его книжки, тут выше по треду краткий пересказ был основных его работ. Пожалуй, я с этим соглашусь, ключевые идеи так и выглядят. Наукообразный бизнес-тренер, который срёт людям в мозги. Вот, посмотри на его рядовую работу https://arxiv.org/pdf/1907.11162.pdf, там уровень второго-третьего курса, матожидание распределений с тяжёлыми хвостами он блять считает.
В той эхо-камере в которой все смотрят наупоп, слушают талеба и прочих инфоцыганов? Наоборот же, говорю, я этим всем не занимаюсь, это действительно странно?
>там уровень второго-третьего курса, матожидание распределений с тяжёлыми хвостами он блять считает.
Посмотрел и вообще ничего не понял. Весь пейпер в каких-то магических рунах. Мой предел - трясти ящик, подбирая параметры, и смотреть, что получится.
мимо
Я так понимаю ЭС додик наконец понял как уныло выглядит эс-шиза второй тред подряд и нашёл новую лошадку?
Пролистал я эту чушь. Два распиаренных уебана с сотнями тысяч подсосов друг друга хуесосят. С самого заголовка автор пытается обосновать, почему меня должен ебать спор двух твиттерных селебрити. Зачем ты сюда-то это принёс? Это же не спор учёных или машобщиков, это визгливый срач самопиарящихся деятелей.
В моей эхо-камере Герман Греф и Клаус Шваб говорят, что за машинным лернингом будущее, поэтому я готовлюсь к поступлению в ШАД по книгам бизнес-тренера Андрея Нг.
Твой предел - кукарекать в этом треде, ЭС петух.
Он обиделся, что по него забыли, поэтому теперь вот тут отыгрывает
>Два распиаренных уебана
Не завидуй.
Таблетки прими. Я не ЭС петух, я другой шиз.
>что за машинным лернингом будущее, поэтому я готовлюсь к поступлению в ШАД
В уходящий поезд запрыгнуть пытаешься?
Да не, ты че.
Как стать талибом?
>В моей эхо-камере Герман Греф и Клаус Шваб говорят, что за машинным лернингом будущее, поэтому я готовлюсь к поступлению в ШАД по книгам бизнес-тренера Андрея Нг.
Будешь помогать этим двум эксистам ультраглобалистам строить цифровой гулаг и уничтожать государство?
Хз, о чем ты, пчел, у них в офисе настолки и кофеек. На вейп никто не агрится, по рассказам.
>настолки и кофеек
>вейп
Понятно.
>поэтому я готовлюсь к поступлению в ШАД
И как успехи?
Не совсем точная пародия, для настоящей стекломойной пидарахи "уничтожать государство" было бы на первом месте
Вот чмо ебаное! Пишет что-то там, публикуется в топовых журналах. Да это уровень второго-третьего курса, да и я так смогу!! Что? Почему я еще не смог? Ну, э-э...
>математик
Лол. Там уровень студенческой работы, что-то типа курсовой на третьем курсе. И, дебс, там препринт, а не "топовый журнал".
Опять в жопу выебанные математиками описывают свои страдания итт.
Смузи-пориджу опять стекломойные пидарахи мерещатся.
Какие же пориджи дегенераты.
>В моей эхо-камере Герман Греф и Клаус Шваб
И ты в хорошей компании!
Так плохо, что даже хорошо.
Кто-нибудь пробовал работать с тензорфлоу черерз апи на жс? Быстрее чем питон и поддерживается официально в отличие от шарпов.
Питон не может выучить что ли?
через жс ты можешь делать рид-онли действия. то есть использовать готовую модельку
Знаю, но помимо него только жс более-менее знаю.
Хочу использовать для продакшена, а влазить в плюсы неохота. При этом все нахваливают производительность жс.
Вот эти ребята пробовали. На либгене книжка наверняка есть.
Видали? Нейроночка стихи пишет. ЭС так может?
https://ai-pushkin.content.tinkoff.ru/
https://ai-pushkin.content.tinkoff.ru/
>И, дебс, там препринт, а не "топовый журнал".
Попустись, долбоеб. Ты знаешь, что такое препринт? Что обозначает приставка -пре, например? Загугли и посмотри, в каком журнале впоследствии эта статья была опубликована, какой у журнала рейтинг, цитируемость, квартиль. Не думал, что нужно это разжевывать кому-то. Не позорься, маняматик, это две секунды в поисковой строке. 2-3 курс осилил? Вперед и с песней в такие топовые журналы статьи отсылать, ой, что-то не получается.. Э-э... Вынепынямаете.....!!
Клоун)
а почему мы производную binary cross entropy function умножаем в предпоследнем шаге на минус 1? что за правило такое?
У тебя там считается производная от log(1-p), это сложная функция, стало быть, (1-p) тоже нужно дифференцировать.
То есть, не нужно будет накатывать питон и хватит js? Или все равно придется с ним сталкиваться?
мимо другой анон
>а влазить в плюсы неохота
А придется.
задача такая, есть фотографии в интернете, нужно находить элемент одежды на фото, например найти девушек в трусах Calvin Klein
Как подойти к решению?
В распоряжении есть гугл колаб и рабы с толоки для разметки
Желательно учесть разные позы (закрытость части элемента ожеждой и т д)
Как подойти к решению?
В распоряжении есть гугл колаб и рабы с толоки для разметки
Желательно учесть разные позы (закрытость части элемента ожеждой и т д)
Задача: поиск предмета на картинке.
RNN.
Рабы размечают через VGG (сайт, в том числе локальные html-страницы для разметки) зоны (area) с одежды на картинках.
Делишь картинку на квадраты 32x32, все квадраты с зоной отправляешь на обучение в тензорфлоу.
Также отправляешь все пустые зоны. Само собой, пустых вариаций у тебя получится на порядок больше.
> пориджи не знают пердиксы не помнят
Но ведь поридж и пердикс это одно и то же. Кто-то скажет, что это перефорс, но ведь это ещё с мифов древней Греции пошло.
предмет окей, как мне теперь сделать фильтры как бы, то есть именно девушки с этим предметом
поподробнее можно про это плиз
через VGG (сайт, в том числе локальные html-страницы для разметки) зоны (area) с одежды на картинках
> поподробнее можно про это плиз
https://www.robots.ox.ac.uk/~vgg/software/via/
> то есть именно девушки с этим предметом
а вот как раз это уже будет очень сложно сделать
Ничего не понял и причем тут вкладка браузера, я про бэкенд обучение, вместо питона.
а какую сеть выбрать для того чтобы определить чтобы на ней девушка или парень (с учетом возрастат ессено) можно проходить сначала первой сетью, а потом второй
что будешь делать когда на фото два человека?
ааа, все, понял, забыл про chain rule
Что эта колонка значит?
https://playground.tensorflow.org
https://playground.tensorflow.org
Зумер, уходи. Жми альт-ф4 и иди уроки делай!
Фичи. Переменные на вход нейросетке.
>Зумер, уходи. Жми альт-ф4 и иди уроки делай!
Напоминаю БАЗУ треда
> База
> БАЗУ
Плюмоинцелы, сьебали отсюда
Школуйня, дай денег
Фичи от датасета зависят, поэтому должно быть всего 2 - х и у. При этом они еще для всех 4х датасетов одинаковые. Больше похоже на предобучение.
По Нейту Сильверу какой положняк?
И, кстати, можешь тогда уж пересказать последнюю книжку Талеба "Шум" ? Влом читать порожняк.
или это уже пятая книга об одном и то же и поэтому читать ее не стоит ?
Ты походу с Даниэлем Канеманом спутал. Там кстати Санстейн, один из авторов Nudge, принял участие в написании.
Нейта Сильвера я не читал, но думаю, что стоит ознакомиться.
Про него Ньюпорт в Deep Work (В работу с головой) рассказывал. Алсо Deep Work рекомендую, отличная книга. Любой программист должен прочитать.
https://fivebooks.com/reader-list/the-best-books-on-rationality-and-data-edouard-mathieu/
Вот тут некий Эдуард Матье из Оксфорда советует книги по обсуждаемой нами теме (большая дата и десижн мейкинг). Там и Канеман, и Сильвер, и Ричард Талер, и Филип Тетлок.
Вот тут некий Эдуард Матье из Оксфорда советует книги по обсуждаемой нами теме (большая дата и десижн мейкинг). Там и Канеман, и Сильвер, и Ричард Талер, и Филип Тетлок.
Бля, точно ! как можно Калеба спутать с Колеманом! спc
простити, пасаны
Вы может быть, своих инфоцыган где-нибудь ещё обсудите? В /ga например.
это все очень важные вопросы которые возникают ПОСЛЕ тряски черного ящика. Просто тебя до них никто не допускает.
Как объяснить кабанчику, что модель не работает не потому что математика плоха?
> это все очень важные вопросы
Ответить на которые ни у одного, бессистемно нахватавшегося по верхам всякой гуманитарщины из позапрошлого века, инфоцыгана все равно мозгов не хватит.
>не потому что математика плоха
Маняматиков уже выводят на чистую воду?
>нахватавшегося по верхам всякой гуманитарщины из позапрошлого века
Ты про современных нобелевских лауреатов?
>Как объяснить кабанчику
Чтобы высказать кабанчику глубочайшую мысль о том что shit happens что он прекрасно куда лучше всяких маняматиков знает не нужно читать дурновкусно размазанную на сотни страниц инфоцыганскую водичку
>не нужно читать дурновкусно размазанную на сотни страниц инфоцыганскую водичку
Мы такое осуждаем. Прекращай это читать. Лучше Талера с Канеманом чекни, это актуальная наука.
> Канеманом
>что shit happens что он прекрасно куда лучше всяких маняматиков знает
так он не знает.
в сознании обывателя компьютеры выдают исключительно точные прогнозы, ведь они же Компьютеры!
> ахаха эти гумусы обывалы тупые))
Не надо переоценивать доверие кабанчиков анальникам. Пока сайтики и приложки с модельками крутятся, а денежки мутятся пусть конечно работают красноглазые; но как только кабанище почует что ЧЁТО НЕ ТО никакие компьютеры с прогнозами и маняматики с метриками его не переубедят
Просто надо кабанчику изначально объяснить, что модели не всесильны, и могут жидко проиграть в случае значительных и внезапных изменений в data generating process. И что усилия кабанчика по маркетингу/менеджменту продажников/ещё какому дерьму могут сильно повлиять на результат, который он так сильно хочет спрогнозировать.
Как ни странно, торжество дата саенса в маркетинге — это метафизическое инфоцыганство. Вспомним, что Хайдеггер обвинял Декарта в том, что он положил начало экспансии «измеряющего сознания». Субъект (кабанчик) подверстывает мир под свою экономическую активность.
Негодуя насчет обилия рекламы курсов, Хайдеггер замечает:
«Сейчас дает о себе знать то, что Ницше уже метафизически понимал, — что новоевропейская «механическая экономика», сплошной машиносообразный расчет всякого действия и планирования в своей безусловной форме требует нового человечества, выходящего за пределы прежнего человека. Недостаточно обладать танками, самолетами и аппаратурой связи; недостаточно и располагать людьми, способными такие вещи обслуживать; недостаточно даже просто овладеть техникой, словно она есть нечто в себе безразличное, потустороннее пользе и вреду, строительству и разрушению, применимое кем угодно для любых целей.
Требуется такое человечество, которое в самой своей основе сообразно уникальному существу новоевропейской техники и ее метафизической истине, т. е. которое дает существу техники целиком овладеть собой, чтобы так непосредственно самому направлять и использовать все отдельные технические процессы и возможности. Безусловной «механической экономике» соразмерен, в смысле ницшевской метафизики, только сверх-человек, и наоборот: такой человек нуждается в машине для учреждения безусловного господства над Землей.»
«Сейчас дает о себе знать то, что Ницше уже метафизически понимал, — что новоевропейская «механическая экономика», сплошной машиносообразный расчет всякого действия и планирования в своей безусловной форме требует нового человечества, выходящего за пределы прежнего человека. Недостаточно обладать танками, самолетами и аппаратурой связи; недостаточно и располагать людьми, способными такие вещи обслуживать; недостаточно даже просто овладеть техникой, словно она есть нечто в себе безразличное, потустороннее пользе и вреду, строительству и разрушению, применимое кем угодно для любых целей.
Требуется такое человечество, которое в самой своей основе сообразно уникальному существу новоевропейской техники и ее метафизической истине, т. е. которое дает существу техники целиком овладеть собой, чтобы так непосредственно самому направлять и использовать все отдельные технические процессы и возможности. Безусловной «механической экономике» соразмерен, в смысле ницшевской метафизики, только сверх-человек, и наоборот: такой человек нуждается в машине для учреждения безусловного господства над Землей.»
Как откатиться в экономику с ярмарками и ремесленными гильдиями?
>такой человек нуждается в машине для учреждения безусловного господства над Землей
Только чет чем больше пчеловек управляет, тем хуже
"Только Бог сможет нас еще спасти".
Позволю себе покритиковать твою позицию относительно рекламы курсов по дата саенс с позиции марксизма-ленинизма: прежде всего, ты опять ушел в абстракции. Я лично считаю, что на экране должно быть советское искусство, а на прилавках – жратва и водка. И это далеко не все. Мы должны разделять народ на хороших и плохих, а общество – на своих и чужих. Так что часть марксистского наследия нужно убрать и добавить что-то личное, с чем вместе тебе было бы хорошо. Например, объяснить, как можно разбираться в душе поэта или художника.
хочу начать изучать машинное обучение по книгам
hands-on ML with Scikit-Learn, Keras & TensorFlow 2019 +
Mathematics for Machine Learning
кое какие знания уже имеются,
хочу найти человека который готов со мной начать, что бы мотивировать друг друга или обсуждать непонятные вещи и т.д.
тг: WallHack3r
+ щас занимаюсь саморазвитием
hands-on ML with Scikit-Learn, Keras & TensorFlow 2019 +
Mathematics for Machine Learning
кое какие знания уже имеются,
хочу найти человека который готов со мной начать, что бы мотивировать друг друга или обсуждать непонятные вещи и т.д.
тг: WallHack3r
+ щас занимаюсь саморазвитием
Вкатун-вкатунище.
Где работу искать собрался потом?
> + щас занимаюсь саморазвитием
Начни с общего изучения техник/методов. На том уровне, чтобы вкатиться, дальше будет решать умение разобраться в бизнесе и процессах, чтобы нормально собирать данные и проводить эксперименты. У каждого кабанчика своя специфика.
но ведь на всех вканутов не хватит X5.
А обычному бизнесу проще обычного программиста подучить
>x5ретейлгрупп Пятерочке
Как там в 2019, пердикс?
В смысле не хватит? Вакансий в пятерочке полно, всех датасаентистов трудоустроить можно
Чел, мы джуниксов не набираем. Спок.
Кто сказал, что речь о вакансиях разработчиков?
Нужен опыт проведения отмен, мы вам перезвоним.
пидоры, а. тред про ML, Они обсуждают рабочие места и трудоустройство
пиздуйте в перезвоним тред и в общий бугурт треды
пиздуйте в перезвоним тред и в общий бугурт треды
это такой намёк, что работы у датамакак не будет?
Анон, есть какое-либо ± простое приложение (вероятно на питоне), с двумя командами "натренируй на этом датасете" и "генерируй из этого семпла" именно для трансформеров?
Просто я ебал платить NovelAI 10$/мес, которые еще и не оплачиваются на моей руснявой карте.
А запускать целый GPT на моем некроноуте - это изначально проигрышная затея.
Поэкспериментировав с NovelAI я выяснил, что на файнтьюнинге нескольких томах Волчицы и Пряности получается не такой уж и плохой результат! И вообще NovelAI далеко ушел от того же AID по качеству - ИИ по крайней мере умеет соблюдать сеттинг.
Возвращаясь к моему реквесту - фронтенд необязателен. Могу и сам написать. Важен движок, который сожрет датасет и потом по команде будет текст дополнять.
Просто я ебал платить NovelAI 10$/мес, которые еще и не оплачиваются на моей руснявой карте.
А запускать целый GPT на моем некроноуте - это изначально проигрышная затея.
Поэкспериментировав с NovelAI я выяснил, что на файнтьюнинге нескольких томах Волчицы и Пряности получается не такой уж и плохой результат! И вообще NovelAI далеко ушел от того же AID по качеству - ИИ по крайней мере умеет соблюдать сеттинг.
Возвращаясь к моему реквесту - фронтенд необязателен. Могу и сам написать. Важен движок, который сожрет датасет и потом по команде будет текст дополнять.
>Mathematics for Machine Learning
какого автора?
Хайп сдулся. Количество кабанычей готовых бросать деньги в дата-сосистов уменьшается.
> 10$/мес
> я ебал
уходи
Алгососист в этом треде сосирует?
буду потом смотреть.
бакалавра получу через пол года, потом 3 года до мастера, потом 5 лет опыта в машинном обучении за бесплатно и резюме в Zalando и еще куда нибудь
А это мысль, анальники.
Есть ли у вас любимое платье чтобы красиво гэпнуться от кабаныча?
Есть ли у вас любимое платье чтобы красиво гэпнуться от кабаныча?
а блядь, тред не тот
>Есть ли у вас любимое платье чтобы красиво гэпнуться от кабаныча?
>а блядь, тред не тот
Да нет, ты по адресу.
Да 10$ не проблема, но тут Мир вообще нигде кроме как в Рашке не работает. Надо на PayPal переводить вся хуйня. Сегодня попробую, что. Но лучше конечно всё самому сделать, чем жидам платить.
> Мир
чем думал, когда карту заводил, баклан?
Что за высер шизика? Где нормальный гайд для вкатунов.
>2k22
>вкатываться в ml
А куда вкатываться? Всяко лучше, чем на заводе масло протирать.
> А куда вкатываться?
В ЭС же. Ты ЭС петуху отвечаешь
Даже на завод реальнее вкатиться, лол.
ML хайп давно лопнул и вкатуны не нужны от слова нахуй.
Вкатился в 2021, спрашивай свои ответы
Расскажи как вкатывался
Решил попробовать поковырять нейронки, соответственно понадобились датасеты. Попытался зарегистрироваться в Kaggle. Вписываю все поля в форме, и на сабмит нихуя не происходит! Думаю в чем прикол, лезу в нетворк, а там с сервера приходит ошибка валидации. Знаете из-за чего? Из-за того что передается пустое поле userName. То поле которого нет в форме в принципе, блять! При попытке зарегаться через гугл акк все еще хуже, т.к. запрос тот же, а поле в форме всего одно. Что за говношоепы это делали? Есть те кто недавно регался, была подобная проблема?
ЭСшизы, горькие петухи, талебоопущи..
Какие-то мани неосиляторы регистрации кагла
Нет был обсуждать ответ на главный вопрос мироздания, нет хочу жрать перезвонильный тред
https://www.youtube.com/watch?v=1tVxbVPVG6k
Какие-то мани неосиляторы регистрации кагла
Нет был обсуждать ответ на главный вопрос мироздания, нет хочу жрать перезвонильный тред
https://www.youtube.com/watch?v=1tVxbVPVG6k
Бля зaвтрa нa рaбoтe пoд фoн включу. Кaкoй жe Бaбушкин aхуeнный
> горькие петухи
Официально опущены. Сама идея Саттона, что все задачи можно забороть просто накидав побольше слоев и параметров, это просто предположение, основанное на отсутствии внятных контрпримеров. Теперь, когда есть как минимум один запруфанный контрпример (трансформеры не могут даже в несложные математические задачки), эта идея Саттона не оправдалась.
Что лучше взять 24гб 3090 или P100 16гб для всяких там нейро-экспериментов?!
Аппликейшн для искусства
https://www.reddit.com/r/MediaSynthesis/comments/s96tlt/tang_dynasty_heroes_portraits_and_armor_generated/
Эти китайские ебала не существуют. То есть это уникальные изображения с нуля, но с обучением по реальным.
https://www.reddit.com/r/MediaSynthesis/comments/s96tlt/tang_dynasty_heroes_portraits_and_armor_generated/
Эти китайские ебала не существуют. То есть это уникальные изображения с нуля, но с обучением по реальным.
A100 лучше чем P100
Дата сосеры, хули вы такие нищие?
https://habr.com/ru/company/ods/blog/572264/
Синьор за 200, лид 250 - ахуенно, да?
>На одной конференции автор рассказывал о том, что они стабильно нанимают людей на меньшие деньги на hh и не публикуют вакансии в ODS, чтобы не получить ушаты лапши.
аххаха блять
Ну я до этого работал в разных местах в сфере перекладывания экселей, так что питон / SQL в работе использовал + задрачивал теор.вер, статистику, машоб. Решал кейсы на Kaggle. На собесах спрашивали в основном по теории машоба, основным алгоритмам и статистике + расспрашивали про решенные кейсы на Kaggle.
>собесах
Сколько было? Какой город?
Бля Бабушкин может 200 пожать. Пиздец)
>Сколько было?
1 + тестовое
> Какой город?
Компания за бугром, удаленка
Джуном и на удаленку?
Мидлом. Опыт перекладывания экселей удалось удачно продать.
>Синьор за 200, лид 250 - ахуенно, да?
Что не так? Типичные айтишные зарплаты в ДС.
Какой самый сложный вопрос для тебя был на собеседовании?
https://www.youtube.com/watch?v=4voLlzLT3uM
скоро два величайших пиздабола современности в ИТ сделают ТИКТОК-КОЛЛАБ!
поч пиздабола?
В одной компании сильно гоняли на всяким нутрякам питона (уже не помню деталей) и методам датафрейма в пандасе, но в итоге оффер я там тоже получил, хотя и на половину вопросов не ответил. Но в целом я бы не сказал, чтобы меня где-то прям разъебали на тех собесе. В подавляющем большинстве мест просто не отвечали на мое CV, скорее это было проблемой.
Меня больше интересует, а какого хуя у топовых дата аналитиков тихлидов такая ебануто высокая зарплата, по сравнению с дата саентистами? Принято считать, что дата саентисты богаче.
Зарплата зависит от рыночка. Чтобы 1 дата-саентист мог работать ему нужно 5 человек обслуги. дата-саентистом может стать любая усатая баба не прогулявшая матан, а до программиста надо доработаться.
Что из статистики нужно знать? В итоге ты дс или мл инженер?
Может кто-нибудь накидать примерный актуальный список навыков чтоб взяли на ml-инженера?
Какая нахуй обслуга? При чем здесь программисты? Матан и дата саенс? Что ты несешь, шизик?
>Что из статистики нужно знать?
На уровне университетских курсов по статистике и теор.веру для тех.специальностей. Особенно стат.тесты, параметрические и непараметрические методы.
Анализ временных рядов (стационарность, декомпозиция, моделирование).
>В итоге ты дс или мл инженер?
дс
Вообще "датасаентистами" в 22 году и называют аналитиков. Челы которые чисто копаются с моделями и их поддержкой называются ml инжинеры, ну и они как обычные прогеры короч: импакта для улучшения бизнеса у них меньше чем у аналитиков, просто копают за свою зепешку всякую техническую залупу и всё, с чего им особо много платить?
Всем у кого пузырь лопнул посвящается.
https://www.itweek.ru/bigdata/article/detail.php?ID=222185
https://www.itweek.ru/bigdata/article/detail.php?ID=222185
>skills
Пральна, демонстрирует самую расхайпованную и переполненную вкатышами область
Мои соболезнования
Какой язык учить-то для мл? Я понимаю что это вроде не главное, но все-таки.
Вроде раньше как питон был базовый.
А сейчас на чем реализуют крупные проекты типо массового распознования на улицах? Неужто тоже питон?
Вроде раньше как питон был базовый.
А сейчас на чем реализуют крупные проекты типо массового распознования на улицах? Неужто тоже питон?
к сожалению да, тоже Питон
Visual Basic
Хуй знает где спросить, тут наверное самые умные люди в программаче, как правильно называется нелинейное преобразование, когда у меня заданы коэффициенты для значений от 0 до 1 (то есть 100%, то есть максимума функци), и мне надо применить их к какой-то функции, чтобы изменить ее форму?
Проекция?
Чет вообще не гуглится.
> у меня заданы коэффициенты для значений от 0 до 1, и мне надо применить их к какой-то функции, чтобы изменить ее форму?
Что такое "коэффициенты для значений"? Ты результат выражения f(x) называешь коэфом для значений? Это результат функции так-то. Как можно применить результат функции к другой функции, чтобы изменить ее форму?
Таблица значений. Примерно таких: 0=0, 0.1=0.125, ... 0.9 = 0.875, 1=1
то есть результат функции. как ты себе представляешь "применить" их к другой функции?
>от 0 до 1 (то есть 100%, то есть максимума функци)
Тут важно, что область определения у меня от 0 до 1. Мне надо соответственно умножить значения функции от 0 до максимального значения на эти коэффициенты.
Чувак, это называется проекция. Погугли "проекция графика функции", не может быть, что бы ты не нашёл
Да, в большей части счёт используют питон. Но это не страшно, т.к. ботлнеком в производительности является вычислительная мощность, а весь код для вычислений естественно написан на си/куда и просто вызывается из питона по при.
Зачем тебе название для этого? Ты все правильно сказал, у тебя нелинейное преобразование, по сути ты считаешь функцию от функции, g(f(x)). Можешь погуглить про композицию функций, но зачем оно тебе?
Гуглится только проекция векторов. Попробовал реализовать нужные функции в коде, результат вообще не похож.
Мне надо добиться результата как на картинке.
ты, наверное, хочешь сделать curve_fit, но не знаешь как это сформулировать.
ознакомься https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.curve_fit.html
Нет, мне именно к функции надо это применить. Ну или к массиву значений, все равно же в численном виде все считается.
читай внимательней. первый аргумент этой функции - функция
(хотя я по-прежнему не понимаю тебя)
Дисторшн.
> Мне надо добиться результата как на картинке.
То, что ты описал словами и то, что у тебя на картинке это вообще ни разу ни одно и то же. Как ты вообще попал в компанию, где тебе нужно такие графики рисовать? Это для тебя вообще? Может работу сменишь?
Попробуй такую
p(x) = 1 - ((1-x) * Z)
Где 0 < Z <= 1
Только там должно быть чуть сложнее для f(x)<0; Там нужно x/abs(x)
https://www.wolframalpha.com/input?i=plot++sin%28x%29%2Fabs%28sin%28x%29%29++%281-%28%281-abs%28sin%28x%29%29%29++0.9%29%29
ля, нет, там пустоты появляются
Ну если у нас вопрос чисто про то, какая функция нужна, чтобы дмсторшон сделать, то наверное кубический корень должен хорошо подойти:
https://www.wolframalpha.com/input?i=plot++sin%28x%29%5E%281%2F3%29&assumption=%22%5E%22+-%3E+%22Real%22
>А сейчас на чем реализуют крупные проекты типо массового распознования
> 2022
> языки
Человече, давно уже профессия программиста превратилась из того что определяется знанием языков в то что определяется знанием фреймворков. В мл в том числе. Бессмысленный вопрос поэтому, "типо массового распознования" реализуется через фреймворки, их и учи, язык не важен. В 22 году от прогера в любой области требуется возможность разобраться с кодом на любом языке. Это в целом хорошо, приближает к тому понятию программирования как его понимали деды
Чет деградация по сравнению с акинатором.
поздно ли вкатываться в мл в 2022? какие щас хайповые темы в айти либо будут долго хайповать. долго это более 10 лет
10 лет ни один хайп не держится, если это только не в корне меняющая индустрию вещь. тащем-то, мл как раз в корне меняет индустрию. выводы делай сам
Наверное, ватные диды так же про интернет говорили. Мол, хайп, нет задач, игрушка для дебилов.
> Ынтырнот сорт ов развлекалова, не более.
Для пердиксов и персонально ЭС петуха - безусловно. Для нормальных людей там полно годноты.
Литература, мань. Одни либген и сайхаб чего стоят, а есть и более узкоспециализированные ресурсы. Это твой предел акинатор и бравлстарс, так ты на всех не проецируй.
> как я сказал
Покажи хоть кого-то, кому не похуй, что там сказал ЭС петух?
>ватные диды
Либерашке опять ватники говна подложили?
в нейросеть эту параболу ебаную ебани, пусть разберется
какой же ты шиз
>какие щас хайповые темы
блокчейн, нфт
Как что-то плохое. Назови хоть одну вещь, которая не может являться развлекаловом
Что думаете про этот проект? Обскачет дифьюжн или нет?
https://github.com/autonomousvision/stylegan_xl/
Интересно взглянуть как BLIP поведет генерацию в латент спейсе.
https://github.com/autonomousvision/stylegan_xl/
Интересно взглянуть как BLIP поведет генерацию в латент спейсе.
Никого не хочу задеть, но гифка, как из БДСМ-клуба, где Хозяин гладит своего раба. Можно более нейтральные картинки в будущем?
И размножением, конечно
>сколько стоит сломать человеку ноги
Какой же Babooshkin базированный, пиздец
Какой же Babooshkin базированный, пиздец
Наверное специально набирал чтобы вести небольшой смол ток
>хипстерские технологии, которые не работают
Почему не работают? Вот моя однокллассница, раздетая DeepSukebe, когда это еще можно было, четыре раза с даунскейлом до height = 640 и смещением на полпикселя во все стороны. Потом просто миксанул и применил фильтр антисвертки - деление на спектр Гаусса. Без всяких нейросетей уже. Дрочить вполне можно. Хипстерские технологии работают.
> DeepSukebe
Я не следил. А его закрыли или что?
> смещением на полпикселя во все стороны
Я не понимаю, ты несколько раз прогнал одну и ту же фотку, просто немного ее редактировал? А потом наложил несколько друг на друга и... что? Я не вижу здесь размазанностей никаких
Раньше для такого нужен был уверенный пользователь ПК с фотошопом, а теперь пиэйчди маняматик датасайентист и несколько дней работы видеокарты.
>ты несколько раз прогнал одну и ту же фотку, просто немного ее редактировал?
Дипсукебе на тот момент требовал фотку X x 640. Поэтому я как нормальный дата-сайнтист сделал ему 4 таких фотки со смещением на полпикселя в разные стороны. А потом просто выполнил deconvolution.
> А потом просто выполнил deconvolution
Я не понимаю. Сукебе же выдаёт уже готовую фотографию, а не веса на сетке. Ты на чём деконволюшон делал?
наверное так https://scikit-image.org/docs/dev/auto_examples/filters/plot_deconvolution.html
только не понял нахуйя он это сделал если фотка не 19 века и не сделана оптическим микроскопом
ежкин-кошкин, ну это не деконволюшн, это ресторейшен/суперрезолюшен. Это вообще другая шняга.
Что-то там какой-то ужас по ссылке. Кстати, там еще и шарпер (деблюр) по фотке проходится
> Richardson–Lucy deconvolution
Ясно, в названии этого алгоритма "деконволюшн" это и есть деблюр. Ни разу не слышал, чтобы так деблюр называли
а ты шаришь в мл? напиши свой телеграм хотел с кемто пообщаться кто шарит, я сам вкатун
поверхностно и только в теории. в реальности у меня нет ни одного реализованного проекта
Ну что, анальники? Готовы вкатываться в курьеры и кукарекать "свободная касса" в макдаке? AlphaCode уже на уровне среднестатистической макаки, то есть лучше вас. А ведь ещё в прошлом году ничего лучше CoPilot не было. Прогресс таки выебет вас в жопу без вазелина, лал.
соревновательные программы это хорошо
до решения реальных задач думаю еще далеко
Надеюсь, это ты сам пришел, а не какой-то долбоеб принес?
>этот смешной демеджконтроль анальника которого скоро заменят
Давненько не было чет.
Макак рано или поздно заменят, на других макак. Но потребность рынка в простых разработчиках уменьшится. Нокод макаки будут производительнее кодомакак, их потребуется меньше. Тут есть противоречие. Потребность в экспертах не уменьшится, но если кабанчику придется нанимать обоих, ноукодомакаку и эксперта, то зачем макака нужна, когда эксперт может использовать ноукод подход, а у нокодмакаки опыта принятия технических решений не будет? Опять же просто возрастут требования к экспертам. Но что будут делать кабаны, когда эксперты уйдут на пенсию? Выращивать новых экспертов? На каком опыте?
Что должно случиться, то случится...
Вопрос интересный, зачем ИИ хуманская инфраструктура кода, если ИИ сможет писать сразу машинный код? И как тогда люди смогут поддерживать созданное ИИ? Как перепрограммировать терминатора если у него изначально исходников прошивки не было?
> ИИ
Что?
Ну не AI же. AI это то что бегает за игроком в играх.
>Но что будут делать кабаны, когда эксперты уйдут на пенсию?
Что надо, то и будут. А здесь и сейчас ты вкатываешься на свободную кассу
>потребность рынка в простых разработчиках
Но тред же про мл. Разве экспертиза в бизнесе кабанчика - не обязательное условие для дата саентистов? Нахуй они нужны, если умеют только фит предикт.
выложи свой код, посмотреть хочу
Кто лучшая девочка машоба и почему это Дорогуш?
> Вопрос интересный, зачем ИИ хуманская инфраструктура кода, если ИИ сможет писать сразу машинный код? И как тогда люди смогут поддерживать созданное ИИ? Как перепрограммировать терминатора если у него изначально исходников прошивки не было?
Самое смешное, что 100% анальников считают концепцию "исходный код - компилятор - исполняемый код" чем-то абсолютным и безальтернативным. И даже не в курсе того, что это только один вариант из неизвестного числа возможных, и что его придумала пикрелейтед бабуля, о которой они и не слышали никогда и даже имени ее не знают.
Убиватели анальников, катимся!
>Бурнаев
>Классный чел
Ебанутый? Я у него бак диплом писал и в сколтехе потом курс проходил, супер Мега душный уебан. Жадный к тому же, студентам нихуя не платит а сам покупает диваны по 8к евро. Раскинул свои щупальца как спрут, вписался в тыщу организаций ведущим ученым и сидит чисто статьи лутает, которые тысяча студентов пишут. Вот Оселедец реально классный чел, а этот мимо нахуй
>студентам нихуя не платит
А студентам ещё и платить кто-то должен?
Тут оффтоп, психиатрические термины и экзистенциальные вопросы вместо программирования.
Прошлый тут
Шапку не копирую, потому что она не нужна.
Хочешь ML, учи CS229, CS231n, линейную алгебру, теорвер, матстат, базовый матан и matrix calculus.
Хотя нет, не учи. Но хотя бы backpropagation освой. Больше нахуй ничего не нужно, потому что ничего нового за 50 лет AI не изобрели. И ты все равно не будешь нихуя делать серьезного, твой максимум - поигрульки с готовыми решениями и работа перекладывателем экселя или, если повезет, ничем не примечательным машоб-дауном с зарплатой ниже любого любителя крудов. С тебя даже фронтендо-макаки будут смеяться, ведь они хотя бы могут в нормальный код. Зато у тебя будет бейджик элитария. Правда, элитарием ты будешь только у себя в голове.
Еще учи graph machine learning (GML). Это, как водится, реклама.
Осторожно, в треде манябиологи и маняпсихологи, которые с каких-то хуёв решили, что они шарят в биологии и психологии, хотя всю жизнь были программистами, причем бездарными.
Хочешь что-то спросить? Только вкатываешься? Спрашивай совсем базовые вещи, наши дурачки тебе расскажут по верхам с пальцем у подбородка о спектральной кластеризации, о которой что-то услышали на лекции "Введение в машинное обучение" на 3-м курсе своего МухГУ. Что-то более серьезное - пожалуй, не здесь.
В общем, наши дебики тут сознание оцифровывать собрались, математики, исследователи, серьезные люди, паперы, все дела. Правда, пока только пытаются генерить прон с лолями, смотрят курсики Стэнфорда и хлебают мамины борщи. Работа подождет - растет будущий ученый, а не эта ваша макака! Пока оперируют экселями, скоро будет ПиЭйчДи и работа за зарплату уровня формошлепов, а то и меньше.
Заходите, мы с них тут уютно смеемся.