Здравствуйте, данные научники, возникла идея написать классификатор, суть в том, чтобы телеграмм бот выдавал картинки, человек их оценивал и ему назначаются цифры(представьте координаты в 3-хмерном пространстве), т.е если человеку понравились определенные картитнки, то бот отнесет его к определенной категории людей, в общем то можно просто поставить весы у каждой картинки по каждому измерению, типа если тебе понравилась эта картинка, то ты такой-то и далее тебе будут более релевантные картинки присылаться, в общем-то алгоритм не требует нейронок, но я подумал, что нейронки и классификаторы(это одно и то же?) подойдут тоже для этой задумки, хотел поспрашивать что почитать, какая реализация подходит под эти параметры(сам о нейронках только в общих чертах знаю). Я не планирую писать свою сложную рекомендательную систему, но мне кажется что решение уже есть и оно будет эффективней того что я могу напрогать своими ручками, прошу в ответы, кто знает в каком направлении мне двигаться
коллаборативная фильтрация на основе k-means
Self organized maps
но тогда тебе придется прислать каждому новому юзеру 20 картинок, чтобы понять что ему нравится, что довольно тупо по нынешним временам.
Начать сразу с одной картинки будет нельзя.
>в общем-то алгоритм не требует нейронок,
и почему ты вообще за это зацепился?
Ведь на картинках что-то изображено и это что-то очень важно.
если тебе не хочется обучать нейронку, набери свой датасет из картинок и воображаемых юзеров. Потом поставь Orange и посмотри как он сделает циферки из картинок (всеми обоссываемой) нейросетью ImageNet, но по сути он же распознает картинки.
Далее придумаешь что-то получше и можно будет писать в коде.
> Я не планирую писать свою сложную рекомендательную систему
А это именно она, гугли классические алгоритмы для рекомендах
Я предполагаю что картинки будут создавать люди, например я, основываясь на своих предпочтениях и поэтому люди могут так же давать характеристику картинки, поэтому и думаю что не обязательно нейронки юзать, но в остальном спасибо, почитаю, посмотрю
Спасибо!
освятил
Тут есть исследователи, или только дотасаентисты?
>Тут есть исследователи
На месте.
Охренеть. Чем занимаешься?
https://www.youtube.com/watch?v=-QS0WMx-zB4&ab_channel=%D0%90%D0%B4%D0%B2%D0%BE%D0%BA%D0%B0%D1%82%D0%95%D0%B3%D0%BE%D1%80%D0%BE%D0%B2
Я примерно понял как эта поебень работает, но как он хочет самообучающийся ИИ сделать на основе этой хуйни? можно словить смертельную дозу кринжа с комментов
Я примерно понял как эта поебень работает, но как он хочет самообучающийся ИИ сделать на основе этой хуйни? можно словить смертельную дозу кринжа с комментов
>This is an overview of the program - Syllogistical homoseksuaali
ИИ уровня двач.
Ну так классическая хуйня из 60-х, мол, достаточно просто загрузить в систему аксиом и компуктер сам всё выведет. Навыдумали всяких хорновских дизъюнктов, доказали в них полноту метода резолюций, а потом откуда-то полезли функции аккермана и экспоненты экспонент. На этом всё загнулось без какого-либо практического результата. Естественно, там под ИИ подразумевался автоматический логический вывод и прувер разных теорем.
https://en.wikipedia.org/wiki/Logic_Theorist
Ну, metamath + GPT3 вроде работает, не все плохо с подобными темами.
Есть и более совершенные программы для подобных целей, где более полный силлогистический базис https://www.youtube.com/watch?v=PtqBE4BTqwQ и без ошибочного того же логического квадрата или представления о дихотомии. Оказывается, что как типов суждений, так и типов силлогизмов будет много больше (помимо классического конъюнктивного), чем ранее считалось, вместо одного вывода силлогизма может быть, как минимум, два, всё это согласуется с алгеброй логики и другие преимущества тоже есть.
> эти картинки
Напомнило. Смысла примерно столько же
Кто-нибудь хорошее делал с ConvLSTM слоями и более свежими комбинациями с attention блоками? Читаю https://arxiv.org/pdf/2102.03586v1.pdf, смотрю реализацию https://github.com/czh-98/CMS-LSTM
У тебя, если ты считаешь эту хуйню чем-то умным. Родина дала MLTT, HoTT, CubicalTT, нет, хотим какую-то шизу без задач от адептов ШУЕ ППШ...
Это же основа логики. И не древние русы, а древние греки.
>ШУЕ ППШ
Что это?
шизофренический уклад един путь пустого шприца
Можно сейчас реалистично аугментировать снимки с дрона на разную погоду (хотя бы сменить солнечную на пасмурную) или это всё так себе?
Чел, не корми шизика.
Я, конечно, быдло и не шарю, но какие сейчас могут быть юз-кейсы у long term video prediction?
Фактически это далеко не единственная область применения подобных типов слоёв (Conv3D, ConvLSTM) - не каждая последовательность матриц — это видео)))
Как пример, писал с применением подобной вещи - аппроксиматором для решетчатых уравнения Больцмана (обтекание жидкостью препятствия и возникновение не стационарности течения)(не особо успешно, пример прикрепил).
А если «повыдумывать» - то можно в stack собрать какие-либо темпоральные данные (курсы валют) и покатать данными слоями в составе например энкодеров или ещё чего, с учётом разномасштабных окон и возможно будет практическая значимость (если конечно потом получится RL агента научить этими прогнозами пользоваться).
Как пример, писал с применением подобной вещи - аппроксиматором для решетчатых уравнения Больцмана (обтекание жидкостью препятствия и возникновение не стационарности течения)(не особо успешно, пример прикрепил).
А если «повыдумывать» - то можно в stack собрать какие-либо темпоральные данные (курсы валют) и покатать данными слоями в составе например энкодеров или ещё чего, с учётом разномасштабных окон и возможно будет практическая значимость (если конечно потом получится RL агента научить этими прогнозами пользоваться).
Данные - это просто данные)))
>но какие сейчас могут быть юз-кейсы
Предсказание траекторий для self-driving
>Охренеть. Чем занимаешься?
Аспирант в американской шараге. Занимаюсь по сути тем же, чем занимаются машобщики в индустрии - трясу нейронку пока не вытрясу нормальный результат. Затем публикую пейперы, которые цитируют 1.5 инвалида и забывают. Область не скажу, но если в общих чертах, то классификация изображений.
>Аспирант в американской шараге.
Пили стори, как перекатился?
>Пили стори, как перекатился?
Есть два варианта. Первый - продаешь бабкину квартиру в ДС и поступаешь на платный бакалавриат, во время которого заводишь знакомства с преподами и изучаешь разные аспекты жизни. После этого абсолютно без проблем перекатываешься на ПхД.
Второй вариант - заканчиваешь где угодно бакалавриат и поступаешь сразу на ПхД. Это сложнее, но вполне возможно. Забудь про колледжи, которые от 50 места в рейтинге и выше. Все требования найдешь на сайте вуза. Обычно это всякие бумаги об образовании, TOEFL, GRE и эссе, почему ты хочешь у них учиться. Самое главное - это найти препода, которого ты хочешь себе в качестве научрука, лично с ним связаться и обкашлять вопросики. При его поддержке шансы возрастут на порядок.
Но вообще, идти на ПхД я не рекомендую. Будешь получать на уровне кассира волмарта, а после защиты диссертации в лучшем случае перекатишься в индустрию зачастую кодомакакой, а реалистично - пойдешь постдоком за нищенские 50-60к.
>за нищенские 50-60к.
Это что за капуста, белоруские зайчи в год?
Лучше после бакалавриата сразу в индустрию?
Можно ли вкатиться без вышки?
Нет. Не забывай, что для вката вышка должна быть свежей и топового вуза
Давно нашего чегото не смотрел, а он так здорово по хайпожорам дипшизным прошёлся
https://m.youtube.com/watch?v=oyBNkj3Xg9s
>Лучше после бакалавриата сразу в индустрию?
Если изначально не хочешь работать в индустрии и плевать на деньги, то можешь пойти на ПхД, но в противном случае нужно как можно быстрее устраиваться в индустрию, в идеале после бакалавриата.
Ебать, когда он школу то закончит?
Какую модель мне использовать, чтобы сделать переводчик письменного текста?
Надо, чтобы я взял условно 2 книги — на первом и втором языке, обучил ими модель (без синтаксического разбора, пусть модель хандлит опечатки и прочее) и получил переводчик.
Надоело гугл-транслейтер использовать.
Надо, чтобы я взял условно 2 книги — на первом и втором языке, обучил ими модель (без синтаксического разбора, пусть модель хандлит опечатки и прочее) и получил переводчик.
Надоело гугл-транслейтер использовать.
Кодирующе-декодирующий трансформер Жопеншмульцера.
Наверное тут таких не любят, но я попробую. У меня конкретная задача, которую я хочу закрыть и забыть. Почитал десяток статей и так и не понял что мне нужно. Есть изображения, приблизительно 5000х3000, на них хочу детектить объекты, их много, они перекрываются местами, но класс один. Нашёл прогу для разметки - LabelImg. На выходе будут PASCAL VOC/YOLO XML файлы как я понял. Дальше у меня 2 вопроса, какую модель выбрать, изходя из того, что мне , в разумных пределах, не нужна скорость, зато хочу размечать поменьше данных. И надо ли резать мои большие картинки на более мелкие и как?
Хочешь мангу нейронкой переводить?
Есть ли жизнь в мл без нейросетей?
Да, американского. На джуна еще требуют кандидатскую по матеше и опыт работы в Пентагоне
Есть, но она не модная и против нее копетоглисты
Вот ты сраказмируешь, но к этому всё и идёт.
Ну так покажи класс , шизик. Обьеби sota своими ебучими экспертными системами.
объеби sota в какой области?
sota везде разное.
Квадрипл хуйни не скажет
Что такое копетоглист?
>Обьеби sota своими ебучими экспертными системами
До хуя исследований в области ЭС финансируется? ЭС боятся, поскольку они работают и могут выбросить на мороз многих говноедов.
Хоть в какой-нибудь.
Покажи рабочий пример для начала.
>И надо ли резать мои большие картинки на более мелкие и как?
если нарежешь картинок через разметку, то потом просто пройдись по ним трансформом и усе
Видали, там GAN запилили на трансформерах. Может быть оно будет генерировать нормальные картинки, а не кринжатуру всякую, как обычные ганы.
Рекомендательные системы, табличные данные, интерпретируемые модели и быстро работающие модели с терпимым качеством.
В остальных областях без нейронок скорее всего поешь говна.
>ЭС боятся, поскольку они работают
Не работают
Не работают
Работают, но не лучше любого другого метода тех лет.
>В остальных областях
Как жить без генератора всратых котиков?
Покажи в классификации изображений "классический" метод, сравнимый с нейронками. Желательно чтобы ещё скор на imagenet был.
Или в nlp (в задачах чуть сложнее определения спама).
Идол этого треда на обложке. Почему еще не было.
https://www.youtube.com/watch?v=tk-vPly7vf4
https://www.youtube.com/watch?v=tk-vPly7vf4
пацаны
работаю прогрером, хочу перекатиться в cv
но не хочу весь день сидеть в жупитере
расскажите плез, цвшники все время тусуют в построении моделей или тоже прогают?
работаю прогрером, хочу перекатиться в cv
но не хочу весь день сидеть в жупитере
расскажите плез, цвшники все время тусуют в построении моделей или тоже прогают?
CVшники больше прогают, чем модели строят. Там все модели давно построены.
тогда, по идее, лучше топить в алгоритмы, чем в оптимизацию и теорвер?
Возможно, но я не особо в теме CV.
бля, братан, а херли тогда советуешь
Допустим, мне нужно выделить кластеры среди клиентов компании по специфике их потребительского поведения. Метрик по клиентам до сотни и многие из них категориальные.
Мой план:
1. Снизить размерность автокодировщиком до 2\3 переменных
2. Использовать какие-нибудь простые алгоритмы кластеризации и заодно обратить внимание на точки вне кластеров хотелось бы заодно решить вопрос anomaly detection в данных
Чего я не могу понять, так это на что ориентироваться при выборе продолжительности обучения автодировщика для данной цели - в интернетах на всяких towardsdatascience слишком абстрактные статьи, и такие же абстрактные примеры с произвольной архитектурой и количеством эпох (часто, насколько вижу, берется достаточно большое количество эпох).
Имеет ли смысл подходить к этому как обычно делается при обучении с учителем и ориентироваться на потери на тестовых данных или тут это не то?
Мой план:
1. Снизить размерность автокодировщиком до 2\3 переменных
2. Использовать какие-нибудь простые алгоритмы кластеризации и заодно обратить внимание на точки вне кластеров хотелось бы заодно решить вопрос anomaly detection в данных
Чего я не могу понять, так это на что ориентироваться при выборе продолжительности обучения автодировщика для данной цели - в интернетах на всяких towardsdatascience слишком абстрактные статьи, и такие же абстрактные примеры с произвольной архитектурой и количеством эпох (часто, насколько вижу, берется достаточно большое количество эпох).
Имеет ли смысл подходить к этому как обычно делается при обучении с учителем и ориентироваться на потери на тестовых данных или тут это не то?
>CVшники больше прогают, чем модели строят.
Но это реально так.
>Или в nlp
Кекус, нейроговно в банальный морфоонализ не может
>классификации изображений
В OpenCV куча реализованных алгоритмов
>Имеет ли смысл подходить
Имеет смысл сначала "снижать размерность" классикой типа pca и sne.
Насколько могу судить РСА менее эффективен в сравнении с автокодировщиком при наличии нелинейных связей в данных, с t-SNE малознаком
>Кекус, нейроговно в банальный морфоонализ не может
Как и классические методы.
>В OpenCV куча реализованных алгоритмов
Ты с кем споришь? Кто-то говорил, что дедовских алгоритмов не существует? Найди теперь скор на imagenet с использованием HoG'ов, кнн-ов и svm-ов.
https://github.com/openai/DALL-E
Ебало шизика, рассказывающего про рисунки индусов, представили?
Интересно, какие сейчас манёвры будут.
Ебало шизика, рассказывающего про рисунки индусов, представили?
Интересно, какие сейчас манёвры будут.
Это порезанная версия что ли? Чего так мало весит?
Так это ж не вся модель. Алсо, индусы как всегда, индусский код как стиль жизни:
Before running the example notebook, you will need to install the package using
pip install git+https://github.com/openai/DALL-E.git
Прописать в самом блокноте никак нельзя, разумеется.
This can be changed to a GPU, e.g. 'cuda:0'.
dev = torch.device('cpu')
Самим написать cuda:0 вместо cpu никак нельзя, зато целый комментарий - запросто.
> Это порезанная версия что ли? Чего так мало весит?
Оно же загружает сами декодер и энкодер по ссылке с опенаи, код не смотрел штоле:
enc = load_model("https://cdn.openai.com/dall-e/encoder.pkl", dev)
dec = load_model("https://cdn.openai.com/dall-e/decoder.pkl", dev)
Сап еврибади. Я - придурок 2 курс, вкатываюсь в deep learning. Вопросы следующие:
Если с вышкой понятно что учить, то как быть с теорвером и матстатом? Область обширная, а что нужно на практике (читай, собеседовании) непонятно. Что читать?
Отсюда второй вопрос. Где получать реальный опыт на реальных задачах? Каггл, фриланс, пэт проекты? Что ещё?
Третий вопрос. Чего хотят от trainee/джуна? Набирают ли конторы мясо вроде меня с целью обучения (Украина), и есть ли в этом смысл вообще?
Тупо пиздячить теорию не вариант, да и непонятно куда двигаться.
Всем мир, атдуши.
Если с вышкой понятно что учить, то как быть с теорвером и матстатом? Область обширная, а что нужно на практике (читай, собеседовании) непонятно. Что читать?
Отсюда второй вопрос. Где получать реальный опыт на реальных задачах? Каггл, фриланс, пэт проекты? Что ещё?
Третий вопрос. Чего хотят от trainee/джуна? Набирают ли конторы мясо вроде меня с целью обучения (Украина), и есть ли в этом смысл вообще?
Тупо пиздячить теорию не вариант, да и непонятно куда двигаться.
Всем мир, атдуши.
плюсы учи
> Ебало шизика которые не умеет читать
Твоё типа? Вот
И что оно делает? Запустил в куколабе, как выяснилось, индусский код не работает, но рабочий вариант в первом issue. Грузит откуда-то пенгвина, пик 1, как-то его обрабатывает(?), пик 2. И это все?
Попробовал менять параметры, оно его по оси крутит и отзеркаливает(?). Хуя они молодцы, я так в пейнте могу...
Короче, как я пынямаю, это какая-то вспомогательная часть от DALL-E, которая что-то делает с картинками. И даже это нечто нормально выложить не смогли - недописанный, нерабочий код, никаких пояснений. И эти макаки в опенаи работают, за среднемесячную зарплату равную десятилетнему доходу среднего рабсиянина, пиздец. Какой же испанский кринж...
Это пока все на что способно нейроговно
Маня, плес... Покажи, на что твои ЭС способны, потом кукарекай
аноны, иду через неделю на собес по cv в сберыч
что советуете поддтянуть по линейной алгебре? svq, qr?
что советуете поддтянуть по линейной алгебре? svq, qr?
svd, соре
Можно ли с помощью обучения с подкреплением решать комбинаторные задачи? Так же как метаэвристики, например.
Финансы, медицина, наука. А вот на что способно нейроговно, кроме переворачивания пингвинов?
ты уж меня извини, но нейроговно могет в комп зрение
другим я не занимаюсь, так что не знаю
мимо
Что занимает большую часть времени в твоей работе?
>могет в комп зрение
Не могет
Чтение двачей и загрузка картинок в Orange
>Финансы, медицина, наука.
Хоть один рабочий пример покажи.
пруфы?
В окно выглянь
аноны, не пиздите палками плез
работал 3 года в конторе питонистом бэкенда + для них же делал небольшой mvp по распознаванию облаков точек
матан на том или ином уровне паршивости знаю
сейчас наша контора к хуям развалилась из-за ебанутого СЕО и ищу работу - есть на пару месяцев запал и деньги, чтобы сменить профессию
хочу вкатиться в комп зрение
Вопрос:
1) есть ли смысл тратить время на fast.ai и подобные курсы или же лучше взять один пет проект и на его базе учить что-то?
2) на собесах насколько сильно дрочат по матану? Я в работе юзал только линейную алгебру - теорвр и прочее забыл довольно давно
Двач не раз выручал меня, надеюсь, что вы, ребята, еще разок подскажите) а то я немного в прострации - думаю стоит ли или нет, ато жалко будет время потраченного
работал 3 года в конторе питонистом бэкенда + для них же делал небольшой mvp по распознаванию облаков точек
матан на том или ином уровне паршивости знаю
сейчас наша контора к хуям развалилась из-за ебанутого СЕО и ищу работу - есть на пару месяцев запал и деньги, чтобы сменить профессию
хочу вкатиться в комп зрение
Вопрос:
1) есть ли смысл тратить время на fast.ai и подобные курсы или же лучше взять один пет проект и на его базе учить что-то?
2) на собесах насколько сильно дрочат по матану? Я в работе юзал только линейную алгебру - теорвр и прочее забыл довольно давно
Двач не раз выручал меня, надеюсь, что вы, ребята, еще разок подскажите) а то я немного в прострации - думаю стоит ли или нет, ато жалко будет время потраченного
>хочу вкатиться в комп зрение
>пару месяцев
Можешь даже не начинать.
не слушай ебаклака - это типикал токсик
имхо - лучше проект. Конечно надо разобраться в общем как работают нейросетки в задачах и сегментации и классификации
но все это можно покрыть чтением + работой на парой проектов
и да, очередной раз убеждаюсь, что двач и близко сравниться с одс не может
такое ощущение, что тут одни обиженки сидят
> НАД парой проектов
> сравнится
поправил себя
бля я еблан, там не нужен мягкий знак
>токсик
лол) дедуль, тригерят забугорные слова?)
А где их скачать-то? А то пишет, что когда-то разрабатывалось да и всё. Оно что, на магнитных лентах у дедов? Из современных слышал только об акинаторе как экспертной системе.
>А где их скачать-то?
Ты у мамки глупенький? Читай историю про MYCIN, там так пердаки у докторов разорвало, что они всячески торпедировали проект. Никто не позволит развивать работоспособные вещи, вся суть копетоглизма.
> Никто не позволит развивать работоспособные вещи
> вся суть копетоглизма
правильно ли я понимаю, что вся суть копетализма - делать неработающие вещи?
>что вся суть копетализма - делать неработающие вещи
Вся суть копетоглизма - давить все, что может лишить прибыли.
бля чел
работающие вещи генерируют прибыль, а не работающие - наоборот
так что вот это говно либо не работало, либо никому нужно не было
Вообще не в тему
да они все тут только о копетализме рассуждают
и что лучше: нейронки или мл
хочешь норм советов - иди в одс
>работающие вещи генерируют прибыль
Ну смотри, помнишь был в пендосии чел который написал штуку, которая составляла типовые судебные обращения? Так вот, у гильдии юристов бомбанули пердаки, поскольку они могли оказаться без денег и они начали таскать чела по судам. Все. Так же было и с докторами и с любым кого ты попытаешься оторвать от корыта с хрючивом.
давай ссылку
твоя сторона уж слишком радикально звучит
там сто проц не так, что плохие юристы и добрый прогер
>работающие вещи генерируют прибыль
Тем кто ими владеет, а не тем кто оказывается на помойке в результате их работы.
Ты статью читал, шизло? Автор гребёт бабло лопатой. Праклятый срапетаглизм, ух, как угнетают честного программиста!
> In 2019, Browder obtained $4.6 million in funding from Silicon Valley investors such as Andreessen Horowitz and Founders Fund, who were early funders of Facebook.[33]
Алсо, проект его живёт и процветает
> It is currently available in the United Kingdom and United States (all 50 states).[2]
Кто-нибудь ЛАМУ сберовскую пробовал в деле? Я на игрушечной дате опробовал только, как то так
Привет, пацаны. Есть идея для одного аналитического проекта, предлагаю обоссать всей бордой. У нас фирма делает жижу для парилок и табаки для кальяна. В принципе, суть проста – есть безвкусная основа, есть аромы в разных пропорциях. Появилась идея натренить модельку на веса каждого из ароматизаторов (их может быть до 100 шт, поэтому придется разбивать на группы), после чего нагенерить дохуя рандомных сочетаний компонентов и создать «ПЕРВУЮ В ИСТОРИИ ПОДЛИВУ СОЗДАННУЮ ИИ». Насколько эта херь жизнеспособна?
Сам околовкатун уже почти год, могу в фитпредикт большей части моделек с пониманием принципа их работы, панды, нампи, немного R и прочую вот эту всю хуйню уровня джуна. Но не могу в нейросети – CV и NLP мне не интересны, остальное выебоны
Сам околовкатун уже почти год, могу в фитпредикт большей части моделек с пониманием принципа их работы, панды, нампи, немного R и прочую вот эту всю хуйню уровня джуна. Но не могу в нейросети – CV и NLP мне не интересны, остальное выебоны
>всратый акинатор
>работоспособные вещи
>Насколько эта херь жизнеспособна?
Очень даже может и взлететь, главное красиво подать.
Подадим красиво, тут скорее вопрос в технической стороне вопроса
Что ты хочешь генерировать? Какие входные данные, какие целевые? Зачем - просто ради рекламы?
Рендомом проийдись, да и все
Ну пиздец. И чем ты там все это время занимался?
Целевую функцию придется выдумать.
Далее нейросеть найдет неочевидные ароматы, которые почемуто еще никто не смешал.
У вас отзывы есть?
Хотя бы в текстовом виде.
Обьем продаж? Популярность смесей на других сайтах? Общемировой каталог смесей?
Почему помимо свёрток в свёрточных сетях нужны пулинги?
Есть данные по продажам, всего около 140 объектов
>И чем ты там все это время занимался?
Маркетологом работал
Ну и напиши фитпредикт теперь.
Написал? Что получилось?
От зумеров местных не дождешься понимания бизнеса.
Объем модели уменьшается при сравнимых результатах
Сап. Какой минимум может понадобиться для того чтоб пройти на стажировку в компьютер вижн / мл? Насколько глубоко надо знать методы мл, opencv?
>мл, opencv
>компьютер вижн / мл
Чет кекнул, ты ящик трясти собрался, там на изичах вкат
Такая ситуация: на своем датасете обучил модель для классификации объектов (pytorch). Точность пока что меня устраивает ~80%. Но когда я загружаю модель для распознавания со своей камеры model.load_state_dict(), то выскакивает ошибка (даю лист, а нужно тензор, хотя в print() видно, что это тензор).
Решил загрузить модель fasterrcnn_resnet50_fpn, ошибок уже нет, но она выдает предикты очень странными (показывает, что вейп - кружка, я - кресло, иногда я - это я) и соответственно боксы вокруг объектов для отображения вообще показывают случайные вещи.
Вопросы: 1. Могу ли я все таки свою модель для классификации использовать уже для распознавания (что почитать, желательно с примерами)?
2. В моем классификаторе 4 слоя, в fasterrcnn_resnet50_fpn их очень много (сбился со счета когда считал). Полагаю, что из-за того, что много параметров в модели, у меня один кадр обрабатывается секунд пять (пока использовал только cpu, cuda не хочет видеть почему-то, но разберусь с этим потом). Можно ли обучить свою модель для детекции объектов, но чтобы она не была такая "тяжелая", какое минимальное количество параметров надо для детекции около 5 классов?
3. Лучше использовать готовую обученную модель или все таки пытаться сделать свою для детекции? Для начала мне нужно определять людей на изображении и еще 4-5 объектов (типа машина и т.д.).
В дальнейшем найденные объекты будут уже классифицироваться.
Решил загрузить модель fasterrcnn_resnet50_fpn, ошибок уже нет, но она выдает предикты очень странными (показывает, что вейп - кружка, я - кресло, иногда я - это я) и соответственно боксы вокруг объектов для отображения вообще показывают случайные вещи.
Вопросы: 1. Могу ли я все таки свою модель для классификации использовать уже для распознавания (что почитать, желательно с примерами)?
2. В моем классификаторе 4 слоя, в fasterrcnn_resnet50_fpn их очень много (сбился со счета когда считал). Полагаю, что из-за того, что много параметров в модели, у меня один кадр обрабатывается секунд пять (пока использовал только cpu, cuda не хочет видеть почему-то, но разберусь с этим потом). Можно ли обучить свою модель для детекции объектов, но чтобы она не была такая "тяжелая", какое минимальное количество параметров надо для детекции около 5 классов?
3. Лучше использовать готовую обученную модель или все таки пытаться сделать свою для детекции? Для начала мне нужно определять людей на изображении и еще 4-5 объектов (типа машина и т.д.).
В дальнейшем найденные объекты будут уже классифицироваться.
Аноны, я слыхал, сейчас подвижки случились в генерации речи, это правда? Где почитать?
Нужны ли эти перехайпаные стенфорды или можно сразу вкатываться по контенту из секции "Что почитать?".
>В моем классификаторе 4 слоя, в fasterrcnn_resnet50_fpn их очень много (сбился со счета когда считал)
>задает вопросы почему хреновое качество.
читай внимательней.
Для простого рабочего классификатора 4-х слоев достаточно.
fasterrcnn_resnet50_fpn - обученная модель для задачи распознавания.
Вопрос состоит вообще в другом. Да и количество слоев - не показатель хорошего результата.
Сначала поищите вакансии в своем городе. Есть ли они вообще. Если есть, то читайте что требуется в них. И уже на основе этого стоит что-то учить.
Да мне похуй на вакансии. Мне в целом тема интересна. Я хочу её для трейдинга заюзать + свои стартапы проекты.
>Я хочу её для трейдинга заюзать
В одиночку ничего не сделаешь.
А, ну раз ты так сказал...
>пук среньк
Мамкин автотрейдер.
А тут вообще есть люди умеющие свои мысли выражать или тупо натрененные на оффтоп нейронки?
>ML
>для трейдинга заюзать
>мысли
А тут есть ДЛЯ КОГО их выражать?
Читай пикрелейтедб. Аттракцион невиданной щедрости только сегодня
Спалю годноту быдлу, на либгене выложили книжку "getting started with google bert", на гитхабе есть код к ней. Возможно, первая полноценная книга на тему трансформеров с матчастью и примерами использования. D2l все же не только и не столько про трансформеры.
>с матчастью
Вот это реально годнота.
А в чем? Ну загрузи ты эту YOLO.
двощ помоги решить задачу
есть 2 шкафа, с вероятностью 1/2 в первом шкафу есть пальто и с вероятность 1/2 во втором шкафу тоже есть пальто. (это не одно и тоже пальто, просто факт наличия какого-то пальто)
Вот подхожу я к шкафам и гардеробщик говорит, что в первом шкафу пальто нет, какова вероятность, что во втором шкафу его тоже нет?
с одной стороны логика подсказывает, что события независимы и вероятность для второго шкафа по-прежнему равна 1/2, но я наверняка знаю, что этот ответ неверный. Очевидного способа прикрутить сюда Байеса я не вижу, но как-то скорректировать ожидание вероятности после эксперимента надо.
есть 2 шкафа, с вероятностью 1/2 в первом шкафу есть пальто и с вероятность 1/2 во втором шкафу тоже есть пальто. (это не одно и тоже пальто, просто факт наличия какого-то пальто)
Вот подхожу я к шкафам и гардеробщик говорит, что в первом шкафу пальто нет, какова вероятность, что во втором шкафу его тоже нет?
с одной стороны логика подсказывает, что события независимы и вероятность для второго шкафа по-прежнему равна 1/2, но я наверняка знаю, что этот ответ неверный. Очевидного способа прикрутить сюда Байеса я не вижу, но как-то скорректировать ожидание вероятности после эксперимента надо.
>но я наверняка знаю, что этот ответ неверный.
затравили на собеседовании? Так это за гнилые зубы, а не из-за задачи
нихуя мой апельсин у анонов в оборот вошел
Да какая там матчасть: матричных умножений нахуярили параллельных, обозвали "кёрнелом" это всё для отдельных вапникошизов, вот и вся матчасть.
А про биониклов там нету? Может хотя бы в к рации что за трансформеры и нахуй они нужны?
вкатыш 2 недели
>матричных умножений нахуярили параллельных, обозвали "кёрнелом"
Какая же продвинутая матчасть в трансформерах, пиздец просто!
Единственный значимый критерий оценки матчасти - качество работы. В остальном чем проще тем лучше. А по качеству трансформеры уделывают всё остальное из того что сейчас существует, это медицинский факт. Аттеншен точнее пулинга в свертках. И нет, твои петушиные ЭС не лучше трансформеров.
>Единственный значимый критерий оценки матчасти - качество работы.
Для датамакак - да, для тех кто хочет разобраться как это работает - нет.
> как это работает
Хорошо работает.
>разобраться как это работает
Но зачем? Пока разберешься - оно уже устареет.
>И нет, твои петушиные ЭС не лучше трансформеров.
Это не я.
Так и не понял, что нужно делать с текстом, чтобы подать его на вход трансформеров для файнтюнинга, например. Здесь https://huggingface.co/transformers/preprocessing.html написана бесполезная хуйня, не имеющая ничего общего к входному формату моделей. В разных примерах разные индусы пишут разные хелперные функции, которые как-то преобразовывают неведомые скачанные датасеты в неведомых форматах в формат, пригодный для подачи на вход. Что и зачем делается, нигде не поясняется, равно и как сделать так же со своим текстом. Готовых хелперных функций для этого нет. Зачем все настолько через жопу, и где можно подробно про это почитать?
>нет, твои петушиные ЭС не лучше трансформеров.
Лучше
Пацаны, расскажите как можно работать с координатами? Мне блять выдали задачу регрессии с координатами по х, у и таргетом блять. Все. Умнее итерполяции ниче не придумал. Выручайте я абизьяна
Аноны, я не вкатыш, просто питон разработчик, возникла идея создать вроде простую нс, суть сводится к отгадыванию вектора видимо, проще представить цвета, твой любимый цвет загадал, нейронка опрашивает тебя нравится ли тебе такой цвет, а такой? По итогу видимо на вход есть, например, 10 ответов да/нет, на выходе 3 - rgb, так же не совсем понимаю как потом под человека ее донастраивать, корректировать от последующих вопрос типа это твой цвет? Подскажите, есть ли готовые решения, найти не смог, какую нс можно использовать, наиболее релевантную, прав ли я на счет входов и выходов, правильно понимаю, что для тренировки нс можно написать алгоритм, который сам генерит ответы на первые 10 вопросов, например есть цвет красный, вопрос красный да/нет, то он просто берет и численно высчитывает ответ, отправляет в нейронку и если по итогу нс говорит цвет красный, то это ей засчитывается, так будет работать? Дайте критику моего понимания, хочу просто сделать прототип не сильно углубляясь в математику, вроде не сложно, скажите чего я не понимаю(о нс только по паре статей знаю с хабра), подавать вместо да/нат на вход можно векторы цветов, это лучше?
предположим, у меня сегодня запор, поэтому вот тебе ссылка
https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html
А в другой раз обосру.
А тебе вот эта ссылка
https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsRegressor.html
если конечно я правильно уловил твою интерпретацию
ну ето я уже пробовал че ты уж меня прям за дебила держишь. я думал мб че-нибудь хитровыебанное какие-то преобразования матрицы хуе мое
а за кого тебя еще держать? дали простую задачу, но ты ее пытаешься усложнить.
какие вообще там данные? "пятна" ?
Тогда тоже knn regressor.
Но если это тестовое задание, тебе бы следовало бы проявить себя аналитиком и запросить у них что же это за данные. Понять их природу. Понять допустимо ли использовать knn regressor.
Ты не на мотематике.
Упрощения тут не работают и правильного ответа может не быть.
Можешь, конечно, дипзумеров с матрицами подождать . Может они меня удивят.
Вообще это студенческая олимпиада по машобу))
Поясните, как реализовать окно в трансформере.
Вот есть батч из n строк длиной l. Получаем мы из него матрицу коэффициентов внимания размерами n x l x l.
Если l большое, то это дохуя по памяти, на карточку не влезет. Хочу ограничить внимание окном размером w. Как это сделать, чтобы сэкономить память? В конкретных фреймворках желательно. В керасе уже есть слой attention, но он именно что делает матрицу n x l x l.
Вот есть батч из n строк длиной l. Получаем мы из него матрицу коэффициентов внимания размерами n x l x l.
Если l большое, то это дохуя по памяти, на карточку не влезет. Хочу ограничить внимание окном размером w. Как это сделать, чтобы сэкономить память? В конкретных фреймворках желательно. В керасе уже есть слой attention, но он именно что делает матрицу n x l x l.
И KDE (это не про аниме)
В общем да, действительно классификатор нужен, на хабре человечик написал что эта нс нужна скорее для знакомства и что ее не применяют на практике, есть что-то более правильное но в том же русле?
>на хабре
>ололо я моргнул светодиодом
Большей помойки чем швабр не нашел?
Читаю getting started with google bert, и сразу какая-то хуйня написана, стр 11-12. Вектор эмбеддинга слова размерностью 512 умножается на вектор матрицы весов Wk, Wq и Wv, каждый размерностью 64. И как это возможно вообще? Бред же.
Повторю пост из прошлого треда(не знал что перекат был)
Аноны, подскажите пожалуйста, без лишней желчи.
Сейчас стоит выбор во что вкатываться: .Net(C#) или же ML.
Нравится имеено писать код, но и матешу не хотелось бы забрасывать.
Следовательно вопрос: пишет ли код ML engineer или занимается тупым перебором табличек и подгадыванием коэфициентов?
Во что перспективнее вкатываться?
Аноны, подскажите пожалуйста, без лишней желчи.
Сейчас стоит выбор во что вкатываться: .Net(C#) или же ML.
Нравится имеено писать код, но и матешу не хотелось бы забрасывать.
Следовательно вопрос: пишет ли код ML engineer или занимается тупым перебором табличек и подгадыванием коэфициентов?
Во что перспективнее вкатываться?
1.Это не НС, а Настоящий Датасаенс.
2. Давай ссылку на свой сраный Хабр. Наверное побольше подробностей и смысла там описал.
Все еще не ясна твоя идея
> Настоящий Датасаенс
Кекнул и орнул
Может тут есть анон который с биомед. cv сектором работает? Пожалуйста отзовись, расскажи о специфике, тяжело ли искать работу и.... авось о проектах, была не была
Смотря ещё какая сфера биомеда. Но в большинстве случаев тебе всё равно профильное ВО потребуется если ты конечно не тупо код дрочить хочешь (хотя и там скорее всего как минимум птушка понадобится).
привет, у меня довольно странный вопрос, нубский довольно, но: в чем разница между нейронкой с одним выходом с сигмойдой И нейронкой с софтмаксом но двумя выходами?
По сути результат у них один - они возвращают вероятности для двух классов, но что творится с кросс-энтроп. лоссом?
1) В первом случае у нас к примеру выход 0.6, лэйбл 1, лосс -log(0.6)
2) В втором случае у нас выход [0.6, 0.4], лэйбл [1, 0], лосс -(log(0.6) + log(0.6))
У них разные значения лосса, а значит в плане обучения и расп. градиента они разные?
По сути результат у них один - они возвращают вероятности для двух классов, но что творится с кросс-энтроп. лоссом?
1) В первом случае у нас к примеру выход 0.6, лэйбл 1, лосс -log(0.6)
2) В втором случае у нас выход [0.6, 0.4], лэйбл [1, 0], лосс -(log(0.6) + log(0.6))
У них разные значения лосса, а значит в плане обучения и расп. градиента они разные?
Так я сам не моргну и мне это не нужно
Говорю же я даже определений не знаю, меня прототип просто любой интересует скорее, https://m.habr.com/ru/post/149693/ если реально нужно, а смысл этого алгоритма такой: на входе последовательность 0 и 1, на выходе 3 цифры - вектор(для примера с любимым цветом будет 3 байта), задача отнести к определенному классу человека по его ответам да/нет(1/0), хз стало ли понятней, хотя бы я могу теперь сформулировать задачу
это не смысл а твой пересказ смысла как будто ты формулируешь теорему на матеше.
но, блядь, датасаенс это поиск смысла в данных! и они все нужны.
Self-organizing maps
бамп задачке
Блядб ересь какая-то.
Я понимаю там прикол Монти-Холла, но здесь то реально вроде ничего не меняется от того, что гардеробщик что-то там спизданул.
Условие точно верное?
Я уже сомневаюсь, если честно, но вроде верные
Если даже я немного напутал, то я все равно не вижу в каком случае эту задачу можно было бы решить
Я пошёл дрочить хуй
Гардеробщик мог бы сказать что как минимум в одном из шкафов пальто нет, тогда ответ 1/3.
думаю ты прав, похоже я действительно проебался и на самом деле гардеробщик сказал, что в одном из шкафов пальто нет ( а не "в первом шкафу пальто нет")
Есть тут специалисты по GAN'ам?
Нужно ли в Conditional GAN'е смешивать реальные и генерированные метки класса по аналогии с метками реальное изображение/сгенерированное?
0,5/0,5*0,5
Разницы нет. Второй лосс у тебя неправильный, нужно -(log(0.6) x 1 + log(0.4) x 0) = -log(0.6), точно такой же.
Ну как?
Данные это классы цветов, 10 оттенков красного и т.д, каждого цвета, какие еще нужны сведенья, чтобы понять, я не совсем понимаю, говорю же дурачек я
Я пытался читать про som, раз вновь советуют видимо подойдет, но для меня сложноватое было описание, словно som берет данные для класса и подгоняет точки под них, а у меня классы уже сформулированны, а точка одна только, ладно, буду читать еще
Сап аноны, платиновый вопрос: чо поичтать по нейронным сетям/глубокому обучению? На русском.
Сначала хотел Гудфелоу почитать, но чот на амазоне в отзывах его книгу хуесосят.
Что есть рили нормальное?
На амазоне в топе Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems
Рили годно или тож не оч?
Сначала хотел Гудфелоу почитать, но чот на амазоне в отзывах его книгу хуесосят.
Что есть рили нормальное?
На амазоне в топе Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems
Рили годно или тож не оч?
да ты заманал. опять циферки .
в чем бизнес-то?
в чем польза?
>На русском
Это очень хуевая идея. Для машоба, как и программирования в целом, нужно обязательно знать английский. Без него ты даже в документации к библиотеке не разберешься.
>джун 60-150
>миддл 150-300
>сеньор 300-600
Не напиздел только про нижний порог джуна.
Твой варик
Джун 60-100, миддл 100-150, сеньор 150-250. Это для ДС.
Почему сойбои называют zero-shot learning'ом обычный предикт? Ну то есть, берём дедовский перцептрон, обучаем его на датасете из двух классов. Затем подаём на вход свой пример, которого не было в датасете, перцептрон его относит к одному из классов. Получаем что? Zero-shot learning.
Просто звучит как что-то новое. Стильно модно молодёжно. Выёбисто. По-умному. По-сойбойски.
Поясните что спрашивают у джунов на ML engineer? Ну допустим прогеров спрашивают по особенностям языка/фреймворка и это аналгично теории/концептам машоб для дата сайентистов. Но что аналгично задачкам по кодингу (для которых ты не должен знать все библиотеки/функции)?
Ну каггл, все в курсе про него. Намек на то что я должен выигрывать соревнования? Я еще слышал джун должен иметь PhD из Стэнфорда. Да и то это только на 20тыс руб в месяц потянет для начала.
>PhD из Стэнфорда
Профессор философии из ПТУ
>Я еще слышал джун должен иметь PhD из Стэнфорда.
Да уж пиздец. На двачах тебя еще и не так затроллят.
Ну как бы бывают очень сильные лабы в Американских/Германских мухосрансках. Так что нечего смеяться.
Стэнфорд оверрейтед, какой-нибудь ИТМО уложит на лопатки по уровню студентов.
>подаём на вход свой пример, которого не было в датасете
Обычно имеется ввиду что и похожих не было.
Например ты обучаешь мультиклассовый классификатор животных, но почему-то в трейне у тебя только кошки и собаки. Потом ты подаёшь на вход ящерку и с удивлением обнаруживаешь что тоже работает хотя на ящерок ты не учил. Это zero shot. Если прям совсем без ящерок не работает но достаточно добавить пару и заработает то это few-shot.
Если для nlp, то судя по примеру с transformers, zero-shot классификация это правильный выбор тега для поданной на вход фразы. Типа фраза "за кого вы голосовали?" относится к политике. Что больше напоминает именно predict, чем какой-то прямо суперхайтек. Просто у таких нейроночек датасеты, на которых обучен претрейн на многие порядки больше и разнообразнее, чем в дедовском машобе, поэтому и предикт работает поинтереснее. Одно дело ирисы Фишера, а другое какой-нибудь 40-гиговый корпус commoncrawl.
> Стэнфорд оверрейтед, какой-нибудь ИТМО уложит на лопатки по уровню студентов.
Толсто
Ну что пупсики, на дворе март 2021 года, где мой сильный ии, где чатботы могущие в осмысленный диалог?
>на дворе март 2021 года
Самое время откатываться на дедовские методы - видеокарт для диплернинга все равно нет.
>видеокарт для диплернинга
Майнеры задавили своими тухесами ии? Профессора философии перестали высирать свои говнопеперы?
Оно в принципе работать не может, если в обучающей выборке вообще ничего похожего не было. Zero-shot - это когда обучил классификатор на кошках и собаках, а потом подсунул собаку другой породы, которой в выборке не было, и её правильно классифицирует, а не когда классификатору кошек и собак подсунули ящерицу.
Как я понимаю, суть явления в том, что при таких объемах обучающего датасета и параметров самой нейроночки, она "знает" настолько дохуя, что достаточно показать несколько примеров того, что конкретно от нее требуется, а дальше она сможет в подобное же по аналогии. Уже сейчас есть модель с 1.6 триллионов параметров, следующие будут с десятками и сотнями триллионов и обученные на терабайтных и петабайтных корпусах. Понятно, что у них с этим делом все будет ещё лучше.
>Оно в принципе работать не может
И тем не менее работает
Спасибо Настя
Ух бля сколько пиздолизов в комментах.
>Тебе нужно отрекламится у топ блогеров IT и добавить рубрику IT новости. Канал к концу года на соточку можно будет вытащить. У тебя все задатки есть хорошая съемка видео внешность грамотная речь и интеллект самое главное
>внешность
>Я, кажется, только теперь понял, зачем все преподаватели обязательно должны быть страшными, немытыми, небритыми обезьянами в грязных свитерах с недельным перегаром, и, желательно, мужского пола)
>В противном случае, материал будет усваиваться крайне плохо, внимание концентрации будет идти не туда)
>@miracl6 Тоже в голову, но..как бы в другую. Которая не совсем умеет думать) Хотя.. в моей , судя по всему, начал даже мозг появляться после твоих видео- она даже комменты научилась писать, но до датасаенса ей долековато еще).
>Я уже четвертый раз пытаюсь пересматривать и не вкуриваю о чем идет речь. У меня в голове лишь "ай, какая хорошая девочка, ай какая умница, буси-буси-буси" )
>Красивая девочка ❤️
>Когда я вижу Настю, то у меня отключается мозг и я начинаю неудержимо писать всякую фигню. Мозга и так нет, так он еще и отключается) . А если в реале увижу -то вообще и спинной мозг отлючится. Как лечить этот недуг? Кто знает?
> @miracl6 А что еще? Ну скажи, я не обижаюсь. Анонимный ютубный комментатор не склонен обижаться априори. Может...сптоксикозник? Ну нет, этот недуг характерен для подростков, а я взрослый дядя).. Что еще?
>Глядя на заставку, мне кажется , что более светлый цвет волос придает Анастасии немного мягкости и она ощущается уже не такой злостной, агрессивной и строгой тетей. Посмотрим , как будет в эфире.
>Я всегда восхищался Настиной милотой. Она мне нравится любая - даже ненакрашенная.) А делать комплименты - это залог мужчин без заниженной самооценки. Кстати, ты тоже красива и умница. Я уже писал. Единственно у меня занижена самооценка в вопросе уровня моего датасаенса.
>Но это все мелочи. Я уверен, что если бы ты совсем не красилась - мое бы впечатление не поменялось.
>Мне нравится сама твоя монера говорить, голос, твои горящие глаки. Даже твоя серьезность.Ты такая серьезница. Этот огонек, что от тебя исходит зажигает меня - и мне это нравится. Это пробуждает во мне маньячинку, а свою маниакальность я умею сублимировать в нужное русло.
Пиздец, у вас там в нейроговне уже цыганки заруливают, тьфу
>меня зовут Анастасия, сейчас занимаю позицию Senior Data Scientist.
В прошлом треде говорили, что она хохлушка, теперь говорят, что она цыганка, охуеть.
В следующем треде надо её назвать болгарочкой.
> В прошлом треде говорили, что она хохлушка, теперь говорят, что она цыганка, охуеть.
В дотасаенсе вообще есть работа где-нибудь кроме Москвы и Питера?
Хохлы - тюрки, а не цыгане.
>20-летняя шлюха
>Senior Data Scientist
Красивые тянучки умеют карьеру делать.
>Хохлы - тюрки
Охуеть.
Так она даже не красивая, обычная Наташка.
А ты думал откуда на некоторых европейских гербах парни с такими характерными причесонами? Это они с турками боролись.
древние хохлы аутсорсеры
>пик
Выглядит как будто хохол с невидимым телом сам себе голову проткнул и кайфует
>что она хохлушка, теперь говорят, что она цыганка, охуеть
Так ты чернявых холов и малдовашек не видел? Хер их от цыган отличишь. Вот эта баба типикл Оксанка.
Что почитать по математической статистике?
Жопеншмульцера
Уа-ха-ха-ха-ха-ха-ха!
D2l.ai
Хватит коверкать доброе имя Шпигельхалтера!
Ну Гланц еще есть.
Я могу читать документацию на инглише, но читать целую книгу по такой сложной тематике на инглише я в рот ебал
Какая-то хуета для зумеров. Мне бы учебник бумажный.
Вообще-то он Шварценеггер, приколист.
Дотасциентисты не могут в учебники. Поэтому D2l.ai.
А по-моему очень даже клёвая. Я бы даже подрочил.
>где мой сильный ии
В Китае:
>В Китае все чаще меняют менеджеров на алгоритмы: те следят за работниками, дают им задачи и могут списать часть зарплаты
https://vc.ru/hr/209527-v-kitae-vse-chashche-menyayut-menedzherov-na-algoritmy-te-sledyat-za-rabotnikami-dayut-im-zadachi-i-mogut-spisat-chast-zarplaty
>Китайская система распознавания лиц определяет нужного человека с точностью до 99,8%
https://www.securitylab.ru/news/457581.php
>«В Китае распознавание эмоций способствовало оценке риска заключенных в нескольких региональных тюрьмах», - отмечает Global Times со ссылкой на эксперименты в тюрьме в Гуанчжоу в 2019 году. «Технология помогает тюремным служащим оценить, представляет ли заключенный потенциальный риск , включая возможные психические проблемы и склонность к насилию или суициду, и оценить вероятность повторения правонарушения после освобождения ».
За пределами тюрем государственная газета хвалила «технологию распознавания эмоций» за ее использование на дорогах, где полиция может отслеживать эмоции каждого водителя и останавливать любого с «ненормальными» чувствами. Это, как утверждалось, поможет предотвратить инциденты, связанные с агрессивным поведением на дорогах, или другое потенциально преступное поведение.
https://www.breitbart.com/asia/2021/03/04/china-using-emotion-recognition-technology-to-arrest-people/
Ну что, датасатанисты?
Построили светлое будущее?
Сап двач, что сейчас на хайпе в 3д cv?
бамп
Решил разработать искусственный интеллект на основе цепей Маркова, скормил им пасты про олдов, вот что получилось:
время остановиться, но его все легко. Это не архивы спецслужб. Сюда лучше не Чикатило и даже не станет)) пиздеть не найдут.
слышали. Вам кажется странным, что украл плавленный сырок в третьем классе, на рейд, чтобы их интересам. Почему я вам все стали
твой одноклассник. Я твой одноклассник. Я твой одноклассник. Я узнал тебя по частям, тобою написанное это простое пиздабольство , обиженный жизнью
разрешения компетентных людей. Их интересы настолько высоки, что столько внимания этих людей уделено вам, ничтожным интернет-червям? Все очень просто, вы ненароком
людей, о которых вы даже не впечатляет, давай разберем по частям, тобою написанное это простое пиздабольство , рембо ты обосрался под
президентов, взрывали целые города, когда появлялась угроза их интересам. Почему я вам рассказываю об этом? Эти люди поручили мне предупредить вас.
мешки ворочить, много вас в 9м классе, на понятном тебе языке, языке боли. Ребята, не понял с кем общаешься. Вот эта
планирую заёбывать этой шизой двачеров, какие подводные?
время остановиться, но его все легко. Это не архивы спецслужб. Сюда лучше не Чикатило и даже не станет)) пиздеть не найдут.
слышали. Вам кажется странным, что украл плавленный сырок в третьем классе, на рейд, чтобы их интересам. Почему я вам все стали
твой одноклассник. Я твой одноклассник. Я твой одноклассник. Я узнал тебя по частям, тобою написанное это простое пиздабольство , обиженный жизнью
разрешения компетентных людей. Их интересы настолько высоки, что столько внимания этих людей уделено вам, ничтожным интернет-червям? Все очень просто, вы ненароком
людей, о которых вы даже не впечатляет, давай разберем по частям, тобою написанное это простое пиздабольство , рембо ты обосрался под
президентов, взрывали целые города, когда появлялась угроза их интересам. Почему я вам рассказываю об этом? Эти люди поручили мне предупредить вас.
мешки ворочить, много вас в 9м классе, на понятном тебе языке, языке боли. Ребята, не понял с кем общаешься. Вот эта
планирую заёбывать этой шизой двачеров, какие подводные?
хуя эзотерика вышла
это реально шиза
Кобзарь.
Есть ли смысл в классическом машинном обучении?
В каких моментах он предпочтительное?
А то чет все массово перекатываются в TF2 и pytorch
И scikit используется макс для проверки полезности признаков
В каких моментах он предпочтительное?
А то чет все массово перекатываются в TF2 и pytorch
И scikit используется макс для проверки полезности признаков
Дата саенс это в принципе инфоцыганская хуйня. Для реального бизнеса порой достаточно экселя или R с его model <- lm(y ~ a + b + c, data=df)
Есть одна спектрограмма пикрил. Стоит задача обвести эллипсом или прямоугольником области с высокой интенсивностью. Как это сделать оптимальным образом? Через СV или как-то аналитически разрабатывать алгоритм по поиску максимумов по вертикали/горизонтали с пороговым условием и хуе-мое?
С помощью python cv2 можно изи эту задачу решить. Подбираешь нужную threshold по которому отсекаешь по яркости, изображение делиться на куски, есть функция которая эти куски перебирает и есть функция которая обводит
Литерали это https://www.pyimagesearch.com/2016/10/31/detecting-multiple-bright-spots-in-an-image-with-python-and-opencv/
> Есть ли смысл в классическом машинном обучении?
Есть.
> В каких моментах он предпочтительное?
Тут в один пост не уложиться
> А то чет все массово перекатываются в TF2 и pytorch
Хуйню пишешь. Вопрос в задаче
> И scikit используется макс для проверки полезности признаков
Неправда. Опять же всё зависит от задачи
> планирую заёбывать этой шизой двачеров, какие подводные?
Да был уже чел, который с паскодом напускал на двач бота на нейронке, обученного на постах двача. Есть это где-то на гитхабе
Был ещё когда-то проект плагин для браузера, который отмечал скримеры в вебмке. Это не про машинку правда, а просто так вспомнил. Щас уже умерло это все, да и скримеры никто не постит почти
>И scikit используется макс для проверки полезности признаков
Как сплитилка он используется. Ну и pca/кластеризации всякие
tf, pytorch же только для cv, nlp?
Есть еще финтек, рекомендации/кластеринг и т.п.
народ
работаю разрабом на с++, иногда просят микросервисы на питоне наклепать
в целом все ок, но иногда хочется несколько более наукоемких вещей (типа cv, рекомендации и пр говно)
есть ли у вас свои или чужие кулстори о перекате из классического прогания в мл?
работаю разрабом на с++, иногда просят микросервисы на питоне наклепать
в целом все ок, но иногда хочется несколько более наукоемких вещей (типа cv, рекомендации и пр говно)
есть ли у вас свои или чужие кулстори о перекате из классического прогания в мл?
Ты уже умеешь больше 99% обитателей треда. Гугли курсы по статистике и непосредственно мл. Для того, чтобы говнокодить на питоне в аналитике, достаточно навыков джуна. Еще можешь глянуть R, но я бы это полноценным языком программирования не назвал. Это скорее калькулятор, софт ты на нем не напишешь.
>Тут в один пост не уложиться
Ну хоть примерно расскажи, в какую сторону смотреть. А то как не начнешь гуглить кейсы, сплошная хуйня в духе "мы создали нейросеть и переворачиваем пингвинов"
Задачи классификации и регрессии на табличных данных это бустингы. Кластеризация и системы рекомендаций тоже в основном без нейронок. Иногда нужна супер интерпретируемость, как например в кредитном скориге, тогда вообще самые простые модели вылезают типо линейной регрессии и решающего дерева
Иногда у тебя нет данных, чтобы обучить нейронку. Вот например была задача на "я проф." по машинке, где нужно было по точкам предсказать значения остальных. Трейн в несколько раз меньше тест. Тебе нужно восстановление плотности, что например с помощью knn можно сделать
>как например в кредитном скориге
Я вот тут не до конца понимаю, чем занимается ответственный за это спец в банке. Он что, с утра до ночи передрачивает модель, чтобы та не оверфитилась и давала нормальные метрики?
Почему используют Питон для ИИ, если его нельзя нормально скомпилировать?
Да, я тупанул, давно не чекал лосс и забыл, спасибо за ответ.
С утра до ночи передрачивает данные, собственно, как и 90% дата саентистов.
Простой язык, быстро прототипируешь модельки, куча библиотек в интернете лежит. А зачем тебе компилируемость?
питон можно скомпелировать АЛЛО
ну точнее да, он остается интерпретируемым, но если тебе важен сам факт компиляции, то да, его можно и скомпилить
Например, как использовать tensorflow с C++ софтом? Разворачивать embedded питон?
С tensorflow не компилируется.
> С tensorflow не компилируется
не знал, молчу
> Например, как использовать tensorflow с C++ софтом? Разворачивать embedded питон?
Есть инструменты для этого.
Но в любом случае питон в основном для того, чтобы исследовать что-то быстро смотреть, выводить графики и тд. Сделал модель. Можешь её хоть на чем угодном переписать
>Можешь её хоть на чем угодном переписать
Если переписывать, зачем тогда питон? Сделал свою нейрочку, на ней и обучил.
Потому что у тебя не получится
> быстро смотреть, выводить графики и тд
А реально ли в датасаентсе стать Senior за три года работы?
>Если переписывать
Почти всегда переписывать не надо.
Все от фирмы зависит. В фейсбуке например судя по тому что я читал - реально
>В фейсбуке реально
Что это говорит о лицекниге?
Ничего. То что ты в одной компании сеньор не значит, что ты в другой им будешь. В некоторых фирмах вообще десяток внутренних уровней есть
>Ты уже умеешь больше 99% обитателей треда.
Умеет, да не то, не запутывай человека. Пока вкатыши не понимают простейших вещей типа например никакие плюсы с микросервисами не помогут, норм млщик прежде всего должен лучше чем средний кодер мочь мозгами шевелить.
я вот тот самый чел из крестов
> норм млщик прежде всего должен лучше чем средний кодер мочь мозгами шевелить.
ну блять
я тебе так скажу
норм кодер должен мочь шевелить мозгами лучше чем средний кодер
По поводу few-shot learning'a. Изучение темы приводит нас к тому, что в вопросе о самой природе явления мнения соевых ученых разделились.
- одни прямо заявляют, что few-shot learning и "метаобучение" синонимы, и предполагают только работу через обращение к готовой модели (в т.ч. файнтюненной), без какого-бы то ни было абдейта параметров. Собственно, https://arxiv.org/abs/2005.14165
- другие называют few-shot learning'ом файнтюнинг, но с небольшим количеством обучающих примеров, т.е. с абдейтом параметров модели. Например, https://arxiv.org/abs/2012.09543
Так кто прав-то?
- одни прямо заявляют, что few-shot learning и "метаобучение" синонимы, и предполагают только работу через обращение к готовой модели (в т.ч. файнтюненной), без какого-бы то ни было абдейта параметров. Собственно, https://arxiv.org/abs/2005.14165
- другие называют few-shot learning'ом файнтюнинг, но с небольшим количеством обучающих примеров, т.е. с абдейтом параметров модели. Например, https://arxiv.org/abs/2012.09543
Так кто прав-то?
Зависит от определения
Но это же принципиально разные вещи, у них не может быть одного названия.
Мое мнение - правы вот эти из опенаи https://arxiv.org/abs/2005.14165 потому что обновление весов обученной модели это по определению файнтюнинг, неважно сколько там примеров, 1 или 100000, сам процесс-то один и тот же.
А ещё интеграл римана и неопределенный интеграл это принципиально разные вещи. И лук-растение и лук-оружие.
К тому же в первой статье они явно пишут, что им не нравится термин "zero-shot", поэтому в рамках статьи они называют свой подход "few-shot learning'ом".
Конценсуса в сообществе не сложилось, понятия "прав-неправ" не имеют смысла.
Плюсисту (три с половиной года опыта галерного стажа) есть место в вашем говне? Или только пистон и модные фреймворки? Бэкпроп руками не напишу.
>Бэкпроп руками не напишу.
И не надо.
А всякие выпуклые, нелинейные оптимизации, численные методы, матстат? Или с этим только исследователи копаются?
Ты определись с тем, что ты хочешь, тогда приходи
Если ты хочешь просто деньги зарабатывать, то всё это тебе не надо.
Всякими сложными штуками занимаются исследователи, но им деньги не платят.
>неважно сколько там примеров
Если ты вапникошиз, которого интересуют только маняматически точные утверждения - то конечно неважно. Если ты норм чел то понятно что ситуации в десять примеров и в миллион отличаются качественно. Хотя бы тем, что во втором случае придётся сильно задрачиваться с тем чтобы столько данных накопать и их разметить.
> Если ты хочешь просто деньги зарабатывать, то всё это тебе не надо.
А нахуя вам работодатели деньги платят лол? Какие у вас уникальные скилзы? Знание фреймворков и все? Как вы конкуренцию выдерживаете если статистика с бэкпропом вам не нужны?
Потому что СЕО в бизнесах не в курсе ка к все это работает. Поэтому 50% этих дата сайентистов - тянки, там нужны пипл скиллз чтобы наебывать. Но этот пузырь через пару лет лопнет. Будут только дата инженеры нужны (но это не настолько хайпово-весело). Ну и еще теоретики-математики которые будут теории новые выдумывать (но тут нужна серьезная мат./кс база и ПхД).
Вот не скажи. Скиена пишет, что программисты просто НЕ УВАЖАЮТ данные.
Так что тянки, которые просто уважают данные и знают немного статистики постоянно нужны.
>А нахуя вам работодатели деньги платят лол?
За то же, что и программистам, за макакинг.
>Какие у вас уникальные скилзы?
Тряска чёрного ящика с умным видом.
>Знание фреймворков и все?
По сути.
>Как вы конкуренцию выдерживаете если статистика с бэкпропом вам не нужны?
Тут подсидел, там подлизал.
А если более серьёзно, то вот, например: .
Ну хер знает, какая-то она не очень умная
https://www.youtube.com/watch?v=UxGebZpYVfM
Хотя на фоне этих двух додиков кодерков не так в глаза бросается
https://www.youtube.com/watch?v=UxGebZpYVfM
Хотя на фоне этих двух додиков кодерков не так в глаза бросается
>статистика с бэкпропом вам не нужны
Нужны, просто ручками их писать не надо
Опять молдаванку форсят.
>молдаванку
Циганка или хохуха
Ну по сути ничего не изменилось. Просто придумали новое имя для аналитиков. И заставляют их теперь еще алгоритмы и питон учить.
Это вообще норм, что вы вместо гига чада Бабушкина форсите какую-то лоу тиер бабень с нулевой харизмой?
>гига чада
>Бабушкина
Выбери одно.
Сорта никому не нужного ноунейм зумерья, которые сами сюда приходят пиариться.
Не думал, что этот тред центр мира, чтобы стоило тут пиариться
какая борда такой и пиар
Новое с няшей
https://www.youtube.com/watch?v=1uUwwWrhedc
https://www.youtube.com/watch?v=1uUwwWrhedc
>ноунейм
>бабушкин
Понимаю
>теоретики-математики которые будут теории новые выдумывать
И писать их на R или матлабе
Всегда будут макаки, которые перепишут это на любой промышленный маняязык.
Сберкасса - это когда нихуя не работает (пик 1). Хотел запустить их куколаб с ругпт3, сходу ошибки (пик 2). Полез проверить их гитхаб, т.к. не поверил, что проблема во мне, так и есть, лол, в issue с самого же верха открытые проблемы - это репорты о том, что нихую не работает.
Что не так? Ноунейм и есть. Я знаю, кто такой Суцкевер, да даже кто такой Килхер. А про бабушкина только здесь и вижу упоминания.
Что не так? Ноунейм и есть. Я знаю, кто такой Суцкевер, да даже кто такой Килхер. А про бабушкина только здесь и вижу упоминания.
> Я знаю
Интересно как ты вообще млкой занимаешься, если даже не знаешь, что личный опыт не репрезентативен
Причем, сама их сеть вроде даже работает, если запускать стандартно. А сами они ноутбук для куколаба написать не осилили.
>няша
Это твой гомосекс-символ?
У хохлов пузырь дата-саенса уже лопается.
>Ще з цікавого: вперше за декілька років зниження частки Python: можливо, використання Data Science дійшло до точки насичення.
https://dou.ua/lenta/articles/language-rating-jan-2021/
>Ще з цікавого: вперше за декілька років зниження частки Python: можливо, використання Data Science дійшло до точки насичення.
https://dou.ua/lenta/articles/language-rating-jan-2021/
>У хохлов пузырь дата-саенса уже лопается.
Заглянул в ODS, и что я вижу:
>Всем привет!Снова OZONна связи. )
>Кого ищем:
>Ищем к себе в направление клиентской аналитики крутых продуктовых data-аналитиков.
>ЗП: Вилка - 150-200 для синьоров (их и ищем).
150 тысяч российских рублей (2K$) - это уже синьор!
>150 тысяч российских рублей (2K$) - это уже синьор!
Да уж, смехотворно.
Всего-то в 5-6 раз выше зп среднего профессора в сраной рашке.
Так аналитик это не дс или мл или в чем подвох?
>150 тысяч российских рублей (2K$) - это уже синьор!
А что не так? Если вне ДС, то вообще заебись. По уровню жизни эквивалент $200k/y в Штатах.
>Территориально - офис Москва-Сити
Нет, это в ДС((
>Нет, это в ДС((
Ну значит считай, что как $120k/y в NYC. Все равно вполне достойно.
>только выиграли!
>считай, что как $120k/y в NYC
Где пруфы расчетов?
Ну вот в европку/штаты/японию едь если хочешь 3к+. Ах да, там же конкуренция в 1млн индусов сеньор уровня готовые работать за еду и визы.
А вы в курсе, что единственное, что в ДС реально дороже, чем в России, это недвига?
>единственное, что в ДС реально дороже
А вы в курсе, насколько?
Вечер в Хату, посоны. Сам я инженегр в основном бекэнда, но за 10 лет заебало. Попробовал посочинять нейронки, понравилось. Не MuseGAN пока получился, но для хеллоу ворлда сойдет.
Есть желание перекатиться полностью, не потеряв при этом текущей зарплаты сеньора-помидора. Не сильно ли я губу раскатил?
Как вы строите графики для огромных массивов? Какой-нибудь hist например?
plt.hist()
или
df.plot(kind='hist')
Никак. У меня в altair лимит на 5000.
Конечно, потеряешь. В этом и ссуть.
Заметь, с каким энтузиазмом тут обсуждают кодерские вопросы и обоссывают Orange. Млщикам очень хочется быть кодерами, но они не могут.
> обоссывают Orange.
Его и надо обоссывать, с тобой вместе. Трансформеров там нету, в облаке он работать не может. А для всего остального есть R.
Что-то эта сберовская "rugpt3" подозрительно хорошо работает с англюсиком, при этом по размеру и количеству параметров как gpt2-large. Сдается мне, это она и есть, только зафайнтюненная на каком-то русскоязычном корпусе. Сравнить бы их структуру, которая выдается командой model(), но это надо в браузере делать, с тилибона там толком ничего не сравнишь, выдача большая... Тут https://press.sber.ru/publications/neiroset-sbera-rugpt-3-stala-vdvoe-umnee ещё пишут про XL вариант с 1.3млрд параметров, что так же соответствует gpt2-xl. Совпадение? Да, совпадение.
А вы в курсе, насколько дешевле всё остальное?
Читал. Там тоже не написано как такое возможно.
Дайте совет зумеру-вкатышу-трясуну.
Как вы выкладываете свои пет-проекты для портфолио в сеть? Заливаете куда-нибудь на хероку? Или просто бросаете валяться в гитхабе?
Как вы выкладываете свои пет-проекты для портфолио в сеть? Заливаете куда-нибудь на хероку? Или просто бросаете валяться в гитхабе?
Хуёво читал значит
Нормально читал. Как ты вектор размерностью 512 умножишь на вектор размерностью 64?
Ресайзну в (, 64)
Ага, от 512-мерного вектора откусить первые 64 значения, а остальные тип нахуй не нужны))) Гениально, апплодирую стоя...
Какой откусить это будет шейп (8, 64) на (64, 1). Но я вообще мимо, не читал пока о чем мы
> шейп (8, 64)
Но тогда и матрицы весов Wk, Wq и Wv должны быть 64х8, а там про их размерность ничего не сказано. Короче, это все зумерство какое-то, надо код трансформера смотреть, как там это сделано...
Блоки в Orange можно соединить лишь одним способом. Способов облажаться в питоне и R для начинающего масса.
Не позволю обоссывать
> Трансформеров там нету,
Есть PCA и t-SNE.
А если тебе не хватает, эту задачу в принципе не стоило решать.
Куда копать в сторону программ самих изменяющих и дополняющих свой сорс код с минимальным участием человека? А также фишки когда прогу запускают в интернет и она по определённым запросам поисковиков "обучается" в чём-либо?
> Куда копать в сторону программ самих изменяющих и дополняющих свой сорс код с минимальным участием человека?
Да тут ничего сложного. Можно просто подготовить свою модифицированную копию и запустить. Либо через динамические библиотеки делать и их заменять. Если язык скриптовый, то вообще как угодно можно вертеть
Только нахуя это?
> А также фишки когда прогу запускают в интернет и она по определённым запросам поисковиков "обучается" в чём-либо?
Что за прога? Обучается чему? Типо scraper поисковый?
>Что за прога? Обучается чему? Типо scraper поисковый?
Ну вот ты книжки читаешь, умнее становишься. А я такую прогу хочу сделать. Тонны байт информации в интернете, а юзать некому.
>Только нахуя это?
Ну вот ты книжки читаешь, развиваешься: нейрончики, миелинчик, дофаминчик, вся хуйня. Вот и прога будет обучаться и новые фичи сама для себя писать и их же потом применять. Круто же.
Понятно. Вкатывайся потихоньку. Узнаешь насколько инвалидная и узкозаточенная хуйня этот дип ленинг. Ты не просто не можешь нейронке любой набор данных скормить. Ты должен очень сильно постараться, чтобы нейронка обучилась на подобранном тобой наборе данных под конкретную однобокую задачу.
Если хочется сказки почитать про сильный интеллект, то Фристон и Шмидхубер пожалуйста. Но там близко ничего нет к тому, что ты написал
С чего-то начинать надо. Всё равно объективно лучшего плацдарма пока нет.
По-моему у тебя случай когда нужно либо английский либо линейную алгебру подтянуть сперва прежде чем за трансформеры хвататься.
Действуешь матрицей n x m на вектор размерности m получаешь вектор размерности n. m = 512 это эмбеддинг, n = 64 это вектора атеншена.
я вот мимокрокодил
но
я правильно понимаю, что он не знает правило перемножения матриц? в машоб треде?
Короче прочитал о чем вы.
1 слово в эмбендинге это (1, 512). Матрица весов (512, 64)
>я правильно понимаю, что он не знает правило перемножения матриц? в машоб треде?
Какие темы по линалу стоит повторить перед ботанием ML?
Перемножение матриц.
разложения
Аноны, а можно Pipline встроить как то объединение датасетов?
В общем есть дата сет. В нём одно поле - текстовое, которое я хочу пустить в tf-idf, т.е. хочу следующий конвейер:
текстовое поле -> tf-idf -> слияния результата с остальным дата сетом -> грид сёрч
Как это сделать?
В общем есть дата сет. В нём одно поле - текстовое, которое я хочу пустить в tf-idf, т.е. хочу следующий конвейер:
текстовое поле -> tf-idf -> слияния результата с остальным дата сетом -> грид сёрч
Как это сделать?
А что, выполнение линейной последовательности команд уже отменили?
так это для тупых же, не?
Как там ваша gpt3? Уже дошла до уровня чатбота?
Даже гпт2 давно тесты Тьюринга и Войта-Кампфа проходит, где-то видел код для куколаба. Претрейны Гпт3 пока жопят вылаживать да и толку с них, в куколабе даже gpt2-xl с 1.3млрд параметров еле дышит, а версия от huggingface вообще отваливается, памяти мало, гпт3 там вообще хуй запустишь, но ясно же, что у нее со всем этим намного лучше.
>Даже гпт2 давно тесты Тьюринга и Войта-Кампфа проходит
Пруфы?
>тесты Тьюринга
Это когда в жопу ебут?
Тюрингу наоборот химическую кастрацию делали чтобы в жопу не ебался.
В 99% тесты выглядит как "я показал текст из gpt моей маме и она не отличила его от человеческого". До прохождения нормального теста тьюринга ещё очень далеко.
>До прохождения нормального теста тьюринга ещё очень далеко.
Бесконечно далеко.
>химическую кастрацию делали чтобы в жопу не ебался
Ну так его в жопу ебали, Белоснежке норм было
Кто может с GAN-ом помочь?
Сразу вопрос вкидывай
>вопрос
Там, наверное, код-ревью понадобится.
В общем, из GAN'а был сделан Conditional GAN.
Обучение имеет такой вид (pic1, pic2).
А вот при попытке визуализировать на каждой эпохе выход генератора через
torchvision.utils.save_image(gen_batch, '{}.png'.format(epoch+1))
получается такое (pic3). И это на 10 эпохе, т.е. хоть что-то уже должно быть.
В чём может быть ошибка? В визуализации? В модели? В чём-то ещё? Как это можно поправить?
>В чём может быть ошибка? В визуализации?
Ну это ты должен был сразу посмотреть, глянув на выходы генератора. Судя по тому, что генерирует цвет из границы ргб (ff00ff) save_image не скейлит ничего или неправильно скейлит.
Тестировал код на mnist/cifar?
Ещё лучше следить за confusion_matrix, а не лоссом, потому что последний мало что значит в ганах.
>Ещё лучше следить за confusion_matrix, а не лоссом, потому что последний мало что значит в ганах.
Почему?
Очередной прорыв111
2021г, нивираятные тихналогии ИИ!
Сделай на ЭС такое, потом приходи, маня
Конечно, ведь поющие котики это то, что нужно человечеству!
Деграданты ебаные
>Конечно, ведь поющие котики это то, что нужно человечеству!
Копетоглизму нужно не то, что нужно человечеству, а то, на чём можно заработать.
А что нужно человечеству, поведай, кук. Калмунизм, вечная автономная капсула буйлерон зимой жарко?
> Копетоглизму нужно не то, что нужно человечеству, а то, на чём можно заработать.
Мань, а ты не видишь противоречия в своем кукарекании? Как можно заработать на том, что никому не нужно?
Автоматизация диагностической медицины например.
>Как можно заработать на том, что никому не нужно?
С помощью целенаправленного одебиливания населения и вездесущей рекламы.
> Короче прочитал о чем вы.
> 1 слово в эмбендинге это (1, 512). Матрица весов (512, 64)
> По-моему у тебя случай когда нужно либо английский либо линейную алгебру подтянуть сперва прежде чем за трансформеры хвататься.
> Действуешь матрицей n x m на вектор размерности m получаешь вектор размерности n. m = 512 это эмбеддинг, n = 64 это вектора атеншена.
Да нет, там совсем не так. Смотрите, там прямо написано, что входной эмбеддинг Х имеет размерность 512 х длина фразы. Матрица весов Wk, Wq и Wv имеют размерности 64 х длина фразы. Мне и интересно, как из матрицы 512х3 получили три матрицы 64х3. Автор индус хуйню написал, или как это понимать?
- Сойбои не делают то, что поможет человечеству
- Так делайте сами
- Кто? Я?
- Так делайте сами
- Кто? Я?
Так это получается тикток уже не нужен, просто берёшь человека и он кривляется.
> тикток уже не нужен, просто берёшь человека и он кривляется.
Ожидания: ии заменит водителей, строителей, дворников
Реальность: ии заменил зумеров в тиктоке
Есть же вокалоиды, ви-тюберы, а теперь техника дошла до возможности ви-тиктокера. Берём как шаблон какого-либо мемного малолетнего долбаеба, и помещаем его на разные фоны, поющего разную модную у зумеров мемную херню. Годный стартап, как думаете?
Думаю, что ты душнила старая, которая не шарит в том, что нравится зумерам, на уровне деда размышляешь.
> душнила старая, которая не шарит в том, что нравится зумерам,
Вас чем промывают, то вам и нравится, своего мнения-то нет. Что нравится зумерам, можно легко нагуглить.
Дядь, мне 29 годиков, но даже я не настолько оторван от реальности в полустарческом маразме под музыку Caretaker'а, когда кажется годной идея дрыгать перед борзыми и наглыми малолетками AI-марионетку и думать при этом что это "годный стартап".
Ви-тюберы же вам зашли, а это ничем не лучше.
>это ничем не лучше
Ох, какой же додик ты. Ну пили свой годный стартап, хули. Просто это как с научными пейрепами, если ты за пять минут придумал гениальную идею, как заработать кучи бабла, с вероятностью в 90% о ней уже подумали другие и задолго до тебя.
>Годный стартап, как думаете?
Думаю да, можно еще с зумеров бабосы на реализацию состричь
аноны, что на собесах по теорверу спрашивают?
Очевидно, зависит от того, куда идешь...
Что такое матожидание? Что такое дисперсия? Когда лучше использовать медиану, а не среднее? Какие вероятностные меры на B([0, 1]) существуют?
Получились вопросы уровня /b. Реально такую ерунду спрашивают?
>Ну это ты должен был сразу посмотреть, глянув на выходы генератора.
Проблема оказалась в модифицированном генераторе, он на выходе выдаёт:
tensor([[[[ 1., 1., 1., ..., 1., 1., 1.],
[ 1., 1., 1., ..., 1., 1., 1.],
[ 1., 1., 1., ..., 1., 1., 1.],
...,
Из-за чего это может быть? Из-за конкатенации тензоров?
Судя по всему, это действительно из-за конкатенации тензоров разного типа
https://github.com/pytorch/pytorch/issues/35014
Теперь вопрос, что с этим делать? Тензор картинки имеет тип torch.FloatTensor, тензор метки torch.LongTensor.
Если их сравнять, вылезает:
RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got torch.cuda.FloatTensor instead (while checking arguments for embedding)
Хватит форсить эту селедку. Тем более что ее топ вопросов тянет максимум на собеседования стажеров.
ИМХО, причина, по которой её тут форсят — смазливое личико.
Так вопрос был видимо от претендента на стажерскую вакансию, иначе бы знал что спрашивают.
Да не, у нас стажеров давно просят сверточную нейронку с нуля на С++ написать. Ну а что, понасмотрятся этих видосов, заучат ответы, а потом страдают. Ну и ЗП мы конечно не платим.
>Ну и ЗП мы конечно не платим.
Еле концы с концами сводите?
Концы с щёками стажёров
Наоборот. Но когда у тебя тысячи вкатунов готовы умирать за еду в надежде на светлое будущее через год (ну и 2k+ EUR) смысла нет тратиться.
>2k+ EUR
За смешных, поющих котиков могли бы платить больше
Вот на неё у меня всегда стоит!
Ну и как мне теперь вкатываться? Через полгода вузик заканчиваю.
Это где так? В хуавее?
Тупейший вопрос.
Как накидать офлайн распознавалку рукописного текста?
без регистрации и смс
Как накидать офлайн распознавалку рукописного текста?
без регистрации и смс
В ДипМайнде, секретное подразделение в ДС2.
>ДипМайнд, секретное подразделение в ДС2
>стажеров давно просят сверточную нейронку с нуля на С++ написать
>понасмотрятся этих видосов, заучат ответы, а потом страдают
>ЗП мы конечно не платим
А что в ДипМайнд тоже макак набирают?
Да, кто-то же должен в атари устанавливать human perfomance, для бенчмарка. Там и вопросы попроще, а ля "чем SGHMC отличается от динамики Ланжевина?".
>динамика Ланжевина
>ЛанжевИна
Охуеть, какие умные слова знают эксперты из секретного подразделения ДипМайнд!
>Paul Langevin
извините
По рузге через Е пишут обычно. Всегда.
не розумию
> не розумию
Ладно, у меня вопрос.
Типа если у меня есть пхд по фундаментальной математике от среднего американского универа, меня возьмут в секретное подразделение ДипМайнд немакакой?
Обучал нейронку на данных, загруженных через tensorflow.keras.preprocessing.image_dataset_from_directory( ), теперь не могу получить результат работы ИИ через model.predict(). Что делать? Какой формат данных он хочет для новых изображений?
Ещё тоже совершенно тупая фигня, но кто-то знает как импортнуть ИИ из h5 файла?
А вы какой национальности и пола? Русских не берем. У нас диверсити квота.
пацаны, короче вопрос
я в стартапе занимался облаками точек
сейчас хочу влететь в cv с изображениями
посоветуйте плиз какой-нибудь проект, чтобы было не стыдно выложить на гит (да и попрактиковаться, на самом то деле)
спрашиваю, потому не что не хочу объебаться с тем, что сделаю что-нибудь, а мне техлид на собесе скажет, что это любой дворник умеет
мб изъебистую сегментацию, детекцию? короче помоги двач, скажу всем спасибо за это
АЛСО
важно
какой матан спрашивают на собесах и какая часть от спрашиваемого на собесах нужна в работе? мне помимо ангема, линала и чуточку дифф геометрии нихуя не пригодилось. Но часто вижу, то то теоревер требуют, то еще что-то
буду про кубики спрашивать?)
я в стартапе занимался облаками точек
сейчас хочу влететь в cv с изображениями
посоветуйте плиз какой-нибудь проект, чтобы было не стыдно выложить на гит (да и попрактиковаться, на самом то деле)
спрашиваю, потому не что не хочу объебаться с тем, что сделаю что-нибудь, а мне техлид на собесе скажет, что это любой дворник умеет
мб изъебистую сегментацию, детекцию? короче помоги двач, скажу всем спасибо за это
АЛСО
важно
какой матан спрашивают на собесах и какая часть от спрашиваемого на собесах нужна в работе? мне помимо ангема, линала и чуточку дифф геометрии нихуя не пригодилось. Но часто вижу, то то теоревер требуют, то еще что-то
буду про кубики спрашивать?)
Набираете только небелых лгбт немужчин мусульман, верно?
И как успехи?
Гугл ещё не обанкротился с такими работниками?
Кто нам будет делать поющих котиков если не негропедики?
Наоборот. Нет прыщавых асоциальных и упрямых задротов, которые думают что лучше всех и саботируют работу.
Ага, то есть вы нанимаете тупых долбоебов негропедиков, чтобы не допустить, чтобы кто-то оказался умнее вас самих?
В принципе верная стратегия для современной эпохи всеобщей дебилизации.
Причем тут негры вообще? Они и сами работать не пойдут, не царское дело. Типичная кодомакака в Гугле это индус или китаец.
Нет, sweatey, посмотри статистику. Азиаты, например, всегда и везде лучше белых в вычислительных науках. Женщины лучше в колледжах и больше подходят для научных и околонаучных работ по многим причинам. ИТ как и наука начиналось как убежище для белых задротов и сейчас они паникуют когда это превращается из закрытого клуба для нердов в что-то для всех. И выясняется что они не такие то крутые/умные как им мамка говорила. Рыночек порешал.
>Женщины лучше в колледжах и больше подходят для научных и околонаучных работ по многим причинам
Назови одну.
толсто уже
> Рыночек порешал.
> квоты
Выбери что-то одно.
Как минимум в среднем по аккуратности/организованности. Если ты делал науку то в курсе как это важно.
Всё так. Не согласен - сделай свой рыночек без квот
Ну сейчас рыночек и решает что белые мужики не нужны. Квот нет, есть статистика что наличие хотя бы одного коллеги твоего пола или национальности бустит твой перформанс. Так и вышло в универах, раньше пиздили результаты/работы у женщин тк они были одиночки и не могли ничего противопоставить и были квоты на одну женщину в год (на ПхД) для мат.департаментов в топ универах в США например. Как это убрали так женщины (а потом и азиаты) начали постепенно аутперформить белых мужиков и захватывать универы. Кстати в топ униках США до сих пор есть квоты на азиатов, иначе все бы давно в индусах и прочих азиатах было бы. Все это легко гуглится если хочешь больше инфы.
Вот
>Азиаты, например, всегда и везде лучше белых в вычислительных науках.
Только почему-то математику белые двигали.
Американские азиаты - потомки элитных китайцев, которые могли переехать из Китая, когда там пиздец творился. Американские негры - потомки случайных негров, выживших при транспортировке. Белые - европейских нищуков и сектантов.
https://www.youtube.com/watch?v=w9XXQYGMvTk
ой хуйню обсуждаете какоую-то
лучше бы мне ответили тут бля
Нейронка, подключенная к камере, которая распознает, то чему ты ее научил.
и это ок? типа просто распознование объектов?
или тут проблема в риалтайме?
>Назови одну.
Gender studies.
>аккуратности/организованности
Ну да, в прикладной/экспериментальной массовой херне это самое важное.
Для нормальной науки мозги нужны, а не это вот.
>раньше пиздили результаты/работы у женщин тк они были одиночки и не могли ничего противопоставить
Это тебе твои духовные наставники радфемки сказали?
>трясун ящика
>нормальной науки
тссссс, сейчас в тит-токе тебя обосрет
хаахах бля я как дед тик ток написал
КЕК
При чём тут тряска ящика? Речь шла про науку.
> Американские азиаты - потомки элитных китайцев, которые могли переехать из Китая, когда там пиздец творился.
Да. Так же и американские индусы тоже илитка из высших каст, а не из тех кто серит посреди улицы, а потом пьет воду из Ганга верхом на недоеденном трупе.
> Ну сейчас рыночек и решает что белые мужики не нужны.
Это решает (((повесточка))), а не рыночек. Рыночек как раз веками решал в пользу белых мужиков.
Аккуратность и организованность никак не зависят от наличия пизды.
В радфем религии зависят.
>Рыночек как раз веками решал в пользу белых мужиков.
И откуда же в этом чудесном рыночке взялась повесточка?
Она появилась с того момента, когда развалилась сельская община и европейцы стали переезжать в города, чтобы работать на заводах.
Валите отсюда, левоправые школьники вонючие
вот и я про то же
лучше бы мне про проект подсказали)))))
Ещё раз знатоки.
Есть тензор нормализованной картинки и есть тензор меток.
Первый имеет тип float32 и его значения, грубо говоря, в районе -1...1.
Надо ли тензор метки:
1) Так же приводить к float32?
2) Как-то шкалировать, чтобы его значения не сильно отличались от значений тензора картинки.
погоди, а что у тебя является меткой?
Жанр картинки.
Это ж Conditional GAN. Тензор картинки и тензор метки потом конкатенируется в дискриминаторе и генераторе.
соре, с ганами не работал никогда
но если конткатинируется, то выглядит так, будто 1) надо 2) завист от того, насколько сильно отличается от изображения. Если порядки совсем пиздец какие разные, то да, надо. Если нет, то можно и обойтись. Имхо, робастнее сделать шкалирование в любом случае
Спасибо, но всё равно какая-то хня.
>При чём тут тряска ящика? Речь шла про науку
99% ученых в говне моченых этим и занимаются.
Это правда. Сети становятся глубже, параметров - больше, прорывных идей - меньше, вот и трясут свои трансформеры и имажнеты.
Ёбаный ты сука долбоёб, речь шла про НАУКУ, вообще, блядь, НАУКУ, а не про твоё тупое R&D в области дотасаенс.
бля да заткнись ты уже
иди в /b и там спорь про то какие женщины охуеные (а если черные, то вообще тониньки старки) а мужло - тупое
а тут дай людям за машоб тереть
Вакансия на 4-8к бачинских.
https://hh.ru/vacancy/43128938
https://hh.ru/vacancy/43128938
Требования как у джуна + 8 лет опыта.
да напишут как на джуна
выебут на собесе как на сеньера
вон, в яндексе по-моему в описаниях всегда ультра лайтовые требования
а на деле мало кто туда попадает
>в яндексе по-моему в описаниях всегда ультра лайтовые требования
Там уже в анкете просят List three papers you like from the ICML, NeurIPS, ICLR, CVPR, ACL, KDD, ICCV, ECCV, EMNLP conferences published in 2018-2020 and explain why you like these papers and consider them important. We expect at least two or three sentences per article, but your comments can be as long as you wish.
А это только INTERN researcher.
Интересно, что жопеншмульцерошизик написал бы.
ну ты сравнил, братишка
ресерч вакансии и гребцов
ты в раздел "разработка" зайди
>А это только INTERN researcher.
Так в чем проблема? Просят прочитать пейперы, а не писать самому. Этим по сути занимаются вообще все машобщики.
помогите, я тупой. Задача придумать сеть, которая должна плюсовать и минусовать интеджеры. С одним нейроном и линейной функции можно простую сумму сделать. А как с минусом? Второй вес -1 сделать?
>Второй вес -1 сделать?
Да. И ещё, лучше беги из того места, где тебя заставляют это делать.
>прочитать пейперы
>Этим по сути занимаются вообще все машобщики
Смешная щютка.
не могу, диплом уже на горизонте.
А можете каких-то около-религиозных или философских вдохновляющих статей накидать на тему ии и прогресс в науке и технике?
Не про вычистку датасетов, а про светлое будущее, что всё больше задач решается компьютерами и всё в таком роде.
Я просто не знаю как это загуглить, чтобы что-то интересно найти - а не ненаучно-популярные статьи для обывателей, которые на что угодно поведутся и не отличат важную новость от несущественной.
Не про вычистку датасетов, а про светлое будущее, что всё больше задач решается компьютерами и всё в таком роде.
Я просто не знаю как это загуглить, чтобы что-то интересно найти - а не ненаучно-популярные статьи для обывателей, которые на что угодно поведутся и не отличат важную новость от несущественной.
Уж не помню, вроде никто так и не ответил, продублирую.
Какой способ расстановки рессвязей лучше и почему?
Какой способ расстановки рессвязей лучше и почему?
>иди в /b и там спорь про то какие женщины охуеные (а если черные, то вообще тониньки старки) а мужло - тупое
А нахуя ты мне это пишешь, шиз? Пиши это той чёрной транс лесбо квир небинарной андрогинной фемке мусульманке, выёбывающейся своим дипмайндом и дайвёрсити, с которой срач начался.
Sir Роджер Пенроуз, "Тени Разума".
>Смешная щютка.
Если не хочешь изобретать хуево работающие велосипеды, то читать пейперы придется.
Я знаю.
За что люблю современный "двач", я могу любую чушь написать и мне будут всерьез отвечать и пригорать с этого, лол.
>около-религиозных или философских вдохновляющих статей
Ох уж эти мамкины ценники аметисты. Был им Боженька и Царствие Небесное - фууу веруны бох мертв))...
ой а дальше що делать-то? Швитая Нейросеточка, спаси и сохрани от лукавого...
Не трясись так
Насколько сложно будет сделать войсморфер под определённого человека и в какую сторону копать?
Не общего назначения, а мой голос превратить в голос определённой девушки.
Не столько сделать, сколько попрактиковаться и попробовать разное.
Пробовал классической программой выделять первые n гармоник на спектрограмме и повышать их до девчачьих значений, при этом заранее собрав какую-то статистику по диапазону возможных частот для каждой гармоники, но получилось так себе (отвратительно).
В нейронках третий день, я что-то как ребёнок радуюсь запуская примеры или пробую свои конструкции.
Не очень понятно какая архитектура должна быть у такого. Текст и голос как бы отдельные - это нужно двумя автоэнкодерами обработать оба голоса, чтобы автоэнкодер запомнил сам голос, а в сжатом месте сохранял звуки (гласные, или что он там будет сохранять), а потом произносить одно и то же и пытаться аудиозаписи по тексту и интонациям совместить и обучать третью нейронку данные из узкого месте одного автоэнкодера в другой передавать?
Или обучать один автоэнкодер, которому ещё дополнительным сигналом передаётся 0/1 в зависимости от того, чей голос, после чего менять сигнал?
Или подключить к одному энкодеру два декодера и надеяться, что на выходе второго будут те же слова и интонации, что и на первом?
Не общего назначения, а мой голос превратить в голос определённой девушки.
Не столько сделать, сколько попрактиковаться и попробовать разное.
Пробовал классической программой выделять первые n гармоник на спектрограмме и повышать их до девчачьих значений, при этом заранее собрав какую-то статистику по диапазону возможных частот для каждой гармоники, но получилось так себе (отвратительно).
В нейронках третий день, я что-то как ребёнок радуюсь запуская примеры или пробую свои конструкции.
Не очень понятно какая архитектура должна быть у такого. Текст и голос как бы отдельные - это нужно двумя автоэнкодерами обработать оба голоса, чтобы автоэнкодер запомнил сам голос, а в сжатом месте сохранял звуки (гласные, или что он там будет сохранять), а потом произносить одно и то же и пытаться аудиозаписи по тексту и интонациям совместить и обучать третью нейронку данные из узкого месте одного автоэнкодера в другой передавать?
Или обучать один автоэнкодер, которому ещё дополнительным сигналом передаётся 0/1 в зависимости от того, чей голос, после чего менять сигнал?
Или подключить к одному энкодеру два декодера и надеяться, что на выходе второго будут те же слова и интонации, что и на первом?
Хуево заходишь.
бля вот меня бесят эти ололошы, которые подрывают чей-то пукан и такие "ааззазазазаз бомбанулоо азазазаз"
вызвать негативные эмоции легче всего. для этого вообще не нужно ничего уметь, нужно просто быть отбитым
ты пишешь очевидно вентиляторную хуйню и славно хлопаешь в ладоши, от того что у всех горит? ну збс
если тебя нельзя вот так вот развести на негатив, то ты какой-то дебич-аутист, сорян, иди нахуй
я ебу кто это пишет? мне похуй, заканчивайте оба
Начал читать мистера Гудфеллоу, а там вместо необходимых сведений по линейной алгебре краткий список определений. Так и должно быть, мне хватит для понимания принципов работы сверточных сетей умение перемножать матрицы?
Да.
Ну еще конечно надо уметь считать градиенты и брать производные от матриц
>ты пишешь очевидно вентиляторную хуйню
А ты ей всерьез отвечаешь
>брать производные от матриц
Имеются в виду производные функций от матриц?
Бамп вопросу.
Ну что, трясуны, 2021, ганы забыты? Сейчас в моде few-shot meta-learning какой-нибудь?
Если я запилю AGI его первой задачей будет вылавливать таких идиотов как ты и перерабатывать в биотопливо.
Глобалисты тебе этого не позволят. Стоит задача уничтожения нормальных белых мужчин.
> 2021, ганы забыты? Сейчас в моде few-shot meta-learning какой-нибудь?
Это вообще разные направления машоба. Иди уже уроки делай, а...
где брать датасеты?
Huggingface datasets
Для одних данных у нас есть один способ построить генеративную модель, для других - принципиально другой. Нет, они никак не скрещиваются, не обобщаются. Ну чо, охуеть, хорошо поработали учёные в говне мочёные.
А тем временем самому Саттону и разного рода горьким петухам и прочим свидетелям "хурр дурр стекморлейерс" подхода наложили полную панаму залуп. Оказывается ну никогда ж такого не было, а тут опять! что умный подход к трансформерам позволяет даже на моделях с сотнями миллионов параметров получать результаты лучше чем на 175млрд-ной гпт3.
>умный подход
Слишком сложно для дотасаенса.
Билион это сколько?
Млрд.
>жопеншмульцер надрочил модель под определенный датасет
>ееее дали пасасать
>жопеншмульцер надрочил модель под определенный датасет
Там не столько датасет, сколько общий подход формулировки задачи few-shot learning'а. Датасет стандартный , для сравнения.
>ганы
>few-shot meta-learning
>Для одних данных у нас есть один способ построить генеративную модель, для других - принципиально другой.
>Ну чо, охуеть, хорошо поработали учёные в говне мочёные.
Расскажите шизику, что в resnet-50 меньше параметров чем в vgg-19 - он две недели будет радоваться, что биттер лессон не работает.
Ну, так на хабре сказали, там где он биттер лессон и прочитал.
Ну, так на хабре сказали, там где он биттер лессон и прочитал.
А есть такое же, но уровнем повыше?
Как в гугл коллаб сейчас получить доступ к файлам на гугл драйве?
Раньше в папке content была папка drive, откуда можно получить получит доступ к файлам на гугл драйве, но щас смотрю и этой папки нет. Что за хрень?
Раньше в папке content была папка drive, откуда можно получить получит доступ к файлам на гугл драйве, но щас смотрю и этой папки нет. Что за хрень?
Подключись сначала к своему диску.
>раньше
Года два не заходил?
да буквально в декабре подключился так и норм всё было.
Ща уже разобрался
Посмотрел две части этой хуйни. Как она стала сеньором? Она же просто фактические ошибки выдает, да и объяснения как будто в курсах от гикбрейнса.
Сегодня вечером займусь хейт-вотчингом.
p.s. у модуля нет производной, поэтому его трудно обучать, а вот L2-регуляризация выпуклая и гладкая, поэтому её можно обучать градиентным спуском
p.p.s. рассказала про train-test-split, даже не упомянула валидацию
> Как она стала сеньором?
Сам-то как думаешь?
> Она же просто фактические ошибки выдает, да и объяснения как будто в курсах от гикбрейнса.
Будто ей нужно что-то кроме знания стандартного набора баззвордов.
А есть инфа, откуда она? Судя по темам, откуда-то из кредитного скоринга и прочего банкинга. Да и в как раз каком-нибудь сбере каждый второй - сеньор.
> Сам-то как думаешь?
Сексист что ли?
Сейчас бы в 2021 отрицать pussypass
Вечер в тредик, нейросети, остальным соболезную. Хочу переехать сюда из бэ, я не ожидал что тред доживет до 3 перекотов, конфу пилить - зло.
Вот тред
https://2ch.hk/b/res/242795738.html
Шапка говно, знаю, так что в кратце.
Помните в январе новости что опенхуи создали на основе гпт3 нейронку которая генерирует пик по 1 фразе. Так вот, я её нашел и доработал до уровня можно использовать.
Стоит ли или погоните ссанными тряпками? Или стоит создать отдельный тред?
Вот тред
https://2ch.hk/b/res/242795738.html
Шапка говно, знаю, так что в кратце.
Помните в январе новости что опенхуи создали на основе гпт3 нейронку которая генерирует пик по 1 фразе. Так вот, я её нашел и доработал до уровня можно использовать.
Стоит ли или погоните ссанными тряпками? Или стоит создать отдельный тред?
Алсо сразу примеры. Стимпанковская m14a4 и гигантский красный мяч.
Что ты там именно поменял? Алсо, вот же есть https://github.com/lucidrains/DALLE-pytorch хм, интересно, не думал, что так быстро выложат что-то подобное. Но в любом случае, это не гпт3, так что думаю будет там ехать кринж через кринж и кринжем погонять...
Едрить там крипота, крипотайд. Пикрелейтед - "a hedgehog made of violins. A hedgehog with the texture of violin". Как будто Пикассо наебенился паленой боярой и пошел творить...
Сейчас фикшу. 2 минуты и делай заново.
Поменял код в колабе который запускает нейронку.
Обновил.
Бля, а где почитать про то, что значит подписи у синтаксических связей в spacy? В особенности для русского языка я правильно понимаю, что для русского и английского разные метки получаются?
Я бы её по'pussypass'ал!
Сколько нужно подать картинок в GAN, чтобы оно выдавало что-то внятное?
Есть ли нейронка, которая подбирает дифференциальные уравнения к циклическим процессам?
Ещё допилил гифочки генерирующихся картинок.
>генерирующихся картинок
Напоминает твопчество Ромы микроцефала.
Потому что эта технология еле дышит даже с использованием гпт3. А то, что у них на пайторчах реализовано, вроде вообще реформер (во всяком случае, там ссылка на пейпер про реформер). Разумеется, качество там будет уровня "говно из жопы". Вот когда гпт4 / что-то такого уровня к далле прикрутят, тогда все охуеют. Собственно, оно и с гпт3 вполне даже ничего, судя по примерам в пейпере, даже если это черрипикинг.
Я, кстати, ещё в 2015 хотел нейроночную визуализацию / "экранизацию" blood electric Сиратори, когда только появились эти Гугл дипдримы с собачками. Теперь уже точно почти есть такая технология.
Интересная хуйня проскакивает, вот a epic sphere. Как минимум в простейшую геометрию и зачатки попытки в стиль она может.
> Как минимум в простейшую геометрию и зачатки попытки в стиль она может.
Где ты там геометрию и стиль увидел?
Эпичность и сфера же. Что просил то и получил.
пишу, чтобы запинить тред, тк перекатывальщик уебан не проставил тег(походу)
спасибо за внимание
спасибо за внимание
антуаны, пилю сейчас трекинг людей
делаю часть с детекцией
какую сеть лучше подобрать для риал тайма? слышал про yolov4
норм?
делаю часть с детекцией
какую сеть лучше подобрать для риал тайма? слышал про yolov4
норм?
норм
Зачем я нужен, если любого Васяна можно в кратчайшие сроки научить трясти ящик?
>Зачем я нужен, если любого Васяна можно в кратчайшие сроки научить трясти ящик?
Васян натрясет 70% точности, ты 90%, а какой-нибудь рнд в фаанге натрясет 99%.
Анон, помоги, пожалуйста.
Это нормально для 14й эпохи по сравнению с первой?
Или GAN творит херню склоняюсь к этому?
Это нормально для 14й эпохи по сравнению с первой?
Или GAN творит херню склоняюсь к этому?
Йоло второй версии норм работает от 1000, это буквально пол дня. Поздние версии не пробовал, но не думаю что там по другому.
Подразумевая, что метки генерированные имеют больший коэффициент ошибок, то только если не хватает данных для предотвращения переобучения. А потом файнюнить на реальных метках
норм
Ты бы подписал где инпут аутпут таргет и что это вообще такое.
Проверял на (фешн-)мнисте свой код?
Очевидно, это аутпут генератора на 1ой эпохе и на 14ой.
ну тогда очевидно, что нормально (если у него цель - генерация фиолетовых хуёвин)
>Проверял на (фешн-)мнисте свой код?
Нет, мы ж не ищем лёгких путей: сразу хуячим картинки 224x224 в модифицированную реснет-модель с самописным генератором.
Теперь надо либо долго разбираться, где я ошибся, либо искать того, кто поможет.
Но, учитывая, что итт в основном жопеншмульцера обсуждают, найти тут кого-то такого будет тяжеловато.
Я так пынямаю, чем дольше рисует, тем лучше результат? 40 минут медитирую над пикрелейтед, лол. Шидевор нихонской гравюры, "samurai fighting with ninja" Вроде детализация только улучшается? продолжаю наблюдение.
Час ровно. Вроде детализация получше
Ну что, кто-нибудь снизойдёт помочь?
Или как обычно?
Проверь на мнисте, можешь даже с обычными денс-денс-денс генератором и дискриминатором.
Но ведь и 70% для антифрода в занюханном микрокредите тоже норм. Просто чуть больше неизбежной ручной работы проверяющему человеку
А кто чем занимается на работе? Интересуют практические задачи, которые решаются сейчас датасаенсом.
Ну что, горькие петушилы, сколько еще нужно stack more humans, чтобы Tesla научилась наконец распознавать грузовики?
https://youtu.be/IrVikr2uNfE
https://youtu.be/IrVikr2uNfE
>Detroit police: Driver was in control of Tesla when it crashed into semi truck
Ты хотя бы название прочитал.
Когда таким дебикам как ты запретят водить, тогда и аварий не будет.
Фейкопочту оставишь?
Бля, хочу заюзать гугл сервис для извлечения сущностей https://language.googleapis.com/v1/documents:analyzeEntities?. Создал тут https://console.cloud.google.com/apis/credentials API key, делаю POST запрос по ссылке https://language.googleapis.com/v1/documents:analyzeEntities?key=''мой ключ" и в итоге получаю ошибку 403. Что я делаю не так, аноны?
Разобрался. Оказывается нужно было продать душу гуглу и только тогда он даст активировать нлпшную библиотеку
> Оказывается нужно было продать душу гуглу
Корпорация Добра, хуле!
>востребована
>Алгоритмы машинного обучения стремительно развиваются, а значит, спрос на специалистов по Data Science тоже постоянно растёт.
Совершенно необоснованная импликация. Типикал дотасаенс.
Добрый вечер всем. Какая область или области машоба/диплернинга считаются наиболее сложными с математической точки зрения? Интересует в первую очередь из того, что реально работает и немало где применяется(т.к. понятное дело что можно придумать что-то очень сложное теоретически и очень круто работающее и даже написать статью, но не факт что оно на практике будет работать так же хорошо). Слышал что байесовские нейронки являются чем-то сложным, так ли это? Есть ли что-то сложнее, или примерно на том же уровне?
>Какая область или области машоба/диплернинга считаются наиболее сложными с математической точки зрения?
1. Топологический анализ данных. Там математические антоны даже гомологии вычисляют.
2. Квантовое машинное обучение. Ну это так, не то чтобы сложно, просто айтишников пугает слово «квантовый». Ну и да, математика там немного сложнее.
> Интересует в первую очередь из того, что реально работает и немало где применяется
1. Ещё пока не применяется. Наверное.
2. Уже применяется техногигантами для решения огромных задач.
Ну это так, то, что первое пришло в голову, я долго не думал.
> . Какая область или области машоба/диплернинга считаются наиболее сложными с математической точки зрения?
Никакая. Там все одинаково и со времён середины прошлого века именно в матчасти не поменялось ничего, даже самые современные трансформеры это на 95% перемножения матриц, остальное всякие нормирования и градиенты, то есть все как Жопеншмульцер в 1960 завещал.
> Квантовое машинное обучение. Ну это так, не то чтобы сложно, просто айтишников пугает слово «квантовый». Ну и да, математика там немного сложнее.
Самое смешное, что квантовая логика это в точности нечеткая логика, для которой матчасть разработана давным-давно, я на этот счёт даже пейпер приносил. Так что вкатывайтесь в нечеткую логику, любой квантовый вычислитель это литералли fuzzy inference system.
Может fuzzy logic еа классических компьютерах дать больший прирост производительности, чем точные алгоритмы?
Не корми шиза
Нет, про то, что QC это эквивалент нечетким и вероятносным системам, он верно сказал.
Нет. Нечеткая логика это не про производительность, а про то, что вся неточность не сводится к вероятности. Даст ли оно что-то по сравнению с нейроночками итд толком неясно, никто не пробовал нечёткие модели стакать сотнями слоёв, хотя общий принцип такого известен.
>квантовая логика это в точности нечеткая логика
Хуйня без задач же, не математика.
>Так что вкатывайтесь в нечеткую логику
Хуйня без задач же, за один вечер можно освоить.
>любой квантовый вычислитель это литералли fuzzy inference system
Я могу так же сказать, что любой квантовый вычислитель это литералли машина Тьюринга с прикрученным на выходе генератором случайных чисел.
>> Квантовое машинное обучение
А вообще, вот для таких вот вещей есть нормальный матаппарат, например, теория лиевых групп и функан, которые реально позволяют развивать теорию, а не просто "понять" уже разработанное, в отличие от говна по типу бесполезных квантовых, нечетких и прочих говнологик.
С помощью такой хуйни без задач ничего нового в теории разработать нельзя, потому что это совершенно интеллектуально неглубокие хреновины. Математики такую хуйню математикой в принципе не считают.
>Так что вкатывайтесь в нечеткую логику
Так что вкатывайтесь в нормальную математику.
> Я могу так же сказать, что любой квантовый вычислитель это литералли машина Тьюринга с прикрученным на выходе генератором случайных чисел.
Тупостью троллишь? Любой в принципе возможный вычислитель это машина Тьюринга, так как универсальная машина Тьюринга моделирует само понятие вычислимости.
> С помощью такой хуйни без задач ничего нового в теории разработать нельзя, потому что это совершенно интеллектуально неглубокие хреновины. Математики такую хуйню математикой в принципе не считают.
Ну разработай "интеллектуально глубокий" машоб с гамалогиями. В итоге насосешься биттерлессона.
> А вообще, вот для таких вот вещей есть нормальный матаппарат, например, теория лиевых групп и функан, которые реально позволяют развивать теорию, а не просто "понять" уже разработанное,
Добавлю, что в итоге все равно получится машина Тьюринга, как ты и написал выше. А если нет разницы, зачем в машобе матаппарат сложнее линейной алгебры?
Кто перекатывать будет, а мудилы?
Или вы думаете, что родится AI и за вас перекатит все?
Или вы думаете, что родится AI и за вас перекатит все?
Перекати сам.
КТО? Я?
>насосешься биттерлессона
Макакинг никак разработку теории не отменяет, это параллельные вещи.
>bitterlesson
>никак разработку теории не отменяет
> Макакинг никак разработку теории не отменяет, это параллельные вещи.
За все время существования этой предметной области, единственный серьезный теоретический подход к машобчику это теория статистического обучения Вапника. Но там нет никаких гамалогий, они там не нужны.
> Макакинг никак разработку теории не отменяет, это параллельные вещи.
Ты походу не очень понял, о чем там. Саттон приводит в пример случай, когда суперкомпьютер обыграл Каспарова. Без всяких сложных теорий, гамалогий итд, простым по-сути брутфорсом. То есть, можно анализировать шахматы, выстраивать сложные теории, а можно просто использовать брутфорс да накидать побольше вычислительных мощностей. И последний вариант работает лучше первого. Каспарова обьебали ещё в 1997, а каких-то умных идей, как это сделать по науке, так и не поступало.
А кто-нибудь может объяснить, нахрена люди создают новые архитектуры, если можно просто stack more layers?
>Без всяких сложных теорий, гамалогий итд, простым по-сути брутфорсом.
Потому что проблема шахмат это комбинаторика позиционной игры обычной. Странно ожидать что там может быть какая-то естественная теория.
> можно анализировать шахматы, выстраивать сложные теории, а можно
заниматься макакингом. В том смысле слова "можно" что одно не заменяет другое, тут разные целеполагания. То есть когда макака с битерлессоном наперевес грозиться заменить учёных макаками, это не учёные не понимают битерлессона, а макака не понимает сути научного знания.
Джвачую.
> А кто-нибудь может объяснить, нахрена люди создают новые архитектуры, если можно просто stack more layers?
Новые архитектуры менее ресурсоемкие. Ещё Лекун говорил, что все что может сверточная сеть, теоретически может и простой перцептрон, вот только он должен быть огромных размеров и жрать в разы больше.
> Потому что проблема шахмат это комбинаторика позиционной игры обычной.
Гамалогии твои - та же комбинаторика, ещё и попроще шахмат. Diagram chasing, основной способ доказательства в гамалогиях, как пример. Дергаешь такой коммутативные диаграммы и веруешь, что не макака...
>Гамалогии твои - та же комбинаторика, ещё и попроще шахмат.
Так гамалогии это инструмент, а не самоцель. К тому же, для их подсчёта вполне классические алгоритмы работают, там машоб вообще не нужен.
Ну представь, что шахматная партия это коммутативная диаграмма. Фигуры - объекты, ходы - морфизмы. Цель - доказать, что для какой-то из фигур возможен морфизм между ней и вражеским королем, ставящий ему мат. По науке ты такой результат доказывать охуеешь. А тут накидали побольше параметров и брутфорсом доказали. Вот и битерлесон зарешал
> По науке ты такой результат доказывать охуеешь.
Нет, не ахуеешь. Учитывая простоту шахмат, с математической (научной точки зрения) решение задачи шахмат сводится к перебору всех вариантов ходов, и нахождение такой последовательности действий, которая удовлетворяла бы constraints. То есть задача прекрасно укладывается в программу-теорему на прологе.
>теория статистического обучения Вапника
Какие там есть фундаментальные достижения?
Обоснование метода минимизации эмпирического риска, например.
>Фигуры - объекты, ходы - морфизмы. Цель - доказать, что для какой-то из фигур возможен морфизм между ней и вражеским королем, ставящий ему мат.
1) Это бессмыслица
2) Что угодно можно засунуть в теорию категорий. От этого оно не превращается в математику.
Этот шарит.
> ррреее, ваши гамалогии не гамалогии, ваша математика не математика
Какой же ты клован, хоспаде...
Лучше бы отложил свой макакинг чёрного ящика уже и пошёл нормальную математику учить.
вас ис дас "одс"?
мимо-вкатун
Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu/ (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.
Почему такой фокус на нейронки?
Потому что остальные чистят вилкой данные в банках с помощью LGBTboost и им некогда предлагать обновления в шапку
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
https://d2l.ai/index.html
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1920026.html
https://2ch.hk/pr/res/1902462.html
https://2ch.hk/pr/res/1881607.html
https://2ch.hk/pr/res/1868191.html
https://2ch.hk/pr/res/1847673.html
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html