Так, смог запустить древний скрипт распознавания.
Процент 50%, время - 3 секунды.
Это 1200 файлах.
Для успешной эволюции надо прикрутить многопоток, чтобы сократить время распознавания. Ибо чем быстрее оно будет, тем быстрее будет эволюция.
Процент 50%, время - 3 секунды.
Это 1200 файлах.
Для успешной эволюции надо прикрутить многопоток, чтобы сократить время распознавания. Ибо чем быстрее оно будет, тем быстрее будет эволюция.
>я лишь запущу генетический алгоритм на файле "днк" кода распознавания
не уверен что понял тебя
Вот фрагмент кода. Я даже уже не помню что значат конкретные символы, но суть в том, что там запоминается вероятность того, что каждый пиксель картинки будет цветным для каждой цифры.
Я просто запущу генетическое изменение этого файла, таким образом, попробую обучить алгоритм без наличия обучающих картинок.
0|0|0|0.0014903129657228018
0|0|1|0.007451564828614009
0|0|2|0.038002980625931444
0|0|3|0.26453055141579734
0|0|4|0.657973174366617
0|0|5|0.8934426229508197
0|0|6|0.9746646795827124
0|0|7|0.9694485842026825
0|0|8|0.879284649776453
0|0|9|0.30327868852459017
0|0|10|0.09612518628912071
0|0|11|0.012667660208643815
0|0|12|0.0022354694485842027
0|0|13|0.0
0|0|14|0.0
0|0|15|0.0
0|0|16|0.0
0|0|17|0.0
0|0|18|0.0
0|0|19|0.0
0|1|0|0.004470938897168405
0|1|1|0.041728763040238454
0|1|2|0.4150521609538003
0|1|3|0.8204172876304023
0|1|4|0.6885245901639344
0|1|5|0.32488822652757077
0|1|6|0.14232488822652756
0|1|7|0.11847988077496274
0|1|8|0.5409836065573771
0|1|9|0.9061102831594635
0|1|10|0.6400894187779433
0|1|11|0.10581222056631892
0|1|12|0.00894187779433681
0|1|13|0.0014903129657228018
0|1|14|0.0
0|1|15|0.0
0|1|16|0.0
0|1|17|0.0
0|1|18|0.0
0|1|19|0.0
0|2|0|0.02459016393442623
А, все, вспомнил.
0|1|11|0.10581222056631892
Походу первое число - цифра.
Потом 2 координаты x и y. Затем вероятность.
Буду менять ген-алгоритмом только последнее.
Вообщем, все норм.
В файле 6000 строк.
В принципе, небольшой объем ДНК.
Но эволюция будет происходить значительно, в тысячи раз более медленно, чем при набирании текста, ибо фитнесс-функция теперь гораздо более тяжелая, надо будет прогонять распознавания тысячи капч на каждом шаге эволюции для каждой особи.
Епт, ананасы, у меня тут очень странное дерьмо
Объясни еще раз, по какому алгоритму ты написал ДНК код?
Ну охуеть, лол.
Я оказывается был полным дебилом, когда тестил свой же алгоритм в прошлый раз.
Дело в том, что у меня всего есть 4176 уже распознанных капч, которые я могу использовать в алгоритме.
В прошлый раз я разделил их на 2 части - обучающую выборку и тестовую.
Но в моем разделении был очень неочевидный нюанс.
А именно, имена у файлов вида "0000_405601770". Где первые 4 символа - текст на капче, а далее рандомное число, чтобы имена не совпадали.
Так вот. Я в прошлый раз разделил капчи на 2 части, ОТСОРТИРОВАВ ИХ ПО ИМЕНИ.
Какой же я эпический долбоеб.
В итоге я получил, что алгоритм обучается на первых 5-и цифрах, а тестится на последних 5-и. В итоге ожидаемый рейт в 50% и получился.
Когда я отсортировал их по дате и разделил так, что в обоих выборках были капчи со всеми возможными цифрами я получил гораздо более высокий рейт.
В первом тесте (обучающая выборка 3к капч, тестовая 1к) - рейт аж 97%. Пиздос.
Во втором наоборот (обучающая 1к, тестовая 3к) рейт 76%.
Ну охуеть, оказывается 4 года назад я написал превосходный алгортим для обхода такого вида капчи, но даже не понял этого.
Охуеть
Я один тут ощущаю себя дауном?
Нет, просто ОП не хочет пояснять. Поясни, ОП!
Туалетный, когда на пд зайдёшь?
Есть капча, надо распознать.
Капча очень простая, шум минимален и примитивен, шрифт один, искажений нет, положение цифр примерно одинаковое, наплывов нет. Из сложностей только наклон.
Тут отлично подойдут маски символов.
Для начала, разделяем капчу на 4 части, чтобы распознавать каждую цифру отдельно.
Допустим, мы получим для каждой цифры рабочую картинку разрешением 20x30 пикселей, скажем. Всего 600 точек. Мы прогоним тысячу капч через алгоритм и узнаем СРЕДНЮЮ ВЕРОЯТНОСТЬ ТОГО, ЧТО ДЛЯ ДАННОЙ ЦИФРЫ В ЭТОЙ ТОЧКЕ БУДЕТ ЗАКРАШЕННЫЙ ПИКСЕЛЬ.
Алгоритм обучился.
Затем берем тестовую капчу, алгоритм берет первую цифру, смотрит где закрашенные пиксели и вычисляет, для какой цифры совпадают вероятности в точках.
Для обучения алгоритма нужны капчи, чем больше, тем лучше.
Фишка в том, что генетическим алгоритмом можно обучить алгоритм распознавания НЕ ИМЕЯ КАПЧ.
В этом вся магия и должна быть.
А в какой среде ты все это кодишь?
>А в какой среде ты все это кодишь?
Там же видно все, консольное Java-приложение.
оп, ты здесь ещё?
буду мониторить ответ (ну, подписался всмысле)
буду мониторить ответ (ну, подписался всмысле)
Я тут. Но сейчас возьму паузу на полчасика, есть пара дел, которые надо сделать. Потом попробую прикрутить генетический алгоритм к распознавалке капчи.
Вообще, моя изначальная цель (улучшить качество) больше не имеет смысла. У меня итак очень высокий рейт, на 3к капч уже 97%, что просто ПИЗДЕЦ КАК ДОХУИЩА. Это вероятность на символ выше 99%. А я даже не нейтрализовывал наклоны.
Теперь цель именно тестануть генетический алгоритм в новой ипостаси.
Поясните нафане,чтоэта за хуита у вас
Хуйня какаято, вон в соседнем треде мемасы постят, туда пойду
Ну и пошел нахуй,нивидишь умные люди сидятъ
так стой,объясни, я нихуя не понял за днк.
>просто запущу генетическое изменение этого файла
как ты это пилить будешь? может ты имел ввиду не генетику (ибо я не понимаю где у тебя связь с понятиями генетики, что у тебя в качестве X а что Y, ну и т.п.), а эволюцию кода, мол самосовершенствование на основе удачной выборки?
Оп сраный шизоид
Оп в треде. Скоро вернусь
^
>СРЕДНЮЮ ВЕРОЯТНОСТЬ ТОГО, ЧТО ДЛЯ ДАННОЙ ЦИФРЫ В ЭТОЙ ТОЧКЕ БУДЕТ ЗАКРАШЕННЫЙ ПИКСЕЛЬ.
>рейт аж 97%. Пиздос
>Капча очень простая, шум минимален и примитивен, шрифт один, искажений нет, положение цифр примерно одинаковое, наплывов нет. Из сложностей только наклон.
Наверняка этот алгоритм даже на хуекапче соснет.
>рейт аж 97%. Пиздос
>Капча очень простая, шум минимален и примитивен, шрифт один, искажений нет, положение цифр примерно одинаковое, наплывов нет. Из сложностей только наклон.
Наверняка этот алгоритм даже на хуекапче соснет.
>распознавание капчи
А нейпросеть заюзать религия не позволяет?
ОП, ты где?
Мои дела оказались дольше, чем я думал, но вечером займусь тредом.
Ебанутый ОП, запили нейронную сеть, которая будет новой бордой.
Ну вообще нет, лол. Шрифт одинаковый, искажений нет, шума нет.
В хуекапче главная сложность - разделение символов, ибо есть наплывы и повороты.
Но распознавание хуекапчи - не тема данного треда.
Здесь стоит цель обучить распознавалку генетическим алгоритмом.
Можно и нейронку сделать, но это, опять же, не тема данного треда.
ОП серьёзно нужно погуглить терминологию которую он юзает.
Бамп
Где оп
Оооп
Да я тут
Распиши модель генетического алгоритма в контексте механизма подбора капчи, я не понимат
Два чая.
Как генетика в целом работает - понятно, а в контексте подбора капчи как-то не очень. Если ты собираешься просто несколько раз обучать прогоном одной и той же капчи, так и напиши.
Думали тред утонул? А вот и нихуя
Все распишу, аноны, ближе к ночи все будет
Что непонятного? Все просто же.
Конфиг алгоритма подбора хранится в файле, где для каждого пикселя задана вероятность его нахождения в черном цвете.
Генетический алгоритм использует этот файл как ДНК, 1 пиксель - 1 ген. Мутацией значение вероятности меняется на некоторую величину.
В итоге алгоритм обучается.
>обучать прогоном одной и той же капчи
Это вообще как?
>В итоге алгоритм будет подгоняться под значения тестирующей капчи.
Но ведь я обучаю на одной выборке, а тестирую-то блядь на другой. Я по-твоему совсем тупой что ле?
Ну в самом процессе эволюции ясен хуй алгоритм будет поддрачиваться под конкретную выборку.
Но затем тестироваться будет на другой, про которую он ничего не знает.
Ну а так-как алгоритм все же не отпизды написан, он должен будет хорошо отработать и на капчах, которых доселе не видел.
Бамп
Итак, как я понял: у тебя есть 4к капч.
Ты берешь 3к капч с заранее известными ответами.
Натравливаешь свой алгоритм на эти капчи, допустим 500 раз(дабы получить усредненные значения процентов на каждый пиксель в каждой цифре каждой капчи).
Эта информация - считается за родительскую.
Далее генерируешь из родительской информации несколько новых потомков, с рандомными изменениями.
Натравливаешь на (3к тренирующих капч|1к тестовых капч), выбираешь лучшего потомка.
Повторяешь пока не заебешься\не достигнешь нужного улучшения с момента генерации.
Я правильно расписал?
Тогда вопрос про натравливание 3к тренирующих капч или 1к тестовых капч?
Ну почти.
Вопрос о том, брать ли за изначальную популяцию обученную классическим методом днк больше не стоит, т.к. я исправил свою прошлую ошибку и теперь получил высокий рейт и без генетического алгоритма.
Короче.
1. Генерю отпизды исходный файл со значениями вероятностей пикселей (или беру файл, где везде нули).
2. Натравливаю на него ген-алгоритм, через N поколений получаю высокий рейт.
Сейчас же у меня обучение классическое, без ген-алгоритма:
1. Натравливаю алгоритм высчитывания вероятностей пикселей на 3к капч. Получаю файл "днк", "мозгов" и т.п. со значениями вероятностей пикселей.
2. Тестю это говно на оставшихся 1к капчах, которые не участвовали в обучении (для них не высчитывались вероятности).
Вообще могу на гитхаб залить, если кому-то интересен сам код.
>Натравливаю на него ген-алгоритм
Но ген алгоритм должен с чем то сравнивать свои ответы (истина\ложь), т.е. юзаются те же 3к капч?
>Сейчас же у меня
Вроде весь тред был о том, что ты пилишь ген-алгоритм...
>на гитхаб залить
Много кода? Скок писал?
И таки почему не заюзать уже готовые вероятности пикселей дабы приблизить начальную генерацию поколений к идеальной?
>Но ген алгоритм должен с чем то сравнивать свои ответы (истина\ложь), т.е. юзаются те же 3к капч?
Что блядь за "те же"?
Ген-алгоритм будет ебать одну выборку, когда доебет и достигнет на ней высокого рейта, я тестану полученную днк на другой выборке.
>Много кода? Скок писал?
Когда много, писал давно, несколько лет назад. В основном там говнокод, но мне сейчас поебать, я взял этот проект капчей, ибо мне неохота писать с нуля нейронку, когда для теста ген-алгоритма на реальной задаче подходит и этот проект капчей.
> почему не заюзать уже готовые вероятности пикселей дабы приблизить начальную генерацию поколений к идеальной?
Изначально и был такой план, изначальный рейт был 50% успешных распознаваний.
Но затем я обнаружил, что использовал для обучения и для теста некорректные выборки, где преобладали какие-то конкретные цифры в капчах и алгоритм хорошо обучался одним цифрам, но плохо другим.
Затем я взял корректные выборки, где все цифры представлены равномерно и получил рейт 97% успешных распознаваний при обучении на 3к капчах и тесте на 1к.
Если взять для обучения лишь 1к, а тестить на 3к, то рейт 76%
Короче, при рейте 97% я не вижу смысла пихать на него ген-алгоритм, там итак все идеально. А пара лишних процентов роли не играют.
Поэтому, я хочу скормить ген-алгоритму отпизды сгенеренный или пустой файл, чтобы увидеть, сможет ли ген-алгоритм, достигнуть хорошего рейта.
Что за заумную херню вы тут разгоняете?
Есть адаптированная версия для тупых?
Есть адаптированная версия для тупых?
>Вроде весь тред был о том, что ты пилишь ген-алгоритм...
Сейчас прогон 1к капч через распознавалку занимает 3 секунды, это слишком много.
Сейчас занят написанием многопоточного теста, чтобы уменьшить время до долей секунды.
Затем уже прикручу ген-алгоритм и посмотрю, что получится.
>будет ебать одну выборку
Вот это я и хотел услышать.
>Что блядь за "те же"?
В том плане что если бы ты взял уже посчитанные вероятности(те что процент распознавания 97%) на половине капч, и потом, на той же выборке капч, ебал бы ген-алгоритмом.Что ты и расписал в последнем посте.
К чему был и мой комментарий:
>собираешься просто несколько раз обучать прогоном одной и той же капчи
имея ввиду выборку.
В общем под
>те же
я имел ввиду случай, когда ты уже просчитанные проценты запихиваешь под ген-алгоритм. Но ты этого делать не хочешь. Я понял.
Хотя можно было бы потыкаться с теми 50% данными.
Есть капча.
Оп программно её распознает.
Оп сначала неправильно разделил обучение и тест, из-за чего всё пошло по пизде и только 50% капч распознавалось.
Затем он исправил разделение и распознавание улучшилось до 97%.
Из-за изначальных 50% оп думал пилить генетический алгоритм читай обучение пк как ребенка, но немного задвинул эту идею в связи с обнаружением своей ошибки и улучшением качества распознавания до 97%.
>занимает 3 секунды
Небось картинки грузишь какими-то йоба библиотеками?
Я не задвинул эту идею, я лишь не хочу юзать в качестве начальной популяции файл с рейтом 97%, иначе это исказит смысл и суть эксперимента.
>не хочу юзать в качестве начальной популяции файл с рейтом 97%
А на 50% файл не думаешь натравить? Или ты хочешь именно с нуля начать?
import java.awt.image.;
import javax.imageio.;
Больше ничего.
Просто там дальше препроцессинг картинок идет каждый раз (а не 1 раз перед началом, как следовало бы), да и вообще код говнявый.
Просто этот проект я писал несколько лет назад, до этого я вообще капчи не распознавал, поэтому на такие нюансы было похуй
(да и тогда цель была в распознавании 1-й капчи на сайте и время распознавания 1-й капчи очень даже быстрое).
Короче код хуевый и я сейчас пытаюсь это несколько исправить.
Ага, понятно. А как именно машина распознает цифры? Считывает пиксели, а дальше что? Выстраивает их в фигуры, подгоняет их под фигуры чисел?
Про генетический алгоритм погуглил. Нихрена себе, какие штуки, оказывается, бывают.
Ну вообще можно и на непустой файл натравить, обучить, допустим, на 100-200-500 капчах, чтобы получить некоторый начальный рейт.
Вообще посмотрим, зависит от скорости обучения, которую я пока не знаю.
>как именно машина распознает цифры?
->
->
>Просто там дальше препроцессинг картинок идет каждый раз (а не 1 раз перед началом, как следовало бы), да и вообще код говнявый.
С этим то да, проблема... Это бы и исправлял, чем многопоточность пилить.
На сколько я понял выше по треду, оп грубо говоря берет все возможные изображения цифры (например нуля), накладывает друг на друга и записывает в каких местах чаще всего бывают закрашенные пиксели.
Под словами берет все возможные изображения цифры я имею ввиду берет последовательно каждую капчу, разрезает на цифры и дальше уже 'накладывает'
А при распознавании, смотрит какие пиксели закрашены, смотрит какова вероятность что это именно подходящая цифра(наибольшее совпадение) и отдает наиболее вероятный результат.
Ага, понятно. Спасибо.
А можно ли проанализировать кучу известных картин, а затем создать универсальный шедевр, подставив на каждый пиксель цвет, который там чаще всего встречается?
Отчего бы нет? Можно.
Блин, вот же круто.
Жаль, что я гуманитарий.
Как будто гуманитарий не может осилить питон и написать нечто подобное.
>Фишка в том, что генетическим алгоритмом можно обучить алгоритм распознавания НЕ ИМЕЯ КАПЧ.
Где-то тут парадокс... Как же алгоритм будет узнавать приблизился он к ответу или нет?
А я ведь пытался.
Оп ведь поехавший, да?
Единственная ~проблема в этом, что размер (в пикселях) изображений наверняка будет различен. И как с этим быть...
Уёбывай в вк
Что хочет натравить ген алгоритм на пустой файл имея всего 1 жизнь в запасе и жаву как яп? Да.
А в целом задача интересная.
Хз. Разбивать картинку по секторам?
Ну такое...
Подумал о том, что можно ресайзить их под одно... хотя это будет слегка убого.
А еще, цвет пикселя есть ни что иное как 3 канала по 256 оттенков т.е. всего цветов 256^3, таким образом определение наиболее частого цвета будет... немного странным ибо будет мало совпадений и будет тяжело определить наиболее частый цвет на малой выборке.
А разве нельзя сократить число это? Я помню, на моей первой винде 2000 был режим, когда цветов оставалось всего, вроде, 256.
Можно, но выйдет говнище, тупо бесформенное цветовое пятно.
>универсальный шедевр
>тупо бесформенное цветовое пятно.
Ну он так и сказал.
Да наверн можно.
>Как же алгоритм будет узнавать приблизился он к ответу или нет?
Да, тут я уже понял, что обосрался.
Но по идее, это должно выстрелить на нейронках со сложными топологиями, методов обучения которых не существует.
Но до такого астрала я пока не дошел.
Движусь постепенно.
Первой версией ген-алгоритма вообще был простой набор текста, сейчас вон уже к капче прикручиваю. Нейронки будут потом.
Вообще, ген-алгоритм идеально подходит туда, где проверить корректность ответа можно, но самих ответов нет.
Как ирл проверяется, можешь ли ты выжить, но готового рецепта выживания нет.
>1 жизнь в запасе и жаву как яп?
Еще раз обращаю внимание, что не решаю конкретную прикладную задачу, я лишь обучаюсь, хочу наглядно все сам увидеть.
Поэтому до идеала тут далеко и я это осознаю. И не вижу в этом проблемы
Так-то понятно, что на реальных задачах надо на плюсах или сиське все писать, гонять на какой-нибудь куде, а препроцессинг должен быть произведен 1 раз в начале.
>единственная ~проблема в этом, что размер (в пикселях) изображений наверняка будет различен
Тоже мне проблема. Подгонять под 1 размер и все.
Так-то, насколько я помню, на конкретно этой капче нужды в этом нет, ибо размер символов всегда одинаков, даже учитывая наклоны.
Я там режу пикчу по секторам, оставляя немного пустых пикселей по краям, вообщем, размер кусков совпадает всегда.
>проверить корректность ответа
Еще раз.
Проверить корректность ответа, не сравнивая его с готовым ответом.
Вообщем когда есть ситуация, когда я какой-то хуйне скармливаю образец и она говорит мне, хорош он или нет, но идеального образца она мне дать не может.
>Но по идее, это должно выстрелить на нейронках со сложными топологиями, методов обучения которых не существует.
Вот сейчас резко сложно стало.
>Первой версией ген-алгоритма вообще был простой набор текста
Вероятно я был в том треде, и даже загорелся идеей и написал сей алгоритм на следующий день, кстати на сях. Но вероятно я не совсем правильно реализовал его, поэтому у меня он работает очень долго, ибо я делал 10 детей, и у каждого по 3 мутации, однако не запоминал какие мутации ближе к решеню, поэтому мутации могли ухудшать итоговый результат. А еще отец всегда умирал, не зависимо от того был он ближе к решению или нет..
>Вообще, ген-алгоритм идеально подходит туда, где проверить корректность ответа можно, но самих ответов нет.
Как ирл проверяется, можешь ли ты выжить, но готового рецепта выживания нет.
Вот это ты красиво сказал.
Одно дело подгонять под размер капчу (которая итак одного размера), другое дело картины.
Таки проебался с разметкой.
Бамп. Пишу многопоток
Эх, а вот в шарпике пишешь в функциональном стиле, а потом просто добавляешь asparallel и готово...
Кстати, оп, напомни о себе: кто по жизни студент али работник, какой лвл, сколько лет прогаешь, какие языки?
Написал многопоток, но он чет почти не прибавил производительности. Хз что за хуйня.
На 1 потоке 3к капч распознается за 7 секунд в среднем.
На 10 потоках - за 4.5.
На 50 - за 4.5
Вот что за хуйня?
Походу ограничение в чем-то другом.
Или в скорости чтения файлов с диска (скорее всего)
Или в том, что я гоняю по 100 килобайт инфы мозга туда-сюда при каждом распознавании.
Но по идее, ява должна нормально с памятью работать и держать файл мозга в кэш.
Думаю дело в диске.
По-хорошему надо 1 раз все файлы в память загрузить и дальше дрочить.
На 1 потоке 3к капч распознается за 7 секунд в среднем.
На 10 потоках - за 4.5.
На 50 - за 4.5
Вот что за хуйня?
Походу ограничение в чем-то другом.
Или в скорости чтения файлов с диска (скорее всего)
Или в том, что я гоняю по 100 килобайт инфы мозга туда-сюда при каждом распознавании.
Но по идее, ява должна нормально с памятью работать и держать файл мозга в кэш.
Думаю дело в диске.
По-хорошему надо 1 раз все файлы в память загрузить и дальше дрочить.
>Походу ограничение в чем-то другом.
Так замерь время действий, будь то отдельно общее время на чтение с диска\гоняние 100кб.
22 лвл, пидорнули из вуза, пока до осени сижу дома пинаю хуи, потом иду защищать сапоги.
Прогаю лет с 16, языки - пхп, немного жс, ява.
Блин, ты прав. Чет я сам не допер тупо померить, хотел уже переписывать.
Так и сделаю.
ммм... 21 лвл, планирую выкатится из вуза ибо заебался. Прогаю с ~15 курсы шарпа, могу писать на многих языках, не могу выбрать в какой углубится и вкатится на работу.
Я так и сделал в моей реализации, когда предполагал что вывод состояния каждые n итераций занимает много времени.
практически все посты с сагой в этом треде-кун
Ну охуеть теперь.
1 пик: 1 тред, 7 секунд распознавание, 5.5 чтение с диска.
2 пик: 10 тредов, 5 секунд распознавание, 41 чтение с диска.
3 пик: 2 треда, 5 секунд распознавание, 7.5 чтение с диска.
Особенно интересует 2 случай. Это вообще как? Почему общее время чтения 41 секунда? Это что, 10 тредов мешают друг другу и ждать приходится тип еще дольше?
Я нихуя не понял, если честно.
Только то, что чтение с диска таки занимает львиную долю времени
1 пик: 1 тред, 7 секунд распознавание, 5.5 чтение с диска.
2 пик: 10 тредов, 5 секунд распознавание, 41 чтение с диска.
3 пик: 2 треда, 5 секунд распознавание, 7.5 чтение с диска.
Особенно интересует 2 случай. Это вообще как? Почему общее время чтения 41 секунда? Это что, 10 тредов мешают друг другу и ждать приходится тип еще дольше?
Я нихуя не понял, если честно.
Только то, что чтение с диска таки занимает львиную долю времени
>вывод состояния каждые n итераций занимает много времени
Лил, таки да, много консоль дрочить - тоже весьма затратно
Ну это вообще пиздец.
540 секунд общего чтения. 150 тредов.
Где я проебался?
Плюсование времени находится в синхронизированном методе.
Что-то тут нечисто.
540 секунд общего чтения. 150 тредов.
Где я проебался?
Плюсование времени находится в синхронизированном методе.
Что-то тут нечисто.
>много консоль дрочить
Общее время вывода было примерно 1 к 600 от всего времени работы, так что я понял что дело не в нем.
Вполне возможно что треды мешают друг-другу, треды как таковые, я думаю, имеют свой доступ, но система обрабатывает их в одном потоке.... Можешь запилишь уже загрузку всего в память? Или хотя бы части...
Да и может ты с расчетом времени проебался. Очень тонкий реквест кода.
Держи: https://github.com/f77/capcha_1_remaster_width_genetic_algorithm
Там же еще и реп с первой версией ген-алгоритма, печатающего текст.
А я на сегодня, пожалуй, закруглюсь. Уже поздно, да и голова не варит уже.
Завтра продолжу.
Надо будет написать единоразовую загрузку в память всех капч, а дальше уже можно и, наконец-то, прикрутить ген-алгоритм.
Конкретно код подсчета времени, да и само чтение (да еще и препроцессинг походу) в файле https://github.com/f77/capcha_1_remaster_width_genetic_algorithm/blob/master/src/bugaga/Decoder.java
Открыл я гитхаб и, как обычно со мной бывает, уронил челюсть.
>curl, antigate, proxy...
ух...
Еще и все методы откоменчены, охуенно.
В общем спокойной тебе анон, хорошего кода и поменьше багов.
Боюсь с тобой мы больше не увидимся. Хотя как знать, мир то маленький.
Это плохо или хорошо?
Так-то там либа моя лежит еще, там перделки на все случаи жизни.
Просто не ожидал увидеть там курлы, поддержку прокси...
А про челюсть - так это всегда так, когда я общаюсь с человеком, а потом вижу его код больше чем в 5 файлах меня это пугает. Ага, не писал серьезных проектов.
Не вкурил почему днк не несет информации. Он несет инверсионную информацию для РНК. А потом уже преобразуя его в нормальный на его основе синтезиуются клетки (Даже люди! Лол да?) поясни мне оп, или ты хуй
Да курлы и прокси не юзаются же в этом проекте.
Так-то там 5 основных файлов и наберется.
А что, на антигейте много за капчи платили?
Да я не ебу, это я за них платил всегда.
Распознавание 1к капч 1 доллар.
Раньше збс сервис был.
А сейчас его наводнили боты, в итоге качество распознавания упало с 99% до процентов 50 и 30 на сложных капчах.
>1к капч 1 доллар
Мда, даже напрямую работать не очень.
Ну и черт с этими капчами.
Гугли циклический ноль.
О чём вы тут говорите? Вишу слова прокси и многопоточность. Если пишете многопоточную вайпалку для двача, то скиньте потом в общий доступ. И сразу дайте ссылку куда потом скинете. Капчу уже разгадал.
Не тонем
На ротан тебе могу только скинуть
я и сам могу
Стратегический бамп
>150 потоков
У тебя что 150 процессоров?
У тебя что 150 процессоров?
Не тонем
мне кажется ОП пиздит рандомную хуйню чтоб все остальные чувствовали себя даунами)
ПРОТЕИНОВОЕ БЕССМЕРТИЕ.
ВЫЧИСЛЯЙТЕ ГЕНЫ, ДЕВОНЬКИ...
ВЫЧИСЛЯЙТЕ ГЕНЫ, ДЕВОНЬКИ...
Бамп
Оп не разбирается в теме, термины невпопад, консоль пишет рандомную хуйню. Разбегаемся.
Дневной, содержание ракодетей с вк в треде увеличилось.
Лишний бамп никогда не повредит
Процессор далеко не главный пожиратель времени в этом проекте.
Начал писать единоразовую загрузку в память всех капч.
А дальше уже на каждом шаге эволюции буду скармливать рекогнайзеру уже загруженную обработанную капчу.
И таки многопоток должен будет возыметь эффект.
А дальше уже на каждом шаге эволюции буду скармливать рекогнайзеру уже загруженную обработанную капчу.
И таки многопоток должен будет возыметь эффект.
Бамп
Да епта, смысл запускать 150 потоков, если у тебя максимум 8 физических ядер, куда больше-то
Прикрутил единовременную загрузку в память всех капч.
Только утилиты подсчета времени нормальной нет, надо написать, чтобы точно все засечь
Только утилиты подсчета времени нормальной нет, надо написать, чтобы точно все засечь
Да ты какой-то тупой блядь, ты понимаешь, что в программе дохуя и других дел бывает, кроме как процессором шуршать?
Каких например
Чтение/запись на диск, перегон информации в оперативной памяти, работа с сетью.
Все это требует процессорного времени. Память сама себя не перегонит
>Все это требует процессорного времени.
this
Зашел и ушел. Вернусь часов в 9 по мск, думаю тред утонет.
сега-кун
Загрузить файл - 10 секунд, чтобы инициировать операцию загрузки файла, надо несколько милисекунд процессорного времени.
Какие-то дауны в треде, спорят с очевидным.
>Да ты какой-то тупой блядь, ты понимаешь, что в программе дохуя и других дел бывает, кроме как процессором шуршать?
>Все это требует процессорного времени. Память сама себя не перегонит
А чтобы загрузить 3к файлов...
Что несете, смысл делать сотню потоков, если всего ядер 8.
Т.к. файлы маленькие и их много, ресурсозатраты по их загрузке и процессорному времени на препроцессинг не значительно друг от друга отличаются.
Ну охуеть, лол. Кажись, я написал нормальную утилиту подсчета времени.
Вот, теперь адекватные показания.
Сделал как в дебаггере хрома:
TimeTracker.start ("DECODER_TIME_ALL");
TimeTracker.stop ("DECODER_TIME_ALL");
Охуенно. Надо будет эту тулзу добавить в общую либу.
Вот, теперь адекватные показания.
Сделал как в дебаггере хрома:
TimeTracker.start ("DECODER_TIME_ALL");
TimeTracker.stop ("DECODER_TIME_ALL");
Охуенно. Надо будет эту тулзу добавить в общую либу.
Отпрофилировал как бог
я всё ещё не увидел ссылки на гитхаб с кодом
Просто ты слепой уебок
да, действительно
Самой тяжелой частью оказалась загрузка файла капчи с диска и создание массива обесцвеченных точек.
Самый тяжелый кусок пикрелейтед.
Также, к моему удивлению, распарралеливание самого распознавания ничего не дает.
При распознавании идет работа с массивами чистых данных в памяти, по сути, работа только процессора и памяти.
Хоть она и занимает лишь 0.3 секунды (вообще норм даже), но никак почему-то не параллелится, хотя производительность должна увеличиваться соразмерно количеству ядер (4).
Возможно, я где-то налажал и блокирую треды при распознавании, но вроде нет.
Алсо, на гитхабе не всегда свежая версия.
Самый тяжелый кусок пикрелейтед.
Также, к моему удивлению, распарралеливание самого распознавания ничего не дает.
При распознавании идет работа с массивами чистых данных в памяти, по сути, работа только процессора и памяти.
Хоть она и занимает лишь 0.3 секунды (вообще норм даже), но никак почему-то не параллелится, хотя производительность должна увеличиваться соразмерно количеству ядер (4).
Возможно, я где-то налажал и блокирую треды при распознавании, но вроде нет.
Алсо, на гитхабе не всегда свежая версия.
Вообщем, можно наконец-то прикручивать ген-алгоритм.
Я снизил время распознавания 3к капч до 0.3 секунды.
Считай 0.1 сек на косарь примерно.
Это уже норм для эволюционного алгоритма. 10к поколений 1 особь пройдет за 1000 секунд.
Вообще я и расчитывал, что сейчас время будет измеряться часами, а не минутами.
Фитнесс-функция-то тяжелая.
Сейчас похаваю, и, если опять не возникнет других дел, прикручу таки генетический алгоритм.
Я снизил время распознавания 3к капч до 0.3 секунды.
Считай 0.1 сек на косарь примерно.
Это уже норм для эволюционного алгоритма. 10к поколений 1 особь пройдет за 1000 секунд.
Вообще я и расчитывал, что сейчас время будет измеряться часами, а не минутами.
Фитнесс-функция-то тяжелая.
Сейчас похаваю, и, если опять не возникнет других дел, прикручу таки генетический алгоритм.
Алсо, залил на гитхаб свежую версию этого высера.
Ап
>Я снизил время распознавания 3к капч до 0.3 секунды.
Таки ты оптимизировал
>загрузка файла капчи с диска и создание массива обесцвеченных точек
?
сега-кун
>загрузка файла капчи с диска и создание массива обесцвеченных точек
Ну да, загрузка списка файлов, самих файлов и препроцессинг происходят только 1 раз.
А в самих поколениях будет только распознавание, которое занимает 0.1-0.3 секунды.
Осознал.
Как будет выглядеть твой ген-алгоритм?
n-детей, у каждого m-рандомных изменений и лучший становится новым родителем?
Сейчас уже скоро будет готов. Вообще сам алгоритм уже давно лежит на гитхабе в другом репе
>Делаем ее особь основой последующего поколения, ТОЛЬКО ЕСЛИ ОНА ЛУЧШЕ, ЧЕМ ПРЕДЫДУЩАЯ
Значит отец может не умереть... Ну ладно.
Сделал подсчет рейта мозга в 1 строку.
Ну теперь точно можно вешать генетику.
Бамп короче.
>Значит отец может не умереть
По тестам на подборе букв, такой подход увеличивает сходимость.
Хотя это уже вопросы тонкой настройки.
Ну теперь точно можно вешать генетику.
Бамп короче.
>Значит отец может не умереть
По тестам на подборе букв, такой подход увеличивает сходимость.
Хотя это уже вопросы тонкой настройки.
>такой подход увеличивает сходимость.
Естественно увеличивает, ведь выбирается лучшая особь.
Да и у тебя если будет умирать отец - весь алгоритм считай будет просто рандомить каждую итерацию 1 букву потому что всего 1 потомок.
В привычном генетическом алгоритме, как мне кажется, отец должен умирать каждую итерацию. Но в привычном и потомков должно быть больше 1.
Ап
это сборище нищебродов без пасскода?
К чему бы это?
Нет, это ракодебил посетил наш тред
Перезагрузочный бамп
Бампает ведь не оп?
Я хуею.
На 10(!) капчах традиционный вероятностный алгоритм обучается до 72%.
Я тут собрался сгенерить начальную популяцию и прихуел. Думал рейт будет процентов 5.
На 10(!) капчах традиционный вероятностный алгоритм обучается до 72%.
Я тут собрался сгенерить начальную популяцию и прихуел. Думал рейт будет процентов 5.
Ну это действительно охуеть.
На ТРЕХ ЕБАНЫХ КАПЧАХ, ТРЕХ КАРЛ вероятностный алгоритм смог верно распознать 73% из другой тысячи капч.
Пиздец, пришел, увидел, победил.
Как видите 3 капчи подобраны так, чтобы на них встречались все 10 цифр.
И этого достаточно, чтобы машина научилась читать эту капчу с весьма неплохим рейтом.
Придется для ген-алгоритма отпизды файл генерить.
>вероятностный алгоритм
Вот это поясни.
Я в ахуе. Этот ублюдок просто посмотрел на 3 картинки и обучился нахуй. Да даже битард справился бы хуже
Я тут даже придумал, как хуекапчу таким же методом разгадать.
Для начала, надо будет обновлять капчу до тех пор, пока не получим капчу, где все цифры не будут наплывать друг на друга.
Далее разделение и вероятностный алгоритм.
Для начала, надо будет обновлять капчу до тех пор, пока не получим капчу, где все цифры не будут наплывать друг на друга.
Далее разделение и вероятностный алгоритм.
А наплывшие цифры ты как разделять \распознаватьбудешь?
>надо будет обновлять капчу до тех пор, пока не получим капчу, где все цифры не будут наплывать друг на друга
Но вообще, цифры почти всегда наплывают.
Но я слыхал в опенцв есть продвинутые методы разделения.
Но это все потом.
Надо уже ген-алгоритм ебаный допилить.
Ну, подсчет вероятности пикселя быть закрашенным
Да
Вот это по мне. Будет исходной популяцией
ОП, что можно почитать на тему машинного обучения? Имеет ли это какую-нибудь связь с нейросетями?
Скинь, пожалуйста старые исходники распознавателя капчи.
Спасибо.
Скинь, пожалуйста старые исходники распознавателя капчи.
Спасибо.
Пиздос, лапша-код.
Опять нахуярил какое-то говно, которое жрет почти все время.
Да и вообще, обнаружил, что старый класс ген-алгоритма не подходит, надо переписывать.
Может сегодня перепишу, а может нет, чет я уже заебался.
Опять нахуярил какое-то говно, которое жрет почти все время.
Да и вообще, обнаружил, что старый класс ген-алгоритма не подходит, надо переписывать.
Может сегодня перепишу, а может нет, чет я уже заебался.
>старый класс ген-алгоритма не подходит
Добро пожаловать в реальность. Я весь тред жду как ты будешь 'мозг' рандомить, с его процентами на пиксель.
Знаю прекрасно что такое генетические алгоритмы, меня ОП не наебет, ОП ты создаешь распознавание капчи ?
Нет, распознавание капчи уже есть. Он хочет именно генетический алгоритм.
Надо обучение , ведь он сказал что распознает на 50 процентов, как алгоритм определит, где правильно распознало или неправильно? Надо кидать образцы и учить программу
та это родственные алгоритмы, ты знаешь про нейронные сети много? Если знаешь, тебе запрограммировать генетический алгоритм будет очень просто
Попробуй еще раз. Я нихуя не понял.
Генетический алгоритм для чего имено, не хочется весь тред читать? Ты ему даешь входные и выходные данные?
Какие у тебя входные данные в этот генетический алгоритм
>у тебя
Не у меня, у опа, я мимо крокодил который здесь почти с начала треда.
>входные данные в этот генетический алгоритм
Входные - выборка из 3к распознанных капч (человеком); вероятности появления пикселя в определенном месте для каждой цифры (изначально или рандом, т.к. не обучен)
Выходные - вероятности появления пикселя в определенном месте для каждой цифры
Это позволяет разгадывать капчи опираясь на эти данные.
Написал новый класс ген-алгоритма, но там где-то фейл, не пашет
>Я весь тред жду как ты будешь 'мозг' рандомить, с его процентами на пиксель.
он их черно белые делает?
Да.
только я не понял ну а причем здесь предыдущий алгоритм и 50 процентов? Он по новому начинает делать?
А почему сажа?
->
1 пост с сажей не делает ничего.
1 пост без сажи поднимает тред в топ.
Если я отпишусь в хуёвом треде - он сразу взлетит в топ и будет засирать нулевую.
Если я отпишусь в годном треде... ничего не случится.
Уже делаю. Скоро код запушу на гитахаб.
Пока эволюция идет только в сторону деградации
>Если я отпишусь в хуёвом треде без сажи
>Если я отпишусь в годном треде с сажей
Ну ты на словах то можешь пояснить как рандомишь?
В погроммиздиньи не силён, сам только-только начал, посему поясните: ОП таки сковал шин?
Беру несколько рандомных строк с вероятностями, меняю их на заданное число.
Если получилась хорошая особь, она становится основой для последующих мутаций.
Если плохая - впизду ее.
>заданное число
Что-то намекает что это слабое место твоего способа.
Гриша, иди нахуй.
Смотря что считать шином:
С одной стороны создав тред он просмотрел свой код и исправил ошибку выборки, увеличив тем самым распознавание до 97%.
С другой - 200 постов а ген-алгоритм только зарождается.
подожди 3к а разных чисел 9999, это не будет ли мало если там цифры под разными углами, это бред какой-то
Да, таки продвинул эволюцию на пару процентов.
Надо поиграться с мут-рейтом и объемом мутаций.
А ты хочешь вероятность сразу на 0.5 ебнуть? Тогда точно все по пизде пойдет.
В том и фишка нарастающего отбора, что происходят небольшие изменения
Надо поиграться с мут-рейтом и объемом мутаций.
А ты хочешь вероятность сразу на 0.5 ебнуть? Тогда точно все по пизде пойдет.
В том и фишка нарастающего отбора, что происходят небольшие изменения
3к капч.
Цифр всего 10 штук по крайней мере в десятичной системе счисления.
На наклоны он положил.
Я хочу больше рандома, чтобы не фиксированное число а рандомное.
>чтобы не фиксированное число а рандомное
Это убьет смысл нарастающего отбора.
Ирл мутации очень редки и очень малы за исключением крайне редких случаев дублирования целых кусков днк
они расположены в определенных местах?
Тогда это ваще примитивная капча...
>Ирл
>Отец может выжить
О чем ты вообще..
ну то есть одна цифра расположена в определенном месте? Как это цифр 10 штук
Вы тут вновь пишите распознавалку капчи?Уже были подобные треды, и макакен отреагировал на них. В результате всё полетело в пизду.
Да, цифры расположены в определенных местах на каждой капче. И на каждой капче их 4 штуки. Да, это примитивная капча.
Задача определения расположения это одна из подзадач распознавания капчи, которую оп опустил для упрощения.
Все теперь суть понял, спасибо за разъяснение. В адекватных тредах, хорошие люди
>В результате всё полетело в пизду.
А вот про это поподробнее?
Ну чего ты начинаешь, нормально же сидели, мы тут гены вычисляем...
Эх было бы так всегда...
Странная ситуация. Похоже, я в локальном экстремуме.
Слишком маленькая величина мутации и малый объем не способен обеспечить роста и все мутанты проигрывают отбор отцу.
Но чтобы было похоже на реальное обучение, надо высокий мутрейт и рандомную велечину мутации.
Но тогда отбор будет идти слишком долго.
Как же быть?
Слишком маленькая величина мутации и малый объем не способен обеспечить роста и все мутанты проигрывают отбор отцу.
Но чтобы было похоже на реальное обучение, надо высокий мутрейт и рандомную велечину мутации.
Но тогда отбор будет идти слишком долго.
Как же быть?
Есть два стула: смириться или ждать.
Так а что вы спорите про вероятность появления мутации, она же строго определенная
>она же строго определенная
Какая? 50/50? Как встретить динозавтра на улице? Либо встретишь либо нет?
та не она обычно не больше 1%, или если большая популяция то 1/размер популяции
>размер популяции 1.
1/1=1
Теорема Эскобара прямо.
->
а какой смысл в генетическом алгоритме, если там основная операция скрещивания... а там надо 2 родителя
В генетике основа - мутации
Бляха, это бред какой то народ. Я даю вам инфу соточку, что мутации хоть и нужны но оче редка. один раз на 100 скрещиваний
А остальные 99 нам нахуя нужны?
ну они все будут абсолютно разные же... Понятно что в итоге ты отберешь самого живучего, но самое главное сохранять гены эти
ну или не абсолютно, но не такие
ну мутация важна конечно, но должна быть очень редко, это инфа сотня
Вычислять не здесь надо. Макак отреагирует. Надо скооперироваться и съебнуть, иначе всё опять коту под хвост.
Сделал настраиваемый размер популяции, все равно нихуя.
Главная цель этого треда - обучение работы с ген-алгоритмом, а капча здесь потому что легко проверить ответ.
Сделал так, что все мутации популяции происходят в окрестности какой-то одной точки. Таким образом, улучшается распознавание цифры в этой зоне.
Вроде прогресс получше, но все равно очень медленно
Вроде прогресс получше, но все равно очень медленно
>но все равно очень медленно
Вся суть ген-алгоритма же.
ОП, как же мне хочется тебя пнуть под сраку.
Во-первых, препроцессь капчи и собери их в сериализованную загружаемую коллекцию (массив + значение капчи), вместо того чтоб загружать каждую картинку индивидуально и парсить каждый. Ёбаный. Раз. Отрежешь половину времени выполнения.
Во вторых, схуя ли ты модифицируешь таблицу вероятностей линейно? Хули усредняешь? Есть шкалы, есть Баэзовский классификатор, который, блядь, именно такие проблемы и решает.
В третьих, ты не охуел на каждый пиксель смотреть отдельно? Редуцировать батюшка запретил? Мог бы, блять, разбить картинку на октри, нормализовать, и тогда похуй будет на шум, повороты, макакины хуи и т.д. И какого результата ты ожидал? Давай разберём по частям тобою написанное. Наложи все образы цифр одна на другую в одном пространстве и посчитай, в скольких местах у них пересекаются пиксели. Даже лучше, ради визуализации: высчитай шкалу количества пересечений и вырежь из каждой капчи те части, где есть, скажем, более 50% пересечений между 3-4 цифрами. Посмотри, что осталось, и подумай, что не так.
И самое главное - какой это, в пизду, генетический алгоритм? Генотип должен состоять из набора примитивных операций. У тебя не операции, а показатель. Ты изменяешь хуй знает что, хуй знает как.
Вообще охуеть
Во-первых, препроцессь капчи и собери их в сериализованную загружаемую коллекцию (массив + значение капчи), вместо того чтоб загружать каждую картинку индивидуально и парсить каждый. Ёбаный. Раз. Отрежешь половину времени выполнения.
Во вторых, схуя ли ты модифицируешь таблицу вероятностей линейно? Хули усредняешь? Есть шкалы, есть Баэзовский классификатор, который, блядь, именно такие проблемы и решает.
В третьих, ты не охуел на каждый пиксель смотреть отдельно? Редуцировать батюшка запретил? Мог бы, блять, разбить картинку на октри, нормализовать, и тогда похуй будет на шум, повороты, макакины хуи и т.д. И какого результата ты ожидал? Давай разберём по частям тобою написанное. Наложи все образы цифр одна на другую в одном пространстве и посчитай, в скольких местах у них пересекаются пиксели. Даже лучше, ради визуализации: высчитай шкалу количества пересечений и вырежь из каждой капчи те части, где есть, скажем, более 50% пересечений между 3-4 цифрами. Посмотри, что осталось, и подумай, что не так.
И самое главное - какой это, в пизду, генетический алгоритм? Генотип должен состоять из набора примитивных операций. У тебя не операции, а показатель. Ты изменяешь хуй знает что, хуй знает как.
Вообще охуеть
>Во-первых, препроцессь капчи и собери их в сериализованную загружаемую коллекцию (массив + значение капчи), вместо того чтоб загружать каждую картинку индивидуально и парсить каждый. Ёбаный. Раз
Да сделал я это уже.
А вообще ты прав, я тут хуйни навернул знатно.
Есть что исправлять.
>в сериализованную загружаемую коллекцию
Уверен?
>Во вторых, схуя ли ты модифицируешь таблицу вероятностей линейно? Хули усредняешь? Есть шкалы, есть Баэзовский классификатор, который, блядь, именно такие проблемы и решает.
>В третьих, ты не охуел на каждый пиксель смотреть отдельно? Редуцировать батюшка запретил? Мог бы, блять, разбить картинку на октри, нормализовать, и тогда похуй будет на шум, повороты, макакины хуи и т.д. И какого результата ты ожидал? Давай разберём по частям тобою написанное. Наложи все образы цифр одна на другую в одном пространстве и посчитай, в скольких местах у них пересекаются пиксели. Даже лучше, ради визуализации: высчитай шкалу количества пересечений и вырежь из каждой капчи те части, где есть, скажем, более 50% пересечений между 3-4 цифрами. Посмотри, что осталось, и подумай, что не так.
На реализацию этого я бы посмотрел.
> Генотип должен состоять из набора примитивных операций. У тебя не операции, а показатель. Ты изменяешь хуй знает что, хуй знает как.
А вот здесь чет сложно стало. Поясни пожалуйста?
Ну типо того есть.
Ладно, я спать. Возможно, завтра продолжим.
Спасибо всем за участие в треде
Реализацию чего? Вырезаешь ровно 10 цифр из капчи. Загружаешь их одна за другой. При загрузке каждой смотришь на каждый пиксель, проверяешь, есть ли он уже в канвасе, если да, увеличиваешь счётчик. Затем блит текущей цифры в канвас. И так до конца. На выходе список пикселей, у которых счётчик больше 0. Можешь ради лулза нагенерировать разные сеты символов с разными шрифтами, результаты теста по сету свести в гистограмму, а потом сравнить все гистограммы визуально. Охуеешь, насколько эффективность твоего алгоритма зависит от шрифта и размера.
Далее берёшь тыщу капч. Для каждого пикселя из списка уменьшаешь на 10% цвет на каждую единицу счётчика. Потом листаешь результаты на глаз и охуеваешь от того, как твой алгоритм вероятности бессмысслен на конкретных участках капчи и зависим от их порядка. А это потому, что абсолютные позиции пикселей - самый хрупкий и наивный из возможных подходов. Добавь критерий: входные капчи могут быть разные по размеру и масштабу. Как только найдёшь решение для этой проблемы, сразу же станет очевидно, что пиксели не просто сами по себе, а связаны друг с другом, и анализировать их дискретно (да ещё и линейно утрамбовывать вероятности) глупо.
> А вот здесь чет сложно стало. Поясни пожалуйста?
Фундаментально, генетические алгоритмы (как их понимает сегодняшняя теория) - это алгоритмы поиска решений. Решения эти сами по себе алгоритм. Этот алгоритм каждый раз применяется к данным, результаты оцениваются, и производится модификация. Можешь думать об этом, как о виртуальной машине, в которой алгоритм - доступный набор инструкций, а любое решения - комбинация этих инструкций. У тебя же всё наоборот: сам алгоритм анализа не эволюционирует, а модифицируется (криво) набор данных, которым алгоритм пользуется (криво). Ты не применяешь развитый алгоритм к данным - ты применяешь один и тот же алгоритм к изменяющимся данным.
Как ты предлагаешь закодировать изменение самого алгоритма?
Любым методом, при котором возможно измерить связь между ДНК (который может быть простым набором переменных, а может быть буквальной последовательностью исполнения шагов) и результатом исполнения алгоритма на наборе данных. Это так и в решении ОПа - только набор переменных слишком большой и их взаимосвязи отрицаются, и в силу методологии самого алгоритма и перекоса его пользы на некоторых (запросто многих) участках данных, получается эффект перетекания переменных в исходные данные, тогда как должно происходить строго наоборот. Хотя это, скорее всего, тяжело продемонстрировать на практике и нельзя доказать формально.
Грубо, я бы сделал так: картинки масштабировать и обрезать. Результат разбить на секции, каждая содержит символ. Пиксели считывать в октри или подобную структуру от центра или некого смещения (ДНК). Получившееся дерево (деревья) нормализовать по размеру, устанавливая минимум и максимум уровня (ДНК), вне которых элементы дерева обрезаются. На каждой связке между уровнями модифицировать соответствующую таблицу вероятностей, опять же баэзом. При сравнении для каждого уровня установить вес (ДНК), и само сравнение описывать как вероятность.
Блять, теперь замому захотелось...
> Вырезаешь ровно 10 цифр из капчи
Т.е. отбираю цифры 0-9 и вырезаю их. Получаю 10 файлов.
>при загрузке каждой смотришь на каждый пиксель, проверяешь, есть ли он уже в канвасе
Загружаю их на один и тот же канвас? 10 цифр?
>Затем блит текущей цифры в канвас.
>блит
?
>И так до конца.
До какого конца? 10 цифр же всего?
>пиксели не просто сами по себе, а связаны друг с другом, и анализировать их дискретно глупо.
Это очевидно, но для данной капчи - достаточно.
Брр. По порядку.
В тех местах, где цифры пересекаются друг с другом, будет возникать аномалия: чем больше цифр имеют этот пиксель, тем меньше эффективность оценки вероятности в этом месте. Другими словами, на местах пересечения цифр (если их все поместить в одну плоскость), алгоритм "слепнет". Шума на входе нет - но он вырабатывается внутри благодаря этой конкретной методологии. Если бы у всех цифр не было пересечения, то алгоритм бы, естественно, работал феноменально. Оценка вероятности в таком случае - как раз проблема для Баэз-классификатора, поскольку он вырабатывает новую вероятность не линейно, а на основании всех предыдущих вероятностей.
Кроме того, я подозреваю, что ОП смотрит на всю картинку целиком, а не на отдельные регионы цифр, и без учёта топографии - т.е. как на один большой вектор. Попробуй в голове представить цифру, которая порезана вертикально на строки, и эти куски сложены слева направо. Таблица вероятностей в большинстве будет забита бесполезными нолями.
Блит - это пиксельное копирование региона. И да, 10 цифр всего.
Я спать...
>Кроме того, я подозреваю, что ОП смотрит на всю картинку целиком, а не на отдельные регионы цифр
>Для начала, разделяем капчу на 4 части, чтобы распознавать каждую цифру отдельно.
Возможно кто-то помнит тред, где я накидал простенький алгоритм для печатания строки текста генетическим алгоритмом.
Все отлично работало, но был важный нюанс, который имеется в реальных живых организмах, но не имелся в моем алгоритме.
А именно, ДНК-КОД НЕ ПРЕДСТАВЛЯЕТ ЦЕННОСТИ САМ ПО СЕБЕ. А у меня представлял.
Мой "днк-код" был искомой строкой текста, каждый "ген" - буквой. Каждая буква, каждый ген были ценны сами по себе, потому что это и был ответ.
Но ИРЛ все не так. ДНК ничего не значит без механизма сборки, использования. ДНК должен влиять на что-то, но сам по себе он ничто.
Еще, когда-то давно я накидал крайне простой и тупой метод взлома капчи пикрелейтед по маскам символов. Процент распознавания был около 50% на всю капчу. То бишь, каждый символ распознавался с довольно высокой вероятностью, но из-за накопления ошибок на каждом символе вся капча отгадывалась верно лишь через раз.
А код процентов встречаемости символов хранился в небольших файлах.
Теперь же я хочу улучшить результат распознавания генетическим алгоритмом.
Но я не буду вносить никаких изменений в сам код распознавания, я лишь запущу генетический алгоритм на файле "днк" кода распознавания.
Честно говоря, я не уверен, что все получится. Возможно, прогресса вообще не будет. А может и получится имба. Я не знаю.
Посмотрим, че.