Программист в 2022 должен знать только английский язык
Компания DeepMind, получившая известность своими разработками в области искусственного интеллекта и построения нейронных сетей, способных играть в компьютерные и настольные игры на уровне человека, представила проект AlphaСode, развивающий систему машинного обучения для генерации кода, способную участвовать в соревнованиях по программированию на платформе Codeforces и демонстрировать средний результат. Ключевой особенностью разработки является является способность генерировать код на языках Python или C++, принимая на входе текст с постановкой задачи на английском языке.
Для тестирования системы были отобраны 10 новых соревнований Codeforces с более 5000 участниками, проведённые после завершения тренировки модели машинного обучения. Результаты выполнения заданий позволили системе AlphaСode войти примерно в середину рейтинга указанных соревнований (54.3%). Прогнозируемый общий рейтинг AlphaСode составил 1238 балов, что обеспечивает вхождение в Top 28% среди всех участников Codeforces, хотя бы раз участвующих в соревнованиях за последние 6 месяцев. Отмечается, что проект пока находится на начальной стадии развития и в будущем планируется повысить качество генерируемого кода, а также развивать AlphaСode в сторону систем, помогающих в написании кода, или средств разработки приложений, которыми смогут пользоваться люди без навыков программирования.
В проекте используется архитектура нейронной сети "Transformer" в сочетании с методами семплирования и фильтрации, позволяющими генерировать различные непредсказуемые варианты кода, соответствующие тексту на естественном языке. После фильтрации, кластеризации и ранжирования из формируемого потока вариантов отсеивается наиболее оптимальный рабочий код, который затем проверяется на предмет получения верного результата (в каждом задании соревнований указывается пример входных данных и соответствующий этому примеру результат, который должен быть получен после выполнении программы).
Для грубой тренировки системы машинного обучения была задействована кодовая база, доступная в публичных репозиториях GitHub. После подготовки начальной модели выполнялась фаза оптимизации, реализуемая на основе коллекции кода с примерами задач и решений, предлагаемых участникам соревнований Codeforces, CodeChef, HackerEarth, AtCoder и Aizu. Всего для тренировки было задействовано 715 ГБ кода с GitHub и более миллиона примеров решений типовых задач соревнований. Перед переходом к генерации кода текст задачи проходил фазу нормализации, на которой исключалось всё лишнее и оставлялись только значимые части.
>>11487726 (OP) Знаем этот искусственный интеллект > Вместо искусственного интеллекта «умным домом» Amazon управляли специалисты с Украины, получившие круглосуточный доступ к камерам домовладений США.
>>11487773 Что там тестить, если нельзя вписать свою задачу? Например, проверить, что 2 больших числа (предел можно формализовать) числа взаимно простые
>>11487726 (OP) Машины будут писать идеальный код, не нуждающийся в исправлениях, а пользователи уже привыкли что программа без десятка патчей ещё сырая, поэтому они предпочтут корявый индусский код идеальному машинному.
>>11487877 >вангую этот ИИ даже прочтенький сайт не сможет запилить Можешь не ванговать — этот ИИ решает только небольшой набор олимпиадных задачек, о видах которых он знает (и в оригинале об этом написано, а ещё по схеме можно понять что там половину работы делают люди, которые занимаются "fine-tuning" резултатов обучения, лол).
>>11487937 Боевые картиночки о спорах воспроизводимости технологий, которым уже 50-60 лет это конечно здорово, но попробуй лучше.
>>11487726 (OP) Отлично, теперь выпускайте это чудо техники на рынок разработки, где заказчики формируют свои мысли словами "хотел бы чтобы вы сделали игру, 3Д-экшон суть такова".
>>11487726 (OP) >Программист в 2022 должен знать только английский язык Ни разу не видел такого. Даже CNN с трудом могут осилить. мимо могу читать Шекспира в оригинале
>>11487999 >Ни разу не видел такого Тебя окружают макаки, беги от них >Даже CNN с трудом могут осилить Они давно в эбоникс скатились, их и многие белые американцы давно уже с трудом могут понять >мимо могу читать Шекспира в оригинале Скрепное говно без задач на уровне пушкина. Ты вообще встречал людей в США/Бриташке, которые общаются в сонетном ключе?
>>11487958 >fine-tuning так файнтюнинг вообще любой нейросрани требуется, даже простецкой "раздень лолю на фотографии". Нельзя просто сказать горшочек вари и оставить самообучаться без правок.
>>11488530 >Нельзя просто сказать горшочек вари и оставить самообучаться без правок. Нельзя конечно.
Но когда мне показывают ограниченный набор результатов — я считаю это отобранной руками хуйнёй. Можно из датасета любого сервиса вроде литкода нагенерить хуйлион задач и просто показать удачные, даже если их 1%. Не хуйня — это, например, copilot. Правда по факту это расширенный автокомплит, но потенцевал в обозримом будущем у него явно больше, чем у этой штуки.
>>11488605 >Но когда мне показывают ограниченный набор результатов — я считаю это отобранной руками хуйнёй. Неудивительно, на данном протоэтапе 99,8 (с) процентов нейросетей либо просто фанчик аля "мы научили играть в дотку2/супермарево/го", либо полное говнокодное недоразумение без задач от стаковерфлоу и хабромакак. В принципе, это нормально. Смартфоны, смарт тиви, виар хуита, 3д принтеры и автопилотируемые корыта по началу тоже были кривым говном и потребовались годы на более менее адекватный "масс кастомер" продукт. Здесь точно такая же хуйня. Тут скорее вопрос, сколько времени потребуется, технология не смарт тиви всё же, а посложнее.
Компания DeepMind, получившая известность своими разработками в области искусственного интеллекта и построения нейронных сетей, способных играть в компьютерные и настольные игры на уровне человека, представила проект AlphaСode, развивающий систему машинного обучения для генерации кода, способную участвовать в соревнованиях по программированию на платформе Codeforces и демонстрировать средний результат. Ключевой особенностью разработки является является способность генерировать код на языках Python или C++, принимая на входе текст с постановкой задачи на английском языке.
Для тестирования системы были отобраны 10 новых соревнований Codeforces с более 5000 участниками, проведённые после завершения тренировки модели машинного обучения. Результаты выполнения заданий позволили системе AlphaСode войти примерно в середину рейтинга указанных соревнований (54.3%). Прогнозируемый общий рейтинг AlphaСode составил 1238 балов, что обеспечивает вхождение в Top 28% среди всех участников Codeforces, хотя бы раз участвующих в соревнованиях за последние 6 месяцев. Отмечается, что проект пока находится на начальной стадии развития и в будущем планируется повысить качество генерируемого кода, а также развивать AlphaСode в сторону систем, помогающих в написании кода, или средств разработки приложений, которыми смогут пользоваться люди без навыков программирования.
В проекте используется архитектура нейронной сети "Transformer" в сочетании с методами семплирования и фильтрации, позволяющими генерировать различные непредсказуемые варианты кода, соответствующие тексту на естественном языке. После фильтрации, кластеризации и ранжирования из формируемого потока вариантов отсеивается наиболее оптимальный рабочий код, который затем проверяется на предмет получения верного результата (в каждом задании соревнований указывается пример входных данных и соответствующий этому примеру результат, который должен быть получен после выполнении программы).
Для грубой тренировки системы машинного обучения была задействована кодовая база, доступная в публичных репозиториях GitHub. После подготовки начальной модели выполнялась фаза оптимизации, реализуемая на основе коллекции кода с примерами задач и решений, предлагаемых участникам соревнований Codeforces, CodeChef, HackerEarth, AtCoder и Aizu. Всего для тренировки было задействовано 715 ГБ кода с GitHub и более миллиона примеров решений типовых задач соревнований. Перед переходом к генерации кода текст задачи проходил фазу нормализации, на которой исключалось всё лишнее и оставлялись только значимые части.
https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode