Добавлена поддержка Ежчана (ejchan.net, ejchan.site). Набегаем, тестируем архивацию, сообщаем о замеченных проблемах.
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Сохранен
2
2026-03-29 03:52:42
Сохранен
50
2025-01-29 08:39:14
Сохранен
97
Главный прорыв десятилетия! — Пару дней назад учёные из MIT представили революционную архитектуру глубокого обучения KAN, которая произвела фурор среди исследователей, став настоящей сенсацией. Говорят, что возможно это самый грандиозный прорыв в ИИ за последние 50 лет. Многие его окрестили, как Deep Learning 2.0 В основе всех архитектур, к которым мы привыкли, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт. А что, если мы переместим функции активации на веса и сделаем из обучаемыми? Звучит как бред, но yes, we KAN. KAN (Kolmogorov-Arnold Networks) - новая парадигма, в которой исследователи реализовали перемещение активаций на «ребра» сети. Кажется, что решение взято из ниоткуда, но на самом деле тут зашита глубокая связь с математикой: в частности, с теоремами универсальной аппроксимации и аппроксимации Колмогорова-Арнольда. KAN работает намного точнее, чем MLP гораздо большего размера, и к тому же лучше интерпретируется. Авторы KAN доказали, что ему требуется во много раз меньше нейронов, чтобы достичь точности MLP. Также KAN гораздо лучше генерализует данные и лучше справляется с аппроксимацией сложных математических функций (мы увидели это на примерах), у него, можно сказать, "технический склад ума". В статье исследователи также показали, как KAN помогает решать дифференциальные уравнения и (пере)открывает законы физики и математики. Единственный минус: из-за обучаемых активаций тренится все это дело в разы дольше, чем MLP. Но это не точно, так как исследователи пока даже не пытались провести оптимизацию скорости обучения. Возможно сегодня мы наблюдаем рождение Deep Learning 2.0. Ведь такой подход меняет вообще все, от LSTM до трансформеров. Эпоха AGI теперь становится куда ближе. Тут подробнее простыми словами: https://datasecrets.ru/articles/9 Ссылка на препринт: https://arxiv.org/abs/2404.19756 Код тут: https://github.com/KindXiaoming/pykan
2025-01-17 22:52:20
Сохранен
615
2023-04-06 22:28:18
Сохранен
52
2021-07-01 19:40:44
Сохранен
608
2021-08-21 22:04:10
Сохранен
510
2021-04-10 22:03:49
Сохранен
502
2021-04-15 22:03:39
Сохранен
502
2021-04-21 22:03:41
Сохранен
503
2021-05-03 22:03:32
Сохранен
756
2021-05-13 02:18:22
Сохранен
621
2021-05-24 08:16:44
Сохранен
792
2021-06-11 22:03:19
Сохранен
505
2021-04-05 06:31:04
Сохранен
528
2021-05-04 22:04:01
Сохранен
503
2020-12-13 18:04:00
Сохранен
531
2021-01-29 06:54:05
Сохранен
514
2021-04-29 09:35:34
Сохранен
538
2021-03-05 22:03:15
Сохранен
512
2020-05-26 22:21:46
Сохранен
513
2020-10-01 06:35:40
Сохранен
533
2020-04-27 05:30:18
Сохранен
504
2020-08-17 22:05:31
Сохранен
609
2019-10-10 22:03:52
Сохранен
557
2019-08-08 16:13:26