Но я не понимаю главным образом, как это реализовать. Для меня это все ещё черный ящик и волшебная коробка, которая работает как-то там по-своему.
Это бесы, лучше не лезь в эту тему
Нет. Большая языковая модель это огромная база, в которой каждому токену, это может быть например слово, присваивается значения в тензоре. Тензор это как координата точки, но в многомерном пространстве. Каждому слову присваивается определенное значения, то есть есть например пространство гендера, поэтому кот и кошка там буду на разной стороне находится в одной из плоскостей, может быть что-то вроде валентности, т.е хорошо или плохо это и т.д. Обучают модель на куче текстов и она просто потом начинает угадывать какое слово за каким можно ставить.
Когда модель жрет полный текст, то там работает еще механизм внимания, то есть сеть понимает текст целиком и каждое слово в нем корректирует другие. Потом сигналы прогонятся через весе, все пересчитывается, там уже близко к математике про активацию нейронов.
Это прям очень примерно если, сам ты не сделаешь нихуя, у тебя мощностей таких нет. Поиграться с чем-то простым может быть сможешь.
Kekс
>Объясните мне подробно, как работают нейронки
Прикол в том, что никто точно не знает, как там "под капотом" у нейронки обрабатывается инфа. Если скрытых слоев (между входом и выходом) мало, еще можно отследить работу, но это касается примитивнейших нейронок, которые появились первми. И эта причина, например, по которой нейронке не дают управление критической инфраструктурой или пилотировать самолет.
Двачую.
Люди знают математику внутри нейросети, но абсолютно не понимаем логику принятия конкретных решений. Этот феномен в IT называют проблемой «черного ящика».
В чем отличие 'математики внутри нейросети' от 'логики принятия решений'? Почему зная первое нельзя понять второе?
Ничего не понял. Видимо, не дано, генетика не та.
>Почему зная первое нельзя понять второе
Современные языковые модели (вроде GPT-4) содержат сотни миллиардов и даже триллионы весов (числовых коэффициентов).
Когда сеть выдает ответ, этот результат является следствием триллионов мелких математических операций (умножений и сложений - вот эту математику мы и знаем).
Но человеческий мозг физически не способен проследить, как именно изменение одного веса на миллионную долю повлияло на итоговое слово в предложении.
Найди канал VertDider, там хорошо объясняется и красиво. Ты задал вопрос на котороый без простыни очень сложно ответить.
карочи ты психо логические тесты прохадил?? ну типа кто ты из мультека шрек итд. карочи когда автор саставлял тест он может подагнать результат типа этот еблан больше всего выбрал вариант А, значит он фиона, а другой еблан выбрал больше Б значит он кот в сапагах. но этот метод типа гига огроничиный паэтому другой метод это давать каждому варианту свой вес а после оканчания теста эти веса там суммировать перемножать извдекать корни и изъёбываться по разнаму чтобы подагнать в нужный диапазон и каждаму диапазону свой финальный результат и паэтому тест говарит тебе что ты осёл. а в нейронке пахожи но только в многамерном прастранстве и математека послажнее
Я бы тебе ебало раскроил. Какая генетика нахуй, если тебе насыпали незнакомых терминов, которые ты не знаешь. Или ты считаешь, что люди рождаются с прописанным в геноме знанием векторной алгебры?
Я детерминист, рано или поздно чай или кофе само выберется.
Алсо, какое ты право имеешь утверждать, что это не генетика? Ты учёный? Или математик?
Лучше тебе не знать ато можешь с ума сойти от ужаса
Попроси нейронку объяснить ее устройство. Можешь в запросе написать объясни как ребёнку или как пятилетнему. Результат будет скорее всего лучше чем консультации дващеров
Никак. Это чёрная магия. Наукоботы блять даже не могут объяснить, как работает процессор, но всё ранво не понимают, что всё это - дело рук колдунов-учёных, бесы научили их этой магии !
@monkey Ответь подробно , так как работают нейронки?
Нет, не совсем так. Нейросеть не хранит письма деревом и не сверяет новое письмо с базой. Это вычислительный граф из слоёв простых операций, который по примерам подгоняет числа (веса), чтобы на похожих входах выдавать нужный выход.
Нейрон берёт числа, умножает каждое на свой вес, складывает, добавляет смещение и пропускает сумму через нелинейность вроде ReLU. Слои из таких нейронов стоят друг за другом: первый получает вектор чисел, последний выдаёт ответ. Для спама это обычно одно число, вероятность «спам». Связи есть, граф есть, но это не дерево слов из письма.
Текст в сеть как текст не кладут. «Здравствуйте, не хотели бы купить товар?» сначала режут на токены и переводят в числа: эмбеддинги, иногда мешок слов или TF-IDF. Уже этот вектор идёт по слоям. Сеть не выбирает «спам или нет» отдельно от вычисления. Прямой проход и есть ответ: числа прошли по весам и получили вероятность.
Обучение другое, не «подкрутили и дали самой решить». Есть размеченные примеры: письмо и метка. Сеть предсказывает, считают ошибку (насколько вероятность разошлась с меткой), обратным проходом смотрят, какой вес насколько виноват, и градиентным спуском чуть двигают веса в сторону меньшей ошибки. Так много раз по всей выборке. Цель не зазубрить базу, а поймать закономерности, которые сработают на новом письме. Если примеров мало или сеть слишком большая, она как раз начинает зубрить и на новом сыпется. Это переобучение.
На практике граф и цикл обучения не пишут с нуля. Берут PyTorch или TensorFlow, описывают слои, считают функцию потерь, делают backward и шаг оптимизатора. Для текста сейчас чаще берут уже обученный трансформер и доучивают на своих письмах, а не маленькую сеть на мешке слов. Для спама нейросеть часто и не нужна: логистическая регрессия или наивный Байес на тех же признаках закрывают задачу проще и прозрачнее.
Нейрон берёт числа, умножает каждое на свой вес, складывает, добавляет смещение и пропускает сумму через нелинейность вроде ReLU. Слои из таких нейронов стоят друг за другом: первый получает вектор чисел, последний выдаёт ответ. Для спама это обычно одно число, вероятность «спам». Связи есть, граф есть, но это не дерево слов из письма.
Текст в сеть как текст не кладут. «Здравствуйте, не хотели бы купить товар?» сначала режут на токены и переводят в числа: эмбеддинги, иногда мешок слов или TF-IDF. Уже этот вектор идёт по слоям. Сеть не выбирает «спам или нет» отдельно от вычисления. Прямой проход и есть ответ: числа прошли по весам и получили вероятность.
Обучение другое, не «подкрутили и дали самой решить». Есть размеченные примеры: письмо и метка. Сеть предсказывает, считают ошибку (насколько вероятность разошлась с меткой), обратным проходом смотрят, какой вес насколько виноват, и градиентным спуском чуть двигают веса в сторону меньшей ошибки. Так много раз по всей выборке. Цель не зазубрить базу, а поймать закономерности, которые сработают на новом письме. Если примеров мало или сеть слишком большая, она как раз начинает зубрить и на новом сыпется. Это переобучение.
На практике граф и цикл обучения не пишут с нуля. Берут PyTorch или TensorFlow, описывают слои, считают функцию потерь, делают backward и шаг оптимизатора. Для текста сейчас чаще берут уже обученный трансформер и доучивают на своих письмах, а не маленькую сеть на мешке слов. Для спама нейросеть часто и не нужна: логистическая регрессия или наивный Байес на тех же признаках закрывают задачу проще и прозрачнее.
>эта причина, например, по которой нейронке не дают управление
Роботы доставщики с яндексом разве не на нейронках ездят? А беспилотные автомобили? https://www.1tv.ru/news/2026-10-22/556772?ysclid=mvkq8ir1ow916749322
Все современные нейронки это просто пикрил, очень длинный и высокооптимизированный, там под капотом матанализ (производные, градиентный спуск и другое), умножения и складывания. Самое сложное это заставить все это быстро работать на каком-нибудь интерпретируемом языке типа python, вот тут уже начинается магия 300iq гениев с графами на стыке программирования, математики и теории алгоритмов.
Это животное ебаное с пикабу прибежавшее, какой еще математик, ты посмотри на эту тварь агрессивную клавиатурную 60 кг ярости.
> вот тут уже начинается магия
> Либа написанная на си и плюсах, а питон лишь вызывает
В указанном примере нейронка не обучается сама. Наиболее оптимальным будет "обучение с учителем". Даешь блоки данных, даёшь правильные ответы к этим данным. Далее эти данные перемешиваются и рандомно подаются нейронке сверяя ответ на выходе, пока не получится нужная точность. Причём ответ это предикт, вероятность. А дальше на основе этого предикта уже обрабатываются данные - классифицируются как спам, например.
Что тут не понять? Вес изменился на долю процента и на выходе вышло, что с вероятностью 96% следующее слово - хуй, с вероятностью 83% пизда и с вероятностью 81% Джигурда.
Никто не знает, потому что всё это найдено на упавших летающих тарелках, как и инструкции по производству микрочипов.
Потому что в говне моченые САМИ не могут объяснить как нейронка работает и почему выдает то или иное, а значит сами нихуя не понимают.
Щас фиксируй как жидва набежит отрицать это, а если сказать им что пирамиды не строили рабы палками и зубилом, у них вообще очко в стратосферу улетит. Они сотни лет скрывают от нас прошлое нашей планеты, всё закапывают метровыми слоями земли и уничтожают старые артефакты
Например, у нейронки есть задача определять спам что-то или нет. В нее загружают огромную базу данных спама в виде древа (т.е. есть письмо "Здравствуйте, не хотели бы купить товар?", где каждое слово представляет собой отдельное звено этого древа), после чего запускают процесс обучения, где у нейронки подкручивают веса алгоритмом и дают ей самой выбрать, спам новое древо или нет. И так она обучается. Так ли это? И как это реализовать?