Я придумал сделать нейросеть не на перемножении матриц, как Chatgpt, а на векторах причинности.
Например, берутся все события мира вида грязное яблого помыть чистое яблого, кладутся в таблицу, и когда ты просишь у нейросети что-то понять, она начинает перебирать эти вариант, и делать много проходов, чтобы сказать тебе, что будет.
>>331781613 (OP) в стабильной дифузии все состояния вселенной любого времени, по сути если смогешь извлекать формулы с нейрокала рисоваки, правильно поставив задачу о текущем то будущее 100% предсказуемо
что есть цвет? излучение атомов. что есть атом? зона концентрации гравитации, гравитация всё расставила.
значит гравитация всех атомов + планет, и солнц и масс предопределеяет будущее 100%
>>331781923 Меня немного смущает идея, что ты хочешь перебирать все возможные причинно-следственные связи, но почему-то думаешь, что это оптимальнее, чем обычный весовой подход. Так-то выходит, что если брать буквально любой объект или явление, то возможных взаимосвязей будет чуть ли не бесконечность и сложность твоей нейронки будет расти в степени взаимосвязей.
>>331782031 >Меня немного смущает идея, что ты хочешь перебирать все возможные причинно-следственные связи ну разумеется будет какой-то индекс, но потом уже бегать по связям и смотреть что получится. Это просто способ вместо статистики моделировать результат через причинно следственные связи.
Вот например помыть яблоко помыть может относиться к сотням других объектов но при этом результатов у этого действия не так много получается одним действием можно охватить ответ на многие вопросы
>>331782053 Так а чем токенизация и чанкинг-то плохи? У них по умолчанию нет связей, а потом в ходе обучения образуются. А ты как бы хочешь предобученую нейронку вручную собирать.
>>331782125 >Так а чем токенизация и чанкинг-то плохи? я чувствую, что для выполнения вычислений требуется слишком много ресурсов и результат всё равно опирается на статистику, а не смысл. Я хочу, чтобы эта штука работала минимум по семантике, а максимум на принципе причинности. >У них по умолчанию нет связей, а потом в ходе обучения образуются Да, но они как бы косвенные и насколько я понимаю ответ составляется всё таки первично по статистике. Хотя до конца работу Chatgpt я не понимаю.
>>331781613 (OP) Придумывалка у тебя отменно работает, братух. А я вот придумал унитаз, который разбивает каку на отдельные частицы, а потом синтезирует из них атомы золота. Чё думаешь?
>>331782161 Ну так ты правила этой самой семантики можешь задать и нейронка будет обучаться. И то, вручную надо контролировать, корректировать. Ресурсов в любом случае нужно много. Но делать LLM вручную целиком - это уж вообще жесть.
В идеале конечно делать модель мира, как делает гугл, но это слишком тяжело и по сути только это настоящий подход с симуляцией мира. А всё остальное, даже графы причинностей - костыли.
>>331782253 >Ну так ты правила этой самой семантики можешь задать где, в трансформере? Если ты про то о чём тред, то предполагается, что будет алгоритм, который эти правила сам вытаскивает из обучающих текстов. Но здесь для обучения нужно в миллионы раз меньше данных, так как никакого усреднения в таких масштабах нет и достаточно буквальто 1 раз встретить инфу чтобы она сохранилась.
>>331782286 Ну так я тебе и говорю, что правила ты сам алгоритму задашь. Но я не понимаю, с чего ты решил, что все будет проще? У тебя всё строится на том, что ты уже сам знаешь все взаимосвязи. А если ты их не знаешь?
>>331782330 >Ну так я тебе и говорю, что правила ты сам алгоритму задашь это нереально, их же миллионы наверно. Только автоматчиески. >Но я не понимаю, с чего ты решил, что все будет проще? Ну как проще. ВО первых, глюков должно стать меньше. Во вторых, исчезнет проблема чёрного ящика и если что данные можно будет корректировать. >У тебя всё строится на том, что ты уже сам знаешь все взаимосвязи. А если ты их не знаешь? Нет, у меня идея такая что ты кормишь алгоритму текст а он их берёт оттуда.
>>331782372 Чет хз короче. Проще взять готовую нейронку и попросту расширять ее через RAG. Ну и если у тебя есть какие-то регулярные ответы, то создавать дополнительные RAG по необходимости, туда же всю литературу, сайты, новости, доки и т.д.
>>331782059 всё это неправильные и невозможные миры. которых никогда не будет. в нашей реальности
реки не текут против гравитации, планеты не вращаются против своих орбит, всё предопределено детерминировано
Говорят судьбы нету, но как же? Любой брошенный камень упадёт, а его падение известно в момент когда был прекращёно действие импульса броска , если все условия известны, его падение предопределено.
>>331781613 (OP) Звучит утопично. Чтобы предсказать что-то полезное, нужно вообще все причинно-следсвенные связи во вселенной вкладывать. Есть похожие инструменты, например, у синоптиков, но там ограниченный набор вводных. Предсказать же, напр движение курса доллара на завтра - это уже нереально. Нужно всю экономику мира иметь ввиду вплоть до китайца, который 5 лет назад назад купил на шанхайском рынке чехол для сяоми. Это не говоря уже, что понятие "причинно-следсвенная связь можно неоднозначно трактовать"
>>331782831 >Звучит утопично. Чтобы предсказать что-то полезное, нужно вообще все причинно-следсвенные связи во вселенной вкладывать не совсем. Например если выпить 10 литров воды, то можно умереть. И для этого кейса всё равно, проезжает ли рядом с тобой грузовик или нет.
>>331782565 представь лабу и учёного химика, почему он автоматически не наладил производство любого ресурса? ведь законы химии работают жи. ведь ебучий водород при нагреве становится паром и газообразным. из 1 семечка вырастает дерево и организм же.
Ах да и почему перельман помалкивает узнав законы квантовой детерминированной топологии ?
работает детерминированно, но нам, биомусору, как это работает вселенная никогда не расскажет.
>>331782854 >если выпить 10 литров воды, то можно умереть И ради этого городить нейронку? Тебе же нужно чтобы оно как-то качественно улучшало предсказания/прогнозы. Туда же придётся вбивать: а если 2 литра, 2,5 л, 2,75л. Какой воды, какой вес пьющего человека именно, а если с промежутком в полчаса или шесть часов. А представь факт посложнее, например определение рисков при открытии нового завода. Экономисты с этим часто справляются не очень, хотя буквально живут в этом, тебе нужно переплюнуть всю фактологию, хранащуюся хотя бы в одном экономисте. итд
>>331781613 (OP) Это уже есть в ГПТ. Ты велосипед изобретаешь. Вопрос не в том, чтобы сделать АГИ. Вопрос в том, что как только ты попробуешь сделать АГИ и добъёшься каких-то успехов - тобой заинтересуются уважаемые люди с целью устранить конкурента.
>>331781613 (OP) Олсо - в Симпсонах была такая серия, бабы-программсты с Лизой пилили такое приложение - предсказывало негативные последствия любого действия.
>>331781617 Что Символьные ИИ уже давно придуманы и используются, имеют свои ограничения и постепенно скрещиваются с нейронками в более эффективные Нейросимвольные ИИ.
>>331781613 (OP) И где ты собирался брать данные для тренировки этой нейросети? Текста, картинок и музыки у нас петабайты, а твоих каузальных векторов хуй да нихуя.
>>331786128 >Ну и как ты парсить-то будешь эту вики? нужен алгоритм, который вытягивает факты из текста. А также вытягивает причинности из текста. По сути алгоритм - это вся сила. Он берёт текст, выделяет в нём связи, например дом поджечь равно пожар миллионы таких связей в принципе могу описать весь мир, и для того чтобы закрепилась одна связь в отличие от трансформера нужно всего одно птворение. >Как в твоей голове работает конвертация энциклопедический текст → каузальные векторы → тензоры? До тензоров пока не дошёл.
>>331786180 >ая нейронка?) нет, почему. Буквально алгоритм, в компьютерном детерминированном смысле.
Грубо и неточно. Если в предложении есть 2 объекта и действие, и еслипо таблице сходств это действие может быть инициировано одним и применено к другому, значит есть связь. Записываем.
если в словаре русского языка есть 50 тысяч слов среди которых пусть 20 тысяч предметы и ещё 20 тысяч действия с ними то грубо можно взять по половине перемножить и получить число пар которых хватит для описания мира это будет 100 000 000. не так много
Например, берутся все события мира вида грязное яблого помыть чистое яблого, кладутся в таблицу, и когда ты просишь у нейросети что-то понять, она начинает перебирать эти вариант, и делать много проходов, чтобы сказать тебе, что будет.
Мнение?