Анон, давай поговорим о нейросетях. О настоящих, в человеческом мозгу, об искуственных, моделируемых человеком, цифровых и аналоговых, старых и новых.
Недавно залип в эту тему, и хочется вкатится в это, пока не понимаю с какого бока подступится, чтобы не тратить впустую время на то, что другие уже годы назад прожевали и выплюнули.
Может ты знаешь какие то интересные факты? Пытался вкатится или успешный разраб уже?
Дискасс короче, буду бампать интересными фактами, которые я взял на поверхности поиска
>>217301315 (OP) Открываешь книжку какую-нибудь тупую уровня "грокаем машинное обучение", она короткая и написана понятным языком. Ближе к концу поймёшь, в какую сторону дальше двигаться. Ну питон покури, ибо машинное обучение - это часто именно питон/керас. А вообще не лезь в это болото. Оно только на словах прикольно, а в итоге будешь сидеть охуевать.
Если я правильно понимаю - единица нейросети это нейрон, который имеет n входов, по которым к нему попадает РАЗНАЯ информация, и n выходов, по которым он отдает ОДИНАКОВУЮ, ОДНУ И ТУ ЖЕ информацию другим присоединенным нейронам. Так?
Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Полученный результат посылается на единственный выход.
Линейная комбинация — выражение, построенное на множестве элементов путём умножения каждого элемента на коэффициенты с последующим сложением результатов (например, линейной комбинацией x и y будет выражение вида ax + by, где a и b — коэффициенты)
А как дела обстоят с нероном биологическим? Там тоже "линейная комбинация" входящих сигналов??
Электрически возбудимая клетка, которая предназначена для приема извне, обработки, хранения, передачи и вывода вовне информации с помощью электрических и химических сигналов.
То есть по факту штука аналоговая, узел устройства под названием мозг.
Нейрон искуственный в составе нейросети компьютерной:
То бишь по факту то, что сейчас принято называть "нейросетью" есть упрощенная жалкая модель
Это получается все равно что иметь секс с самкой человека или лежа в темноте без хуя и без рук представлять как ты дрочишь на плохо нарисованную картинку самки человека.
Говоря об искусственных нейронах, разные ученые могут иметь в виду самые разные вещи. Например, когда математики и программисты говорят о нейросетях, они называют нейронами определенные объекты в архитектуре обработки данных, которые, в общем, не слишком отличаются от простых переменных в очень большом уравнении. На настоящие нейроны они похожи разве что тем, что соединены с другими подобными объектами в сеть, по которой течет информация.
Инженеры под искусственными нейронами могут иметь в виду нечто другое — например, сети мемристоров. Это устройства, которые также придуманы для вычислений и обработки данных, но свою биологическую, распределенную архитектуру они реализуют непосредственно в физическом виде — прямо на микросхеме. Этим они сильно отличаются от тех самых «нейросетей», которые обрабатывают изображения и существуют в виде софта для компьютеров вполне классической, не-нейроморфной архитектуры.
>>217303170 Да, но даже эта упрощенная жалкая модель уже дает охуительные результаты. Все эти распознователи, генераторы, переводчики, это ж ебнуться можно.
Достаточно взять уже имеющуюся, под названием Василий Зумеров, нитакой как фсе творческий видеохудожник, накурить его значительно изменив сигналы между нейронами, и получишь на выходи подобное. Недорого и быстро
>>217301315 (OP) Нейроны обобщают информацию. У аксона есть коллатерали по которым сигнал дублируется без изменений, следовательно нейрон имеет 40к входов и 15к выходов максимум. Нейроны как транзисторы, выбирают пропустить стгнал или нет, у транзистора для этого используется база, у нейрона рецепторы нейромедиаторов. Тоесть нейромедиация чувства голода пресекает активацию неправильных нейронов и поощряет активацию правильных. Эта химия так же регулируется опытом - аксоаксональными связями, звездчатыми нейронами и т.д. В простейшем случае, мозг получает совокупность сигналов, нейроны сравнивают их посредством связей с дендритами, каждый нейрон имеет внутри запомненную картинку сигналов, затем если совпадает, в зависимости от нейромедиационного и гормонального фона выстреливает спайк по аксону либо замолкает и спайк подавляется. Спайк разветвляется по коллатералям и активирует высокоуровневые моторные функции спинного мозга, который в свою очередь активирует мотонейроны сокращающие мышцы. Сон это открытие ионных каналов нейронов, потенциал действия которых был подавлен, но заряд не израсходван. В целях безопасности при этом моторные функции отключаются серотонином и ты не дергаешься в судорогах а видишь сны, что есть каскад хаотично высвобождающихся ионов, по этому может привидиться во сне любая хуйня и комбинации известных зрительных/слуховых и иных образов. В ИНС каждый последующий слой обобщает сингалы от предыдущего, тем самым сводя несколько выборов например горячее/холодное+кружка/тарелка к результатам суп/компот. Ну или при решенит примера первый слой видит( 2+2)2 следующий слой видит 42, следующий видит 8 и выдает результат на 8й эффекторный нейрон. Как то так.
>>217303829 Специалист-человек сможет обрабатывать большие данные? Сколько таких специалистов-человеков ты сможешь найти и купить? Простой пример, ты кидаешь текст в гугл транслейт и можешь уловить хотя бы суть мгновенно на данный момент не всегда, но это пока. Поиск и работа переводчика с рандомного языка займет гораздо больше времени и средств (а потом окажется что он тебя наебал).
>>217304373 >Так прога-переводчик имеет мало отношения к нейросетям, это просто программа работающая по заданным алгоритмам Лол нет. Там всё давным давно на нейронках
>>217304124 Человек обрабатывает невербальную информацию, сначала научи переводчик распознавать рукописный текст, затем подкреплять смысл образами зрительными, обонятельными, осязательными в корректном хронологическом порядке и уже тогда выдать артикуляционный а не стнтетический перевод напрямуб регулируя работу артикуляционного аппарата. Переводчик гугл использует готовые переводы фраз и предложений, составленных символами бинарной кодировки, а не переводит текст.
>>217303829 >ничего по сути такого, с чем бы не справился специалист-человек Дохуя примеров. Нейронка может "прочитать" столько данных, сколько ни один специалист за всю жизнь не успеет
>>217304664 В хайкине про математику и биологию искуственных нейронок. >Но не в модели нейронок, а в нечто реальное То есть ты собрался мозг выращивать? Оптические нейронки это тоже модель, и если ты хочешь в них разобраться, тебе нужно знать математические основы.
>>217304523 Даже миллион if/then сработает не хуже. Инс это алгоритм автоматизированной расстановки этих if/then, чтобы не пришлось их расставлять вручную. При этом жертвуется охуевшая доля производительности алгоритма на лишние вычисления связей весов и функций.
>>217304803 Для применения пороговой функции ему даже алгебра будет ненужна. Хуле, это же и есть фукция типа if("Вася")then(return "лох"), чистой воды импликация.
>>217304957 И еще. Посмотри на связи на картинке. Их добавление и удаление это очень сложная задача, в идеале каждый нейрон должен иметь связи со всеми остальными нейронами, а на реализацию такой хуйни тебе максимум мозг нематоды удастся на паре терабайт дисковового пространства разместить.
>>217305205 >Даже миллион if/then сработает не хуже Ну попробуй написать их все теперь >Инс это алгоритм автоматизированной расстановки этих if/then Ты не поверишь нахуй, но любой алгоритм можно изобразить в виде дохуя иф\зен, но алгоритмы и придумали, чтобы такой ебатой не страдать >на лишние вычисления Лишние для кого? У меня вот без этих вычеслений нейронка не заработает, а писать миллион ифов желания нет. >Что может быть входящим сигналом искуственных нейронов? Смотря как ты их моделируешь. Но желательно чтобы это были объекты из одного векторного пространства хотя бы. >только информация в виде 0 и 1 Ну если ты про то, что в компьютере всё в виде битов, то да... >Электричество, свет, хим.реакция, что еще? Хуй знает что ты имеешь в виду, но скорее всего у тебя это всё будет просто физическим выражением некоторой скалярной величины. >Для применения пороговой функции ему даже алгебра будет ненужна Лол, ну если сигма-функции любой школьник сейчас поймет, то ок
>>217303957 >модель из одного миллиарда нейронов >Между ядрами несколько способов передачи информации, но основной — пакетами по 5–9 килобайт. По сути запараллелили кучу процов
>>217305565 >в идеале каждый нейрон должен иметь связи со всеми остальными нейронами Нахуя? >на реализацию такой хуйни тебе максимум мозг нематоды удастся на паре терабайт дисковового пространства разместить. И?
А что кстати с новыми нейронами, и новыми связями нового нейрона со старыми?
Есть ли механизмы репродукции нейронов, в биологии, или в комп.моделях? Или пока ручками не воткнешь новый узел и не проведешь все связи - не заработает?
>>217304457 А вот еще приколюха. Помнишь картинки усредненного лица генерированные нейронкой на основе сотен лиц нормальных? Грубо говоря если полупрозрачные фотки расположить в ряд то получишь тоже самое среднее лицо, но суть не в его получении, а в том, что картинка это сенсорная матрица, ее представляют собой обычно связи от сенсорных нейронов, тоесть отдельная картинка это отдельный нейрон, просто взяли и входящие связи сложили в среднне арифметическое и расположили как есть. Еще у нейронов есть такая немного запутанная функция, они содержат не картинку целиком, а ее кусочки, тоесть одна инс может распознавая оьраз собирать его из отдельных нейронов, один будет содержать глаза, другой нос, третий овал лица, четвертый брови и т.д., в общем 1 нейрон собирает некоторую совокупность сенсорной информации, которая периодически повторяется. Ее может содержать нейронный модуль, поле область или иная совокупность нейронов.
И вспомнил тут. Сенсоры сетчатки и связи нейронов в затылочной области, куда приходит зрительный нерв, располодены точка в точку. Тоесть как на выходе так и на входе они расположены одинаково. Изображение идет в мозг 1 к 1 через вечь зрительный нерв, что дант основание предположить - в коре изображения (зрительной памяти) тоже расположены точка в точку, как на кинопленке. Физически, а не виртуально.
>>217305762 >Нахуя Гораздо проще и быстрее будет работать, просто в разы. >И Представь мозг бога, который знает все, но не знает что правильно, а что нет, пока связи в равновесии.
>>217306512 Вот ты и спалился, я думал в чате два долбоёба, а нет, оказывается ты один. А про связи ты не заливай, статическая инс всегда будет быстрее динамической.
>>217306549 Нейрон информацию не хранит. Представим что нейрон имеет на дендритах связи с аксонами других нейронов, своими весами кодирующие слово "вася", если посмотреть на эту ситуацию иначе, как если бы нейрон не связи имел на дендритах, а просто некую дендритную кодировку слова "вася", то можно сказать что он содержит эту информацию.
Просто информация кодируется не только спайками, но еще и тем, куда именно прицепился аксон, к какому нейрону, к дендриту, соме или аксону. Так что нейрон содержит информацию тогда, когда есть с его дендритами связь других нейронов.
>>217307086 Да я понял уже что тут полный тред самоучек с хабра которые наверное нахуй думают что вектор это стрелочка из начала координат, зря только распинался
>>217307529 Не поражайся, воображай. Есть бачек, в него идет 3 трубки с кранами, если бачек полный спабатывает слив. Трубки дают воду в бачек каждая по своей причине, а краны регулируют напор какая из причин важнее. Так если ты пописол то бачек набирается медленно из 1 трубки, если покакол то быстро из второй, если нарыгал то средне из третьей. Пришел ты пописол покакол хуяк полный бак и слив сработал автоматически. Информация это не вода в бачке, а причина по которой из трубы течет вода, просто совокупность взаимодействий.
>>217307714 Интеллект мера количественная. Чем больше нейронов, чем больше у них связей, тем четче ты помнишь всё. Ты можешь попытаться возразить мол навык нужно развивать, чтобы что то понимать, это все хуйня, поскольку навык это и есть твоя память, понимание сути вещей в первую очередь зависит от того как много о этой вещи ты помнишь(знаешь).
>>217308098 Дендритное дерево что-то хранит, но это частное и относится больше к конкретной связи. Опять же в ... Сука слово забыл. В нейрощели короче всего пара видов ионов (натрий с калием) прыгает, но она передаёт только заряд. Ион подходит, слаёт электрон и уходит. В данном случе дендритное древо как губка просто впитывает, ему позуй что впитать, один хуй это только электроны. Возможно одни рецепторы тормозят другие возбуждают но я так глубоко не копал. В любом случае, в нейроне ничего "особого" не колируется кроме интенсивности потенциала действия.
>>217308185 Таже самая хуйня. Память не книга, интуиция не инструкция. Есть нейроны с сильными связями, есть со слабыми. Когда нейромедиатор не дает нейрону сделать спайк по сильной связи он может сработать по слабой. У маргиналов такая функция атрофируется - мало нейронов, мало связей, меньше сомнений, хуже интуиция. Та же хуйня у стариков, с той разницей, что у стариков больше устойчивых мощных связей между нейронами чем у маргиналов, это их опыт, это объясняет труднообучаемость дедов с бабками.
>>217307048 синаптическая щель называется, и она не передает заряд, а твоя хуйня про губку просто неверна, у тебя есть граф - вся нейросетка, и его подграфы - деревья, связанные с отдельными нейронами, и, по-моему очевидно, конфигурация подграфов хранит инфу наравне с проводимостью синапсов
>>217308939 И тебя не смущает абсолютная однонаправленность работы нейрона? Граф тут неуместен, он моделирует одно из возможных применений нейросети, упрощенно. Нейрон работает как воронка, собирает электроны через дендриты и выпускает их по аксону при достижении порога(не абсолютного, экспотенциального, но порога). Даже если рецепторы кодируют пару бит информации он спайке на входе, далеко не факт что это сильно влияет на спайк на выходе.
>>217308939 Не, понятно, что конфигурация графа кодирует информаци, если ты подразумеваешь направление связей, то именно конфигурация кодирует большую ее часть, я бы даже назвал конфигурацию объективной частью описывающей объект например перед глазами, а потенциал субъективной, описывающей свойства этого объекта аля нужно/ненужно.
>>217309303 В учебнике по нейрофизиологии нет теории графов. Теория графов есть в учебнике по терии графов и это кибернетика, а не нейрофизиология. Пшел нахуй!
>>217309437 >потенциал субъективной Потенциал - электрическое свойство сети, не более того, его частота кодирует только интенсивность сигнала. >>217309511 тебя не смутила конъюнкция "а еще", дурачок?
>>217309742 Мне похую, я хочу и ухожу спать, а ты не сопротивляйся и топай нахуй. Возвращайся, когда перестанешь кукарекать шаблонными фразочками типа "открой учебник", без объяснения причины пренебежения результатом моих изысканий.
>>217309960 >пренебежения результатом моих изысканий. лол, изыскания ебаного аутиста с двача, звучит неплохо, и каким результатом, ты ни одного результата не высрал, дауненок
У меня начинает складыватся впечатление, что годы исследований и построения моделей ИНС прошли для человечества практически впустую, как говорится - что русскому хорошо то немцу харам. Зачем пытатся строить по архитектуре биоНС модели, когда эта архитектура заточена кем бы то ни было на применение в БИО хардваре. А если у нас в руках есть процессоры с чуждой этому развитию архитектурой, то и модели НС должны быть построены иначе, не в попытке приближения к био-аналогам, а как то иначе, хз
>>217310078 >Лол Маркер долбоёба. Видишь человека употребившего сочетание трех букв "лол" знай, перед тобой долбоёб. Ему уже ни что не поможет стать полноценным человеком. Всё, что ты можеш для него сделать это пристрелить его из жалости.
>>217310355 Нужно срочно, прямо сейчас и прямо в этом треде придумать новую модель узла нейрона для компьютерного имитатора нейронной сети. Придумайте плиз, я пока чай налью схожу
>>217301315 (OP) Любопытно мнение анона на счет связи нейросетей и сознания.
Только что родилась теория, исходя из следующих гипотез (вероятно некоторые из них лишь моя выдумка, которая кажется мне более-менее правильной): 1) Человеческий организм имеет множество нервных окончаний, которые передают сигналы на определеныне нейроны; 2) В результате работы нейронной сети головного мозга сигналами, поступающими в БОЛЬШОМ количестве от нейронов формируется обратная связь - движение мышц и т.д.; 3) Движения мышц, тактильные ощущения и т.д. в свою очередь генерируют новые сигналы цикл продолжается, думаю все представляют, как это работает; 4) На более низких уровнях нервной системы (в первую очередь рептильный мозг, мб что-то еще есть ниже) генетически зашиты некие АЛГОРИТМЫ, которым нейросеть мозга обучать не надо, они передались нам генетически: чувствуешь голод - скоро умрешь - плачь, суй в рот всё подряд, перемещайся, испытываешь страх - беги; 5) Человеский младенец рождается с уже готовой аппаратной частью в виде мозга с миллиардом нейронов и телом, содержащим сколько-то "двусторонних" нервных окончаний (для отправки сигналов, и для выполнения исходящих от мозга команд); 6) Руководствуясь базовыми алгоритмами из п.4 младенец начинает познавать мир, теребя ручками, зыркая глазами, слушая ушами, пробуя языком все подряд, обучает свою нейросеть, и в результате, потихоньку, нейросеть накапливает информацию, что оболочка, в которой она находится отделена от всего остального мира, и только этой оболочкой она напрямую руководит. Примерно в этот момент возникает (гипотетически) самосознание.
ВНИМАНИЕ ВОПРОС: как думаете, может ли самосознание возникнуть в искуственной реализации подобных тезисов? Берем робота из бостон дайнамикс, облепляем всю его поверхность датчиками, к конечностям так же присоединям провода. Эти "нервные окончания" все направляем в нейросеть состоящую минимум из двух уровней - на более низком уровне закладываем базовые алгоритмы нейросети, необходимые дял выживания и размножения особи: ищи розетку, ученого или любые другие гипозеты, которые придут в голову. Более высокий уровень (лимбический + неокортекс) оставляем плюс минус чистыми. Саму нейросеть реализуем или аппаратно, или программно (видимо в распределенной системе типа FOLD или SETI или майнинг крипты). Может ли в такой системе, если мы сможем ее смоделировать достаточно правдоподобно, КОЛИЧЕСТВО (нейронов, связей и сигналов) перейти в КАЧЕСТВО (сознание)?
>>217312601 >Саму нейросеть реализуем или аппаратно, или программно
Даже мне, нафане, ясно что программно нихуя не выйдет Если ты смог програмно смоделировать подобную сеть, то смоделировать внешнее окружение и имитацию сигналов от датчиков не проблема будет
А если аппаратно, то пока что, видимо, надо грузить это все не в робота бостон динамикс, а в карьерный самосвал, как минимум
>>217312764 Свойства объекта зависят от вида взаимодействия объекта и субъекта, например: если на яблоко смотреть — оно имеет цвет и форму; если его откусить — имеет твёрдость и вкус; если его взвешивать — имеет вес; если оценивать его габариты — имеет размеры, если трогать — имеет шероховатость. Объект является своими свойствами не только субъекту, но и другим объектам, то есть свойства могут проявляться и в ходе взаимодействия объектов друг с другом.
Мне нужно свойства взаимодействия объектов друг с другом. Как ты это узловое свойство обеспечишь в самой сети?
>>217313229 >Свойства объекта зависят от вида взаимодействия объекта и субъекта Какой, нахуй, субъект, наркоман? Все, тобою написанное, можно задать в самой сети. >Мне нужно свойства взаимодействия объектов друг с другом Причем здесь узлы и сеть вообще? Сука, иди нахуй, еблан.
Анон, давай поговорим о нейросетях. О настоящих, в человеческом мозгу, об искуственных, моделируемых человеком, цифровых и аналоговых, старых и новых.
Недавно залип в эту тему, и хочется вкатится в это, пока не понимаю с какого бока подступится, чтобы не тратить впустую время на то, что другие уже годы назад прожевали и выплюнули.
Может ты знаешь какие то интересные факты? Пытался вкатится или успешный разраб уже?
Дискасс короче, буду бампать интересными фактами, которые я взял на поверхности поиска