Митасов Андрей Павлович :
другие произведения.
Металоция неведомого. Модуль Н. Нейронки
Самиздат:
[
Регистрация
] [
Найти
] [
Рейтинги
] [
Обсуждения
] [
Новинки
] [
Обзоры
] [
Помощь
|
Техвопросы
]
Ссылки:
Школа кожевенного мастерства: сумки, ремни своими руками
Комментарии: 1, последний от 22/04/2023.
© Copyright
Митасов Андрей Павлович
(
apm@tut.by
)
Размещен: 22/04/2023, изменен: 11/08/2024. 376k.
Статистика.
Эссе
:
Философия
,
Естествознание
,
Изобретательство
Металоция неведомого
Иллюстрации/приложения: 10 шт.
Скачать
FB2
Ваша оценка:
не читать
очень плохо
плохо
посредственно
терпимо
не читал
нормально
хорошая книга
отличная книга
великолепно
шедевр
Аннотация:
Попытка "переизобрести велосипед" в области нейросетей.
Крайнее обновление 28.07.2024.
...Скачу - хрустят колосья под конем,
Но ясно различаю из-за хруста:
"Пророков нет в отечестве своем, -
Но и в других отечествах - не густо".
Владимир Высоцкий - Я из дела ушел, из такого хорошего дела!
Памяти моего отца Митасова Павла Васильевича,
который хотел, чтобы я стал ученым,
а я стал инженером и железнодорожником, как и он.
Оглавление:
Вместо введения.
О голографичности нейронок.
О фрактальности нейронок.
Немного об исторических проблемах нейронок.
"Случайности не случайны".
Немного о "переобучении" нейронок.
Обучение нейронок - построение "ландшафта" или "фрактала"?
О "поисках черной кошки в темной комнате".
Еще немного о "ландшафтах".
Строим магический "ландшафт" самостоятельно.
Еще одна непонятка нейронок.
Нейронки, как сеть эвристик.
"Диффузия" применительно к языковым моделям.
Концепция композитной нейронки.
Новые задачи для композитной нейронки.
Концепция "стапеля" для обучения нейронок.
Первая попытка сформулировать концепцию битовой нейронной сети (БНС).
Итоги работы по теме "битовых" нейронок за три месяца.
Как можно использовать PINN для исследования нейронок?
Иллюстрации:
Фрактал голограммы от "Модели Kandinsky 2.1".
Композиция "MNINITIFTI" от "Модели Kandinsky 3.0".
Композиция "Метод диффузии" от Bing.
"Металоция неведомого" от "Модели Кандинский 3.1".
========
21.04.2023 7:46
Вместо введения.
В оглавление.
Попробуем "переизобрести велосипед" в области нейросетей.
Вряд ли такого рода попытку имеет смысл делать
на специализированных площадках типа Хабр,
слишком там "уверенная в своих знаниях" аудитория.
А вот на СамИздате можно попробовать.
Но надо постараться сделать это насколько возможно
и насколько это в моих силах понятно.
Так что стиль "рецензий" в этом случае точно не подойдет,
хотя под каждый даже не вывод, а пункт изложения можно указать
и ссылку и цитату и даже целый текст.
Но представляется, что в этом случае изложение того,
что хочется донести в этом тексте,
получится очень сумбурным и смазанным,
так как большинство "цитат" нужно будет
еще уметь "прочитать" в нужном контексте.
Но чтобы не быть уж совсем голословным,
тем кому интересно попытаться самому разобраться в этих вопросах,
могу предложить достаточно интересный цикл статей одного автора,
которую он, к сожалению, так и не закончил
- наверно потому что не получил "коллективного одобрения".
Статьи интересны наличием очень любопытных иллюстраций,
авторских выводов, и достаточно "оживленной" дискуссией в комментариях,
с которыми можно соглашаться или не соглашаться,
но игнорировать, наверно, не разумно.
Вот этот цикл.
[1]
"Давайте изобретать велосипеды"
Автор: kraidiky
https://habr.com/ru/articles/249657/
4 фев 2015 в 02:24
[2]
"Что происходит в мозгах у нейронной сети и как им помочь"
Автор: kraidiky
https://habr.com/ru/articles/219647/
17 апр 2014 в 01:17
[3]
"Подглядываем за метаниями нейронной сети"
Автор: kraidiky
https://habr.com/ru/articles/221049/
27 апр 2014 в 21:22
[4]
"Ансамбль синапсов - структурная единица нейронной сети"
Автор: kraidiky
https://habr.com/ru/articles/249031/
28 янв 2015 в 00:22
Лично я получил большое удовольствие от проработки этих статей
и комментариев к ним, но в результате пришел к выводам,
несколько иным. Хотя полностью согласен с автором материала [1]:
\\\ ...Лично мне одного взгляда достаточно чтобы понять,
\\\ что прежде чем двигаться дальше
\\\ некоторые вещи в нейроинформатике не помешало бы и переоткрыть.
\\\ Как говорил Джобс
\\\ Очень многое в нейронауках может быть улучшено
\\\ самым обычным человеком на самом обычном домашнем компьютере
\\\ если у него будет идея,
\\\ и он выкроит время чтобы ей заниматься.
\\\ Слишком мало знаний пока накоплено здесь,
\\\ слишком многое осталось в наследие от времён компьютеров,
\\\ занимающих этаж, слишком много замечательных алгоритмов
\\\ просто никто ни разу не попробовал...
Формулируя свои выводы в двух словах, можно попытаться сказать так:
"обученная нейросеть" - это "фрактальная голограмма"
или "голографический фрактал".
Что, в общем-то, звучит как "масло масленное",
но пока лучшего что-то не придумывается.
Но это принципиально иная, можно сказать "физическая" интерпретация
поведения нейросетей, в отличии от распространенных/общепринятых сейчас
интерпретаций нейросетей с "биологической", "математической",
"вероятностной", "логической", "графовой", "эзотерической"
и т.п. точек зрения.
Почему это так и делается попытка разобраться в данном модуле.
=========
22.04.2023 8:39
О голографичности нейронок.
В оглавление.
Итак что мы знаем о голограммах и голографии,
так сказать, не вдаваясь в "глубокие дебри".
Вики дает такое определение:
"Голограмма - объёмное изображение,
воспроизведённое интерференцией волн с некоторой поверхности.
Голограмму можно получить методами интерференции
на достаточно глубоких фоточувствительных материалах,
или другими методами,
формирующими на поверхности материала микрорельеф,
например, литьём или штамповкой".
и
"Принципиальным отличием голографии
от всех остальных способов регистрации изображения
является распределённость информации о всех снятых объектах
на поверхности всего датчика,
такого, например, как фотопластинка.
Поэтому повреждение голограммы,
ведущее к уменьшению её площади,
не приводит к потере части изображения.
Каждый осколок разбитой на несколько частей фотопластинки
с голограммой продолжает содержать изображение всех снятых объектов.
Уменьшается только количество доступных ракурсов,
а изображение на слишком мелких осколках
утрачивает стереоскопичность и чёткость".
Есть еще несколько отличительных свойств голограмм,
которые постараюсь сформулировать своими словами.
Во-первых,
голограммы записываются не как "маленькие картинки",
типа фотографий, где каждая отдельная точка соответствует
какому-то отдельному конкретному элементу изображения,
а как "интерференционная картинка", где каждая "точка",
так или иначе, участвует в создании всех элементов изображения.
А сама эта "интерференционная картинка", представляет собой
какую-то "загадочную" мешанину отдельных "пятен",
совершенно не похожую на записанное "изображение".
Во-вторых,
имеется возможность на одной и той же "фотопластинке"
записать несколько разных голограмм для совершенно разных изображений,
без потери качества. И при этом "интерференционная картинка"
становится еще более "запутанной" и "малопонятной"
при рассмотрении, например, под микроскопом.
Вроде все это известно достаточно давно,
но причем тут нейронки?
Начнем с "интерференции".
Как известно:
"Интерференция (физика) - взаимное увеличение или уменьшение
результирующей амплитуды двух или нескольких когерентных волн
при их наложении друг на друга".
А теперь взглянем на нейронки с "высоты птичьего полета".
Нейронки можно представить как последовательное прохождение
"возбуждения" от входа к выхода через несколько "слоев преобразования".
Причем, на каждом слое выполняются определенные действия
приводящие к "усилению" или "ослаблению" конкретного "возбуждения"
в зависимости от параметров, связей и алгоритмов (функции активации)
отдельных "нейронов".
И теперь вопрос: почему такого рода "преобразования" не могут выполнять,
в конечном итоге, что-то такое, что эквивалентно "функции интерференции"?
Т.е. нейронка представляет собой одновременно
и записанную "интерференционную картину" в виде "настроенных гиперпараметров",
и механизм "проявления интерференции" при подаче на вход
определенного "возбуждения"/вектора/токена или группы токенов.
То, что в классическом определении интерференции упоминаются
"когерентные волны", на самом деле ничего не ограничивает -
волны могут быть не только "синусоидальные", но и треугольные,
и пилообразные, и даже просто прямоугольные (меандр).
Да и вообще в принципе отсутствовать.
Важен принцип, что на какой-то "интерференционной картинке",
например, в виде "микрорельефа" или "наборе гиперпараметров",
то или иное "возбуждение"/сигнал, или усиливается или гасится.
Что в нейросетях как раз и реализуется.
Кстати, в той же Вики с термином "интерференция" с десяток различных
направлений связано, а вот в нейросетях этот термин,
если где-то и употребляется,
то точно не в отношении основного "процесса преобразований".
Наверно, на это есть какие-то исторические причины.
Но, простая аналогия "функции преобразования" нейронок и "интерференции",
сама по себе, никак может служить основанием для утверждения о том,
что нейронки могут быть представляться как голограммы.
Нужно еще, хотя бы одно свойство.
И таким свойством является "распределенность информации"
о всей "структуре преобразования" по всей нейронке.
То самое "принципиальное отличие" голограмм
от всех остальных "способов регистрации изображения".
Как же это свойство проявляется в нейронках?
Надо сразу отметить, что это свойство проявилось/выявилось не сразу.
Точнее в первых простых, особенно в однослойных нейронках,
типа перцептрона Розенблатта, это свойство как раз или
не проявлялось совсем, или проявлялось в очень малой степени.
Хотя толком никто таких исследований не проводил,
так как господствовала парадигма,
что каждый отдельный нейрон "несет ответственность"
за какое-то отдельное свойство,
типа как "зернышко на фотопластинке" несет ответственность
за "отдельный элемент изображения".
И только с переходом ко все более сложным и объемным сетям,
чисто опытным путем обнаружили некоторые эффекты/закономерности,
которые не укладываются в эту парадигму.
Но пока никто еще не решается всю парадигму "один нейрон - одно свойство"
кардинально пересмотреть.
Хотя попытки найти такие "нейроны" отвечающие за конкретный признак/свойство,
продолжаются и продолжаются с неизменным, как минимум, неубедительным результатом,
смотри например,
"Мы обнаружили в GPT-2 нейрон конкретного токена"