Митасов Андрей Павлович :
другие произведения.
Металоция неведомого. Модуль Г. Гпт-модели
Самиздат:
[
Регистрация
] [
Найти
] [
Рейтинги
] [
Обсуждения
] [
Новинки
] [
Обзоры
] [
Помощь
|
Техвопросы
]
Ссылки:
Школа кожевенного мастерства: сумки, ремни своими руками
Юридические услуги.
Круглосуточно
Комментарии: 1, последний от 18/03/2023.
© Copyright
Митасов Андрей Павлович
(
apm@tut.by
)
Размещен: 18/03/2023, изменен: 25/12/2024. 1885k.
Статистика.
Эссе
:
Философия
,
Естествознание
,
Изобретательство
Металоция неведомого
Иллюстрации/приложения: 21 шт.
Скачать
FB2
Ваша оценка:
не читать
очень плохо
плохо
посредственно
терпимо
не читал
нормально
хорошая книга
отличная книга
великолепно
шедевр
Аннотация:
Выжимка информации из Инета по ГПТ-моделям.
Предварительный анализ.
Крайнее обновление 25.12.2024.
..Я бросил свой завод - хоть, в общем, был не вправе, -
Засел за словари на совесть и на страх...
Но что ей до того - она уже в Варшаве,
Мы снова говорим на разных языках...
....
Владимир Высоцкий - Она была в Париже.
Оглавление:
Вводные замечания.
Терминология.
Немного истории.
Описание "пяти углов" рассмотрения ГПТ-моделей.
Большая и хорошая статья "От T9 до ChatGPT".
Интересный фрагмент о том "чего еще могут лишить нас" ГПТ-модели.
Визуальный образ ситуации какой она есть сейчас и какой может быть.
Приручить нельзя Запретить.
О проблеме "неточности" ГПТэшек.
Большая статья о поисках решния проблемы "неточности".
Промежуточные выводы по проблеме "неточности".
Экскурс в историю одного метода решения проблемы "неточности".
Безвестные пионеры-герои Великой Отечественной.
Об одной идейке, так и не получившей развития.
Попытка связать идейку визуализации "многомерных допусков/посадок" с нейронками.
Вместо заключения.
Часть 2. О природе "неточностей" ГПТэшек.
О попытках представить ГПТэшки "графами".
О революционном прорыве - соединении ГПТэшек и экспертных систем.
Об истории развития ГПТэшек.
"Ваш гений - полный идиот".
"Нельзя понять, когда он тупит".
Мнение самой ГПТэшки о причинах ее "неточности".
Стандартная "отмазка" о причинах "неточности" глубоких сетей.
Сенсация от Гугла, о которой стараются не вспоминать.
Каноническое опровержение "проклятья Гугла".
Гипотеза о фрактальной природе нейросетей.
Часть 3. Наблюдения за проблемами и тенденциями в области ГПТэшек.
Интересные и понятные ссылки о том, что у ГПТэшек "под капотом".
Интересная информация от "монстров ГПТ-строительства".
Направление исследований в OpenAI с целью понимания поведения ГПТэшек.
Очень большая и хорошая статья Стефена Вольфрама.
Еще об одном перспективном направлении развития ГПТэшек.
И еще одна проблема ГПТэшек - деградация при дообучении.
О возможном снижении интереса к ChatGPT.
О новых/старых реалиях подлунного мира.
Новые масштабы старых проблем нейронок.
О применении аналоговой памяти в цифровых нейронках.
Первые попытки создания персональных ГПТэшек.
Сводка с фронта борьбы с "галлюцинациями" ГПТэшек.
Возможно, "Все что Вам нужно - это диффузия".
Новая "грань неточности" ГПТэшек.
ГПТэшка как универсальный оптимизатор?
Немного об "устойчивых нейронах".
Новый инструмент управления ГПТэшками.
Еще один инструмент и новые вопросы.
Новая технология использования ГПТэшек, представленная OpenAI.
Еще подробности о технологиях, представленных OpenAI.
Предварительные выводы о направлениях развития нейронок и ГПТэшек.
Часть 4. Попытка охватить ГПТ-необъятное.
Как просто и одновременно сложно использовать технологию GPTs.
В "тумане" производственных процессов.
Тихая революция от Microsoft.
Первая годовщина "ГПТ-революции".
Введение в приложения на основе LLM для "чайников".
Введение в LLM-агенты для "чайников".
Введение в концепцию RAG для "чайников".
Введение в LLM для "чайников".
Хоть какое-то описание алгоритма Q*.
Неплохая информация от практиков самопального эмбеддинга.
Еще пару бит информации от практиков самопального эмбеддинга.
Введение в LoRA для "чайников".
Продолжение "тихой революции" от Microsoft и ее анализ.
Не проходите мимо - проект Jan.
Детали концепции RAG для "чайников".
Методы файнтюнинга для "чайников".
Режем, клеим, дообучаем - нейросеть собираем.
И снова о малых языковых моделях.
Эпоха левиафанов.
Ускорение инференса LLM "для чайников".
Трансформации трансформеров.
О пользе "забывчивости".
Немного об экстремально малоразрядном квантовании.
Текущий ландшафт "LLM-континента".
Информация к размышлению:
Применение "потока Пуассона" для эмбеддингов.
"Иногда они возвращаются".
Рекуррентные нейроструктуры "для чайников".
Дальнейшее развитие концепции RAG.
И снова на "арене цирка" однобитовые LLM.
Первое упоминание о "клубничной" технологии обучения LLM.
Так ли неизбежен "коллапс моделей"?
Все-таки LLM это не просто "T9 на стероидах".
Переход к новой парадигме в ИИ?
Интересное применение ГПТэшки.
"Временное масштабирование" в применении к малым языковым моделям.
Иллюстрации:
Композиция "Гюльчатай открой личико" от "Модели Kandinsky 2.0".
Каравелла "ГПТэшка" от "Модели Kandinsky 2.1".
Композиция "Технология GPTs" от Бинг.
Композиция "Туман производства" от Бинг.
Каравелла "ГПТэшка" от "Модели Kandinsky 3.0".
"Концептуальное пространство эмбеддингов" от Bing.
Каравелла "ГПТэшка" от "Модели Kandinsky 3.01".
Каравелла "ГПТэшка" от "Модели Kandinsky 3.1".
=========
14.03.2023 14:11
Вводные замечания.
В оглавление.
В этом модуле мне хотелось бы собрать актуальные материалы,
ссылки, фрагменты, комментарии, включая мои собственные,
по теме понимания проблем возникающих в связи
со стремительным, можно даже сказать взрывным проникновением
в нашу жизнь нейросетей, включая и ChatGPT и его аналоги,
и даже еще не вышедшие в "тираж".
Но в отличии от большинства достаточно большого количества
"измышлений" на эту тему, постараюсь сосредоточиться
только на инженерном подходе к проблеме использования
нейронок и ГПТешек в технических средствах.
Тут на самом деле много важных проблем, которые так или иначе
пересекаются с теми темами, которые "на слуху"
и уже достаточно хорошо "распиарены".
Постараюсь излагать все достаточно подробно и максимально
доступным языком.
Все это направление будет идти под девизом
"Гюльчатай, открой личико".
=========
Терминология.
В оглавление.
Как любой серьезный текст, данный модуль
стоит начать с терминологии.
Существуют такие термины как "нейронные сети" и "ГПТ-модели".
Эти термины хоть и правильные во всех смыслах,
но немного длинноваты, и неудобны для использовании в тексте,
а какой-то сложившейся краткой терминологии пока нет.
Предлагается для краткости и удобства использования
ВРЕМЕННО называть:
- нейронками - нейросети самых различных типов.
- ГПТешками - , если более официально ГПТ-моделями,
тоже нейросети, но ориентированными на языковой ввод\вывод.
Собственно в качестве "языкового ввода/вывода",
как показывает практика, можно уже понимать
не только текст, а и другие формы данных.
Скорее здесь отражается что в качестве входного текста,
можно задавать кроме собственно данных запроса,
еще и какие-то команды/инструкции, для уточнения того
каким ХОТЕЛОСЬ БЫ видеть результат.
Еще один момент, отличающий нейронки от ГПТешек в данном тексте,
будет понимать масштаб/размер моделей.
Нейронки - это то, что поменьше, и более узкоспециализированы,
ГПТешки - то что побольше и более универсальны.
========
Немного истории.
В оглавление.
Когда в таком далеком 1989 году я вернулся из Питера в Минск,
я лелеял надежду, что буду заниматься искусственным интеллектом,
в направлении поддержки инженерных решений,
мне ответили, что 29 лет это уже "не возраст программиста",
тем более для работы в таком направлении
- уже не достаточно креативности.
Были и еще разговоры о перспективности и бесперспективности,
тех или иных направлений в этой области, и многом другом.
Кстати из этих разговоров я узнал, что "математически доказано",
что на "классическом перцептроне"
- это прадедушка всех нейронок и ГПТешек -
невозможно реализация функции "исключающее ИЛИ",
что ставит жирный крест на всем данном направлении,
"единственно-верное учение" в этом направлении
это "экспертные системы на Прологе".
Это было сказано, настолько убедительно, что я этому поверил.
И долгое время нейронки были вне поля моих интересов.
Да и занимался я по большей части, чисто практическими задачами,
а "иЙскусственным интеллектом" интересовался только
по "остаточному принципу" считая, что на моей жизни
с этим вплотную столкнуться не придется.
Но шло время, жизнь проверяла на прочность те или иные
наши идеи и предположения. Приходили и уходили новые
языки программирования, структуры, подходы, технические возможности.
и вот спустя 35 лет, классические экспертные системы ушли
даже не на второй, а на третий план. А вот нейросети,
за счет глубокого обучения, новых инженерных подходов,
и колоссально выросшей вычислительной мощности
вызвали нынешний "бадабум".
Замечу, что и экспертные системы, еще раскрыли свой потенциал,
так что, возможно, а скорее наверняка,
самое интересное еще впереди.
Но уже сейчас, очень многое из прежнего опыта нужно переосмыслять,
и, как минимум, корректировать сложившиеся инженерные решения,
а лучше придумать что-нибудь новое.
До чего ни 35 лет назад, ни даже 5 лет назад,
додуматься наверно было совершенно нереально.
А вот теперь такая возможность есть.
Любой "кризис" как учат нас "китайские иероглифы"
это и "новые/старые угрозы" и "старые/новые возможности".
Но сначала нужно срочно закрыть "пробелы в образовании"
- что же там такого наворотили с этими нейронками и ГПТешками.
И как к этому относится и как использовать в инженерной практике.
-------
Итак начнем.
Первое и самое главное из чего стоит исходить при рассмотрении
нейросетей и их применения это то,
что на самом деле в этом вопросе человечество в очередной раз
столкнулось с НЕВЕДОМЫМ.
Причем с "иной", не человеческой логикой.
И в связи с этим многие привычные категории/методы/оценки
могут принципиально "сбоить".
Ниже будет много материалов про это,
основной тезис:
"даже зная как работает каждый нейрон в голове у собеседника,
понять о чем и КАК он думает мы пока
НЕ В СОСТОЯНИИ".
так что здесь не буду "растекаться мыслью по древу".
Это, повторяю, первое и, может быть, самое главное.
И требует максимальной внимательности и вдумчивости.
--------
Второе,
это тот аспект ИТ-индустрии о котором Вы
не прочтете в Вики, хотя если пороетесь, то найдете.
Суть в том, что программное обеспечение в "чистом виде",
и программное обеспечение, управляющее какой-то "железякой",