Категории: Культурология, Литературная критика, Теория литературы, Теория медиа

Теги: Анализ кодирования/декодирования Стюарта Холла, Классовое неравенство и социальный порядок, ОБОЗНАЧЕНИЕ И КОННОТАЦИЯ, Элементы семиологии, Кодирование/ Расшифровка, Фрэнк Паркин, Здравый смысл Грамши, Теория медиа, предпочтительное значение, Стюарт Холл, Теория Стюарта Холла, Кодирование/декодирование Стюарта Холла

Статьи по теме

Крупномасштабная система обучения нейронной сети для обобщенной оценки динамики популяции в одном испытании

Введение

Непрерывный прогресс в технологиях нейронных интерфейсов позволяет одновременно отслеживать активность больших популяций нейронов в широком спектре областей мозга и поведения ( 1–5).Такие технологии могут коренным образом изменить вопросы, которые мы можем задать о вычислениях в нейронной популяции, позволяя нейробиологам сместить акцент с понимания того, как активность отдельных нейронов связана с внешне измеряемыми или контролируемыми параметрами, на понимание того, как нейроны в сети координируют свою активность для выполнения. вычисления, лежащие в основе такого поведения. Естественным методом интерпретации этих сложных многомерных наборов данных является динамика нейронной популяции (6–8).Структура динамических систем сосредоточена на выявлении скоординированных паттернов активации в нейронной популяции и описании того, как эти паттерны меняются с течением времени. Знание этой скрытой динамики позволило по-новому взглянуть на то, как нейронные популяции осуществляют вычисления, необходимые для двигательных, сенсорных и когнитивных процессов (9–15).

Сосредоточение внимания на динамике популяции может также способствовать отказу от стереотипного поведения и усредненных по пробам нейронных ответов.Стандартные подходы, как правило, должны усреднять активность по испытаниям, жертвуя интерпретируемостью одиночных испытаний ради устойчивости к тому, что воспринимается как шум в одиночных испытаниях. Однако, как сформулировали Каннингем и Ю (16): «Если нейронная активность не является прямой функцией внешне измеряемых или контролируемых переменных (например, если активность является скорее отражением внутренней обработки, чем стимула или измеримого поведения), временной ход нейронных ответов может существенно различаться в номинально идентичных испытаниях.Это может быть особенно верно в отношении второстепенных областей коры и когнитивных задач, требующих принятия решений, распределения внимания или различных уровней мотивации.

Чтобы преодолеть это узкое место, необходимы анализы отдельных испытаний с высоким временным разрешением. Это может быть реализовано за счет комбинации записей нейронной популяции и новых аналитических инструментов, подобных тем, которые предложены здесь. Однократный анализ на уровне популяции выигрывает от двух принципов взгляда на динамические системы: во-первых, одновременно зарегистрированные нейроны не являются независимыми, а скорее демонстрируют скоординированные паттерны активации, которые отражают состояние всей сети, а не отдельных нейронов.Во-вторых, скоординированные паттерны развиваются с течением времени таким образом, который в значительной степени предсказуем на основе внутренней динамики популяции. Таким образом, хотя может быть сложно точно оценить состояние сети, основываясь исключительно на активности, наблюдаемой в один момент времени, знание того, как развивается состояние, может ограничить оценку в любой данный момент времени.

Было разработано несколько подходов для определения скрытой динамической структуры по активности нейронной популяции в отдельных испытаниях, включая растущее число подходов, в которых используются искусственные нейронные сети (17–22).Один из таких методов, латентный факторный анализ с помощью динамических систем (LFADS) (22, 20), позволил получить точные выводы о частоте возбуждения моторной коры при единичных испытаниях стереотипного поведения, что позволяет точно прогнозировать поведение субъектов в момент за моментом, в миллисекундной шкале времени. (20). Кроме того, в задачах с непредсказуемыми событиями модифицированная сетевая архитектура позволяла делать выводы о динамических возмущениях, которые соответствовали тому, как субъекты в конечном итоге реагировали на непредсказуемые события.

Несмотря на свою высокую эффективность, искусственные нейронные сети, включая LFADS, обычно имеют многие тысячи параметров и потенциально десятки необучаемых гиперпараметров (HP), которые необходимо настроить для достижения хорошей производительности.HP включают параметры архитектуры, такие как тип, размерность и количество различных слоев, а также параметры регуляризации и оптимизации. До недавнего времени проблема оптимизации HP обычно решалась с помощью итеративного ручного процесса, случайного поиска или их комбинации. За последние несколько лет появилось множество более продвинутых подходов, которые обещают устранить утомительную работу и знания предметной области, необходимые для ручной настройки, при этом работая лучше и эффективнее, чем случайный поиск (23–25).Форма и разнообразие возможных нейробиологических наборов данных представляют уникальные проблемы, которые делают оптимизацию HP особенно важной задачей (26). Таким образом, внедрение эффективных алгоритмов поиска HP в нейронауку может позволить более эффективно экспериментировать с моделями, основанными на искусственных нейронных сетях, таких как LFADS.

Здесь мы представляем AutoLFADS, платформу для крупномасштабной автоматической настройки моделей, которая позволяет делать точные выводы о динамике нейронной популяции в различных областях мозга и поведении за одно испытание.Мы оцениваем AutoLFADS, используя данные из трех областей коры: первичной моторной и дорсальной премоторной коры (M1/PMd), области соматосенсорной коры 2 и дорсомедиальной лобной коры (DMFC). Задачи охватывают сочетание функций, в которых активность популяции может быть хорошо смоделирована автономной динамикой (например, заранее спланированные перемещения, оценка затраченного времени) и те, для которых активность популяции реагирует на внешние воздействия (например, механические возмущения, неожиданные внешний вид достижения целей, переменные временные сигналы).

Используя этот широкий набор наборов данных, мы показываем, что AutoLFADS обеспечивает высокое временное разрешение, вывод динамики нейронной популяции за одну попытку, превосходя LFADS во всех протестированных сценариях. Примечательно, что AutoLFADS делает это совершенно без присмотра и не зависит от знания задач, поведения испытуемых или областей мозга. Во всех приложениях метод применяется «из коробки» без тщательной настройки под каждый набор данных. Мы считаем, что эти возможности значительно расширяют спектр нейробиологических приложений, для которых должен быть достижим точный вывод динамики популяции в одном испытании, и существенно снижают входной барьер для применения этих методов.Наконец, мы представляем пакет облачного программного обеспечения и подробные учебные пособия, которые позволят новым пользователям, не имеющим опыта машинного обучения или выделенных вычислительных ресурсов, успешно применять AutoLFADS.

Результаты

Архитектура LFADS

Архитектура LFADS ( Рис. 1a ) была подробно описана ранее (20,22,26). Вкратце, LFADS основан на идее, что эволюцию активности нейронной популяции во времени можно смоделировать как неавтономную динамическую систему, т.е.е., динамическая система, эволюция состояния которой зависит как от внутренней динамики, так и от внешних воздействий. Эта динамическая система аппроксимируется рекуррентной нейронной сетью (RNN), известной как генератор. Предполагается, что наблюдаемая всплесковая активность каждого нейрона отражает базовую частоту срабатывания, которая связана с состоянием генератора на каждом временном шаге. Отдельно, чтобы обеспечить моделирование динамических систем, управляемых вводом, изменяющиеся во времени входные данные выводятся контроллером RNN, который получает в качестве входных данных кодировку данных счетчика всплесков, а также выходные данные генератора на предыдущем временном шаге.Эта архитектура является модификацией последовательного вариационного автоэнкодера (VAE) (22, 27, 28). При обучении модели цель состоит в том, чтобы максимизировать нижнюю границу вероятности Пуассона наблюдаемой пиковой активности с учетом предполагаемых частот (подробности см. в Методах ).

(a) Схема архитектуры LFADS, показывающая, как генеративная модель определяет частоту стрельбы, лежащую в основе наблюдаемых всплесков.(b) Примеры скоростей, полученных с помощью LFADS (цветные), и соответствующих синтетических входных данных (пики, показанные черными треугольниками) и распределения, генерирующего данные (наземные коэффициенты истинности, показанные серыми кривыми) для трех режимов подбора. (c) Слева: производительность 200 моделей LFADS со случайными HP при сопоставлении всплесков и известных скоростей синтетического набора данных, измеренная с помощью отрицательного логарифмического правдоподобия (NLL) и учитываемой дисперсии (VAF) соответственно. Цветные точки обозначают модели, которые произвели ставки на предыдущей панели.Справа: то же, что и предыдущее, но для моделей, обученных с помощью CD. (d) Схема подхода PBT к оптимизации HP. Каждый цветной кружок представляет модель LFADS с определенной конфигурацией HP, а частично закрашенные столбцы представляют производительность модели. Модели обучаются на фиксированных интервалах (поколениях), между которыми плохо работающие модели заменяются копиями более эффективных моделей с нарушенными ХП.

Крайне важно правильно упорядочить модель, чтобы извлечь полезную частоту всплесков ( Рис.1б ) (26). Этого можно достичь за счет оптимизации HP. Двумя основными классами HP LFADS являются те, которые устанавливают сетевую архитектуру (например, количество единиц в каждой RNN, размерность начальных условий, входные данные и факторы), и те, которые управляют регуляризацией и обучением (например, штрафы L2, коэффициенты масштабирования). для KL-штрафов, вероятности отсева и скорости обучения; описано в Methods ). Оптимальные значения этих HP могут зависеть от различных факторов, таких как размер набора данных, динамическая структура, лежащая в основе активности моделируемой области мозга, и поведенческая задача.

Серьезной проблемой для автоэнкодеров является то, что автоматический поиск HP сталкивается с типом переобучения, с которым особенно трудно справиться (26). При наличии достаточной мощности модель может найти тривиальное решение, в котором она просто передает отдельные всплески от входных данных к выходным частотам срабатывания, подобно тождественному преобразованию входных данных без моделирования какой-либо значимой структуры, лежащей в основе данных (, рис. 1b, ). Важно отметить, что такое патологическое переобучение невозможно обнаружить с помощью стандартной вероятности проверки, поскольку режим отказа также приводит к высокой вероятности и плохому моделированию данных проверки.Мы выполнили случайный поиск с 200 моделями в пространстве KL, L2 и HP регуляризации отсева, который был эмпирически определен для получения моделей как недообучения, так и переобучения в синтетическом наборе данных (см. Методы для описания набора данных). Модели, которые кажутся наиболее правдоподобными, на самом деле демонстрируют плохой вывод о лежащей в их основе частоте возбуждения, что указывает на тип патологического переобучения (, рис. 1c, , слева). Это явление также постоянно наблюдается на реальных данных на протяжении всей этой статьи: более высокие потери при проверке не указывают на лучшую производительность ни для одной из наших метрик на основе декодирования или PSTH.

Отсутствие надежной метрики проверки препятствует автоматическому поиску HP, потому что неясно, как следует выбирать между моделями, когда базовая частота стрельбы недоступна или не существует. Чтобы решить эту проблему, мы разработали новый метод регуляризации, называемый скоординированным отсевом (CD), который заставляет сеть моделировать только ту структуру, которая является общей для нейронов (26). После применения CD мы повторили предыдущий тест на синтетических данных, используя 200 моделей LFADS из того же поискового пространства HP, и обнаружили, что они больше не перекрывают пики (рис.1с , справа). CD восстановил соответствие между качеством модели, оцениваемым по совпадающим пикам (вероятность проверки), и коэффициентами совпадения, что позволило использовать первое в качестве суррогата, когда последнее недоступно.

Предпосылка этой статьи заключается в том, что эта надежная метрика валидации должна обеспечивать крупномасштабный поиск HP и полностью автоматизированный выбор высокопроизводительных нейронаучных моделей, несмотря на отсутствие доступа к наземным показателям истинности. Чтобы проверить это, нам нужна была эффективная стратегия поиска HP.Мы выбрали недавний метод, основанный на параллельном поиске, под названием «Обучение на основе популяции» (PBT; , рис. 1d ) (25, 29). PBT распределяет обучение по десяткам моделей одновременно и использует эволюционные алгоритмы для настройки HP на протяжении многих поколений. Поскольку PBT распределяет обучение модели между многими работниками, она соответствует масштабируемости параллельных методов поиска, таких как случайный поиск или поиск по сетке, при этом достигая более высокой производительности при том же количестве вычислительных ресурсов (25,29).

Эти две ключевые модификации — новая стратегия регуляризации (CD), которая приводит к надежной метрике проверки, и эффективный подход к оптимизации HP (PBT) — создают крупномасштабную автоматизированную структуру для настройки модели, которую мы называем АвтоLFADS.В следующих разделах мы тестируем производительность AutoLFADS на ранее охарактеризованных наборах данных, а также на новых. Мы начнем с оценки AutoLFADS с использованием данных из M1/PMd в структурированной задаче охвата, чтобы исследовать производительность модели на хорошо охарактеризованном наборе данных, который ранее использовался для оценки производительности LFADS (20,26). На этих данных мы демонстрируем, что правильная настройка HP приводит к моделям, которые постоянно превосходят LFADS, и что этот разрыв существенно увеличивается, когда данные ограничены.Затем мы переходим к оценке способности AutoLFADS аппроксимировать динамику, управляемую вводом, используя данные из M1 в задаче со случайной целью, данные из области 2 в задаче достижения цели с механическими возмущениями и данные из DMFC в задаче когнитивного времени. В каждом случае, по нескольким показателям, AutoLFADS постоянно достигает лучших результатов, чем случайный поиск, который использовал в три раза больше вычислительных ресурсов, несмотря на то, что выбор модели выполнялся полностью без присмотра.

AutoLFADS превосходит исходный LFADS при применении к эталонным данным M1/PMd

Сначала мы оценили AutoLFADS на данных моторной коры во время весьма стереотипного поведения, которое использовалось для оценки исходного метода LFADS (20).Мы использовали 202 нейрона, одновременно зарегистрированных из M1 и PMd во время задания на прохождение лабиринта (см. Методы ), в котором обезьяна совершала множество прямых и изогнутых движений после периода задержки после предъявления цели ( Рис. 2a ; набор данных состоял из 2296 индивидуальных испытаний охвата, охватывающих 108 типов охвата). Предыдущий анализ парадигмы отсроченного достижения показал, что активность во время периода движения хорошо моделируется как автономная динамическая система (10,20). В этой абстрактной модели временная эволюция активности нейронной популяции предсказуема на основе состояния, которого она достигает в течение периода задержки.Поэтому в предыдущей работе эти данные моделировались с помощью упрощенной конфигурации LFADS, которая могла только аппроксимировать автономную динамику (20). Однако эта упрощенная модель неприменима в более широком смысле к ситуациям, в которых для описания нейронной активности могут потребоваться как автономная динамика, так и внешние входные данные. Поэтому в этой статье мы не ограничиваем сетевую архитектуру только моделированием автономной динамики для любых протестированных приложений, чтобы определить, может ли AutoLFADS автоматически регулировать степень, в которой автономная динамика и входные данные необходимы для моделирования данных.

(a) Схема задачи лабиринта (вверху) и репрезентативные траектории достижения в 108 общих условиях, окрашенные в соответствии с целевым местоположением (внизу). (b) Средние траектории досягаемости (вверху), PSTH (второй ряд) и частота возбуждения в одной попытке (внизу), полученные путем сглаживания (ядро Гаусса, среднеквадратичное отклонение 30 мс) или AutoLFADS для одного нейрона в 4 условиях охвата. Все данные моделируются в интервалах по 2 мс. Пунктирные линии указывают на начало движения, а вертикальные масштабные полосы обозначают скорости (всплески/с).( c ) PSTH, полученные путем сглаживания спайков (вверху) или применения AutoLFADS (внизу), для 5 примеров нейронов. Заштрихованные области являются стандартными ошибками. Шкалы начала движения и частоты обозначены так же, как и на предыдущей панели. (d) Производительность при декодировании достижения кинематики (скорости рук) в зависимости от размера набора обучающих данных. Подсчет испытаний не включает 20 % испытаний для каждого размера набора данных, которые были отложены для оценки модели. Мы декодировали скорости плеч X и Y из сглаженных пиков, частоты, полученные с помощью LFADS с настраиваемыми вручную гиперпараметрами (HP), и скорости, полученные с помощью AutoLFADS.Точность была количественно определена с помощью VAF. Линии и штриховка обозначают среднюю +/- стандартную ошибку по 7 моделям, обученным на случайно выбранных подмножествах полного набора данных. (e) Производительность при воспроизведении эмпирических PSTH, рассчитанных во всех испытаниях с использованием показателей, полученных на основе обучающей выборки из 184 испытаний с использованием AutoLFADS и LFADS со случайными HP (100 моделей). (f) Производительность декодирования скорости руки для скоростей стрельбы из тренировочного набора из 184 проб (те же модели, что и в (e)).

AutoLFADS работает с немаркированными сегментами объединенных в бинарные данные импульсов и делает вывод о частоте импульсов для каждого нейрона без присмотра.В соответствии с предыдущими применениями LFADS к этому набору данных (20, 26), частота срабатывания, полученная с помощью AutoLFADS для бинов по 2 мс, продемонстрировала четкую и последовательную структуру в отдельных испытаниях (, рис. 2b, , внизу). Мы также проверили, что эти частоты срабатывания отражают особенности нейронных ответов, выявленных путем усреднения по испытаниям, что является распространенным методом подавления шума нейронной активности (, рис. 2b, , второй ряд, и , рис. 2c, ).

Обобщаемый метод должен хорошо работать в широком диапазоне размеров наборов данных, типичных для нейробиологических экспериментов.Чтобы проверить это, мы сравнили AutoLFADS и модели LFADS с ручной настройкой, которые были обучены с использованием либо полного набора данных (2296 испытаний), либо случайно выбранных подмножеств, содержащих 5, 10 и 20% испытаний. Сначала мы проверили степень, в которой представления, полученные с помощью моделей, были информативны в отношении наблюдаемого поведения, которое мы определили количественно, расшифровав скорость руки обезьяны из предполагаемых показателей с использованием оптимальной линейной оценки (, рис. 2d, ). При самом большом размере набора данных производительность декодирования для AutoLFADS и LFADS с ручной настройкой была сопоставимой.Этот результат согласуется со стандартной интуицией, согласно которой производительность менее чувствительна к HP, когда доступно достаточно данных. Однако для всех трех уменьшенных размеров наборов данных AutoLFADS превзошла настроенную вручную модель (p<0,05 для всех трех размеров, парный односторонний критерий Стьюдента).

Хотя этот результат является многообещающим, разница в устойчивости к размеру набора данных между AutoLFADS и LFADS могла быть результатом особенно плохого выбора HP во время ручной настройки. Чтобы контролировать эту возможность, мы выбрали один из небольших подмножеств данных (184 испытания) и обучили 100 дополнительных моделей LFADS со случайно выбранными HP.Мы оценивали эффективность моделей двумя способами: насколько точно модели воспроизводили эмпирически усредненную частоту стрельбы (PSTHs; , рис. 2e, ) и насколько точно скорость руки могла быть декодирована из предполагаемой частоты (, рис. 2f, ). . В то время как модели LFADS достигли широкого диапазона производительности, модели с большей вероятностью проверки не дали лучшего вывода о скорости стрельбы, отражая наши более ранние результаты с синтетическими данными ( рис. 1c ). Таким образом, неясно, как можно выбрать среди моделей LFADS со случайными HP без какого-либо контролируемого вмешательства.Напротив, единственная модель AutoLFADS, выбранная полностью без присмотра, превзошла все модели LFADS по обоим показателям производительности.

В совокупности эти результаты показывают, что даже если выполнить случайный поиск, а затем выбрать модель с использованием контролируемого подхода (например, на основе реконструкции эмпирических PSTH или точности декодирования), ее производительность все равно будет значительно ниже, чем у AutoLFADS. . Кроме того, это подтверждение, т. е. того, что неконтролируемый подход позволяет создавать высокопроизводительные модели, свидетельствует о том, что даже в тех случаях, когда такой контроль недоступен (т.например, настройки, в которых отсутствует четкая структура задач или измерение поведенческих переменных), модели AutoLFADS по-прежнему будут высокоэффективными.

AutoLFADS раскрывает динамику популяции без структурированных испытаний

На сегодняшний день в большинстве попыток связать динамику с нейронными вычислениями использовались эксперименты, в которых испытуемые выполняли ограниченные задачи с повторяющимися строго структурированными испытаниями. Например, двигательную корковую динамику часто представляют как вычислительную машину, связывающую процессы подготовки и выполнения движений (6–8).Чтобы изучить эту динамику, в большинстве исследований используется парадигма отсроченного достижения, которая создает явные периоды до движения и периоды движения. Однако ограниченное поведение может иметь множество недостатков при изучении динамики. Во-первых, неясно, являются ли такие искусственные парадигмы хорошими заменителями повседневного поведения. Во-вторых, сильно ограниченное повторяющееся поведение может накладывать искусственные ограничения на свойства непокрытой динамики, такие как измеренная размерность активности нейронной популяции (30).Даже за пределами двигательной нейробиологии требование многократного повторения задач с ограничениями существенно ограничивает нашу способность изучать богатую выборку динамики данной нейронной популяции. Точный вывод нейронной динамики без этих ограничений может облегчить основанный на динамике анализ более богатых наборов данных, которые больше отражают естественное поведение мозга.

Чтобы обеспечить доступ к гораздо более широкому диапазону экспериментальных данных, мы проверили, может ли AutoLFADS моделировать данные без учета структуры испытаний.Мы применили AutoLFADS к нейронной активности обезьяны, выполняющей непрерывное задание по достижению случайной цели в произвольном темпе (, рис. 3а, , вверху) (31), в котором каждое движение начиналось и заканчивалось в случайном месте, а движения были сильно вариабельными. по продолжительности ( рис. 3b ). Анализ данных без согласованной временной структуры, повторяющихся в испытаниях, является сложной задачей, поскольку усреднение испытаний невозможно. Даже доступные аналитические методы с одним испытанием обычно основывались на сильных упрощающих предположениях, неприменимых к менее структурированным задачам.Например, предыдущие попытки раскрыть моторную корковую динамику во время однократных досягаемости позволили рассмотреть только короткие сегменты данных, которые начинаются с руки в постоянной начальной точке, и полагались на поведенческие события, такие как цель или начало движения, для согласования испытаний перед анализом. 17,20,26,32–36).

(a) Вверху: Схема случайной целевой задачи, в которой отсутствуют стереотипная структура испытаний и периоды задержки.Внизу: непрерывная нейронная активность (данные пиков), зарегистрированная во время последовательных испытаний с досягаемостью, была разделена на сегменты по 600 мс с перекрытием между соседними сегментами по 200 мс. После моделирования с помощью AutoLFADS предполагаемая частота стрельбы из разных сегментов была объединена вместе для создания непрерывного сегмента с использованием средневзвешенного значения данных в перекрывающиеся моменты времени. (b) Распределение длительности испытаний (время между появлением последовательных целей) для 313 испытаний. (c) Подпространства нейронной активности, извлеченные с помощью PCA и окрашенные под углом к ​​цели.Слева: трехмерное подпространство, которое фиксирует наибольшую дисперсию сглаженной пиковой активности. Центр: Подпространство, которое фиксирует наибольшую дисперсию в показателях AutoLFADS. (d) Точность декодирования скорости руки по скорости стрельбы, полученной путем сглаживания, моделей 100 LFADS со случайными HP и AutoLFADS.

Как и большинство алгоритмов машинного обучения, AutoLFADS работает с дискретными сегментами нейронных данных фиксированной длины. Чтобы создать эти сегменты из задачи с очень изменчивым временем, мы разделили примерно 9-минутное окно непрерывных нейронных данных на сегменты по 600 мс с перекрытием 200 мс (рис.3а , внизу) без учета границ испытаний. После моделирования с помощью AutoLFADS мы объединили предполагаемые частоты стрельбы из отдельных сегментов, что дало предполагаемые частоты для исходного непрерывного окна. Затем мы проанализировали предполагаемые показатели, сопоставив данные с началом движения для каждого испытания (см. Методы ). Несмотря на то, что набор данных был смоделирован без использования информации об испытаниях, предполагаемая частота стрельбы во время реконструированных испытаний демонстрировала последовательную прогрессию в базовом пространстве состояний с четкой структурой, которая соответствовала направлению досягаемости обезьяны в каждом испытании (рис.3с , справа). Кроме того, предполагаемая скорость стрельбы была очень информативной в отношении ежемоментных деталей измеренных движений руки: AutoLFADS позволяла декодировать непрерывные скорости руки со значительно более высокой точностью, чем сглаживание (R ² из 0,76 для AutoLFADS v. 0,52 для сглаживания). ), а также превзошла все модели LFADS со случайным HP ( рис. 3d ).

В поддержку гипотезы о том, что AutoLFADS улавливает значимую динамику, которая происходила на протяжении всего сеанса, мы обнаружили, что частота возбуждения, полученная с помощью AutoLFADS, была информативной в отношении ранее предполагаемой вычислительной роли динамики моторной коры — т.е.д., связывающие процесс подготовки и выполнения движений — несмотря на то, что модель обучается без информации о поведении обезьяны ( рис. 4 ). В частности, скорострельность содержала подпространства, которые были высоко информативны в отношении положения руки, скорости руки и досягаемости цели в отдельных попытках (, рис. 4а, ) и демонстрировали четкую структуру по отношению к задаче (, рис. 4b, ). Чтобы найти подпространства, мы использовали линейную регрессию для проецирования нейронной активности на переменные, связанные с целями движения (достижение цели) и деталями движения (положение, скорость и скорость).Примечательно, что подпространство, отражающее достижение цели, было временно активным во время выполнения движения, что согласуется с предыдущими исследованиями, которые продемонстрировали наличие подготовительной активности в моторной коре, но выявленной без явного подготовительного периода. Вполне вероятно, что скорости, полученные с помощью AutoLFADS, также содержат еще не обнаруженные подпространства и представления, которые можно исследовать в том же наборе данных без экспериментов, специально предназначенных для их выявления. Таким образом, AutoLFADS может значительно повысить полезность и универсальность обширных наборов данных о поведении с помощью уникального процесса моделирования без учителя.

(a) Кинематические и относительные целевые переменные и соответствующие им нейронные представления, обнаруженные с помощью линейной регрессии. Качество каждой проекции количественно определяется точностью декодирования кинематических и целевых переменных (R ² ). Графики окрашены по x и y расстоянию до цели, за исключением скорости, которая окрашена по пиковой скорости. Нижний ряд представляет нормализованную активацию движения (зеленый) и относительных целевых (красный) подпространств, иллюстрируя более кратковременную активацию в целевом подпространстве.(b) Движение и относительные целевые подпространства, нанесенные в виде трехмерных траекторий и окрашенные в соответствии с углом к ​​цели.

AutoLFADS точно фиксирует динамику популяции в одном испытании в соматосенсорной коре

Результаты наборов данных моторной коры продемонстрировали, что AutoLFADS может создавать точные динамические модели, которые были устойчивы к размеру обучающего набора данных и хорошо обобщались для условий задачи, не требуя сильно ограниченных задач или повторяющихся испытания. Затем мы исследовали, может ли AutoLFADS без ручной настройки точно моделировать динамику, связанную с сенсорными процессами.В частности, мы моделировали активность в соматосенсорной области 2 во время выполнения задачи с механическим возмущением.

Область 2 представляет собой ценный тестовый пример для обобщения AutoLFADS. Как сенсорная область, область 2 получает сильные афферентные импульсы от кожных рецепторов и мышц и прочно управляется механическими воздействиями на руку (37–39). С функциональной точки зрения считается, что область 2 играет роль в опосредовании связанной с досягаемостью проприоцепции (38–41). Недавно было показано, что она содержит информацию о кинематике всей руки (39) и может также получать эфферентные сигналы от двигательных областей (38, 39). ,42,43).

В эксперименте на участке 2 ( рис. 5а ) обезьяна использовала манипуландум для управления курсором. Задача началась с периода удержания в центре, когда обезьяна удерживала курсор в центре экрана. Во время половины попыток удержания центра манипуландум случайным образом возмущал руку обезьяны в одном из восьми направлений, и обезьяне приходилось заново захватывать центральную цель (испытания пассивного движения). После удержания в центре обезьяна двигалась, чтобы захватить одну из восьми периферийных целей (испытания активных движений).Показатели одиночных испытаний, полученные с помощью AutoLFADS для пассивных испытаний, продемонстрировали четкие и структурированные реакции на непредсказуемые возмущения (, рис. 5b, ), что подчеркивает способность модели аппроксимировать динамику, управляемую входными данными.

(a) Схема задачи «от центра к краю», показывающая пассивные и активные состояния. ( б ) PSTH и частота однократных срабатываний для одного нейрона в 4 направлениях пассивного возмущения.Сглаживание проводилось с использованием ядра Гаусса со стандартным отклонением 10 мс. Пунктирные линии указывают на начало движения. (c) Сравнение AutoLFADS со случайным поиском при сопоставлении эмпирических PSTH. ( d ) PSTH, полученные путем сглаживания спайков (вверху), AutoLFADS (в центре) или прогнозов GLM (внизу) для 3 примеров нейронов. (e) Сравнение эффективности прогнозирования количества всплесков для AutoLFADS и GLM. Закрашенные кружки соответствуют нейронам, для которых AutoLFADS pR ² был значительно выше, чем GLM pR ² , а незакрашенные кружки соответствуют нейронам, для которых не было значимой разницы.Стрелки (слева) указывают нейроны, для которых GLM pR ² находился за пределами графика. (f) Представления подпространства x-скорости руки во время активных и пассивных движений, извлеченные из сглаженных пиков и скоростей, полученных с помощью AutoLFADS. (g) Сравнение AutoLFADS со случайным поиском при декодировании скорости руки во время активных испытаний. (h) Совместная производительность декодирования угловой скорости на основе скорости стрельбы, полученная с использованием сглаживания, анализа гауссовых факторов процесса (GPFA) и AutoLFADS. Столбики погрешностей обозначают стандартную ошибку среднего.Сокращения суставов: приведение плеча (SA), вращение плеча (SR), сгибание плеча (SF), сгибание локтя (EF), радиальная пронация запястья (RP), сгибание запястья (WF) и приведение запястья (WA).

Что касается M1/PMd, мы подтвердили, что показатели, полученные с помощью AutoLFADS, точно воспроизводят эмпирические PSTH и информативны в отношении переменных задачи. Предполагаемые частоты отражали различные характеристики ПСТГ во время активных и пассивных испытаний, даже несмотря на то, что модели не предоставлялась информация о поведении или задачах ( рис.5б ; сверху и рис. 5с ). Показатели, полученные с помощью AutoLFADS, также имели гораздо более близкое соответствие эмпирическим PSTH во время пассивных испытаний, чем модели LFADS, обученные со случайными HP (, рис. 5c, ). Однако сенсорные области мозга, такие как область 2, обычно характеризуются тем, как нейронная активность кодирует сенсорные стимулы (37–39). Таким образом, мы изучаем, объясняют ли частоты, полученные с помощью AutoLFADS, наблюдаемые спайки лучше, чем типичная модель нейронного кодирования области 2, в которой нейронная активность соответствует некоторой функции состояния руки.Мы подогнали обобщенную линейную модель (GLM) для каждого нейрона как для активных, так и для пассивных движений, где скорость возбуждения была исключительно функцией положения и скорости руки, а также сил контакта с рукояткой манипуландума (39) ( Прогнозы GLM показаны на (рис. 5d ). Затем мы сравнили способность GLM и AutoLFADS фиксировать наблюдаемый ответ каждого нейрона, используя псевдо-R ² (pR ² ), показатель, аналогичный R ² , но адаптированный для статистики Пуассона возбуждения нейронов (44). .Для подавляющего большинства нейронов в двух наборах данных AutoLFADS предсказал наблюдаемую активность значительно лучше, чем GLM (p<0,05 для 110/121 нейронов, бутстрап; см. Методы ), и не было нейронов, для которых GLM дала лучшие прогнозы, чем GLM. AutoLFADS ( рис. 5e ).

Мы использовали линейное декодирование для извлечения подпространств нейронной активности, которые соответствовали скоростям руки x и y как для сглаженных спайков, так и для частот, полученных с помощью AutoLFADS ( Рис.5ф ). Показатели AutoLFADS содержали подпространства, которые более четко разделяли скорости рук для всех активных условий и всех пассивных состояний, чем сглаживание, показывая, что они лучше представлены в смоделированной динамике области 2. активные испытания были существенно более точными, чем сглаживание, а также более точными, чем декодирование на выходе любой модели случайного поиска (, рис. 5g, ). Во втором наборе данных, который включал отслеживание движения всей руки, скорость всех углов суставов была декодирована из скоростей AutoLFADS с более высокой точностью, чем сглаживание или GPFA (рис.5h , справа; p<0,05 для всех суставов, парный, односторонний критерий Стьюдента).

Поскольку область 2 играет важную роль в обработке сенсорных входных данных, само собой разумеется, что входные данные, получаемые AutoLFADS, важны для успешного моделирования активности этой области как динамической системы. Если AutoLFADS успешно моделирует область 2 как динамическую систему, управляемую входными данными, мы должны ожидать, что предполагаемые входные данные будут согласовываться между испытаниями с одинаковыми поведенческими условиями. В этих экспериментах AutoLFADS моделирует данные как сегменты фиксированной длины без учета границ испытаний, поэтому нет гарантии согласованности значения заданных входных данных между различными испытаниями одного и того же состояния или даже в рамках одного испытания.

Несмотря на неконтролируемый процесс моделирования, AutoLFADS выводил входные траектории, которые соответствовали контролируемым понятиям испытаний, направлений и типов возмущений ( рис. 6a ). Ввод данных был непрерывным в течение всего испытания, что означает, что модель смогла уловить статистическое сходство между соседними сегментами. Модель также создавала аналогичные входные шаблоны в заданном состоянии, показывая, что она способна обнаруживать статистические закономерности данного состояния в произвольных отрезках времени во время произвольных испытаний.И, наконец, AutoLFADS создала четкие и логически согласованные шаблоны выходных данных для активных и пассивных испытаний. Входные данные для резких пассивных движений обычно имели гораздо более короткий временной ход, который разворачивался после возмущения, в то время как входные данные для активных испытаний начинались до движения и развивались медленнее. Визуализация этих входных данных подчеркивает способность AutoLFADS делать выводы о различных входных данных для различных подмножеств данных (, рис. 6b, ).

(a) Динамика четырех предполагаемых входных параметров генератора для пассивных (вверху) и активных (внизу) состояний. Толстая линия показывает среднюю входную трассу для каждого направления, обозначенную цветом, а тонкие цветные линии показывают входные трассы для десяти случайно выбранных испытаний. Вертикальная масштабная линейка — это A.U. (b) Проекция четырехмерных входных данных от -100 мс до 200 мс вокруг начала движения на три верхних основных компонента с отдельными графиками для каждого направления движения. Более темные линии обозначают активные испытания, а более светлые линии обозначают пассивные испытания.Большие точки обозначают средний начальный ввод в пространстве ПК. Толстые и тонкие линии соответствуют правилам (а).

AutoLFADS точно фиксирует динамику одной попытки во время познания

В то время как активность в M1 и области 2 в значительной степени управляется внутренней динамикой и входными данными, соответственно, многие области мозга в решающей степени зависят от слияния внутренней динамики и входных данных. Чтобы дополнительно проверить универсальность AutoLFADS в этих ситуациях, мы применили его к данным, собранным из дорсомедиальной лобной коры (DMFC) во время задачи оценки когнитивного времени.DMFC включает дополнительное поле глаза, дорсальную дополнительную моторную область и предварительную моторную зону. Ее часто считают промежуточной областью в сенсомоторной иерархии (45), взаимодействующей как с низкоуровневыми сенсорными, так и с моторными (PMd/M1) областями. Активность DMFC менее тесно связана с ежеминутными деталями движений, чем активность в M1 или области 2 — вместо этого ее активность, по-видимому, связана с аспектами моторного контроля более высокого уровня, включая синхронизацию движений (46,47), планирование. последовательности движений (48), изучение сенсомоторных ассоциаций (49) и контекстно-зависимая модуляция вознаграждения (50).Однако динамика популяции в DMFC связана с поведенческими коррелятами, такими как время производства движения (15,47,51). Это делает DMFC еще одним отличным тестовым примером для неконтролируемого моделирования с помощью AutoLFADS.

Для этого задания обезьяне предъявлялись два визуальных стимула («Готово» и «Настроено» соответственно), разделенные временным интервалом выборки t _s . После «Set» обезьяна пыталась воспроизвести интервал, выжидая такое же количество времени ( t _p ), прежде чем начать движение («Go») ( Рис.7а , слева). Движение представляло собой либо саккаду, либо манипулирование джойстиком влево или вправо в зависимости от местоположения периферийной цели. Два способа реагирования в сочетании с 10 временными условиями (90 221 t 90 222 90 565 90 221 s 90 222 90 566) и двумя целевыми местоположениями привели к 40 условиям задачи.

(a) Вверху слева: задача воспроизведения интервала времени. Внизу слева: используемые условия синхронизации.Справа: схема, иллюстрирующая обратную корреляцию между нейронной скоростью и временем производства обезьяны ( t _p ). (b) PSTH и частота срабатывания одной попытки для примерного нейрона в течение периода Set-Go испытаний левой саккады по 4 различным значениям 90 221 t 90 222 90 565 90 221 с 90 222 90 566 (вертикальная шкала: пики/сек). Сглаживание было выполнено с использованием ядра Гаусса с 25 мс sd. (c) PSTH для 5 примерных нейронов во время периода Set-Go правых испытаний для двух модальностей ответа и двух значений t _s .(d) Производительность при воспроизведении эмпирических PSTH. (e) Визуализация низкоразмерных усредненных по пробам и однократных нейронных траекторий для периода Ready-Set для проб с левым и правым джойстиком с t _с из 1000 мс. Для каждого условия показаны 30 испытаний. dPC: разделенный главный компонент, CI: независимый от условий, CD: зависящий от условий. (f) Примерные графики, показывающие корреляцию между нейронной скоростью и поведением (т. Е. Время производства, 90 221 t 90 222 90 565 90 221 p 90 222 90 566 ) для отдельных испытаний через два временных интервала (красный: 640 мс, синий: 1000 мс).Нейронная скорость была получена на основе скорости стрельбы, полученной из сглаживания, GPFA, модели LFADS с наилучшей средней скоростью — t _p корреляции для 40 различных условий задачи (Best LFADS) и AutoLFADS. (g) Распределение коэффициентов корреляции по 40 различным условиям задачи. Горизонтальные линии обозначают медианы. Для LFADS распределение включает значения корреляции для всех 96 моделей со случайными HP (значения 40×96).

В соответствии с нашими наблюдениями за данными M1/PMd и областью 2, частоты, полученные с помощью AutoLFADS, для этого набора данных показали последовательную структуру без шума на уровне одного испытания ( Рис.7b , внизу) и повторил особенности нейронных ответов, обнаруженные пробным усреднением ( рис. 7b , вверху; рис. 7c ). Количественное сравнение PSTH показывает, что частоты, полученные с помощью AutoLFADS, снова достигли лучшего соответствия эмпирическим PSTH, чем все модели случайного поиска (, рис. 7d, ), что является дополнительным доказательством того, что AutoLFADS может создавать превосходные модели без экспертной настройки HP регуляризации. или контролируемые критерии выбора модели. Кроме того, при визуализации в низкоразмерном пространстве с использованием анализа основных компонентов с раздельным разделением (dPCA) частота возбуждения, полученная с помощью AutoLFADS, показала гораздо большую согласованность между испытаниями данного состояния, чем частота возбуждения, рассчитанная путем сглаживания пиков (рис.7е ).

Чтобы оценить модель AutoLFADS помимо ее способности фиксировать усредненные по пробам ответы, мы попытались оценить, была ли ее прогнозируемая частота срабатывания более информативной в отношении поведения времени от пробы к пробе, чем другие методы. Предыдущие исследования показали, что производимый обезьяной временной интервал ( t _p ) отрицательно коррелирует со скоростью, с которой развиваются нейронные траектории в течение периода Set-Go ( рис. 7a , справа) (15, 51).Чтобы оценить соответствие между нейронной активностью и поведением, мы оценили скорость нейронов, используя представления, полученные с помощью сглаживания пиков, GPFA, анализа основных компонентов (PCA), наилучшей модели случайного поиска («Лучшие LFADS», подробности см. в Methods ) и модель AutoLFADS и измерила корреляцию между оценочными скоростями и t _p . Обратите внимание, что для выбора наилучшей модели случайного поиска снова потребовался контролируемый расчет (корреляция t _p ) для каждой модели.Если данное представление нейронной активности более информативно в отношении поведения, мы ожидаем более сильную (более отрицательную) корреляцию между предсказанным и наблюдаемым t _p .

Мы показываем значения корреляции для отдельных испытаний по двум различным значениям t _s ( рис. 7f ) и суммируем по всем 40 условиям задачи ( рис. 7g ). Мы наблюдали устойчивые отрицательные корреляции между t _p и оценочной нейронной скоростью по показателям, полученным различными методами.Корреляции по показателям, полученным с помощью AutoLFADS, были значительно лучше, чем для всех неконтролируемых подходов (p<0,001, знаковый ранговый критерий Уилкоксона), и сравнимы с подходом контролируемого отбора («Лучший LFADS», p = 0,758, знаковый ранговый критерий Уилкоксона), несмотря на отсутствие использования информация о задаче.

В совокупности результаты области 2 и DMFC демонстрируют, что нестандартный автоматический вывод динамики нейронной популяции, обеспечиваемый AutoLFADS, позволяет моделировать различные области мозга с динамикой, охватывающей континуум от автономной до управляемой вводом .AutoLFADS обеспечивает мощную основу для обобщенного вывода динамики, управляемой вводом, и позволяет декодировать одновременно отслеживаемые поведенческие переменные с беспрецедентной точностью. Важно отметить, что неконтролируемый подход AutoLFADS позволяет избежать использования каких-либо поведенческих данных и оптимизируется только для нейронного моделирования. Это позволяет моделировать, когда данные о поведении недоступны, а также предотвращает привнесение каких-либо поведенческих предубеждений в частоту возбуждения, что приводит к более точному выводу о изначально обобщенных представлениях мозга.Это проявляется в высокой производительности скоростей AutoLFADS как при реконструкции PSTH, так и при различных задачах декодирования.

Запуск AutoLFADS в облаке

Ключевой проблемой новых методов анализа данных, требующих больших вычислительных ресурсов, является то, что вычислительная инфраструктура и опыт, необходимые для эффективного использования этих инструментов, являются серьезным препятствием для их широкого внедрения (52). Например, у многих лабораторий нет ресурсов, необходимых для параллельного обучения десятков моделей на многих графических процессорах.Чтобы устранить это препятствие, мы предоставляем реализацию AutoLFADS с открытым исходным кодом, предназначенную для работы на Google Cloud Platform (GCP). Кроме того, мы предоставляем исчерпывающее руководство, которое поможет начинающим пользователям начать работу с AutoLFADS на GCP, не обладая экспертными знаниями в области облачных вычислений или машинного обучения. В руководстве описывается, как настроить структуру, подготовить входные данные, настроить прогоны AutoLFADS и загрузить окончательные результаты. Пользователям AutoLFADS на GCP не нужно беспокоиться об авансовом оборудовании и трудозатратах, связанных с обслуживанием локального вычислительного кластера, но при этом они имеют доступ к практически неограниченным вычислениям по требованию.Эта структура позволяет исследователям тратить меньше времени на выполнение неисследовательских задач, таких как управление зависимостями и оптимизация гиперпараметров, и в то же время дает им уверенность в том, что их модели работают хорошо, независимо от области мозга или задачи. Мы включили ссылки на код и руководство в Code Availability .

Обсуждение

Первоначальная работа LFADS (20) предоставила метод для вывода латентной динамики, частоты возбуждения без шума и внешних входных данных от больших популяций нейронов, создавая представления, которые были более информативными в отношении поведения, чем предыдущие подходы (33).Однако применение LFADS к нейронным популяциям с различной динамикой, сильными внешними воздействиями или неограниченным поведением потребовало бы трудоемкой и субъективной ручной настройки. В текущей работе мы показываем, что с надежной регуляризацией и эффективной настройкой гиперпараметров можно обучать высокопроизводительные модели LFADS для наборов данных нейронных импульсов произвольного размера, структуры испытаний и динамической сложности. Мы продемонстрировали несколько свойств подхода к обучению AutoLFADS, которые имеют широкие последствия.В задаче с лабиринтом мы показали, что модели AutoLFADS более устойчивы к размеру набора данных, открывая новые направления исследований на меньших наборах данных и сокращая количество испытаний, которые необходимо провести в будущих экспериментах. Используя случайную целевую задачу, мы продемонстрировали, что AutoLFADS не нуждается в информации о задаче для создания богатых динамических моделей нейронной активности. Это позволяет изучать динамику во время более сложных задач и повторно использовать наборы данных, собранные для другой цели. В задаче с возмущённым дотягиванием мы продемонстрировали первое применение динамического моделирования, в отличие от моделирования на основе кодировщика, к соматосенсорной области 2, которая сильно зависит от ввода.Наконец, в задаче на определение времени мы показали, что AutoLFADS нашел подходящий баланс между входными данными и внутренней динамикой для когнитивной области путем моделирования DMFC.

AutoLFADS унаследовал некоторые недостатки модели LFADS. Например, линейно-экспоненциальная модель наблюдения Пуассона, вероятно, является чрезмерным упрощением. Однако мы использовали эту архитектуру в качестве отправной точки, чтобы показать, что крупномасштабный поиск гиперпараметров осуществим и полезен. Включив крупномасштабный поиск, мы можем быть достаточно уверены, что любые различия в производительности, достигнутые будущими изменениями архитектуры, будут связаны с реальными различиями в возможностях моделирования, а не просто с отсутствием оптимизации HP.

AutoLFADS хорошо зарекомендовал себя при использовании простых стратегий эксплуатации бинарных турниров и исследования возмущений для PBT (25). В будущей работе могут быть изучены альтернативные стратегии эксплуатации или разведки, а также могут ли более мощные и эффективные варианты PBT (53) увеличить скорость и производительность AutoLFADS при одновременном снижении вычислительных затрат. Текущим ограничением AutoLFADS является его неспособность исследовать гиперпараметры, которые изменяют базовую архитектуру модели. Таким образом, еще одно направление для дальнейшей работы заключается в объединении AutoLFADS с новейшими методами автоматического поиска нейронной архитектуры (54).

Хотя AutoLFADS гораздо более эффективен, чем предыдущие подходы, он по-прежнему требует значительных вычислительных ресурсов, которые могут быть недоступны для всех потенциальных пользователей. Установка необходимых программных сред может стать дополнительным препятствием. Наша реализация GCP позволяет пользователям применять AutoLFADS без необходимости покупать и поддерживать локальный кластер. По нашим оценкам, стоимость вычислений для типичного запуска AutoLFADS на GCP составляет от 5 до 25 долларов, в зависимости от размера набора данных и модели. Мы создали подробные учебные пособия, чтобы помочь начинающим пользователям в процессе настройки, обучения модели и извлечения данных, что делает AutoLFADS доступным для всех, кто работает с данными нейронных всплесков.

Вместе взятые, AutoLFADS обеспечивает доступную и расширяемую структуру для обобщенного логического вывода о нейронной динамике в одном испытании, которая потенциально может унифицировать способы изучения вычислений через динамику разных областей мозга и задач.

Методы

Архитектура LFADS и обучение

Подробный обзор модели LFADS дан в (20). Кратко: на входе в модель пара двунаправленных кодировщиков RNN считывает последовательность шипов и создает начальные условия для генератора RNN и изменяющиеся во времени входные данные для контроллера RNN.Все RNN были реализованы с использованием ячеек GRU. На каждом временном шаге состояние генератора меняется в зависимости от входных данных от контроллера, а контроллер получает от генератора обратную связь с задержкой. Состояния генератора линейно сопоставляются с факторами, которые сопоставляются с частотой возбуждения исходных нейронов с использованием линейного сопоставления, за которым следует экспоненциальное. Цель оптимизации состоит в том, чтобы свести к минимуму отрицательное логарифмическое правдоподобие данных с учетом предполагаемой частоты стрельбы и включает штрафы за регуляризацию KL и L2.

Для большинства прогонов использовались идентичные значения архитектуры и гиперпараметров обучения с некоторыми отклонениями. Мы использовали размерность генератора 100, размерность начального состояния 100 (50 для прогонов области 2), размерность энкодера начального состояния 100, размерность фактора 40, размерность контроллера и входного кодера контроллера 80 (64 для прогонов DMFC) и контроллера. выходная размерность 4 (10 для переобучения).

Мы использовали оптимизатор Adam с начальной скоростью обучения, равной 0,01, и для прогонов без AutoLFADS уменьшили скорость обучения в 0 раз.95 после каждых 6 последовательных эпох без улучшения потери проверки. Обучение было остановлено для этих прогонов, когда скорость обучения достигла 1e-5. Потери были масштабированы с коэффициентом 1e4 непосредственно перед оптимизацией для численной стабильности. Скрытые состояния ячеек GRU были обрезаны на уровне 5, а глобальная норма градиента была обрезана на уровне 200, чтобы избежать случайного патологического обучения.

Мы использовали обучаемое среднее значение, инициализированное до 0, и фиксированную дисперсию 0,1 для начального условия Гаусса до и установили минимально допустимую дисперсию 1e-4 для начального условия после.Предыдущий выходной сигнал контроллера был авторегрессионным с обучаемым тау автокорреляции и дисперсией шума, инициализированными до 10 и 0,1 соответственно.

Использование памяти для RNN сильно зависит от длины последовательности, поэтому размер пакета варьировался соответственно (100 для наборов данных лабиринта и случайных целей, 500 для синтетических наборов данных и наборов данных области 2 и 300/400 для набора данных DMFC). Штрафы за регуляризацию KL и L2 были линейно увеличены до их полного веса в течение первых 80 эпох для большинства прогонов, чтобы избежать локальных минимумов, вызванных высокими начальными штрафами за регуляризацию.Исключениями были прогоны синтетических данных, которые линейно изменялись в течение 70 эпох, и случайные поиски в наборах данных области 2 и DMFC, в которых использовалось пошаговое линейное линейное изменение первых 400 шагов.

Случайные поиски и прогоны AutoLFADS использовали параметры архитектуры, описанные выше, наряду с HP регуляризации, выбранными из диапазонов (или инициализированных постоянными значениями), указанными в Supp. Таблица 2 . В большинстве прогонов использовался набор диапазонов по умолчанию, за некоторыми исключениями, указанными в таблице. Выпадение было отобрано из равномерного распределения, а HP веса KL и L2 были отобраны из логарифмически равномерного распределения.

Во время PBT веса использовались для контроля максимальной и минимальной величины возмущения для различных HP (например, вес 0,3 приводит к коэффициенту возмущения от 0,7 до 1,3). HP отсева и CD использовали вес 0,3, а штрафные HP KL и L2 использовали вес 0,8. Скорость CD, скорость отсева и скорость обучения были ограничены их указанными диапазонами, в то время как штрафы KL и L2 могли быть нарушены за пределами начальных диапазонов. Каждое поколение PBT состояло из 50 тренировочных эпох.Обучение AutoLFADS было остановлено, когда наилучшая сглаженная проверка NLL улучшилась менее чем на 0,05% в течение четырех поколений.

Валидация NLL был экспоненциально сглажен с α = 0,7 во время обучения. Для прогонов без AutoLFADS для вывода использовалась контрольная точка модели с наименьшим сглаженным проверочным NLL. Для запусков AutoLFADS для вывода использовалась контрольная точка с наименьшим сглаженным проверочным NLL в последнюю эпоху любого поколения. Скорости стрельбы были рассчитаны 50 раз для каждой модели с использованием различных выборок из начальных условий и апостериорных выходных данных контроллера.Затем эти оценки были усреднены, в результате чего были получены окончательные предполагаемые коэффициенты для каждой модели.

Переоснащение синтетических данных

Синтетические данные были сгенерированы с использованием двухвходовой хаотической ванильной RNN ( γ = 1,5), как описано в оригинальной работе LFADS (20,22). Единственная модификация заключалась в том, что входные данные представляли собой белый гауссовский шум. Вкратце, RNN из 50 единиц запускалась в течение 1 секунды (100 временных шагов), начиная с 400 различных начальных условий, чтобы получить достоверные коэффициенты Пуассона для каждого условия.Эти распределения были выбраны 10 раз для каждого состояния, в результате чего было проведено 4000 испытаний с пиками. Из этих испытаний 80% (3200 испытаний) использовались для обучения LFADS, а последние 20% (800 испытаний) использовались для проверки.

Мы выбрали 200 комбинаций HP из дистрибутивов, указанных в приложении . Table 2 и использовали их для обучения моделей LFADS на синтетическом наборе данных. Затем мы обучили 200 дополнительных моделей с тем же набором HP, используя скорость CD 0,3 (т. е. используя 70% данных в качестве входных данных и оставшиеся 30% для оценки правдоподобия) (26).Коэффициент детерминации между предполагаемой и наземной долей истинности был рассчитан для всех образцов и нейронов в проверочном наборе из 800 образцов.

Задача лабиринта M1

Мы использовали ранее собранный набор данных лабиринта (55), подробно описанный в исходной работе LFADS (20). Вкратце, самец обезьяны-макаки выполнял двухмерную задачу достижения цели, направляя курсор к цели, не касаясь каких-либо виртуальных барьеров, в то время как нейронная активность регистрировалась с помощью двух 92-электродных массивов, имплантированных в M1 и дорсальную PMd.Полный набор данных состоял из 2296 испытаний, 108 условий охвата и 202 отдельных единиц.

Данные всплесков были объединены в интервалы по 1 мс и сглажены с помощью свертки с гауссовым ядром (30 мс среднеквадратичное отклонение). Скорости рук вычислялись с использованием центральных разностей второго порядка с точностью до положения руки на частоте 1 кГц. К скорости рук применялся сглаживающий фильтр, после чего все данные передискретизировались до 2 мс. Испытания были созданы путем сопоставления данных за 250 мс до и 450 мс после начала движения, как рассчитано в оригинальной статье.

Наборы данных разного размера были созданы для LFADS путем случайного выбора испытаний с 20, 10 и 5% исходного набора данных с использованием семи фиксированных начальных значений, а затем разделения каждого из них на обучающие и проверочные наборы 80/20 для LFADS (всего 22 , включая полный набор данных). В качестве основы для каждого подмножества данных мы обучили модели LFADS с фиксированными HP, которые, как ранее было обнаружено, приводят к высокопроизводительным моделям для этого набора данных, за исключением входного кодировщика контроллера и размерностей контроллера (см. Архитектура LFADS и обучение и Доп.Таблица 2 ). Мы увеличили размерность этих компонентов, чтобы улучшить обобщение наборов данных из большего количества областей, управляемых вводом, при сохранении единообразия архитектуры для всех наборов данных. Мы также обучили модели AutoLFADS (40 рабочих) на каждом подмножестве, используя пространство поиска, указанное в приложении . Таблица 2 . Кроме того, мы провели случайный поиск с использованием 100 HP, выбранных из пространства поиска AutoLFADS в одном из 230 наборов данных.

Мы использовали показатели сглаживания пиков, модели LFADS, настроенные вручную, модели LFADS со случайным поиском и модели AutoLFADS, чтобы предсказать скорость руки по осям x и y с задержкой на 90 мс с использованием гребенчатой ​​регрессии со штрафом за регуляризацию λ = 1.Каждое подмножество данных было дополнительно разделено на обучающие и проверочные наборы 80/20 для декодирования. Чтобы учесть сложность моделирования первых нескольких моментов времени каждого испытания с помощью LFADS, мы отбросили данные за первые 50 мс каждого испытания и не использовали эти данные для оценки модели. Эффективность декодирования оценивалась путем вычисления коэффициента детерминации прогнозируемой и истинной скорости во всех испытаниях для каждого измерения скорости. Затем результат усреднялся по двум измерениям скорости.

Чтобы оценить реконструкцию PSTH для моделей случайного поиска и AutoLFADS, мы сначала вычислили эмпирические PSTH путем усреднения сглаженных пиков из полного набора данных из 2296 испытаний по всем 108 условиям. Затем мы рассчитали модельные PSTH путем усреднения предполагаемых показателей по условиям для всех испытаний в подмножестве из 230 испытаний. Мы рассчитали коэффициент детерминации между PSTH, выведенными моделью, и эмпирическими PSTH для каждого нейрона во всех условиях в подмножестве. Затем мы усреднили результат по всем нейронам.

Задача M1 со случайной целью

Набор данных со случайной целью состоит из нейронных записей и данных о положении руки, записанных макакой M1 во время самостоятельного последовательного выполнения задачи между случайными элементами сетки (31). Для наших экспериментов мы использовали только первые 30% (около 9 минут) набора данных, записанных с Indy 26.04.2016.

Мы начали с отсортированных единиц, полученных из M1, и объединили время их пиков в 1 мс. Чтобы избежать артефактов, при которых одни и те же спайки появлялись на нескольких каналах, мы вычисляли взаимные корреляции между всеми парами нейронов в течение первых 10 секунд и удаляли отдельные коррелированные нейроны ( n = 34) по наибольшей частоте возбуждения до тех пор, пока не осталось пар с корреляция выше 0.0625, что привело к 181 некоррелированному нейрону. Данные о местоположении были предоставлены с частотой 250 Гц, поэтому мы повысили дискретизацию этих данных до 1 кГц с помощью кубической интерполяции. Мы сгладили пики путем свертки с ядром Гаусса (стандартное отклонение 50 мс), применили фильтр сглаживания к скорости рук и уменьшили дискретизацию до 2 мс. Непрерывные данные нейронных импульсов были разбиты на перекрывающиеся сегменты длиной 600 мс, где каждый сегмент делил свои последние 200 мс с первыми 200 мс следующего. Полученный 1321 сегмент был разделен на обучающие и проверочные наборы 80/20 для LFADS, где проверочные сегменты были выбраны блоками по 3, чтобы свести к минимуму перекрытие между обучающими и проверочными подмножествами.

Нарезанные сегменты использовались для обучения модели AutoLFADS и выполнения случайного поиска с использованием 100 HP, выбранных из пространства поиска AutoLFADS. После моделирования нарезанные данные были объединены с использованием квадратичного взвешивания перекрывающихся областей, что придавало больший вес скоростям, выведенным на концах сегментов. Техника слияния взвешивала концы сегментов как w = 1 − x ² , а начала сегментов как 1 − w , причем x варьировался от 0 до 1 в точках перекрытия.После применения весов перекрывающиеся точки суммировались, что приводило к непрерывному 9-минутному отрезку смоделированных данных.

Мы рассчитали скорость руки из положения, используя центральные разности второго порядка точности, и ввели задержку в 120 мс между нейронными данными и кинематикой. Мы использовали гребенчатую регрессию ( λ = 1 e — 5) для прогнозирования скорости руки по непрерывным данным с использованием сглаженных пиков, частот LFADS случайного поиска и частот AutoLFADS. Мы рассчитали коэффициент детерминации для каждого измерения скорости отдельно, а затем усреднили два измерения скорости, чтобы вычислить производительность декодирования.

Чтобы подготовить данные для визуализации подпространства, непрерывная активность каждого нейрона была мягко нормализована путем вычитания среднего значения и деления на его 90-й квантиль плюс смещение 0,01. Испытания были идентифицированы в непрерывных данных как интервалы, в течение которых целевые позиции были постоянными (314 испытаний). Чтобы определить действительные испытания, мы рассчитали нормализованное расстояние от конечной позиции. Испытания удалялись, если курсор превышал 5% исходного расстояния или промахивался на 5%. Пороги ( n = 100) также были созданы между 25 и 95% расстояния, и испытания были удалены, если они пересекали любой из этих порогов более одного раза.Затем мы рассчитали точку выравнивания на 90% расстояния от конечного положения для оставшихся испытаний и обозначили ее как начало движения (227 испытаний). Для каждого из этих испытаний данные были приведены в соответствие за 400 мс до и 500 мс после начала движения. Был рассчитан первый главный компонент частоты AutoLFADS во время совмещенных испытаний, и активация в течение первых 100 мс каждого испытания была нормализована до [0,1]. Испытания отклонялись, если активация достигала пика через 100 мс или начальная активация превышала 3 стандартных отклонения от среднего значения.Точка выравнивания начала PC1 была рассчитана как первый раз, когда активность в первом главном компоненте превысила 50% своего максимума за первые 100 мс (192 испытания). Эта точка выравнивания использовалась для всех анализов нейронного подпространства.

Связанные с движением подпространства были извлечены с помощью гребневой регрессии из нейронной активности на скорость по оси x, скорость по оси y и скорость. Точно так же релевантные для положения подпространства включали регрессию от нейронной активности к положению x и положению y. Для подпространств движения и положения нейронные и поведенческие данные были выровнены по 200 мс до и 1000 мс после начала PC1.Целевые подпространства вычислялись путем регрессии нейронной активности во временные ряды, которые представляли относительные целевые позиции. Как и в случае подпространств движения и положения, временные ряды охватывают период от 200 мс до до 1000 мс после начала PC1. Окно boxcar использовалось для ограничения информации об относительном положении цели периодом времени, охватывающим от 0 до 200 мс после начала PC1, а остальная часть окна была заполнена нулями. Для кинематического прогнозирования из нейронных подпространств мы использовали задержку в 120 мс и 80/20 пробное обучение и разделение проверки.Для каждой поведенческой переменной и типа нейронных данных был использован 5-кратный поиск по сетке с перекрестной проверкой ( n = 100) на обучающих данных, чтобы найти наиболее эффективную регуляризацию по порядкам между 1e-5 и 1e4.

Размеры одного подпространства были выровнены по 200 мс до и 850 мс после начала PC1 для построения графика. Активации подпространства рассчитывались путем вычисления нормы активаций по всем измерениям подпространства и последующего масштабирования минимальной и максимальной активаций до 0 и 1 соответственно.Многомерные графики подпространства для подпространства движения были выровнены по 180 мс до и 620 мс после начала ПК1, а для целевого подпространства — 180 мс до и 20 мс после.

Участок 2, ударная задача

Набор сенсорных данных состоял из двух сеансов записи, во время которых обезьяна перемещала манипуландум, чтобы направить курсор на одну из восьми целей (активные испытания). Во время пассивных испытаний манипуландум вызывал механическое возмущение в руке обезьяны перед тем, как дотянуться до нее. Активность регистрировали с помощью массива интракортикальных электродов, встроенных в зону Бродмана 2 соматосенсорной коры.Для второго сеанса суставные углы были рассчитаны на основе данных отслеживания движения, собранных на протяжении всего сеанса. Первый сеанс использовался для анализа декодирования PSTH, GLM, подпространства и скорости, а второй сеанс использовался только для сравнения псевдо-R ² с GLM и декодированием угла соединения. Более подробная информация о задаче и наборе данных приведена в оригинальной статье (39).

Для обоих сеансов использовались только отсортированные единицы. Всплески были объединены в бины на 1 мс, а нейроны, которые коррелировали в течение первых 1000 секунд, были удалены (90 221 n 90 222 = 2 для каждого сеанса), как описано для задачи со случайной целью, в результате чего в первом и втором сеансах было 53 и 68 нейронов соответственно. .Затем пики были перегруппированы до 5 мс, а непрерывные данные были разбиты на сегменты по 500 мс с перекрытием 200 мс. Сегменты, которые не включали данные из вознагражденных испытаний, были отброшены (оставлено 9626 для первого сеанса и 7038 для второго сеанса). Подмножество сегментов (30%) было дополнительно разделено на данные обучения и проверки (80/20) для LFADS. Модель AutoLFADS (32 рабочих) обучалась на каждом сеансе, а случайный поиск (96 моделей) выполнялся на первом сеансе. После моделирования скорости LFADS были повторно собраны в их непрерывную форму с линейным слиянием перекрывающихся точек данных.

Эмпирические PSTH были рассчитаны путем свертки спайков, объединенных в интервалы 1 мс с полугауссовым (10 мс среднеквадратичным отклонением), повторным объединением до 5 мс и последующим усреднением по всем испытаниям в рамках состояния. LFADS PSTH были рассчитаны путем аналогичного усреднения показателей LFADS. Пассивные пробы выравнивались за 100 мс до и 500 мс после момента возмущения, а активные пробы согласовывались с тем же окном вокруг начала движения, основанного на ускорении (39). Нейроны с частотой возбуждения ниже 1 Гц исключались из анализа PSTH.Для количественной оценки реконструкции ПСТГ рассчитывали коэффициент детерминации для каждого нейрона и пассивного состояния по четырем сторонам света, и эти числа усредняли для каждой модели.

В качестве отправной точки того, насколько хорошо AutoLFADS может реконструировать нейронную активность, мы подгоняем обобщенные линейные модели (GLM) к частоте возбуждения каждого отдельного нейрона на основе положения, скорости и силы, действующей на руку (см. Chowdhury et al., 2020 для детали ручной кинематической силы GLM).Примечательно, что в дополнение к подгонке GLM с использованием параллельных поведенческих ковариат мы также добавили 10 бинов поведенческой истории (50 мс) к ковариатам GLM, увеличив количество параметров GLM почти в десять раз. Кроме того, поскольку мы хотели найти потолок производительности GLM на основе поведенческого кодировщика для сравнения с AutoLFADS на основе динамики, мы намеренно не проводили перекрестную проверку GLM. Вместо этого мы просто оценили соответствие GLM данным, используемым для обучения модели.

Для индивидуальной оценки AutoLFADS и GLM мы использовали псевдо-R ² (pR ² ), метрику согласия, адаптированную для пуассоновской статистики нейронной активности.Подобно учтенной дисперсии и R ² , pR ² имеет максимальное значение 1, когда модель точно предсказывает данные, и значение 0, когда модель предсказывает так же, как модель среднего значения с одним параметром. Отрицательные значения указывают на прогнозы, которые хуже, чем средняя модель. Для каждого нейрона мы сравнили pR ² модели AutoLFADS с моделью GLM (рис. 5e). Чтобы статистически определить, работают ли AutoLFADS лучше, чем GLM, мы использовали показатель относительного pR ² (rpR ² ), который сравнивает две модели друг с другом, а не со средней моделью (см. Perich et al., 2018 для полного описания pR ² и rpR ² ). В этом случае значение rpR ² выше 0 указывало на то, что AutoLFADS превосходил GLM (обозначено закрашенными кружками на рис. 5e). Мы оценили значимость с помощью процедуры начальной загрузки после подгонки к данным AutoLFADS и GLM. На каждой итерации начальной загрузки мы извлекали из сеанса количество испытаний (с заменой), равное общему количеству испытаний в сеансе, оценивая rpR ² в этом наборе испытаний как одну выборку начальной загрузки.Мы повторили эту процедуру 100 раз. Мы определили нейроны, для которых по крайней мере 95 из этих выборок rpR ² были больше 0, как нейроны, которые лучше предсказывались AutoLFADS, чем GLM. Точно так же нейроны, для которых по крайней мере 95 из этих выборок были ниже 0, были бы определены как нейроны, предсказанные лучше с помощью GLM (хотя нейронов с таким результатом не было).

Для анализа подпространства пики были сглажены с помощью свертки с гауссианом (стандартное отклонение 50 мс), а затем ребинированы до 50 мс.Нейронная активность масштабировалась с использованием того же подхода к мягкой нормализации, что и для анализа подпространства случайных целевых задач. Начало движения было рассчитано с использованием подхода к началу движения, основанного на ускорении, как для активных, так и для пассивных испытаний. Для обучения декодера испытания были согласованы со 100 мс до и 600 мс после начала движения. Для построения графика испытания были выровнены по 50 мс до и 600 мс после начала движения. Данные об успешных достижениях в четырех основных направлениях были разделены на пробные обучающие и проверочные разделы 80/20.Отдельные модели гребневой регрессии были обучены прогнозировать скорость каждой руки для активных и пассивных испытаний с использованием нейронной активности, задержанной на 50 мс (всего 4 декодера). Штраф за регуляризацию был определен посредством 5-кратного поиска по сетке с перекрестной проверкой 25 значений из того же диапазона, что и декодеры подпространства со случайными целевыми задачами.

Для декодирования скорости руки пики во время активных испытаний были сглажены с помощью свертки с полугауссианом (стандартное отклонение 50 мс), а нейронная активность была задержана на 100 мс относительно кинематики.Данные были выровнены по 200 мс до и 1200 мс после начала движения, а испытания были разделены на обучающие и проверочные наборы 80/20. Простая регрессия использовалась для оценки кинематики по нейронной активности, а коэффициент детерминации был рассчитан и усреднен по x- и y-скорости.

GPFA был выполнен на сегментах из всех награжденных испытаний с использованием латентной размерности 20 и ядра сглаживания Гаусса (30 мс среднеквадратичное отклонение). Данные декодирования были извлечены путем сопоставления данных активных испытаний с 200 мс до и 500 мс после начала движения.Данные были разделены на наборы для обучения и проверки 80/20, а нейронная активность отставала от кинематики на 100 мс. Регрессия хребта ( λ = 0,001) использовалась для декодирования всех угловых скоростей суставов по сглаженным пикам (половина Гаусса, среднеквадратичное отклонение ядра 50 мс), скоростей, полученных с помощью GPFA, и скоростей, полученных с помощью AutoLFADS.

Задача синхронизации DMFC

Набор когнитивных данных состоял из одного сеанса записи из дорсомедиальной лобной коры (DMFC), когда обезьяна выполняла задачу воспроизведения временного интервала.Обезьяне предъявляли визуальный стимул «Готово» для обозначения начала интервала и второй визуальный стимул «Установить» для обозначения окончания временного интервала выборки, t _с . Следуя стимулу Set, обезьяна давала ответ («Go»), так что производственный интервал ( t _p ) между Set и Go соответствовал соответствующему t _s . Животное реагировало либо саккадическим движением глаз, либо манипулированием джойстиком влево или вправо в зависимости от местоположения периферийной цели.Два способа реагирования в сочетании с 10 временными условиями (90 221 t 90 222 90 565 90 221 s 90 222 90 566) и двумя целевыми местоположениями привели к 40 условиям задачи. Более подробное описание задачи доступно в оригинальной статье (57).

Для подготовки данных для LFADS пики от отсортированных единиц были объединены в бины через 20 мс. Чтобы избежать артефактов от коррелированной спайковой активности, мы вычисляли взаимные корреляции между всеми парами нейронов на протяжении всего эксперимента и последовательно удаляли отдельные нейроны ( n = 8) по количеству надпороговых корреляций до тех пор, пока не осталось пар с корреляция выше 0.2, что приводит к 45 некоррелированным нейронам. Данные между сигналом «Готово» и окончанием испытания были разбиты на сегменты по 2600 мс без перекрытия. Первая отсечка для каждого испытания была случайным образом смещена на значение от 0 до 100 мс, чтобы разорвать любую связь между временем начала пробы и временем начала отбивки. Полученные сегменты нейронных данных (всего 1659) были разделены на обучающие и проверочные наборы 80/20 для LFADS. На этих сегментах были обучены модель AutoLFADS (32 рабочих) и случайный поиск (96 моделей) (см. Приложение , Таблица 2 ).

Для всех анализов сглаженных пиков сглаживание выполнялось путем свертки с ядром Гаусса (длительность описана ниже) с разрешением 1 мс.

Эмпирические PSTH были рассчитаны путем пробного усреднения сглаженных пиков (стандартное отклонение ядра 25 мс, интервалы 20 мс) в каждом из 40 условий. LFADS PSTH были рассчитаны путем аналогичного усреднения показателей LFADS. Коэффициент детерминации вычислялся между предполагаемыми и эмпирическими PSTH по всем нейронам и временным шагам в течение периодов «Ready-Set» и «Set-Go» для каждого состояния, а затем усреднялся по периодам и условиям.

Для визуализации низкоразмерных нейронных траекторий на сглаженных пиках (40 мс ядерное стандартное отклонение, 20 мс бины) и частотах AutoLFADS в течение периода «Ready-Set» был выполнен разделенный анализ основных компонентов (dPCA; Kobak et al., 2016) . Использовались два условия: движение руки вправо и влево с 90 221 t 90 222 90 565 90 221 с 90 222 90 566 = 1000 90 221 мс 90 222 .

Помимо LFADS/AutoLFADS, для сравнения корреляции скорости и tp применялись три альтернативных метода: сглаживание пиков, GPFA и PCA.Для сглаживания пиков анализ выполнялся путем сглаживания со стандартным отклонением 40 мс.Для GPFA модель обучалась на объединенных обучающих и проверочных наборах со скрытой размерностью 9. Анализ главных компонентов (PCA) выполнялся на сглаженных пиках (40 мс). kernel sd, бины 20 мс) и 5-7 лучших ПК, которые объясняли более 75% дисперсии данных в зависимости от условий, были включены в более поздний анализ.

Нейронная скорость вычислялась путем вычисления расстояний между последовательными временными интервалами в многомерном пространстве состояний и последующего усреднения расстояний по временным интервалам для производственной эпохи.Количество измерений, используемых для вычисления нейронной скорости, составляло 45, 5-7, 9 и 45 для сглаживания, PCA, GPFA и LFADS соответственно. Коэффициент корреляции Пирсона между нейронной скоростью и полученным временным интервалом был рассчитан для испытаний в каждом состоянии.

2 В 1 В 2 Высшее Откровение: Часть II

На все эти и другие вопросы вы сможете получить ответы во второй части этой божественной трилогии — «2 в 1 в 2, Высшее Откровение».Это трилогия о головокружительных откровениях Высшего Сознания. Он объединяет древние писания, священные тексты, такие как Бхагавад-гита, Евангелие от Фомы, ДаоТэЦзин, Бытие и т. д., соединяя их с социальными явлениями и их учением; она открыла самые священные изречения, которые тысячелетиями мистифицируют умы человеческие и человечество, и незнание их не входило в состав причин, формировавших всю человеческую историю. Это краеугольный камень для человечества, чтобы двигаться вперед к своему долгожданному, идеальному обществу — Царству Божьему; и это воодушевляющее и вдохновляющее произведение, которое выводит человека и человечество из блуждающей страны беспорядка и тьмы к Свету.У меня нет слов, чтобы описать это, но скажу, что только вдохновение от Божественного Сознания может быть объяснено для этого шедевра, затрагивающего знания во многих областях, таких как астрономия, физика и метафизика, философия, религия, мифы, теология, социология. и т.д. и т.п.! Чистая и недифференцированная сила самого творения, где объединены высшее знание и забвение!
Воистину у меня закончились слова, чтобы описать это, вам придется прочитать это самостоятельно. Возможно, вы никогда не увидите рецензий на эти книги.Они нерецензируемы из-за характера книг.
Любезное напоминание — пожалуйста, не перепродавайте свои книги, а отдайте их тем, кого вы любите, вам небезразлично. Ваша прибыль от этого будет в тысячу раз больше, чем 26 долларов.
Первое издание книг посвящено тем, кто находится на боевом рубеже Земной среды, равных прав человека и животных, и тем, кто усердно ищет Высшую Истину для освобождения себя и человечества.

Да благословит всех Господь!
Да восторжествует мир!

Метастабильные аттракторы объясняют непостоянство во времени устойчивых последовательностей поведенческих действий большая вариабельность во времени действия

Резюме

Время самостоятельно инициируемых действий показывает большую изменчивость, даже когда они выполняются в стабильной, хорошо изученной последовательности.Могла ли эта смесь надежности и стохастичности возникнуть в одной и той же нейронной цепи? Мы обучили крыс выполнять стереотипную последовательность самостоятельных действий и зафиксировали активность нейронного ансамбля во вторичной моторной коре (М2), которая, как известно, отражает колебания времени от попытки к попытке. Используя скрытые марковские модели, мы создали словарь между образцами деятельности и действиями. Затем мы показали, что метастабильные аттракторы, представляющие паттерны активности с надежной последовательной структурой и большой изменчивостью времени перехода, могут быть получены путем взаимного связывания рекуррентной сети высокой размерности и сети прямой связи низкой размерности.Переходы между аттракторами зависели от коррелированной изменчивости в этой мезомасштабной петле обратной связи, предсказывающей специфическую структуру низкоразмерных корреляций, которые были эмпирически подтверждены в записях M2. Наши результаты предполагают новый мотив мезомасштабной сети, основанный на коррелированной изменчивости, поддерживающей натуралистическое поведение животных.

Ключевые слова

поколения двигатель

принятия решений

натуралистический поведение

аттрактор нейронная сеть

мульти-зоны сети

нейронная декодирование

низкоразмерные корреляции

временная изменчивость

моторной коры

Рекомендуемые статьи articlesCiting (0)

Доступность данных и кода

Код для моделирования сетевой модели доступен в следующем репозитории GitHub https://github.com/ulisespereira/sequences-attractors-M2. Данные или сценарии анализа данных доступны по обоснованному запросу от соответствующих авторов.

© 2021 Автор(ы). Опубликовано Elsevier Inc.

Рекомендуемые статьи

Ссылки на статьи

Слабые корреляции между мозжечковыми тестами

Хронология истории ДНК