7 4212 41 69 94: +7 (4212) 69-42-94 будьте бдительны! Мы знаем о этом номере всё!

#62625

Хабаровский край, район имени Лазо, поселок Переяславка, переулок Ленина, 5 Прокуратура

 ERR-Skipping long dir path.

 1:59: 41.229 вечера: [2076.2088] <4>
V_Snapshot::V_Snapshot_CreateSnapshot: INF -
================================
13:59:41.229: [2076.2088] <4>
V_Snapshot::V_Snapshot_CreateSnapshot: INF — Попытка
создавать снимки для D:\Directory1
13:59:41.229: [2076.2088] <4>
V_Snapshot::V_Snapshot_CreateSnapshot: INF — CREATE запрос:
C:\Program Files\VERITAS\NetBackup\bin\bpfis создать -fim VSP
"Д:\Каталог1"
13:59:41.799: [2076.2088] <4>
V_Snapshot::V_Snapshot_ParseBpfisOutput: INF — моментальный снимок
создание, FIS_ID: 1058813981
1:59:41.19:99: [2076.2088] <4>
V_Snapshot::V_Snapshot_ParseBpfisOutput: INF — создание моментального снимка
СТАТУС ВЫХОДА 11: системный вызов не удался
13:59:41.799: [2076.2088] <4>
V_Snapshot::V_Snapshot_CreateSnapshot: INF — создание моментального снимка
не удалось
13:59:41.799: [2076.2088] <4>
V_Snapshot::V_Snapshot_CreateSnapshot: INF -
=============================== 

 04:01:14.168 [376.2364] <32> onlfi_fi_split: ошибка VfMS 11; видеть
следующие сообщения:
04:01:14.168 [376.2364] <32> onlfi_fi_split: фатальная ошибка метода
Сообщалось
04:01:14.168 [376.2364] <32> onlfi_fi_split: vfm_freeze_commit:
метод: VSP, тип: FIM, функция: VSP_make
04:01:14.168 [376.2364] <32> onlfi_fi_split: ошибка метода VfMS
3; см. следующее сообщение:
04:01:14.168 [376.2364] <32> onlfi_fi_split: службы снимков:
Ошибка создания моментального снимка: недопустимые аргументы. 

 04:17:55.571 [1636.3224] <2> onlfi_vfms_logf: службы снимков:
(null): при подготовке VSP произошла непредвиденная ошибка.
моментальная транзакция. Сброс массива параметров для предоставления
дополнительная информация: Ошибка 112 от VSP_Prepare 

 8:51:14.569: [1924.2304] <2> tar_base::V_vTarMsgW: ERR -
Ошибка моментального снимка при чтении test.file 

Оптимизированные архитектуры сверточной нейронной сети для эффективного обнаружения объектов на основе зрения на устройстве

В этом разделе представлен подробный обзор основных этапов или наиболее репрезентативных подходов, разработанных в последние годы для переноса процесса локализации и классификации объектов на устройства с ограниченные вычислительные ресурсы и память.Мы начнем этот обзор с целостного обзора основных систем обнаружения, собранных из соответствующей литературы. Всего в таблице 1 перечислены тридцать детекторов, задуманных как CNN с небольшим размером (количество параметров) и скромной вычислительной сложностью (вычислительный объем). В частности, для каждой проанализированной структуры обнаружения мы подробно рассмотрим различные методы или методы, принятые на архитектурном уровне для их построения, не только указав, какие основные строительные блоки или сетевые архитектуры выбраны в качестве основных составных элементов для каждого из различных этапов или компонентов его структуры, но также всесторонний анализ того, какие конкретные топологические корректировки или улучшения были применены к каждой из частей для достижения желаемого компромисса между эффективностью и точностью.

Таблица 1. Сводка наиболее важных архитектурных аспектов облегченных платформ на основе CNN для обнаружения объектов принципы проектирования, которые привели к разработке легких, но выразительных CNN, подходящих для извлечения признаков с качеством, необходимым для эффективного выполнения регрессии ограничивающей рамки и предсказания классов, которые являются задачами, связанными с процессом обнаружения.Однако этот обзор не будет ограничен магистральными сетями, перечисленными в таблице 1. При поддержке второй таблицы (таблица 2) мы расширим обсуждение этих сетей за пределы элементов, представленных в первой таблице, анализируя наиболее важные общие аспекты. целевые архитектуры CNN, разработанные с нуля для мобильных или встроенных устройств. Хотя, как мы увидим, большинство из них до сих пор не использовались как часть какой-либо системы обнаружения, все они представляют собой вполне допустимые подходы для этой цели. Более того, из-за своей сверточной природы они основаны на структурах и топологических принципах, аналогичных тем, которые лежат в основе детекторов, поэтому их включение в анализ дополнит глобальное обсуждение, предоставляя дополнительную актуальную информацию как на микро-, так и на макроархитектурном уровне.

Таблица 2. Эффективные архитектуры CNN для мобильных и встроенных приложений машинного зрения

Облегченные системы обнаружения объектов

Данные, собранные в таблице 1, обеспечивают контекст текущего мобильного сценария, хронологически размещая недавние исследовательские усилия, направленные на изучение и создание легких детекторов объектов в последние 5 лет. При первом поверхностном осмотре работ, проанализированных в таблице, сосредоточив внимание исключительно на первых трех областях, которые предоставляют более общие данные, можно выявить некоторые интересные аспекты, которые обрисовывают в общих чертах эволюцию этой новой тенденции за последние несколько лет.В частности, растущее количество опубликованных статей (с двух в 2017 году до пятнадцати за последние полтора года) ясно подчеркивает значительный растущий интерес к применению этой новой парадигмы на устройстве для обнаружения объектов. Эти цифры еще раз подтверждают массовое внедрение одноэтапной конвейерной конфигурации в качестве преобладающей архитектурной модели, а ThunderNet [91] является единственной двухэтапной инфраструктурой обнаружения из всех перечисленных облегченных детекторов и базовых сред обнаружения.

Сохраняя тот же уровень абстракции, но расширяя анализ Таблицы 1 до столбцов, которые вносят свой вклад в конкретные данные, касающиеся каждого из компонентов, составляющих архитектуру различных рассмотренных систем обнаружения, мы видим, что существует предельное количество статей. , а именно MAOD [92], CornerNet-Squeeze [93] и LightDet [94], которые исследуют совместное применение корректировок на позвоночнике, шее и голове. Оставшаяся часть поровну разделена между работами, в которых исследуются усовершенствования двух элементов, образующих систему обнаружения в ее различных вариантах [91, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106], и подходами, в которых делается упор только на один компонент [91, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106]. 48, 107,108,109,110,111,112,113,114,115,116,117].В последнем случае основной интерес представляет шея и, в меньшей степени, позвоночник. Если мы углубимся в эту классификацию и извлечем количество исследований по каждому отдельному рассмотренному компоненту, можно будет установить ранжирование или расстановку приоритетов трех на основе уровня внимания, которому они уделялись в различных рассмотренных исследованиях. В результате список в порядке убывания интереса выглядит следующим образом: шея > позвоночник > голова. Поэтому понятно как упор на разработку конкретных подходов, направленных на совершенствование шеи, так и относительное отсутствие действий, ориентированных на головку детектирования, структура которой, в общих чертах, напрямую определяется используемой в качестве основы детектирующей структурой. макроархитектура.Оставшаяся часть раздела будет включать основные вклады, сделанные в отношении трех компонентов за последние несколько лет.

Конструктивные соображения, касающиеся шейки

Теперь мы увеличим уровень детализации анализа, чтобы сосредоточить обсуждение на таблице 1, касающейся конкретных архитектурных аспектов различных сетей, используемых в качестве шейки в нескольких исследованных сверхкомпактных детекторах.

Классификация в соответствии с используемым механизмом многомасштабного обнаружения

Мы начнем обсуждение с поля базовой сети , которое содержит наиболее подходящие микроархитектуры CNN, принятые в качестве базовой структуры для проектирования окончательной фактической архитектуры шеи.Если оставить в стороне RPN, предназначенный для синтеза RoI в двухэтапных схемах обнаружения, а не для повышения репрезентативной способности задействованных признаков, можно сгруппировать эти микроархитектуры в три дифференцированные категории или типы подходов в соответствии с типом многомасштабного анализа. — используемый механизм включения обнаружения: (i) использование пирамидальной иерархии признаков, (ii) восстановление представлений с высоким разрешением из представлений с низким разрешением и (iii) поддержание представлений с высоким разрешением во всей сети.Эта классификация не включает HyperNet [87], точнее сеть извлечения Hyper Features, используемую в качестве шеи. Хотя он основан на слиянии различных карт признаков, что исключает его из (i), выполненное агрегирование признаков не включает создание представлений с более высоким разрешением, что делает его также не поддающимся категоризации в (ii) или (iii). Оставив в стороне это исключение, мы теперь обсудим специфические особенности, характеризующие каждый из трех указанных типов подходов, а также рассмотрим конкретные аспекты, касающиеся различных связанных архитектур, чтобы прояснить лежащие в их основе принципы проектирования.

я. Пирамидальная иерархия признаков Это самый простой подход из трех выявленных категорий, ориентированный исключительно на обнаружение представляющих интерес объектов с разными размерами благодаря использованию пирамидальных многомасштабных карт признаков. В табл. 1 он представлен детекторами SSD и SSDLite [48]. SSD, как упоминалось в разд. 2, представляет собой одну из наиболее парадигмальных архитектур в рамках этого подхода, в то время как SSDLite просто представляет собой более легкую версию SSD, специально разработанную для мобильных устройств путем замены обычных операций свертки на свертки с разделением по глубине, практика, которая широко применяется для облегчения вычислительная сложность традиционных CNN, как показано ниже.Помимо этого конкретного момента, SSDLite не представляет дополнительных интересных архитектурных концепций помимо тех, которые уже реализованы в исходной архитектуре SSD.

ii. Восстановление представлений с высоким разрешением Этот подход включает объединение многомасштабных карт объектов для решения проблемы отсутствия точности при обнаружении небольших объектов, повышение дискретизации представлений с низким разрешением для постепенного восстановления представлений с высоким разрешением. Эта категория, возможно, включает в себя наиболее широко используемые шейные методы среди рассмотренных, включая основные пирамидальные архитектуры, такие как FPN [86] или «песочные часы» [88], и более компактные альтернативы, такие как FPN по глубине (D-FPN) [95]. который включает в себя более эффективные свертки по глубине в обычный FPN — или шею YOLOv3-Tiny [120] и даже более дифференцированные предложения, такие как NAS-FPN [111], — использующие строительные блоки слияния функций, автоматически полученные с помощью поиска нейронной архитектуры (NAS) — или FSSD [89] — улучшенная версия архитектуры SSD.Среди только что упомянутых подходов FPN, несомненно, является наиболее репрезентативной архитектурой для генерации представления признаков в виде пирамиды при обнаружении объектов. Согласно данным, представленным в таблице 1, FPN представляет собой архитектурный вариант, выбранный большим количеством авторов (десять статей из пятнадцати, включая варианты D-FPN и NAS-FPN) в качестве основы для построения горловины. в облегченных предложениях по обнаружению.

Шея D-FPN и YOLOv3-Tiny особенно интересны, поскольку оба они следуют текущей тенденции изучения решений компьютерного зрения на устройствах, предназначенных для устройств с низким энергопотреблением.D-FPN использует ту же двухканальную архитектуру, что и FPN (начальный этап понижающей дискретизации, за которым следует второй инверсный этап), но он также успешно снижает вычислительную сложность пути повышающей дискретизации за счет использования более оптимальной структуры, состоящей из слоя билинейной интерполяции, за которым следует уровень глубины. -мудрая свертка. Что касается YOLOv3-Tiny, окончательная реализованная сеть является результатом глубокого структурного упрощения, как и в случае с глобальной архитектурой детектора. Это структурное упрощение осуществляется с помощью агрессивных методов оптимизации, таких как значительное сокращение как количества рассматриваемых масштабов, так и интегрированных слоев в исходной сети YOLOv3 [77], или слияние только одномасштабных функций, что, безусловно, является преимуществом. ущерб семантической насыщенности выделенных признаков и, в конечном счете, точности обнаружения.

III. Поддержание представлений с высоким разрешением Подобно предыдущему подходу, эта стратегия преследует проект сверточной архитектуры, направленный снова на создание представлений с высоким разрешением; в этом случае, однако, передача этих представлений по всей сети обнаружения, чтобы избежать переходов между высоким и низким разрешениями, обычными для многомасштабных подходов. В частности, High-Resolution Net (HRNet) [126], единственная архитектура из перечисленных в таблице 1, соответствующая этой парадигме, выходит за рамки многоуровневого слияния и, в качестве альтернативы, предлагает взять за отправную точку непосредственно сверточный поток высокого разрешения, впоследствии соединяя параллельно один поток на рассматриваемое разрешение, таким образом, обмениваясь информацией между несколькими потоками.Таким образом, слияние с несколькими разрешениями может выполняться периодически, что приводит к представлениям с высоким разрешением с большим семантическим богатством и пространственной точностью.

Классификация в соответствии с типом произведенного улучшения

Только что рассмотренное пространство архитектурных решений ясно указывает на сильное присутствие пирамидальных моделей CNN, изначально разработанных как строительные блоки стандартных унифицированных детекторов, на полпути между текущим подходом на устройстве и более сложным традиционным архитектуры.Эти модели, хотя и способны давать более качественные представления, чем модели, генерируемые сверхкомпактными сетями, обычно имеют как сложность, так и размер, невозможные для систем со скромными возможностями, а также уровень точности ниже, чем тот, который обычно достигается с помощью двухэтапных сред обнаружения. . В связи с этим использование уже существующей базовой архитектуры CNN, даже несмотря на то, что это практика, которая может облегчить, а в некоторых случаях полностью обойти изучение и разработку конкретных решений, упрощая разработку новых архитектур для шеи, само по себе не является оптимальным решением.Как отмечено в разд. 2, двойная попытка продвинуться в направлении улучшенного компромисса между скоростью и точностью, с упором на методы уменьшения размера и вычислительной сложности, чтобы, следовательно, уменьшить задержку (i), а также исследовать методы для более выразительных сетей и, следовательно, с большей способностью обнаружения (ii). Далее мы представляем ключевые стратегии и методы, принятые в обоих направлениях для получения структуры, соответствующей принципам эффективности парадигмы «на устройстве», опуская слишком специфические детали дизайна, чтобы сохранить желаемый уровень абстракции для облегчения применимости корректировок, требуемых в различных условиях. архитектуры или будущих случаев.

я. Уменьшение размера и задержки Этот подход направлен на построение сетевых архитектур, которые могут привести к моделям с меньшим количеством параметров и меньшей вычислительной сложностью, то есть с меньшим размером и более высокой скоростью логического вывода. Использование факторизованных сверточных фильтров представляет собой наиболее парадигматический механизм, связанный с этим подходом [48, 91, 92, 95, 97, 108, 111], который сам по себе составляет подкатегорию методов сжатия CNN, которая включает в себя несколько более легких и быстрых вариантов. стандартных операций свертки, таких как глубина [48, 91, 92, 95, 97, 111] и групповые свертки [108].Кроме того, эта группа также включает в себя методы, основанные на интеграции в архитектуру строительных блоков, таких как модули внимания, которые использовались в [93] для уменьшения количества пикселей, подлежащих обработке при обнаружении на основе областей, и тем самым для увеличения скорости обнаружения объекта. детекторы и модули Fire, исследованные в [96, 108], чтобы, опять же, уменьшить количество параметров при сохранении точности. В том же духе, дополняя использование таких блоков, Wang et al. . [106] сообщают о применении недавней конструкции CSP [125] к различным конструктивным компонентам детектора в качестве очень выгодной альтернативы более традиционным остаточным соединениям, способным уменьшить количество параметров, вычислений и время вывода.Наконец, в эту категорию также входят более простые методы, такие как прямое уменьшение количества весов в сети, например, удаление больших карт признаков, как в [107]; использование слоев на основе фильтров 1×1 вместо полносвязных слоев для выполнения прогнозов [107]; или простая оптимизация количества используемых фильтров, даже если это связано с нарушением господствующей микроархитектурной однородности в строительных блоках CNN, как в [96].

ii. Повышение эффективности обнаружения Это значительно более разнородный подход, чем тот, что представлен в (i), направленный на достижение лучшей производительности классификации, но в основном сосредоточенный на повышении точности обнаружения, особенно в сложных приложениях, таких как обнаружение небольших целей.Таким образом, можно выделить два различных типа стратегий: методы общего назначения [91, 92, 97, 107, 108], применимые для любой CNN и основанные на концепциях, которые вновь возникнут при обсуждении магистральной сети; и методы, специфичные для обнаружения объектов [91, 94, 97, 98, 99, 102, 103, 104, 105, 109, 115, 117], в первую очередь ориентированные на улучшение задач локализации.

С момента появления CNN существует известный и давний интерес, касающийся методов общего назначения, к повышению производительности систем на основе зрения в задачах классификации, поиску решений, направленных в первую очередь на увеличение производительности представления построенных сетей и, как следствие, повышение обучаемости и точности.Хотя многие действия, предпринятые с этой целью, такие как углубление сети, в значительной степени непрактичны в контексте устройства, лежащая в основе философия остается полностью применимой, а также составляет основу значительного количества более конкретных подходов или подкатегорий. поиск облегченных решений. Как показано в Таблице 1, в литературе можно найти различные исследования, такие как: [108], в которых явно делается попытка обеспечить CNN лучшей и более эффективной способностью к обучению представлению за счет использования групповых сверток, как в упомянутой работе; исследования, которые выполняют более упрощенные методы, например, используя более крупные фильтры свертки [91] и удаляя слои субдискретизации [92], чтобы достичь или поддерживать рецептивное поле большого размера, что позволяет последующее кодирование большего объема информации; подходы [107, 108], которые, например, полагаются на добавление коротких соединений (остаточных блоков) в сетевую архитектуру, чтобы облегчить проблему исчезающего градиента; стратегии увеличения нелинейности, такие как использование операций поточечной свертки 1×1 [97] или использование функции активации Hard Swish (h-swish) вместо более стандартного варианта, такого как Rectified Linear Unit (ReLU) [92]; и, наконец, механизмы для улучшения потока информации, такие как упомянутые выше ярлыки [107, 108].

Что касается решений по расширению возможностей обнаружения, то обычно это методы, основанные на многомасштабных картах признаков [98, 109] (необходимых для обнаружения нескольких целей разных размеров), которые объединяют низкоуровневые признаки высокого разрешения с высокими -уровневые семантические признаки для достижения в результате большего семантического богатства [91, 94, 97,98,99, 102,103,104,105, 109, 115, 117]. Помимо двух конкретных вкладов, которые предлагают усилия, непосредственно связанные с использованием многомасштабных признаков — увеличение числа различных масштабных уровней, учитываемых для вывода [98] и использование структур кодер-декодер для генерации признаков на разных уровнях [109] — мы идентифицируем таблицу методы в облегченной архитектуре обнаружения, которые по сути находятся в пространстве решений, направленных на получение более ценных функций, говоря семантически.В частности, данные, представленные в таблице в этом отношении, создают сценарий, в котором слияние многомасштабных карт признаков [94] представляет собой доминирующий подход и где связанные работы в основном сосредоточены как на различных структурах передачи и обмена информацией, а именно на плотных связях [103, 115]. ] и инвертированных остаточных блоков [99, 104, 105], а также по механизмам внимания — подходу, в первую очередь направленному на выделение более отличительных признаков, в основном по каналам [98, 104, 105], но также одновременно на пространственном и канальном уровне [102]. ].Дополнительно можно выделить несколько других подходов, также направленных на повышение выразительности сети, но в данном случае они достигаются за счет обогащения промежуточных признаков за счет использования свертки на блоках уменьшения размерности [97] или за счет использования модулей внимания чтобы отрегулировать распределение признаков и, таким образом, облегчить различие между фоновыми и передними элементами (пространственное внимание) [91].

Обнаружение головки архитектурные принципы

двадцать один [47, 95, 96, 99, 100, 102,10, 96, 99, 100, 102,108,109,110,111,112,113,114,115,112,117] Из тридцати документов рассмотрены показывать никаких действий, явно сфокусированных на конструкции головки для легких детекторов, кроме исследования и выбора используемой базовой сетевой архитектуры.Можно пойти немного дальше и даже заявить, что в этом отношении нет никаких следов явной активности, поскольку различные микроархитектуры, используемые для этой цели (по крайней мере, представленные в таблице 1), являются просто структурами, предложенными в качестве детектирующей головки соответствующие базовые фреймворки обнаружения. Это даже распространяется за пределы этой группы публикаций, которые не касаются усовершенствований, специфичных для головы, и остается постоянным во всех перечисленных работах, за двойным исключением BMNet, которая вообще не предоставляет информацию о головке, и LightDet, который предлагает собственную микроархитектуру, задуманную с нуля.

Что касается различных архитектурных альтернатив, используемых в качестве эталона для конструкции головы в детекторах легких объектов, в таблице 1 показан общий сценарий, очень похожий на описанный в предыдущем пункте для шеи, в которой преобладают сети, изначально задуманные как структурные элементы. унифицированных детекторов, но сценарий, который в данном конкретном случае имеет несколько более широкий набор возможностей. Первоначальное поверхностное изучение данных, собранных в таблице, позволяет сделать вывод о преобладающем типе или профиле сети, характеризующемся не только унифицированной архитектурой, но и способностью обнаруживать объекты с различными масштабами и соотношениями сторон благодаря многомасштабной обработке признаков и использование якорных ящиков в процессе обнаружения.Таким образом, в соответствии с описанным профилем в таблице 1 можно найти в общей сложности шесть конструкций базовых головок (первоначально являвшихся частью SSD, SSDLite, YOLOv3, YOLOv3-Tiny, RetinaNet и RefineDet), принятых в восемнадцати из двадцати пяти изученных работ. Существуют также микроархитектурные альтернативы, которые не соответствуют, хотя и почти незначительно, хорошо известному подходу, основанному на якорях, либо потому, что они были реализованы как часть двухэтапного конвейера обнаружения (Faster R-CNN и Light-Head R). -CNN), несмотря на использование якорей или просто потому, что они были задуманы как часть детекторов, не основанных на якорях (YOLO, CornerNet и FCOS [127]).

Что касается любых модификаций, применяемых к базовой архитектуре, двоякий подход, уже обозначенный во время обсуждения, связанного с грифом, в разд. 3.1.1 (и присутствующий в магистральном анализе) появляется снова. Таким образом, можно разделить специфические для шеи методы усиления на те же две категории или типы подходов: первая группа сосредоточена на уменьшении размера и задержки (i), а вторая группа методов направлена ​​на увеличение или, по крайней мере, поддержание обнаружения. точность для компенсации потенциального вреда, причиняемого в этом отношении методами первой категории (ii).В целом, существует большой разрыв в распределении распространенности между корректировками, связанными с шеей, и корректировками, нацеленными на детекторную головку. В частности, данные, представленные в таблице 1, показывают, что существует очевидная поляризация техник, ориентированных на голову, на две отдельные группы, которые не выявились при анализе подходов, связанных с шеей. Таким образом, за исключением пары работ, которые могут быть одновременно связаны с двумя рассматриваемыми разными типами подходов [92, 94], каждая отдельная модификация может располагаться в одном из двух указанных пространств решений.Это расхождение становится еще более заметным, если мы принимаем во внимание размер этих пространств: довольно равномерное для двух групп, когда речь идет о шее, и значительно неравномерное, когда речь идет о голове. Кроме того, в отношении последнего подгруппа методов, направленных на снижение затрат на вычисления и память, имеет очевидное преимущество (подход, воплощенный в пяти публикациях [48, 91, 93, 98, 118], ссылки на которые приведены в таблице 1) по сравнению с методом, который охватывает модификации, ориентированные на точность (только две репрезентативные работы [97, 101] в таблице).

Обращаясь теперь к конкретным подходам, мы выделяем в группу (i) стратегии, которые в основном направлены на сокращение количества параметров в создаваемых моделях и, таким образом, способны изначально уменьшить размер моделей, а следовательно, во многих случаях, их также вычислительная сложность. Среди них можно выделить приемы, в значительной степени ориентированные на внутреннюю конфигурацию слоев и, следовательно, на модификации специфических аспектов фильтра: использование разделимых по глубине сверток вместо стандартных сверток [48], уменьшение количества каналов [91], или использование сверточных фильтров меньшего размера [93, 94].В эту подгруппу, ориентированную на уменьшение параметров, также включены методы, которые учитывают более общие соображения, связанные со слоями, такие как замена полносвязных слоев сверточными слоями [118] или просто исключение подмножества уровней, которые можно найти в исходной архитектуре [118]. 98]. Наконец, чтобы дополнить только что упомянутые различные подходы, мы также связываем с группой (i) другую подкатегорию или тип подхода, который непосредственно преследует снижение вычислительной сложности, представленный в таблице 1 единственной статьей [92], которая предлагает добавление выделенных слоев для удаление фона данного входного изображения (подавление бесполезной информации) для уменьшения количества обрабатываемых пикселей.

Вторая специфическая для головы категория или группа (ii) монополизирована эксплуатацией остаточных блоков как составной части структуры головы [92, 94, 97, 101]. Такой подход способен как повысить точность обнаружения, так и способствовать снижению результирующих требований к памяти сети. Используется в качестве механизма улучшения также для архитектуры шеи, как указано в разд. 3.1.1, этот тип блока объединяет так называемые короткие соединения, чтобы обеспечить поток информации между поверхностными и поздними уровнями и, таким образом, сохранить семантическое богатство признаков [97].Ценность остаточной связи выходит за рамки ее способности повышать точность; он также был принят в качестве базовой структуры для разработки архитектурных альтернатив, одинаково выгодных с точки зрения точности обнаружения, таких как блок остаточных узких мест [101], способный объединять высокоуровневые многомасштабные признаки, инвертированные невязки и линейные узкие места [92]. ], которые позволяют увеличить репрезентативную мощность нелинейных преобразований по каналам, и более легкая версия [94], которая, вдохновленная групповыми свертками и состоящая из двух разных ветвей, использует перетасовку каналов для обеспечения обмена информацией между ветвями.

Усилия по созданию более эффективной магистрали

В частности, что касается архитектур, интегрированных в качестве магистрали в рассматриваемые структуры обнаружения, соответствующие данные, собранные в таблице, подтверждают преобладающее, но не исключительное использование упрощенных архитектур CNN. Исключая FRDet [100] — без репрезентативных данных, представленных в таблице 1, о сети или архитектуре, используемой в качестве опорной, — двадцать четыре фреймворка из общего числа тридцати используют облегченную подсеть в качестве опорной.Кроме того, в этой группе мы можем выделить всего десять различных альтернатив, число которых может быть еще меньше, если сгруппировать их в семейства детекторов: MobileNets [47, 48, 92, 99, 111, 112, 113, 115, 117], ShuffleNets [91, 94, 97, 104], SqueezeNet [96, 108, 118], PeleeNet [102, 107] и DarkNet-19 [103, 109, 114, 116]. MobileNets от Google становится наиболее доминирующим легковесным архитектурным решением. Это наблюдение, хотя и игнорирует вопросы конфигурации или структурной эффективности (они будут рассмотрены в следующем разделе), полностью согласуется с эволюционной последовательностью моделей машинного зрения, о которых сообщается в литературе, где MobileNets, впервые представленные в 2017 году [47]. и с тремя различными версиями, является наиболее зрелой компактной альтернативой, а также одним из основных факторов растущего внимания, вызванного ультракомпактными моделями машинного зрения в исследовательском сообществе в течение последних нескольких лет.Наконец, что касается остальных магистральных архитектур, упомянутых в таблице, помимо упрощенных альтернатив, можно выделить вторую группу, включающую пять стандартных архитектур CNN [93, 95, 98, 101, 110], где , помимо простой интуиции более специфического характера, невозможно вывести какую-либо закономерность, которая могла бы представлять интерес для этого анализа.

При совместном обзоре нескольких архитектур, принятых в качестве основы, и примененных к ним корректировок можно извлечь наблюдения, которые, хотя и не подкреплены конкретными показателями и измерениями, дают ценную информацию о производительности и, в целом, о пригодности предлагаемых архитектурных решений.В этом смысле, даже несмотря на то, что упрощенные архитектуры CNN были разработаны с нуля с учетом аппаратных ограничений целевых устройств и в значительной степени преуспели в создании моделей чрезвычайно уменьшенного размера и сложности, они все же могут быть недостаточными или неадекватными решениями в зависимости от различные факторы, такие как аппаратная платформа и домен приложения. Эта реальность отражена в таблице 1, где в нескольких исследованиях сообщается о прямом использовании компактных архитектур CNN в качестве основы детектора [47, 48, 97, 105, 107, 108, 109, 111, 113, 118], в то время как в значительном большинстве предлагаются конкретные усовершенствования или оптимизации [ 91, 92, 94, 96, 99, 102, 103, 104, 106, 112, 114, 116, 117] для ранее выбранных архитектур.Если же подробнее остановиться на данных о таких модификациях, то можно выделить подход, принципиально ориентированный на получение большей точности [91, 92, 94, 99, 103, 104, 112, 114, 117], что подтверждает необходимость компенсировать ухудшение точности, обычно возникающее в результате структурного упрощения или миниатюризации сети.

Ограничив наше внимание модификациями, применяемыми к архитектуре, выбранной в качестве отправной точки для построения основы, можно разделить стратегии и методы, перечисленные в таблице, на те же две группы, которые мы рассматривали для этой цели в обеих разделах.3.1.1 и 3.1.2. Следовательно, мы еще раз определяем группу методов, с одной стороны таблицы, которые реагируют на подход к уменьшению размера и задержки, а с другой стороны, набор методов, направленных на сохранение и повышение точности рекламы.

Первая группа содержит методы, в основном направленные на снижение вычислительной стоимости сети. Как мы указывали в отношении механизмов, разработанных для улучшения структуры головы, в этой группе можно выделить два разных типа решений в соответствии с архитектурным уровнем, на котором они работают.В частности, в первой микроархитектурной подгруппе мы находим (i) подходы, основанные опять же на использовании более эффективных вариантов операции свертки, таких как свертки по глубине [95, 98, 102], отделимые по глубине свертки [93 , 116] и групповые свертки [98]; и во второй группе мы находим (ii) стратегии, которые имеют прямое влияние на конфигурацию фильтров свертки, используемых в слоях или блоках CNN, т. е. оба метода нацелены на количество фильтров — уменьшение количества фильтров первого слой сети [112], выбор оптимального количества фильтров для каждого строительного блока [96] и выбор лучшей степени сжатия для модулей Fire [100] — и дополнительные методы, ориентированные на количество каналов — линейно увеличивающие количество каналов по мере углубления сети [95] или назначение одинакового количества каналов как на вход, так и на выход остаточных блоков, таких как Res2Net [101].Наконец, в дополнение к указанным стратегиям похудения, существует второй набор решений, которые решают ту же проблему, но через макрообъектив исследуют различные варианты дизайна, такие как удаление некоторых слоев, присутствующих в исходной архитектуре, CSP. -изация сети [106], использование модулей Fire [93, 103] (с большей способностью уменьшать количество параметров), прореживание слоев и строительных блоков [93] и более подходящее распределение слоев субдискретизации по сети [93, 101].

Завершая этот обзор конкретных настроек, выполненных на магистральной сети, мы также можем указать в таблице 1 значительное количество исследований, в которых исследуются альтернативы в поисках большей точности обнаружения объектов. Среди перечисленных вариантов остаточная блочная структура, основанная на сокращенных связях, выявлена ​​как наиболее универсальный подход в этом отношении, представляющий собой эффективное решение для повышения точности как в задачах классификации, так и в задачах обнаружения, а также предпочтительный вариант [98,99,100, 103]. , 114] среди нескольких связанных альтернатив, представленных в таблице.Интерес к способности остаточных соединений обеспечивать лучшее распространение функций и гарантировать максимальный поток информации по сети выходит за рамки остаточного блока. Таким образом, этот тип соединения был успешно включен в другие строительные блоки, например, как модернизация модулей Fire [100] или как неотъемлемая часть перевернутых остаточных блоков, использованных в [99] для достижения лучшей многофункциональности. обнаружение масштаба. В дополнение к только что упомянутым методам обнаружения для повышения точности подход, ориентированный на точность, также включает в себя второй набор методов, в первую очередь предназначенных для обеспечения лучших прогнозов класса.В таблице можно выделить следующие: (i) подходы, направленные на увеличение размера рецептивного поля за счет, в том числе, использования более крупных сверточных фильтров [91, 104, 117], вставки узких слоев для подвыборки на разных этапах сети [101] и использования расширенных сверток в стволе сети [92, 94]; (ii) исследования, такие как [94] или [91], которые с помощью расширенных сверток или сверточных фильтров с большим количеством каналов на ранних стадиях сети стремятся извлечь и сохранить более низкоуровневые признаки; и, наконец, (iii) альтернативы более пунктуального характера, уже упомянутые в двух предыдущих анализах, сделанных соответственно для модификаций, ориентированных на шею и голову, такие как использование функции активации h-swish [112], включение модули внимания для повышения репрезентативности сети [92, 117] или применение перетасовки каналов после групповых сверток для обеспечения обмена информацией между группами.

Высокоэффективные архитектуры CNN для создания опорной сети

Анализ механизмов и стратегий проектирования, принятых для разработки облегченных сред обнаружения, показывает постоянный интерес к поиску лучшего компромисса между точностью и скоростью обнаружения. В этом контексте магистраль представляет собой ключевой компонент в архитектуре детектора объектов не только потому, что он устанавливает структурные принципы для детекторов, но и потому, что он является компонентом, ответственным за обработку входных изображений на первом этапе конвейера обнаружения, чтобы извлеките функции, которые позже будут переданы двум оставшимся компонентам детектора.Опираясь на данные, собранные в таблице 2, мы расширяем анализ, проведенный в разд. 3.1.3 с дополнительными упрощенными архитектурами CNN, которые, несмотря на то, что до сих пор не использовались для построения сред обнаружения в контексте устройства, были полностью задуманы в соответствии с принципами проектирования этой парадигмы. Как и в различных подразделах, включенных в разд. 3.1 мы рассмотрим структурные особенности различных рассматриваемых архитектур CNN, сосредоточив наши усилия на определении основных методов и методов, применяемых в каждом случае.

При первом поверхностном обзоре данных, включенных в таблицу, который был сосредоточен только на первых четырех столбцах, можно вывести несколько общих моментов, которые добавляют дополнительные детали к представленному до сих пор сценарию на устройстве. Архитектурные разработки, за исключением исследования 2016 года, проведенного Iandola et al. [49], временно расположены между 2017 и 2021 годами, как и различные системы обнаружения, проанализированные выше. Это еще раз подтверждает хронологический параллелизм между подходами к разработке, специфичными для легких CNN, и подходами, специфичными для сверхкомпактных детекторов, уже отмеченными в разд.3.1.3, а также подчеркивает ту ключевую роль, которую недавний прогресс в области компьютерного зрения сыграл в разработке сверхкомпактных систем обнаружения. Что касается архитектур CNN, используемых в качестве эталона для разработки алгоритмических решений, развертываемых на маломощных устройствах, за исключением нескольких авторов, работающих над обычными CNN [47, 49, 54, 55, 101, 105, 107, 125, 128, 129] , основное внимание было уделено использованию облегченных архитектур в качестве отправной точки. Переходя к деталям конкретных архитектур, используемых для этой цели, можно легко наблюдать группировку нескольких рассмотренных подходов на основе семейства (MobileNets [48, 130, 131, 132, 133, 134], ShuffleNets [50, 52, 135], SqueezeNet [136], и CondenseNet [55]), во многом схожие с подходом, изложенным в предыдущем разделе, вновь появившись в качестве наиболее часто используемого облегченного архитектурного решения семейства MobileNets.Остаточная структура также выделяется как шаблон проектирования с более значительным присутствием в этих архитектурах либо непосредственно как часть базовых стандартных CNN [54, 55, 101, 107, 125, 128, 129], либо как базовая структура новые строительные блоки, полученные в результате примененных методов и методов улучшения.

Если мы обратим внимание на различные сделанные корректировки, первое, что бросается в глаза, — это значительно большее количество улучшений, перечисленных в таблице 2 для каждого исследования, если мы сравним их с количеством записей, которые мы можем увидеть для той же концепции. в таблице 1.Эти данные подчеркивают сложность миниатюризации и рационального упрощения архитектур CNN для использования на периферийных устройствах, а также огромные исследовательские усилия, предпринятые в этом направлении в последние годы, что позволило усовершенствовать и оптимизировать проектирование конкретных наземных сетей. решения для устройств в различных областях приложений, связанных со зрением, таких как обнаружение объектов. Однако существует разрыв между преобладающим типом корректировки, ориентированным на магистраль, из таблицы 1 и типом, полученным из таблицы 2.В частности, в первом случае мы в основном находим приемы и методы, которые подчеркивают достижение большей точности для создания облегченного дизайна магистральной сети (в основном определяемой базовой архитектурой CNN), но с эффективной способностью выражения, чтобы должным образом действовать в качестве структурирующего элемента при обнаружении. системы. Напротив, для корректировок, перечисленных в таблице 2, основное внимание уделяется получению более эффективных архитектур CNN (в частности, в семнадцати [47, 48, 49, 50, 52, 54, 55, 104, 107, 125, 128, 129, 130, 131, 133, 135, 136] из двадцати одной изучаемой работы), также рассматривая новые направления исследования в этом отношении, такие как снижение стоимости доступа к памяти или использование более эффективных операций на основе оптимизированной реализации на уровне кода.

С точки зрения охвата на архитектурном уровне мы можем провести первую классификацию техник и методов улучшения, рассматриваемых в рамках двух разных подходов: те, которые работают на микроархитектурном уровне, т. е. на внутреннем уровне слоев и модулей; и те, кто работает на уровне макроархитектуры, определяя специфические для компоновки аспекты, касающиеся различных модулей или уровней в архитектуре CNN. Помимо данных, собранных в поле Architectural Scope в Таблице 2, целью которого является отражение общей сущности нескольких перечисленных связанных работ, более подробный анализ необходимых корректировок дает гораздо более точную картину тенденций с точки зрения проектирования конструкций. , особенно с таким важным массивом информации, как тот, что представлен в таблице.Таким образом, хотя большинство микроархитектурных корректировок уже можно отметить по данным в поле Architectural Scope , это становится еще более очевидным, когда данные, включенные в столбец Adjustments , включаются в исследование. Численно идентифицировано только пятнадцать макроархитектурных корректировок по сравнению с пятьюдесятью, наблюдаемыми на уровне микроархитектуры. В частности, первая группа подходов включает в себя стратегии улучшения общей архитектуры CNN путем (i) замены определенного типа слоев или строительных блоков более легкими альтернативами [49, 131, 132] или вариантами с большей способностью поддерживать или даже увеличивать выразительности сети [101], (ii) реализации руководящих принципов, определяющих, как определенные свойства или элементы сети развиваются по мере ее углубления [49, 55], и (iii) соответствующей конфигурации соединений между слоями или модулями [48, 55, 105 , 125, 129].В группе микроподходов мы находим широкий спектр вариантов, которые можно разделить на две отдельные подгруппы: первоначальный набор методов, которые фокусируются на аспектах или свойствах сверточных фильтров, таких как количество фильтров [107], их размер в пространственном измерении [49], количество каналов [49, 52, 101, 105, 107, 130], связь между ними [50, 54] или количество групп каналов [101]; и вторая подгруппа, охватывающая методы, нацеленные на внутреннюю структуру слоев или модулей, такие как использование операций, альтернативных свертке [47, 48, 50, 52, 54, 105, 107, 128, 130, 131, 133, 134, 135, 136], замена [ 48] или упущение [133] нелинейности, или применение механизма внимания [53, 132, 133].

Сохранение структурной согласованности с различными подразделами в разд. 3.1, мы устанавливаем вторую категоризацию рассматриваемых корректировок в соответствии с целевыми особенностями или аспектами, специфичными для точности сети. Таким образом, мы определяем методы, которые соответствуют подходу к уменьшению размера и задержки, а также методы, ориентированные на максимально возможное сохранение и повышение точности.

В первой категории использование менее затратных сверток — свертки по глубине [47, 48, 54, 105], сепарабельной свертки [136] и сепарабельной свертки по глубине [53] — снова выделяется как наиболее общий подход, расширенный в данном случае за счет изучения других практик, которые вращаются вокруг дополнительных эффективных операций: замена дорогостоящих стандартных сверток операциями сдвига памяти [50, 128] для слияния информации, обмена информацией между каналами и конкатенации каналов; замена групповых сверток 1×1 на менее сложную операцию разделения каналов [52]; использование более простых линейных операций для частичной генерации карт признаков [133] вместо полного использования сверток для этого; или разработка нового строительного блока для кодирования пространственной и канальной информации с более высокой эффективностью, чем свертки с разделением по глубине [135].Именно по отношению к каналам и, в частности, к введению разреженности в связях, мы выделяем вторую большую группу корректировок, которая включает в себя некоторые стратегии, уже наблюдавшиеся в предыдущих анализах, такие как замена точечных сверток групповыми свертками [54, 132], но и невиданные родственные методы, такие как замена точечных сверток более разреженными по каналам свертками [131] или концепция нового типа свертки, которая расширяет групповую свертка и, в отличие от последней, позволяет на выходе канала, чтобы он зависел от произвольного подмножества входных каналов, тем самым повышая эффективность вычислений и уменьшая количество параметров.Также связанные с каналами, но в данном случае сфокусированные на количестве обрабатываемых каналов, мы определяем дополнительные стратегии улучшения, направленные на уменьшение количества каналов [49, 136], и некоторые другие, которые приводят к интересным рекомендациям о том, каково соотношение между количеством входных и выходные каналы должны быть для снижения вычислительных затрат [105, 107] или стоимости доступа к памяти [52]. В дополнение к этому набору настроек, ориентированных на эффективность, есть несколько решений более точного характера, таких как использование сверток с более эффективной программной реализацией [107, 136], использование более эффективных остаточных структур [125, 129] или стратегий понижения частоты дискретизации [105]. ], исключая нелинейность h-swish из-за ее высокой задержки [133], объединяя последовательные поэлементные операции и, таким образом, снижая этот тип дорогостоящей операции с точки зрения доступа к памяти [52], удаляя избыточные соединения [55], используя меньшие сверточные фильтры определенного размера [49] или замена тяжелых слоев более легкой альтернативой [49].

Наконец, что касается подходов к уточнению, специально предназначенных для сохранения или повышения точности, то можно выделить значительный набор различных методов, которые, однако, практически равномерно распределены. В частности, за исключением только одной из рассматриваемых корректировок, можно сгруппировать перечисленные варианты в семь отдельных групп, каждая из которых включает две конкретные стратегии или методы. В таблице мы выделили следующие группы: (i) подходы, направленные на предотвращение уменьшения размера карты признаков, чтобы не навредить выразительности сети, либо путем задержки субвыборки, т.е.д., перемещая слои или блоки субдискретизации на более глубокие этапы сети [49] или используя переходные слои, состоящие из операций свертки и объединения, без сжатия [107]; (ii) методы, такие как перетасовка каналов [54], уже представленные в разд. 3.1.3, обеспечить обмен информацией между каналами либо с помощью более эффективных операций сдвига памяти [128], либо более простым способом, заменив точечные групповые свертки альтернативами, не блокирующими упомянутый выше обмен информацией между группами [53] ; (iii) методы, основанные на использовании остаточной блочной структуры, добавляющие к сетевой архитектуре не только уже известные короткие соединения [48], но и плотные соединения для повышения повторного использования функций [55]; (iv) стратегии, основанные на постепенном увеличении скорости роста в сетях с плотным соединением [55, 107] для экономичного увеличения выразительности признаков; (v) подходы, ориентированные на рецептивное поле, которые, в соответствии с некоторыми из уже идентифицированных практик для улучшения шеи и головы, направлены как на увеличение его размера [134], так и на создание вариаций в разных масштабах [107]; (vi) интеграция механизмов внимания [132, 133] для повышения репрезентативной способности; и даже (vii) более простые методы, такие как удаление нелинейностей в мелких слоях, чтобы также сохранить репрезентативность сети [48].