До сих пор нет универсального метода поиска векторов движения в ТВ-системе, которые бы обеспечивали высокую точность при минимальных затратах вычислительных ресурсов.
Векторы движения в ТВ-системах используются в методах компрессии видеоданных, а также для сегментации движущихся объектов в кадре. В основе алгоритма сжатия видеоданных лежит похожесть (корреляция) соседних кадров видеоряда. В видеоданных кодируются объекты не многократно, а описываются их смещения. Это позволяет значительно снизить битрейт и занимаемое место на жестком диске. В прикладных телевизионных системах векторы движения используются для сегментации объектов интереса на основе признака движения.
Для определения векторов движения основой является уравнение оптического потока, полученное на допущениях о постоянстве яркости пикселя при его движении по заданной траектории.
Для полной оценки векторов оптического потока необходимо ввести условие близости скоростей у соседних пикселей, так как уравнение оптического потока недоопределено.
Первоначально изображение разбивают на блоки MxN пикселей.
— для каждого блока формируется область поиска размеров (2d+M+1)x(2d+N+1) пикселей, где d — максимальное смещение в вертикальном и горизонтальном направлениях.
Считается, что все пиксели в блоке имеют одинаковое перемещение и им приписывается один и тот же вектор движения. Задача определения векторов движения решается путем минимизации целевой функции, характеризующей степень соответствия двух блоков, на множестве различных положений обрабатываемого блока в области поиска.
Целевая функция, которая используют при оценке степени соответствия блоков:
Средняя абсолютная разность(MAD):
где: – Lc – яркости пикселей в текущем кадре, Lp – яркости пикселей в предыдущем кадре, (Vx, Vy) – один из возможных векторов движения, N – размер блока.[1]
Повышение эффективности применения векторов движения в прикладных телевизионных системах может быть достигнуто заменой двухкомпонентного вектора движения – трехкомпонентным ( vxkl, vykl, pakl)T, где pkl – вероятность корректного определения вектора движения (оценка достоверности): vxkl, vykl – составляющие по направлениям x и y вектора движения для блока с номерами k— по горизонтали и l- по вертикали.
Для видеоданных с соотношением сигнал/шум более 30 дБ pkl = paс_V(k,l), где paс_V(k,l) – априорная оценка достоверности вектора движения. Для видеоданных с отношением сигнал/шум менее 30 дБ применяют апостериорную оценку достоверности – pkl = paрс_V(k,l).
Основой для определения априорной оценки достоверности является функция достоверности – зависимость верного определения вектора движения от уровня детальности в блоке.
где: – Λ(x,y) – яркость пикселя в препарате, полученном из исходного изображения L(x,y).
Для описания функциональной зависимости между свойствами изображения в блоке и вероятностью корректного определения вектора движения вводится модифицированная оценка уровня детальности.
где: – η – параметр модели.
Полученная функция достоверности дает возможность заменить двухкомпонентные вектора движения на трехкомпонентные: (υxkl, υxkl, pkl)T, где pkl рассчитывается согласно выражению (5). [4]
Априорная оценка достоверности обеспечивает исключение из рассмотрения блоков, в которых вероятность верного нахождения вектора движения низка. Уровень достоверности найденного вектора достигает 0.95, если у блока Dm(k,l)≥1.8. Исключение остальных блоков резко снижает вычислительную емкость задачи.
В этом случае вектор движения V также равен нулю. Существование ненулевого (значимого) вектора движения возможно только при условии отличия от нуля яркостной производной по времени.
Определение векторов движения для всех блоков кадра или области поиска является избыточным. Если в блоке кадра t нет значимых изменений относительно кадра t-1, то с большой вероятностью вектор движения равен нулю. Искать векторы движения целесообразно только в тех блоках, где произошли какие-либо изменения. Модифицированная оценка этих изменений может быть получена на основе модуля межкадровой разности по формуле (6).
где: – λ – параметр его конкретное значение определено условиями функционирования прикладной телевизионной системы, MAD2m – нормированная функция межкадровой разности (8).
Нормируемая величина межкадровой разности:
В общем случае, функция значимости (7) позволяет выделить блоки изображения, в которых высока вероятность найти ненулевой вектор движения. Функция достоверности (5) – блоки, у которых высока вероятность корректного определения вектора движения. Для одновременного снижения влияния аномальных векторов и уменьшения вычислительной емкости целесообразно искать вектора движения с высоким уровнем достоверности и значимости.[4]
Использование переменного блока при оценке векторов движения
В рассмотренном методе применяется поиск векторов движения с переменным размером блока, что позволяет более точно выделять области с небольшим движением и области с существенным движением. Говоря общими словами, большой размер блоков подходит для однородных областей видеокадров, а малый размер будет целесообразен для областей с множеством мелких деталей.
Компоненту яркости каждого макроблока (сэмплы 16х16) можно разбить на части четырьмя способами (рисунок 1), и поэтому компенсацию движения можно строить для одного макроблока 16х16, двух блоков 16х8, двух блоков 8х16 или четырех блоков 8×8. Если выбран размер 8х8, то каждый из четырех подмакроблоков 8×8 данного макроблока можно далее разбить четырьмя способами (рисунок 2) и получить один блок 8×8, два блока 8×4, два блока 4×8 или четыре блока 4×4. Эти способы разделения на подмакроблоки дают большое число возможных комбинаций для обработки каждого макроблока. Такой метод деления макро блоков на подблоки компенсации движения переменных размеров называется древовидной структурой компенсации движения.
Рисунок 1. Деление макроблока: 16х16, 8х16, 16х8, 8x8
Рисунок 2. Деление подмакроблока: 8x8, 4х8, 8х4, 4x4
Каждая компонента хроматичности макроблока (Сb или Сr) имеет половинное разрешение по вертикали и по горизонтали от разрешения компоненты яркости. Каждый хроматический блок делится на части тем же способом, что и соответствующий блок компонент яркости с учетом половинного разрешения (т.е. части 8×16 сэмплов яркости соответствует -часть 4х8, а части 8×4 соответствует блок 4х2 и т.д.). Горизонтальные и вертикальные компоненты векторов движения (по одному на часть деления) делятся пополам перед их применением к хроматическим блокам.
Рисунок 3. Алгоритм предложенного метода
Представленный алгоритм (рисунок 3) является довольно сложной структурой, включающей в себя априорную оценку достоверности и значимости в сочетании с переменным блоком поиска векторов движения. Априорная оценка достоверности уменьшает количество аномальных векторов движения. Априорная оценка значимости позволяет убрать из обработки блоки, в которых движение не наблюдается, и присвоить им нулевое значение. Разбиение на блоки переменного размера в данном методе позволяет найти вектор движения для объектов малого и большого размера.
Метод может быть использован в прикладных телевизионных системах, где векторы движения применяются для сегментации объектов интереса на основе признака движения. Рассмотренный метод может быть реализован в видеокомпрессии для более точного нахождения векторов движения и исключения из обработки статичных фрагментов кадра, что позволяет повысить быстродействие кодера. Исследованный метод позволяет уменьшить количество ложных векторов движения при небольших затратах вычислительных ресурсов.
Список литературы:
- Гонсалес Р. Цифровая обработка изображений: пер. с англ. / Р. Гонсалес, Р. Вудс – 3-е изд. испр. и доп. – М.: Техносфера, 2012. – 1104 с.
- Обработка изображений в прикладных телевизионных системах / О. С. Астратов, А. С. Афанасенко, Л. Д. Вилесов [и др.]; под ред. проф. Б. С. Тимофеева. – СПб.: ГУАП, 2012. – 272 с.
- Обухова Н. А. Основы теории и практика цифровой обработки: методические указания к практическим работам / Н. А. Обухова, Б. С. Тимофеев – СПб.: ГУАП, 2012.
- Ричардсон Я. Видеокодирование. H.264 и MPEG-4 – стандарты нового поколения: пер. с англ. / Ян Ричардсон – М.: Техносфера, 2005. – 368 с.[schema type=»book» name=»ОСОБЕННОСТИ ИСПОЛЬЗОВАНИЯ МЕТОДА ПОИСКА ВЕКТОРОВ ДВИЖЕНИЯ В ТВ-СИСТЕМЕ С УЧЕТОМ АПРИОРНОЙ ОЦЕНКИ ИХ ДОСТОВЕРНОСТИ И ЗНАЧИМОСТИ» description=»В статье исследованы области применения векторов движения, априорная оценка значимости и достоверности вектора движения, приведен алгоритм метода поиска векторов движения и предложены области применения данного метода поиска. » author=»Антонов Кирилл Валерьевич» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-02-07″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_29.08.15_08(17)» ebook=»yes» ]