- •230100 – Информатика и вычислительная техника
- •Часть 2. Алгоритмы цифровой обработки изображений 58
- •Часть 3. Методические указания для практических и лабораторных работ 109
- •Введение
- •Часть 1. Программирование графического адаптера nvidia с использованием технологии cuda
- •Краткая история развития графических адаптеров
- •Архитектура nvidia cuda
- •Архитектура gpu-приложения
- •Основные различия между cpu и cuda-устройством
- •Различие возможностей между поколениями cuda-устройств
- •Инструментарий cuda Toolkit
- •Установка
- •Проверка правильности установки
- •Компиляция примеров
- •Прикладные программные интерфейсы cuda
- •Особенности компиляции
- •Опции компилятора nvcc
- •Профайлер
- •Отладка программ в режиме эмуляции устройства
- •Среда разработки nvidia Parallel Nsight
- •Подключаемые библиотеки
- •Библиотека cublas
- •Библиотека cufft
- •Часть 2. Алгоритмы цифровой обработки изображений
- •Видоизменение гистограммы изображения
- •Основы пространственной фильтрации
- •Сглаживающие пространственные фильтры
- •Сглаживание изображений локальным усреднением
- •Сглаживание по обратному градиенту
- •Сглаживающий сигма-фильтр
- •Сглаживание по наиболее однородным областям
- •Медианный фильтр
- •Описание метода медианной фильтрации
- •Одномерный медианный фильтр
- •Зависимость качества работы медианного фильтра от размера апертуры
- •Двумерный медианный фильтр
- •Пространственные фильтры выделения границ областей
- •Линейные методы выделения границ областей. Лапласиан
- •Нелинейные методы выделения границ областей
- •Оператор Превита
- •Частотные фильтры
- •Сглаживающий частотный фильтр
- •Частотный фильтр повышения резкости
- •Гомоморфная фильтрация
- •Морфологическая фильтрация
- •Операции математической морфологии
- •Дилатация
- •Алгебраические свойства дилатации и эрозии
- •Применение морфологической дилатации
- •Применение морфологической эрозии
- •Размыкание и замыкание
- •Применение морфологических операций размыкания и замыкания
- •Основные морфологические алгоритмы
- •Выделение границ.
- •Заполнение областей.
- •Выпуклая оболочка.
- •Утончение.
- •Утолщение.
- •Построение остова.
- •Часть 3. Методические указания для практических и лабораторных работ
- •Практическая работа №1. Введение в технологию cuda
- •Цель работы
- •Порядок выполнения работы
- •Теоретическая часть
- •Архитектура графических адаптеров nvidia.
- •Архитектура чипа g80.
- •Архитектура чипа Fermi.
- •Вычислительные способности графического процессора.
- •Среда разработки cuda.
- •Язык cuda с.
- •Модель программирования cuda.
- •Теоретическая часть Модель памяти cuda
- •Особенности глобальной памяти.
- •Особенности разделяемой памяти.
- •Теоретическая часть Программный пакет «Sarcis».
- •Команды меню.
- •Панель инструментов.
- •Механизм подключения динамических библиотек.
- •Создание внешней библиотеки
- •Пример листинга программы динамической библиотеки.
- •Медианная фильтрация
- •Варианты индивидуальных заданий
- •Выбор по дискретному критерию.
- •Выбор по среднему контрасту.
- •Выбор по среднему градиенту.
- •Выбор на основе простых статистик.
- •Параметрическая аппроксимация.
- •Моментный подход.
- •Варианты индивидуальных заданий
- •Теоретическая часть
- •Инициализация устройства.
- •Выделение памяти на gpu
- •Пересылка данных между cpu и gpu.
- •Вызов функции ядра.
- •Методические рекомендации
- •Цель работы
- •Варианты индивидуальных заданий
- •Методические рекомендации
- •Защита лабораторной работы
- •Лабораторная работа № 3. Работа с разделяемой памятью в технологии cuda
- •Порядок выполнения работы
- •Методические рекомендации
- •Методические рекомендации
- •Особенности текстурной памяти.
- •Особенности линейной текстурной памяти.
- •Защита лабораторной работы
- •Правила оформления отчета
- •Оформление титульного листа
- •Библиографический список
Профайлер
В инструментарий CUDA Toolkit входит простой профайлер, который во время выполнения CUDA-функции и операций копирования собирает информацию об их длительности. Это позволяет находить узкие места в программах с несколькими CUDA-функциями и численно оценить выгоду от оптимизации отдельной CUDA-функции. Собирание этой информации контролируется следующими переменными среды:
CUDA_PROFILE – значения 1 или 0 включают и отключают сбор информации.
CUDA_PROFILE_LOG – указание имени файла, в который будет произведена запись собранной информации, и пути к нему. Если путь не указан, то запись производится в файл “cuda_profile.log” в текущей директории. При запуске на нескольких GPU можно записывать данные для каждого GPU в отдельный файл, если использовать при указании имени файла переменную %d, обозначающую номер устройства.
CUDA_PROFILE_CSV – включение и отключение формата записанной информации с разделением столбцов запятыми (Comma-Separated Values).
CUDA_PROFILE_CONFIG – использование файла с конфигурацией счетчиков производительности GPU.
На GPU аппаратно реализованы следующие счетчики производительности (при каждом запуске доступно наблюдение не более чем за четырмя счетчиками на устройствах с вычислительной способностью 1.x):
timestamp – моменты времени запуска CUDA-функции и операций копирования;
gpustarttimestamp – время начала выполнения CUDA-функции на GPU;
gpuendtimestamp – время завершения выполнения CUDA-функции на GPU;
gridsize – число связок потоков в сетке по всем измерениям X и Y;
threadblocksize – число потоков в связке по всем измерениям X, Y и Z;
dynsmemperblock – размер динамически выделяемой разделяемой памяти в байтах у каждой связки потоков;
statsmemperblock – размер статически выделяемой разделяемой памяти в байтах у каждой связки потоков;
regperthread – число регистров на один поток;
memtransferdir – направление копирования памяти: 0 – для операций хост → CUDA-устройство, 1 – для операций CUDA-устройство → хост;
memtransfersize – объем копируемого блока данных;
memtransferhostmemtype – тип памяти хоста, участвующий в операции копирования: со страничной организацией (pageable) или с ее блокировкой (page-locked);
streamid – идентификатор потока при запуске CUDA-функции.
Для детализации процесса выполнения CUDA-функции поддерживаются следующие счетчики:
local_load – число инструкций чтения из локальной памяти на 1 варп мультипроцессора;
local_store – число инструкций записи в локальную память на 1 варп мультипроцессора;
gld_request – число инструкций чтения из глобальной памяти на 1 варп мультипроцессора;
gst_request – число инструкций чтения из глобальной памяти на 1 варп мультипроцессора;
divergent_branch – число уникальных ветвлений;
branch – число уникальных инструкций ветвления в программе;
sm_cta_launched – число связок потоков, выполняемых на мультипроцессоре.
На устройствах с вычислительной способностью 1.x имеются следующие счетчики для процесса выполнения CUDA-функции:
gld_incoherent – число необъединенных (некогерентных) операций чтения из глобальной памяти;
gld_coherent – число объединенных операций чтения из глобальной памяти;
gld_32b – число 32-байтных транзакций чтения из глобальной памяти;
gld_64b – число 64-байтных транзакций чтения из глобальной памяти;
gld_128b – число 128-байтных транзакций чтения из глобальной памяти;
gst_incoherent – число необъединенных (некогерентных) операций записи в глобальную память;
gst_coherent – число объединенных операций записи в глобальную память;
gst_32b – число 32-байтных транзакций записи в глобальную память;
gst_64b – число 64-байтных транзакций записи в глобальную память;
gst_128b – число 128-байтных транзакций записи в глобальную память;
instructions – число выполненных инструкций;
warp_serialize – число потоков варпа, которым приходится сериализовать операции доступа к разделяемой или константной памяти;
cta_launched – число выполненных связок потоков;
prof_trigger_00, …, prof_trigger_07 – триггеры профайлера (до 8 штук), которые можно включать в пользовательском коде ядра через вызов встроенной функции __prof_trigger(int N), где N – индекс триггера;
tex_cache_hit – число попаданий текстурного кэша;
tex_cache_miss – число промахов текстурного кэша.
На устройствах с вычислительной способностью 2.0 и более высокой возможен одновременный сбор информации по большему числу счетчиков производительности, кроме того добавлены следующие счетчики:
shared_load – число инструкций чтения из разделяемой памяти на 1 варп мультипроцессора;
shared_store – число инструкций записи в разделяемую память на 1 варп мультипроцессора;
inst_issued – число выполненных инструкций, включая реплеи (relpays);
inst_executed – число выполненных инструкций, исключая реплеи;
warps_launched – число запущенных варпов на мультипроцессоре;
threads_launched – число запущенных потоков на мультипроцессоре;
l1_global_load_hit – число попаданий кэша L1 при чтении;
l1_global_load_miss – число промахов кэша L1 при чтении.
В качестве примера приведем лог-файл, записанный при запуске примера из CUDA SDK – haar1dwt, выполняющего дискретное вейвлет-преобразование Хаара. Пример выполнен без включения счетчивов производительности.
# CUDA_PROFILE_LOG_VERSION 1.6
# CUDA_DEVICE_NAME 0 GeForce GTX 280
timestamp,method,gputime,cputime,occupancy
timestamp=[ 2155.302 ] method=[ _Z10fhaar1dwtdiPf ] gputime=[ 7.808 ] cputime=[ 74.730 ] occupancy=[ 1.000 ]
timestamp=[ 2421.886 ] method=[ memcopy ] gputime=[ 4.864 ] cputime=[ 238.159 ]
timestamp=[ 2706.140 ] method=[ _Z10ihaar1dwtdiPf ] gputime=[ 7.296 ] cputime=[ 59.295 ] occupancy=[ 1.000 ]
timestamp=[ 2876.413 ] method=[ memcopy ] gputime=[ 4.608 ] cputime=[ 224.679 ]
Здесь в поле method записано название вызываемой функции, в gputime и cputime – реальное время выполнения на устройстве и на хосте (включает gputime) соответственно. Все времена измеряются в микросекундах. Поле occupancy показывает загруженность мультипроцессора варпами – долю от максимального числа варпов (1.000 означает полную загруженность).
Другой лог-файл записан для примера умножения матриц, выполнен с несколькими включенными счетчиками производительности, и поэтому имеет дополнительные поля. Кроме того, можно установить переменную среды CUDA_PROFILE_CSV для получения альтернативного формата лог-файлов:
# CUDA_PROFILE_LOG_VERSION 1.6
# CUDA_PROFILE_CSV 1
# CUDA_DEVICE_NAME 0 GeForce GTX 280
timestamp,method,gputime,cputime,gridsizeX,gridsizeY,threadblocksizeX,threadblocksizeY,threadblocksizeZ,occupancy,cta_launched,branch,
instructions,memtransfersize,memtransferdir
6390.687,_Z10dmatrixmulPfiiS_iiS_,25.184,203.168,2,1,32,8,8,0.333,312,312,2261
6946.483,memcopy,8.928,240.673,,,,,,,,,,8192,1
Значения счетчиков производительности соответствуют не отдельным потокам обработки, а событиям внутри целого варпа. К примеру, любое однократное ветвление внутри одного варпа увеличит счетчик divergent_branch на единицу, а окончательное значение этого счетчика будет хранить информацию о ветвлениях во всех выполненных варпах.
Профайлер может работать только с одним из мультипроцессоров GPU, поэтому значения счетчиков не будут соответствовать суммарному числу варпов, запущенных при вызове одной CUDA-функции. В связи с этим пользователь должен запускать большое число связок потоков для накопления достаточного объема статистики на этом мультипроцессоре. Обычно хватает около 100 связок.
В результате, учитывая вышеперечисленные особенности, разработчик не должен ожидать соответствия этих измерений числам, получаемым при анализе кода CUDA-функции. Лучше всего использовать счетчики производительности для сравнения кода до и после оптимизации. Например, если для первой версии программы профайлер сообщает о N необъединенных операций чтения из глобальной памяти, то легко будет заметить уменьшение их числа в процессе оптимизации кода. Как правило, целью является уменьшение необъединенных операций чтения до нуля, и счетчик поможет отслеживать прогресс в достижении этой цели.
Для удобной настройки конфигурации профайлера и обработки результатов измерений в инструментарий CUDA Toolkit входит два инструмента с оконным пользовательским интерфейсом: cudaprof – для платформы CUDA C с четырьмя демонстрационными проектами и openclprof – для OpenCL с семью демонстрационными проектами. На рис. 1.5 приведен пример использования cudaprof для анализа программы, выполняющей умножение матриц.
Рис. 1.5. Анализ работы программы matrixMul в визуальном профайлере
В итоговой таблице кроме значений счетчиков производительности для каждого ядра дополнительно рассчитываются следующие величины: число вызовов (#calls), суммарное время (GPU usec, CPU usec – в микросекундах), доля времени GPU, приходящегося на это ядро, пропускная способность при доступе к глобальной памяти (glob mem read, glob mem write, glob mem overall) в гигабайтах в секунду и доля пропускной способности выполнения инструкций (instruction throughput).
Поддерживаются следующие виды диаграмм:
Summary profiling data bar plot – каждому методу соответствует прямоугольник, длина которого пропорциональна времени на GPU, и эти прямоугольники отсортированы по убыванию.
GPU Time Height plot – прямоугольники, соответствующие вызовам метода, изображаются в порядке выполнения. Высота прямоугольников пропорциональна времени на GPU или на CPU (если включить соответствующую опцию) или нескольким другим величинам.
GPU Time Width plot – прямоугольники, соответствующие вызовам метода, изображаются в порядке выполнения. Высота прямоугольников пропорциональна времени на GPU, а ширина – одной из нескольких других величин. Поддерживается вывод для нескольких потоков хоста или устройств.
Profiler counter bar plot – прямоугольники, длина которых пропорциональна значению счетчика производительности, упорядочены по убыванию.
Profiler output table column bar plot – прямоугольники, длина которых пропорциональна значениям из любой колонки анализируемых таблиц, упорядочены по убыванию.
Comparison Summary plot – график сравнения итоговых данных, полученных для двух запусков (сессий).
Device level summary plot – прямоугольники, длина которых пропорциональна суммарному времени на GPU по всем контекстам данного устройства, упорядочены по убыванию.
Session level summary plot. Прямоугольники, длина которых пропорциональна степени загрузки каждого GPU в процентах, рассчитывается через время занятости GPU выполнением всех методов.
