Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Пособие_CUDA.docx
Скачиваний:
5
Добавлен:
01.07.2025
Размер:
5 Мб
Скачать
☆
      1. Профайлер

В инструментарий CUDA Toolkit входит простой профайлер, который во время выполнения CUDA-функции и операций копирования собирает информацию об их длительности. Это позволяет находить узкие места в программах с несколькими CUDA-функциями и численно оценить выгоду от оптимизации отдельной CUDA-функции. Собирание этой информации контролируется следующими переменными среды:

  • CUDA_PROFILE – значения 1 или 0 включают и отключают сбор информации.

  • CUDA_PROFILE_LOG – указание имени файла, в который будет произведена запись собранной информации, и пути к нему. Если путь не указан, то запись производится в файл “cuda_profile.log” в текущей директории. При запуске на нескольких GPU можно записывать данные для каждого GPU в отдельный файл, если использовать при указании имени файла переменную %d, обозначающую номер устройства.

  • CUDA_PROFILE_CSV – включение и отключение формата записанной информации с разделением столбцов запятыми (Comma-Separated Values).

  • CUDA_PROFILE_CONFIG – использование файла с конфигурацией счетчиков производительности GPU.

На GPU аппаратно реализованы следующие счетчики производительности (при каждом запуске доступно наблюдение не более чем за четырмя счетчиками на устройствах с вычислительной способностью 1.x):

  • timestamp – моменты времени запуска CUDA-функции и операций копирования;

  • gpustarttimestamp – время начала выполнения CUDA-функции на GPU;

  • gpuendtimestamp – время завершения выполнения CUDA-функции на GPU;

  • gridsize – число связок потоков в сетке по всем измерениям X и Y;

  • threadblocksize – число потоков в связке по всем измерениям X, Y и Z;

  • dynsmemperblock – размер динамически выделяемой разделяемой памяти в байтах у каждой связки потоков;

  • statsmemperblock – размер статически выделяемой разделяемой памяти в байтах у каждой связки потоков;

  • regperthread – число регистров на один поток;

  • memtransferdir – направление копирования памяти: 0 – для операций хост → CUDA-устройство, 1 – для операций CUDA-устройство → хост;

  • memtransfersize – объем копируемого блока данных;

  • memtransferhostmemtype – тип памяти хоста, участвующий в операции копирования: со страничной организацией (pageable) или с ее блокировкой (page-locked);

  • streamid – идентификатор потока при запуске CUDA-функции.

Для детализации процесса выполнения CUDA-функции поддерживаются следующие счетчики:

  • local_load – число инструкций чтения из локальной памяти на 1 варп мультипроцессора;

  • local_store – число инструкций записи в локальную память на 1 варп мультипроцессора;

  • gld_request – число инструкций чтения из глобальной памяти на 1 варп мультипроцессора;

  • gst_request – число инструкций чтения из глобальной памяти на 1 варп мультипроцессора;

  • divergent_branch – число уникальных ветвлений;

  • branch – число уникальных инструкций ветвления в программе;

  • sm_cta_launched – число связок потоков, выполняемых на мультипроцессоре.

На устройствах с вычислительной способностью 1.x имеются следующие счетчики для процесса выполнения CUDA-функции:

  • gld_incoherent – число необъединенных (некогерентных) операций чтения из глобальной памяти;

  • gld_coherent – число объединенных операций чтения из глобальной памяти;

  • gld_32b – число 32-байтных транзакций чтения из глобальной памяти;

  • gld_64b – число 64-байтных транзакций чтения из глобальной памяти;

  • gld_128b – число 128-байтных транзакций чтения из глобальной памяти;

  • gst_incoherent – число необъединенных (некогерентных) операций записи в глобальную память;

  • gst_coherent – число объединенных операций записи в глобальную память;

  • gst_32b – число 32-байтных транзакций записи в глобальную память;

  • gst_64b – число 64-байтных транзакций записи в глобальную память;

  • gst_128b – число 128-байтных транзакций записи в глобальную память;

  • instructions – число выполненных инструкций;

  • warp_serialize – число потоков варпа, которым приходится сериализовать операции доступа к разделяемой или константной памяти;

  • cta_launched – число выполненных связок потоков;

  • prof_trigger_00, …, prof_trigger_07 – триггеры профайлера (до 8 штук), которые можно включать в пользовательском коде ядра через вызов встроенной функции __prof_trigger(int N), где N – индекс триггера;

  • tex_cache_hit – число попаданий текстурного кэша;

  • tex_cache_miss – число промахов текстурного кэша.

На устройствах с вычислительной способностью 2.0 и более высокой возможен одновременный сбор информации по большему числу счетчиков производительности, кроме того добавлены следующие счетчики:

  • shared_load – число инструкций чтения из разделяемой памяти на 1 варп мультипроцессора;

  • shared_store – число инструкций записи в разделяемую память на 1 варп мультипроцессора;

  • inst_issued – число выполненных инструкций, включая реплеи (relpays);

  • inst_executed – число выполненных инструкций, исключая реплеи;

  • warps_launched – число запущенных варпов на мультипроцессоре;

  • threads_launched – число запущенных потоков на мультипроцессоре;

  • l1_global_load_hit – число попаданий кэша L1 при чтении;

  • l1_global_load_miss – число промахов кэша L1 при чтении.

В качестве примера приведем лог-файл, записанный при запуске примера из CUDA SDK – haar1dwt, выполняющего дискретное вейвлет-преобразование Хаара. Пример выполнен без включения счетчивов производительности.

# CUDA_PROFILE_LOG_VERSION 1.6

# CUDA_DEVICE_NAME 0 GeForce GTX 280

timestamp,method,gputime,cputime,occupancy

timestamp=[ 2155.302 ] method=[ _Z10fhaar1dwtdiPf ] gputime=[ 7.808 ] cputime=[ 74.730 ] occupancy=[ 1.000 ]

timestamp=[ 2421.886 ] method=[ memcopy ] gputime=[ 4.864 ] cputime=[ 238.159 ]

timestamp=[ 2706.140 ] method=[ _Z10ihaar1dwtdiPf ] gputime=[ 7.296 ] cputime=[ 59.295 ] occupancy=[ 1.000 ]

timestamp=[ 2876.413 ] method=[ memcopy ] gputime=[ 4.608 ] cputime=[ 224.679 ]

Здесь в поле method записано название вызываемой функции, в gputime и cputime – реальное время выполнения на устройстве и на хосте (включает gputime) соответственно. Все времена измеряются в микросекундах. Поле occupancy показывает загруженность мультипроцессора варпами – долю от максимального числа варпов (1.000 означает полную загруженность).

Другой лог-файл записан для примера умножения матриц, выполнен с несколькими включенными счетчиками производительности, и поэтому имеет дополнительные поля. Кроме того, можно установить переменную среды CUDA_PROFILE_CSV для получения альтернативного формата лог-файлов:

# CUDA_PROFILE_LOG_VERSION 1.6

# CUDA_PROFILE_CSV 1

# CUDA_DEVICE_NAME 0 GeForce GTX 280

timestamp,method,gputime,cputime,gridsizeX,gridsizeY,threadblocksizeX,threadblocksizeY,threadblocksizeZ,occupancy,cta_launched,branch,

instructions,memtransfersize,memtransferdir

6390.687,_Z10dmatrixmulPfiiS_iiS_,25.184,203.168,2,1,32,8,8,0.333,312,312,2261

6946.483,memcopy,8.928,240.673,,,,,,,,,,8192,1

Значения счетчиков производительности соответствуют не отдельным потокам обработки, а событиям внутри целого варпа. К примеру, любое однократное ветвление внутри одного варпа увеличит счетчик divergent_branch на единицу, а окончательное значение этого счетчика будет хранить информацию о ветвлениях во всех выполненных варпах.

Профайлер может работать только с одним из мультипроцессоров GPU, поэтому значения счетчиков не будут соответствовать суммарному числу варпов, запущенных при вызове одной CUDA-функции. В связи с этим пользователь должен запускать большое число связок потоков для накопления достаточного объема статистики на этом мультипроцессоре. Обычно хватает около 100 связок.

В результате, учитывая вышеперечисленные особенности, разработчик не должен ожидать соответствия этих измерений числам, получаемым при анализе кода CUDA-функции. Лучше всего использовать счетчики производительности для сравнения кода до и после оптимизации. Например, если для первой версии программы профайлер сообщает о N необъединенных операций чтения из глобальной памяти, то легко будет заметить уменьшение их числа в процессе оптимизации кода. Как правило, целью является уменьшение необъединенных операций чтения до нуля, и счетчик поможет отслеживать прогресс в достижении этой цели.

Для удобной настройки конфигурации профайлера и обработки результатов измерений в инструментарий CUDA Toolkit входит два инструмента с оконным пользовательским интерфейсом: cudaprof – для платформы CUDA C с четырьмя демонстрационными проектами и openclprof – для OpenCL с семью демонстрационными проектами. На рис. 1.5 приведен пример использования cudaprof для анализа программы, выполняющей умножение матриц.

Рис. 1.5. Анализ работы программы matrixMul в визуальном профайлере

В итоговой таблице кроме значений счетчиков производительности для каждого ядра дополнительно рассчитываются следующие величины: число вызовов (#calls), суммарное время (GPU usec, CPU usec – в микросекундах), доля времени GPU, приходящегося на это ядро, пропускная способность при доступе к глобальной памяти (glob mem read, glob mem write, glob mem overall) в гигабайтах в секунду и доля пропускной способности выполнения инструкций (instruction throughput).

Поддерживаются следующие виды диаграмм:

  • Summary profiling data bar plot – каждому методу соответствует прямоугольник, длина которого пропорциональна времени на GPU, и эти прямоугольники отсортированы по убыванию.

  • GPU Time Height plot – прямоугольники, соответствующие вызовам метода, изображаются в порядке выполнения. Высота прямоугольников пропорциональна времени на GPU или на CPU (если включить соответствующую опцию) или нескольким другим величинам.

  • GPU Time Width plot – прямоугольники, соответствующие вызовам метода, изображаются в порядке выполнения. Высота прямоугольников пропорциональна времени на GPU, а ширина – одной из нескольких других величин. Поддерживается вывод для нескольких потоков хоста или устройств.

  • Profiler counter bar plot – прямоугольники, длина которых пропорциональна значению счетчика производительности, упорядочены по убыванию.

  • Profiler output table column bar plot – прямоугольники, длина которых пропорциональна значениям из любой колонки анализируемых таблиц, упорядочены по убыванию.

  • Comparison Summary plot – график сравнения итоговых данных, полученных для двух запусков (сессий).

  • Device level summary plot – прямоугольники, длина которых пропорциональна суммарному времени на GPU по всем контекстам данного устройства, упорядочены по убыванию.

  • Session level summary plot. Прямоугольники, длина которых пропорциональна степени загрузки каждого GPU в процентах, рассчитывается через время занятости GPU выполнением всех методов.