5. Выбор формата и способа сжатия данных

5.1. Для хранения графических образов архивных документов требуется значительное дисковое пространство. Например, цифровая копия архивного документа формата А4, созданная с разрешением 300 dpi в режиме цветного оцифровывания, может быть сохранена в файле объемом 25 Мб; в режиме с градацией серого цвета – 8 Mб; в черно-белом режиме без полутонов – 1 Mб.

Для сокращения размеров графических файлов применяются программные средства сжатия, с помощью которых, например, цифровую копию архивного документа формата А4, созданную с разрешением 300 dpi в режиме цветного оцифровывания, можно уменьшить с 25 Мб до 450 Кб; в режиме с градацией серого цвета – с 8 Мб до 150 Кб; в черно-белом режиме без полутонов с 1 Мб до 30 Кб.

5.2. При определении оптимальных форматов хранения и способов сжатия данных должен применяться дифференцированный подход и учитываться следующие факторы:

- эффективное (в несколько раз) программное сжатие, особенно цветных цифровых изображений, может привести к потерям качества, поэтому экономия на размерах файлов за счет качества изображения нежелательна;

- при сохранении оцифрованных изображений, требующих корректировки (настройки резкости, контраста, удаления крупных дефектов), целесообразно применять форматы без сжатия данных или с минимальным сжатием.

5.3. Базовым форматом для сохранения графических данных является формат TIFF (Tagged Image File Format). Данный формат в значительной степени не зависит от аппаратно-программной платформы. Формат TIFF работает как со сжатыми, так и с несжатыми массивами данных, причем формат TIFF G4 обеспечивает компрессию черно-белого материала без потери качества.

При сжатии предлагаются на выбор три разных алгоритма: LZW, ZIP и JPEG. Следует учитывать, что из них только алгоритмы LZW и ZIP обеспечивают сжатие без потерь качества, а из соображений совместимости с другими программами рекомендуется выбирать алгоритм LZW, патент на который принадлежит компании Unisys.

5.4. Широкое распространение имеет формат GIF, который тоже использует алгоритм сжатия без потери качества, причем наиболее эффективно сжатие изображений с резкими переходами цвета, без плавных полутонов (формат поддерживает всего 256 оттенков, что достаточно для черно-белых изображений, но может отразиться на качестве полноцветных изображений).

5.5. В последнее время наметилось устаревание формата GIF и его вытеснение более сложным форматом PNG (Portable Network Graphics), который позиционируется, прежде всего, для использования в Интернете и редактирования графики. Следует учитывать появление этого формата, но в настоящее время его достоинства и недостатки еще не получили всесторонней оценки. Данный формат сохраняет основные достоинства формата GIF и лишен его главного ограничения – на количество оттенков цвета. В PNG этот параметр практически не ограничен.

К тому же PNG использует открытый, не запатентованный алгоритм сжатия Deflation, что представляется предпочтительным с точки зрения долговременной доступности графических файлов в операционных системах будущих поколений.

5.6. Для передачи и хранения данных оцифровывания полутоновых и цветных фотографий используется формат JPEG (Joint Photographic Experts Group). Данный формат работает в режиме переменных коэффициентов сжатия, предполагающих некоторую (обычно неощутимую на глаз) потерю качества. При сильных уровнях сжатия потеря качества становится заметной. Уровень сжатия рекомендуется определять опытным путем, исходя из особенностей конкретных изображений.

Как правило, формат JPEG даже при небольших уровнях сжатия обеспечивает ощутимо меньший объем графического файла, чем формат TIFF. Но важно помнить, что после каждого редактирования файла в формате JPEG происходит повторное сжатие с необратимой потерей новых деталей изображения. Поэтому данный формат может быть рекомендован только для окончательного сохранения изображений, которые в дальнейшем не предполагается редактировать.

5.7. Одним из возможных способов сохранения изображений является универсальный формат PDF. Он разработан компанией Adobe Systems для представления отформатированных документов, содержащих текст и графику, с помощью программы Adobe Acrobat.

Создаваемый в этом формате документ может иметь систему рубрикации в виде многоуровневой системы закладок, что обеспечивает поиск необходимой информации. Преимущество PDF-файлов состоит в их полной независимости от кодировок и наличия (отсутствия) каких-либо шрифтов на конкретном компьютере, так как файл в формате PDF содержит не только информацию по описанию страницы, но и другие типы информации: шрифты, изображения, команды печати, ключевые слова для поиска и индексации файла, звук, видео, активные формы, гипертекстовые ссылки и т.д. Это позволит использовать цифровые копии фонда пользования без особых требований к компьютеру и программному обеспечению, что очень важно для большинства архивов.

Использование формата PDF позволяет значительно расширить и улучшить защиту документов. Можно задавать защиту от печати, открытия, изменения и доступа к PDF-документу. Можно поставить защиту от изменения документа, при этом, разрешив добавлять к нему комментарии и цифровую подпись.

Недостатком формата PDF может стать его ориентация на просмотр изображений в их первоначальном виде и ограничение возможности последующей обработки изображений. Данный недостаток отчасти смягчается тем, что новые версии программного обеспечения Adobe Acrobat (5.0 и выше) позволяют экспортировать изображения через буфер обмена в другие программы (графические редакторы), их обработку и сохранение в графических форматах. Такой подход можно рекомендовать в крайних случаях, но следует учитывать, что конвертирование таким способом большого количества изображений окажется очень медленным и трудоемким процессом.

Поэтому при сохранении в формате PDF цифровых копий, для которых можно предполагать повторное использование с обработкой в графических редакторах, необходимо дублировать образы документов в форматах TIFF, PNG или JPEG. Но нужно учесть, что сегодня невозможно предугадать, какая часть пользователей цифровых копий пожелают обрабатывать их в графических редакторах, и с какими целями. Если спрос на графические файлы в редактируемых форматах окажется велик, то стратегия сохранения в PDF будет ошибочной. Если же редактируемые форматы окажутся невостребованными, то затраты на создание таких файлов пропадут впустую.

5.8. Новый формат DjVu обеспечивает сильное сжатие и позволяет существенно экономить дисковое пространство. Однако данный формат является еще более закрытым в сравнении с PDF и обеспечивает только просмотр изображений, но не их редактирование или конвертацию в другие форматы. Поэтому формат DjVu может быть рекомендован для создания промежуточных рабочих копий рукописных материалов, которые предполагается затем прочитывать и вручную вводить их в базы данных.

5.9. Новый формат DjVu обеспечивает сильное сжатие и позволяет существенно экономить дисковое пространство. Для цветных документов, содержащих одновременно текст и графику, файлы DjVu обычно в 5-10 раз меньше JPEG файлов того же качества. Однако данный формат является еще более закрытым в сравнении с PDF и обеспечивает только просмотр изображений (для этого необходимо установить одну из свободно распространяемых через Интернет программ-вьюверов, например DjVuSolo), но не их редактирование или конвертацию в другие форматы. Не имеет он и таких мощных средств аннотирования, как PDF. Поэтому формат DjVu может быть рекомендован для создания промежуточных рабочих копий рукописных материалов, которые предполагается затем прочитывать и вручную вводить их в базы данных.

5.10. Существует большое число форматов, оптимизированных под возможности конкретных графических редакторов. С этой точки зрения они представляются антиподами форматов PDF и DjVu, ибо ориентированы не на неизменность хранимого файла, а на максимально легкое его редактирование. Типичным примером может послужить формат PCX, применяемый в широко распространенном редакторе Adobe Photoshop. Он может хранить изображение в виде многочисленных слоев, последовательно налагаемых друг на друга, с регулируемым уровнем прозрачности каждого слоя. Пользователь имеет возможность редактировать любой из слоев.

Подобные форматы очень эффективны при обработке отсканированных изображений, с их помощью можно добиться резкого повышения читабельности угасающих текстов, ослабления темного фона, удаления цветных пятен и т.п. Но с точки зрения долговременного хранения такие форматы нежелательны, поскольку являются программно-зависимыми – все их особенности способна воспроизвести, как правило, только «родная» для них программа – графический редактор. В случае, если фирма-разработчик исчезнет с рынка или прекратит сопровождение такого формата, хранимые в нем документы могут стать недоступными.

Потому цифровые копии, улучшенные с помощью графических редакторов, рекомендуется для последующего хранения конвертировать в один из программно-независимых форматов, описанных выше.