- •Лекційні матеріали по курсу іітдпсу
- •Тема 1. Застосування сучасних технологій обробки податкової інформації
- •1.1. Сучасні технології обробки податкової звітності
- •1.1.1. Електронне оподаткування
- •1.1.2. Електронна звітність платників податків
- •1.2. Електронні сервіси для платників податків
- •1.2.1. Сервіси, що надаються платникам через портал дпс України
- •1.2.1. Сервіси, що надаються платникам на офіційному сайті дпс України
- •1.3.1. Юридичні аспекти електронного документообігу та застосування електронного цифрового підпису
- •1.3. Впровадження електронного документообігу з використанням електронного цифрового підпису
- •1.3.2. Використання електронного цифрового підпису при прийманні податкової звітності в електронному вигляді в державні податковій службі
- •1.4. Сучасна податкова інформатика на основі аналітичних інформаційних технологій і методів дейтамайнінгу
- •1.4.1. Вступ до сучасної податкової інформатики
- •1.4.2. Концепція сховища податкових даних
- •Переваги і недоліки різних видів архітектури сд
- •1.4.3. Характеристика методів дейтамайнінгу
- •1.5. Методи візуалізації аналітики ризикоорієнтованого адміністрування податків
- •1.5.1. Проблематика візуалізації аналітики
- •1.5.2. Характеристика методів візуалізації
- •Вихідні дані для гістограми податкових надходжень
- •Статистичні характеристики податкових надходжень
- •Суми надходжень за видами податків
- •1.5.3. Візуалізація оцінки якості аналітичних моделей
- •Класи уваги платників податків (пп)
- •Матриця класифікації пп
- •Обсяг надходжень податку на доходи фізичних осіб для зру в 2011 р.
- •Список рекомендованих та використаних джерел
Суми надходжень за видами податків
-
Дата
Види податків
Інспектор
Сума податків поточного місяця, грн.
Кількість платників податків
Сума з початку року, грн.
01.02.12
ПДВ
Михайлів
3500
10
35 000
01.02.12
Прибутк. под. машина
Михайлів
6700
5
33 500
01.02.12
Прибутк. под. нерезид.
Михайлів
1200
3
3600
01.02.12
ПДВ
Каськів
3500
2
7000
01.02.12
Прибутк. под.
Каськів
6700
4
26 800
01.03.12
Прибутк. под. нерезид.
Каськів
1200
5
6000
02.02.12
Прибутк. под. держ. підпр.
Михайлів
3500
4
35 000
02.03.12
Акциз
Михайлів
1200
10
12 000
02.03.12
Екологічні податки
Михайлів
7800
2
15 600
......
......
......
......
......
......
Для наведеної таблиці навіть такий порівняно простий фрагмент демонструє проблеми, які виникають при візуалізації аналітики. Якщо надходження податків відображається одночасно за множиною найменувань податків за кількома інспекторами, то таблиця, що містить відповідну інформацію, неминуче виявиться надмірною: у ній багаторазово повторюватимуться одні й ті самі дані. І оперативно отримати потрібну інформацію з такої таблиці буде досить проблематично внаслідок величезної кількості первинних даних, що зберігаються в сховищі даних.
Стандартним можливим рішенням цієї ситуації є декомпозиція складної таблиці на сукупність більш простих, де розміщується інформація про надходження окремих податків та їх групування за інспекторами, інтервалами дат, кількістю платників податків і т. п. Але такий підхід дозволяє лише частково вирішити проблему. Справа в тому, що процес аналізу даних вимагає порівняння і зіставлення інформації (наприклад, за різними інспекторами або кількісними групами платників податків), обчислення різних показників і характеристик тощо. Якщо дані про надходження розподілено по кількох таблицях, кожна з яких складена для одного інспектора, то можуть виникнути проблеми, наприклад, у випадку пошуку сум надходжень, для яких є певні умови щодо кількості платників податків Для цього потрібно сформувати зведений звіт і виявити відповідні максимуми. З урахуванням великих обсягів даних кожна подібна операція може зайняти багато часу і вимагати відносно великих обчислювальних витрат або формулювання окремих запитів до БД.
Більшість із зазначених проблем та інші подібні, що виникають при обробці великих і складних масивів даних, створили передумови для появи методу інтерактивної візуалізації багатовимірних табличних даних — так званого OLAP-аналізу (в перекладі — інтерактивної аналітичної обробки даних — On-Line Analytical Processing).
У своїй основі OLAP покладено багатовимірне представлення даних (принцип багатовимірного зберігання даних докладно досліджувалося в роботах [12]), які можуть бути розділені на кількісні і якісні. Якісні дані представляють собою значення, виражені в категоріальної формі. Зазвичай це можуть бути, наприклад, найменування податків або їх груп, установ і організацій, назви регіонів, ПІБ податкових інспекторів тощо. З кожним об’єктом пов’язані ознаки, що кількісно описують його. Для податків це можуть бути суми, сплачені до державного та зведеного бюджетів, відповідні суми платежів щодо бюджетної класифікації, мобілізовані або сплачені суми податків і зборів; для відповідних регіонів, з відстрочених (розстрочених) платежів тощо.
Відповідно до змісту БД з кожним якісним значенням аналізованої предметної області (у нашому випадку — податкових надходжень) пов’язані один або кілька кількісних показників. У межах багатовимірної моделі дані, що якісно описують досліджуваний процес, називаються вимірами. Вимірами можуть бути податок (збір чи обов’язковий платіж), бюджет, регіон, платники податків, організації і підприємства (за видами) та ін. До вимірів належать і дати (роки, місяці, дні та ін.). Дані, що кількісно описують процес або об’єкт, називаються фактами. Приклади фактів для податкової сфери: Кількість платників податків, суми різноманітних податкових надходжень або платежів (за даними особових рахунків, нарахованих, мобілізованих, податкових боргів, бюджетних втрат, додаткових нарахувань, за актами перевірок та ін.). Тобто з кожним виміром пов’язані один або кілька фактів, що характеризують виміри кількісно.
За змістом виміри несуть смислове навантаження, а факти — кількісне. Щоб достовірно відокремити вимірювання від фактів, досить зіставити значення з питанням. Виміри дозволяють відповісти на запитання: «Що?» (Податок), «Хто?» (Платник податків), «Коли?» (Дата) і «Де?» (Регіон). Факти відповідають на єдине питання — «Скільки?» чи «В якій сумі?». Кожен вимір містить обмежений набір значень (категорій).
Зауваження. Сама по собі абревіатура OLAP також зустрічається в теорії сховищ даних, де вона вживається в контексті моделей зберігання даних (багатовимірної, реляційної). У контексті аналітичних технологій під OLAP розуміють сукупність методів візуалізації, при цьому модель зберігання даних особливого значення не має.
У процесі побудови OLAP-куба для візуалізації користувач повинен зазначити системі такі параметри:
набір вимірів і фактів, які необхідно включати до куба;
перелік методів агрегації значень фактів та їх характеристики.
Механізм візуалізації OLAP-куба здійснюється за допомогою спеціального виду таблиць, які будуються на основі зрізів OLAP-куба з необхідною користувачеві інформацією. Зрізи, у свою чергу, є результатом виконання відповідних запитів (зазвичай, у вигляді SQL-запитів до бази даних).
У процесі побудови зрізів користувач за допомогою миші та клавіатури маніпулює заголовками вимірювань, добиваючись найбільш інформативного представлення даних у кубі. Залежно від положення заголовків вимірювань у таблиці автоматично формується запит до бази чи сховища даних. Запит отримує дані з бази або сховища, після чого OLAP-ядро системи візуалізує їх у вигляді таблиць з функціями їх інтерактивної згортки-розгортки.
Стандартизований процес побудови OLAP-куба може бути представлений за допомогою схеми (рис. 9) взаємодії користувача з БД.
Рис 9. Процес побудови OLAP-куба
На рис. 10 наведено візуалізацію даних за допомогою OLAP-куба, де представлено приклад інформації про оцінку ризиків неповернення податкових кредитів у розрізі року і відповідного тижня з поділом за видами тривалості податкових кредитів. Ці відомості можуть виявитися корисними при визначенні найбільш імовірних сум неповернених податкових кредитів (приклад умовний).
Багатовимірну інформацію у вигляді куба (рис. 10) представлено для кожного відповідного тижня (W01, W02, W03), де вказані всі суми податкових кредитів, які були надані в межах цього періоду, із зазначенням їх сум відповідно до тривалості податкових кредитів і відповідної загальної суми. Візуальний аналіз дозволяє побачити, які найбільш очікувані суми повернення і неповернення податкових кредитів у межах трьох контрольованих тижнів.
У разі необхідності для більш детального аналізу може представляти інтерес розподіл податкових кредитів за галузями. Щоб перетворити куб у відповідний вигляд, досить додати ще один вимір — Галузь підприємства, як показано на рис. 11 у вигляді третього горизонтального виміру.
Рис. 10. Представлення OLAP-куба з оцінками ризику неповернення податкових кредитів
Наведений приклад демонструє, що OLAP-куб можна використовувати не тільки як метод візуалізації, але і як засіб оперативного формування звітів та подання інформації в потрібному розрізі (так звана аналітична звітність) та з використанням можливостей додавання вимірів і фактів.
Рис. 11. Приклад OLAP-куба з доданим виміром «Галузь підприємства»
Під час проведення аналітичних дій з інформацією найбільший інтерес OLAP-куб представляє як засіб візуального аналізу даних, пошуку особливостей і закономірностей у даних. При цьому існує в основному два підходи, а саме:
у процесі оцінки ризиків податкових кредитів аналітик може поставити кілька запитань: «Підприємства якої галузі мають найбільший податковий кредит?» чи «Коли на перспективу можна очікувати найбільші суми неповернення податкового кредиту?» і т. п. Потім за допомогою маніпуляцій із заголовками вимірювань обирається таке уявлення куба, яке дозволяє відповісти на поставлені запитання, наприклад, за допомогою аналізу відповідних проміжних сум податкових кредитів;
інша можливість вирішення аналітичних проблем — послідовно перебирати можливі варіанти представлення даних, які забезпечує куб, і з їх допомогою зіставляти дані, виявляти закономірності і зв’язки між елементами даних, формулювати гіпотези, перевіряти їх, змінюючи ракурси і розрізи аналітичних даних.
Адекватне та узгоджене використання OLAP-аналізу і робота з кубом часом дозволяють отримати результати навіть у тих випадках, коли методи дейтамайнінгу виявляються малоефективними (наприклад, через нестачу або низьку якість первинних даних на етапах їх попереднього аналізу).
Можливості маніпуляції з вимірами. В аналізі багатовимірної інформації, коли необхідно зробити процес добування інформації з куба більш гнучким і ефективним, в OLAP-системах зазвичай передбачається набір операцій з вимірами, що дозволяють отримати максимум можливих представлень даних на основі первинних джерел інформації.
Найчастіше до таких операцій належать процедури заміни, додавання і видалення вимірів, приховування, зміни порядку, відбору значень вимірів і транспонування. Доцільно розглянути їх більш деталізовано, оскільки їх використання значно розширює діапазон аналітичних процедур.
Процедури заміни і додавання вимірів. У процесах аналітичного маніпулювання інформацією можна будь-які виміри куба замінити іншими, якщо вони є присутніми у вихідній множині даних. Наприклад, якщо раніше аналітиків цікавила інформація про галузь підприємства в розрізі кожного податкового кредиту, а пізніше — в розрізі спеціалізації, характерної для підприємства, то можна замінити вимір Галузь підприємства виміром Спеціалізація, за необхідності в куб можуть вбудовуватися нові виміри з відповідними фактами в кількісному чи якісному розрізах.
Можливості видалення вимірів. Досить частими є випадки, коли в процесі роботи з кубом певний вимір втрачає інформативність і його потрібно виключити з куба. Залишати в кубі зайві виміри небажано: чим більше розмірність куба, тим складніше для розуміння й осмислення наведена в ньому інформація. Крім того, чим більше вимірів у кубі, тим швидше зростають часові та обчислювальні витрати на його опрацювання в аналітичних процесах.
Функції приховування вимірів. Стандартною є ситуація, коли користувач може обирати в кубі кілька найбільш інформативних представлень і працювати з ними. Але досить часто виникає необхідність, коли будь-який вимір для одного з уявлень є зайвим, тобто не несе корисної інформації в даний час, а тільки ускладнює візуальне сприйняття, в той час як для інших уявлень він потрібний. Тимчасово видаляти, а потім вбудовувати цей вимір у куб непрактично і неефективно, оскільки перебудова куба при великому обсязі даних може зайняти багато часу. Тому найчастіше в інструментальних засобах аналітики передбачається можливість тимчасового приховування вимірів без видалення їх з куба. Надалі у разі необхідності можна повторно відобразити прихований вимір без перебудови всього куба для реалізації подальших аналітичних операцій.
Можливості зміни порядку (послідовності) вимірів. Досить важливою при роботі з множиною вимірів у кубі є можливість обирати та змінювати порядок їх відображення, що також впливає на вигляд результатної аналітичної інформації при маніпулюванні з кубом.
Процедури відбору значень вимірів. У ході аналітичних зіставлень також часто виникає необхідність у відображенні всіх можливих значень виміру (наприклад, різних дат розрахунку чи звітності, видів і категорій податків тощо). У цьому випадку, щоб не засмічувати куб непотрібними даними, зайві значення вимірювань можуть бути тимчасово приховані, а за необхідності — відображені повторно. При цьому обирати відображені значення вимірів можна або безпосередньо зі списку, або за допомогою фільтрації із застосуванням ускладнених умов, які можна формулювати за допомогою виразів і констант.
Функції транспонування. У процесі роботи з кубом може виникнути ситуація, коли значення вимірів, які відображаються в стовпчиках, зручніше відображати в рядках або навпаки, то відповідне перетворення можна досить легко забезпечити за допомогою функцій транспонування. Приклад транспонування наведено на рис. 12: вгорі розташовано вихідне уявлення куба, а внизу — результат застосування до нього операції транспонування із заміною стовпчиків (дат) на рядки (податки).
Рис. 12. Приклад транспонування OLAP-куба
Можливості деталізації. У процесі роботи з багатовимірною інформацією за допомогою OLAP-кубів можливо застосування ще однієї специфічної операції, яка називається деталізацією (англ. «drill down» — в перекладі означає «проникнення», «свердлення» або «більш детальне дослідження»). Її необхідність викликана тим, що в більшості випадків значення в кубі є агрегованими, наприклад, в межах деякої дати або інтервалу дат. Водночас користувачів можуть цікавити й атомарні (тобто деталізовані) значення, на основі яких були отримані агреговані показники.
За змістом операція деталізації полягає у відображенні набору записів на основі вибірки даних, у результаті агрегування яких було отримано відповідне значення OLAP-куба. На рис. 13 представлено фрагмент куба, де одна із його комірок (сума податків 1101 за 2011 рік) розкривається у вигляді побудованої нижче на основі цієї вибірки таблиці. Дані про надходження податкових сум агреговані за датами і представлені загальною сумою за 2011 рік у кубі, при цьому окремі місячні значення, що складають цю загальну суму в кубі не відображаються. Іншими словами, із куба можна взяти тільки сумарну інформацію про податкові надходження за кодом бюджетної класифікації 1101 за 2011 рік.
Можна припустити ситуацію, що в процесі аналітичного зіставлення виникла необхідність переглянути окремі (місячні) суми податкових надходжень, які складають сумарне значення, наведене в кубі. У подальшому поглиблення може тривати до первинних даних.
Піктограми «+»
і «-» для деталізації
Рис. 13. Представлення деталізованих значень фактів в кубі в системі «Дедуктор»
Стандартним результатом застосування деталізації відповідної комірки куба є таблиця, в якій наведено записи, що містять дані, пов’язані з цією агрегованою інформацією (рис. 13). Іншим варіантом деталізації є послідовне ієрархічне розгортання і згортання вимірювань, які задаються на етапах проектування і супроводження моделі сховища даних і управляються через піктограми «+» чи «-»,відображені на рис. 13 на прикладі аналітичної системи «Дедуктор».
