Аналіз предметної області

Вступ

У даному документі представлено такі розділи:

• Основні визначення термінів та скорочень (які використовуються при аналізі предметної області);
• Опис основних підходів, моделей та способів вирішення завдання;
• Опис існуючих програм, інформаційних систем, сервісів (призначених для вирішення завдання), а також порівняльна характеристика властивостей FURPS;
• Висновки щодо доцільності розробки нової або модифікації існуючої інформаційної системи, необхідності та способів інтеграції з системами(сервісами) третіх сторін;
• Повний список всіх документів, які згадуються.

Основні визначення

API (Application Programming Interface) (opens new window) - це набір правил та протоколів, які дозволяють різним програмам спілкуватися між собою.

JSON (JavaScript Object Notation) (opens new window) - це легкий формат обміну даними, який часто використовується для передачі структурованих даних між комп'ютерами.

XML (Extensible Markup Language) (opens new window) - це мова розмітки, яка використовується для структурування та обміну даними між різними системами.

CSV (Comma-Separated Values) (opens new window) - це текстовий формат для зберігання табличних даних, де значення розділені комами.

RDF (Resource Description Framework) (opens new window) - це модель даних, що використовується для опису ресурсів у веб-середовищі та створення семантичних зв'язків між ними.

CKAN (Comprehensive Knowledge Archive Network) (opens new window) - це відкрите програмне забезпечення для створення та управління репозиторіями відкритих даних.

Data Governance (opens new window) - це набір процесів та правил для управління даними, включаючи їх якість, безпеку та конфіденційність.

Data Interoperability (opens new window) - це здатність різних систем та додатків обмінюватися даними та працювати разом.

Data Silo (opens new window) - це ізольоване сховище даних, яке не взаємодіє з іншими системами або джерелами даних.

Відкриті дані (Open Data) (opens new window) - це дані, які доступні для загального використання та розповсюдження, зазвичай без обмежень чи оплати.

База даних (Database) (opens new window) - це організована колекція даних, яка зберігається та обробляється для ефективного доступу та управління.

SQL (Structured Query Language) (opens new window) - це стандартна мова запитів, яка використовується для взаємодії з реляційними базами даних.

(Модель баз даних (Data Model) (opens new window) - це абстрактне представлення структури та організації даних в базі даних. Вона визначає, як дані зберігаються оброблюються та взаємодіють один з одним. Модель бази даних встановлює правила і специфікації для створення, зміни та запиту даних у базі даних. Існує декілька видів моделей баз даних:

1. Мережева модель - сукупність об'єктів, з безліччю зв'язків між ними.
2. Ієрархічна модель - сукупність об'єктів різного рівня, причому один з них є головним, інші - підлеглими.
3. Реляційна модель - містять інформацію, організовану у вигляді прямокутних таблиць.

Підходи та способи вирішення завдання

Системи відкритих даних у світі

Системи відкритих даних (Open Data) є важливою складовою сучасної інформаційної інфраструктури у всьому світі. Вони передбачають надання доступу до різноманітних видів даних громадськості без обмежень і безкоштовно. В багатьох країнах світу розвиток відкритих державних даних підтримується на державному рівні вже досить давно. І цей процес включає створення відповідної законодавчої бази, виконавчих органів та інформаційних ресурсів.

Держави-члени ЄС, США, інші провідні держави світу почали активно впроваджувати політику відкритих даних як частину політики електронного урядування.

США

У США цілеспрямований розвиток області відкритих державних даних почався 2009 року зі створення ресурсу (data.gov (opens new window)) та оприлюднення Директиви Відкритого Уряду США. Своєю чергою, ці ініціативи були продовженням політики розбудови електронного уряду США, що впроваджується з 2002 року.

Європейський союз

В ЄС ухвалено Директиву про відкриті дані та вторинне використання інформації у державному секторі № 2019/1024 від 20 червня 2019 року. Держави-члени ЄС мають імплементувати її до 17 липня 2021 року.

В Європі, разом із національними, існує багато загальноєвропейських програм підтримки та розвитку відкритих даних та відповідних ресурсів, що фінансуються за рахунок коштів ЄС. Тут можна згадати проєкти DOPA, що розвивається в рамках Сьомої рамкової програми Єврокомісії (FP7).

Системи відкритих даних в Україні

Системи відкритих даних в Україні є важливим інструментом для сприяння відкритості, прозорості та доступності інформації уряду та публічних організацій для громадськості та бізнесу. Ця ініціатива сприяє покращенню демократії, створює умови для розвитку інновацій та сприяє економічному зростанню країни. Ось деякі ключові аспекти систем відкритих даних в Україні:

• Правова база: В Україні існує законодавство, яке регулює питання відкритих даних. Зокрема, Закон України "Про доступ до публічної інформації" визначає права та обов'язки установ та органів, щодо надання інформації у відкритому форматі.

• Портал відкритих даних: Уряд України створив спеціальний портал відкритих даних (data.gov.ua (opens new window)), де публікується велика кількість даних з різних галузей, таких як геодезія, соціальні послуги, бюджет і фінанси, охорона здоров'я і багато інших. Цей портал надає доступ до важливих наборів даних, які можуть бути використані для досліджень, розробки додатків та рішень у різних сферах життя.

• Активна громадська участь: Системи відкритих даних в Україні сприяють активній громадській участі у процесі прийняття рішень та контролю за діяльністю уряду. Громадські організації та активісти використовують відкриті дані для моніторингу, аналізу та висунення пропозицій щодо політичних та економічних рішень.

• Розвиток бізнесу та інновацій: Відкриті дані надають можливості для розвитку нових продуктів і послуг. Багато стартапів та інноваційних компаній в Україні використовують відкриті дані для створення нових рішень і покращення існуючих.

• Міжнародна співпраця: Україна активно співпрацює з міжнародними організаціями, такими як ООН та Європейський союз, у питаннях розвитку систем відкритих даних. Це сприяє обміну досвідом та впровадженню найкращих практик.

• Захист особистих даних: Важливим аспектом роботи з відкритими даними є забезпечення захисту особистої інформації та дотримання приватності громадян. Уряд України зобов'язаний дотримуватися відповідних стандартів та правил в цьому питанні.

Системи відкритих даних в Україні є важливим інструментом для створення більш відкритого, прозорого та інноваційного суспільства, де громадяни та бізнес мають доступ до важливої інформації та можуть активно впливати на прийняття рішень.

Життєвий цикл даних

Життєвий цикл даних - це процес, що описує всі етапи створення, зберігання, обробки, передачі та видалення даних в організації або системі. Цей цикл включає в себе кілька основних етапів, які можна розподілити на наступні кроки:

1. Збір даних: Перший етап полягає в зборі інформації з різних джерел. Це може включати в себе опитування, сенсорні дані, введення користувачів, завантаження файлів та інші способи збору даних.

2. Зберігання даних: Зібрані дані потрібно зберегти в безпечному місці, щоб вони не втратилися і були доступні для подальшого використання. Зазвичай це включає в себе створення баз даних або використання сховищ даних.

3. Обробка даних: Обробка даних включає в себе аналіз, фільтрацію, агрегацію та перетворення даних в корисну інформацію. Цей етап може включати в себе використання алгоритмів, статистичних методів і інших інструментів обробки даних.

4. Забезпечення доступу: Після обробки дані повинні бути доступні користувачам або системам, які потребують ці дані. Це може включати в себе створення інтерфейсів для запитів до даних або автоматичну передачу даних в інші системи.

5. Захист даних: Забезпечення безпеки даних дуже важливо. Це включає в себе захист від несанкціонованого доступу, збереження інформації в зашифрованому вигляді, а також резервне копіювання даних для запобігання втраті.

6. Видалення даних: Дані, які більше не потрібні або які не використовуються, повинні бути видалені або анонімізовані відповідно до вимог законодавства про захист даних.

7. Моніторинг та підтримка: Життєвий цикл даних є постійним процесом, і його слід постійно вдосконалювати та моніторити. Забезпечення якості даних, виявлення та виправлення помилок, а також аналіз ефективності всього процесу є важливою частиною цього етапу.

Життєвий цикл даних може бути представлений як постійний цикл, оскільки дані надходять, обробляються і зберігаються впродовж часу. Ефективне управління цим циклом допомагає організаціям використовувати дані для прийняття рішень, підвищення продуктивності та забезпечення дотримання вимог до захисту даних.

Модель даних DDF

Модель даних DDF застосовується для того, щоб визначити набори даних (datasets). Набір даних (dataset) - це скелет узгоджених та зв'язаних між собою даних які складаються з окремих елементів, але якими можно керувати як однією одиницею даних. Кожен набір даних містить в собі 3 колекцій даних: Концепти (Concepts), Метадані (Metadata), Датапоінти (Datapoints).

• Датапоінти містять в собі багатоаспектні дані. Наприклад: Чоловіче населення Німеччини у 2015 році становило 293956.
• Метадані містять додаткову інформацію. Наприклад: Джерело усіх даних про населення у 2015 році взято з центрального бюро статистики та має точність в 96%.
• Концепти зберігають в собі інформацію про змінні в наборі даних (тобто про заголовки стовпців у табулярному форматі) Наприклад: Населення вимірюється у кількості людей та повинно будти більше нуля.

Набір даних мусить мати Концепти та може мати Датапоінти та Метадані.

Кожен елемент цих колекцій складається з пар "ключ-значення" (key-value). Кожна така пара є унікальною по всьому набору даних.

Функціональні можливості DDF

• Простий спосіб збереження даних в DataPoints
• Подача інформації щодо назв стовпців в Concepts
• Визначення даних одного виміру в Entities

Порівняльна характеристика існуючих засобів вирішення завдання

Gapminder

Ця інформаційна платформа допомагає вивчати та розуміти, як країни змінюються з часом. Вона збирає статистику з різних частин світу і дозволяє нам створювати графіки та діаграми, щоб показати ці зміни.

Це цікаво тому, що ми можемо побачити, як розвиваються різні країни, як їхні економіки зростають або зменшуються, і які проблеми вони стикаються. Наприклад, ми можемо дізнатися, як змінюється середнє тривале життя, кількість дітей у сім'ях, або дохід на душу населення в різних країнах з плином часу.

• Спеціалізація: Глобальні статистичні дані та інформація про розвиток світу.
• Джерело даних: Головним джерелом є світові організації, такі як ООН, Світовий банк, та інші міжнародні інституції.
• Функціональність: Візуалізація та аналіз глобальних статистичних даних за допомогою інтерактивних графіків та таблиць.
• Особливості: Доступ до даних про розвиток світу, можливість порівнювати показники різних країн та років.

The World Bank DataBank

Ця інформаційна система має дуже багато різних даних про різні країни світу. Вона містить інформацію про гроші, людей, які живуть у цих країнах, їхній вік, кількість дітей і багато іншого.

Це цікаво, оскільки ви можете вивчати дані з різних країн та порівнювати їх між собою. Це допомагає людям, які вивчають економіку та суспільство, зрозуміти, як країни розвиваються та як вони впливають одна на одну. Така інформація корисна для студентів, вчителів і всіх, хто цікавиться світовими подіями.

• Спеціалізація: Економічні та соціальні дані, зокрема дані про світову бідність, розвиток і економічну статистику.
• Джерело даних: Світовий банк та інші міжнародні фінансові та економічні організації.
• Функціональність: Аналіз та візуалізація економічних і соціальних даних, створення звітів та діаграм.
• Особливості: Можливість завантажувати дані для подальшого аналізу, статистичні звіти та інтерактивні інструменти.

Google Public Data Explorer

Дозволяє легко досліджувати, візуалізувати та передавати великі набори даних, що представляють суспільний інтерес. Оскільки діаграми та карти оживляються з часом, зміни у світі стають легшими для розуміння. Вам не обов’язково бути експертом із даних, щоб переміщатися між різними представленнями, робити власні порівняння та ділитися своїми висновками.

Студенти, журналісти, політики та всі інші можуть грати з інструментом для створення візуалізацій загальнодоступних даних, посилань на них або вставлення на власні веб-сторінки. Вбудовані діаграми та посилання можуть оновлюватися автоматично, щоб ви завжди могли ділитися останніми доступними даними.

• Спеціалізація: Візуалізація різних видів даних, включаючи економічні, соціальні, наукові та географічні дані.
• Джерело даних: Різні джерела, включаючи публічні джерела даних та джерела, які надають API.
• Функціональність: Створення інтерактивних візуалізацій, можливість додавання власних даних для аналізу.
• Особливості: Широкий спектр візуалізаційних інструментів, можливість робити дані доступними для громадськості.

Statistics Poland (Центральне статистичне управління Польщі)

Завдяки такій організації ми можемо дізнатися багато цікавих речей про Польщу, як, наприклад, скільки людей живе в різних містах, які галузі економіки розвиваються найшвидше, або скільки студентів приїхали вчитись із-за кордону (див.статистику нижче).

Ця інформація корисна для того, щоб політики та дослідники могли приймати рішення на основі об'єктивних фактів та аналізу ситуації в країні. Це також допомагає громадськості краще розуміти свою країну і вносити свій внесок у соціальний та економічний розвиток Польщі.

• Спеціалізація: Статистика та дані про Польщу та її регіони.
• Джерело даних: Дані, зібрані і оброблені національним статистичним агентством Польщі.
• Функціональність: Перегляд, пошук та аналіз статистичних даних про Польщу.
• Особливості: Висока якість та актуальність статистичних даних про країну.

Eurostat

Ми можемо дізнатися багато про соціальні, економічні та демографічні показники країн ЄС. Ця інформація допомагає країнам-членам ЄС робити рішення, які стосуються економіки, трудового ринку, здоров'я та інших сфер.

Eurostat також надає можливість порівнювати статистику між різними країнами ЄС і визначати загальні тенденції у Європейському Союзі. Ця інформація є важливою для розвитку та співпраці між країнами ЄС і допомагає вирішувати різні проблеми, які виникають в цьому регіоні.

Ось, до прикладу, стандартний аналіз, який можна там побачити: (Рівень безробіття в ЄС та єврозоні в грудні 2021 року)

• Спеціалізація Eurostat: Статистика Європейського Союзу та європейських країн.
• Джерело даних: Дані, зібрані та надані національними статистичними органами країн-членів ЄС.
• Функціональність: Аналіз та візуалізація статистичних даних ЄС та європейських країн.
• Особливості: Спеціалізована платформа для аналізу статистики ЄС та її порівняння.

Dataverse

Створена для дослідників та наукових установ, які хочуть зберігати та робити доступними свої дані для громадськості та інших вчених.

• Спеціалізація: Управління та спільний доступ до наукових даних та досліджень.
• Джерело даних: Дослідницькі дані та академічні дослідження.
• Функціональність: Зберігання, каталогізація та спільний доступ до наукових даних та досліджень.
• Особливості: Можливість створення дослідницьких профілів та завантаження даних для подальшого використання.

Платформа	Спеціалізація	Джерело даних	Функціональність	Особливості
Gapminder	Глобальні статистичні дані	Світові організації	Візуалізація та аналіз глобальних статистичних даних	Доступ до даних про розвиток світу
The World Bank DataBank	Економічні та соціальні дані	Світовий банк і інші організації	Аналіз та візуалізація економічних і соціальних даних, створення звітів та діаграм	Можливість завантажувати дані для аналізу
Google Public Data Explorer	Різноманітні дані	Різні джерела та API	Створення інтерактивних візуалізацій, можливість додавання власних даних	Широкий спектр візуалізаційних інструментів
Statistics Poland (Центральне статистичне управління Польщі)	Статистика та дані про Польщу	Національне статистичне агентство Польщі	Перегляд, пошук та аналіз статистичних даних про Польщу	Висока якість та актуальність статистичних даних
Eurostat	Статистика ЄС та європейських країн	Національні статистичні органи	Аналіз та візуалізація статистичних даних ЄС та європейських країн	Спеціалізована платформа для аналізу статистики
Dataverse	Управління науковими даними та дослідженнями	Дослідницькі дані та академічні дослідження	Зберігання, каталогізація та спільний доступ до наукових даних та досліджень	Можливість створення дослідницьких профілів та завантаження даних

Висновки

1. Необхідність розробки нової інформаційної системи або модифікації існуючої:

   • Попередні дані свідчать про важливість обробки та аналізу інформації з різних джерел для прийняття рішень.
   • Існуюча система може бути застарілою або не забезпечувати необхідний рівень функціональності.
   • Зростаючі потреби в зборі, аналізі та візуалізації даних вимагають сучасного інструментарію.

2. Інтеграція з системами (сервісами) третіх сторін:

   • Інтеграція з існуючими інформаційними системами і сервісами третіх сторін може поліпшити доступність та якість даних.
   • Залежно від потреб користувачів, інтеграція може включати зовнішні джерела даних, такі як бази даних, API або інші веб-сервіси.
   • Інтеграція дозволить автоматизувати процес збору даних та забезпечити актуальність інформації.

3. Способи інтеграції:

   • Розробка API для обміну даними з іншими системами може бути ефективним способом інтеграції.
   • Використання стандартів обміну даними (наприклад, REST або SOAP) спрощує інтеграцію з різними джерелами.
   • Важливо обрати методику інтеграції, яка забезпечує безпеку та конфіденційність даних.

4. Загальний висновок:

   На основі попередніх даних можна зробити висновок, що розробка нової інформаційної системи або модифікація існуючої є доцільною, оскільки вона дозволить ефективно обробляти та аналізувати дані з різних джерел. Інтеграція з системами третіх сторін покращить якість та доступність інформації. Важливо ретельно розглянути способи інтеграції та забезпечити безпеку даних під час їх обміну.

Посилання

Gapminder (opens new window)
TheWorld Bank DataBank (opens new window)
Google Support (opens new window)
Google Public Data Explorer (opens new window)
Statistics Poland (opens new window)
Eurostat (opens new window)
Dataverse (opens new window)