О концепции создания системы агрегации и обработки данных пользователей социальных cетей

Актуальным представляется разработка общей концепции и реализация системы хранения и анализа данных практико-ориентированной направленности, одной из подсистем которой является аналитическая система накопления и анализа данных пользователей социальных сетей. Данные, которые пользователи оставляют о себе в социальных сетях, могут быть полезны при решении различных задач. В предлагаемой статье описывается предметная область, связанная со сбором и хранением данных пользователей социальных сетей. Исходя из предметной области, предлагается общая архитектура универсальной системы сбора и хранения данных, которая базируется на клиент-серверной архитектуре. Для серверной части системы приводится фрагмент модели данных, которая связана с накоплением данных из внешних источников. Описывается каркас архитектуры системы. Разрабатываемая универсальная система базируется на информационной технологии складирования данных и для нее характерны следующие аспекты: расширяемая комплексная предметная область, интегрированность хранимых данных, которые поступают из различных источников, инвариантность хранимых данных во времени с обязательными метками, относительно высокая стабильность данных, поиск необходимых компромиссов в избыточности данных, модульность отдельных блоков системы, гибкость и расширяемость архитектуры, высокие требования к безопасности хранимых данных.

Предлагаемая система организовывает процесс сбора данных и заполнения базы из сторонних источников. Для этого в системе разработан модуль для сбора и преобразования информации из Интернет-источников и отправки их в базу данных. Система предназначена для различных пользователей, заинтересованных в анализе данных пользователей социальных сетей.

1. Рудикова, Л. В. Об общей архитектуре универсальной системы хранения и обработки данных практико-ориентированной направленности / Л.В. Рудикова / /Системный анализ и прикладная информатика. – Мн.: БНТУ, 2017. – № 2. – С. 12–19.

2. Рудикова, Л. В. О моделировании данных предметных-областей практико-ориентированной направленности для универсальной системы складирования и обработки данных/ Л. В. Рудикова, Е. В. Жавнерко // Системный анализ и прикладная информатика. – Мн.: БНТУ, 2017. – №3. – С. 19–26.

3. Belyi, A. Global multi-layer network of human mobility //Alexander Belyi, Iva Bojic, Stanislav Sobolevsky, Izabela Sitko, Bartosz Hawelka, Lada Rudikova, Alexander Kurbatski, Carlo Ratti // International Journal of Geographical Information Science. – 2017. – Volume 31. – P. 1381–1402.

4. Белый, А. Б. Данные сервиса Flickr и структура сообществ стран // А. Б. Белый, Л. В. Рудикова, С. Л. Соболевский, А. Н. Курбацкий // Международный конгресс п оинформатике: информационные системы и технологии = International Congress on Computer Sciens : Information Systems and Technologies : материалы Междунар. науч. конгресса, Минск, 24 окт.–27 нояб. 2016 г. / БГУ; редкол.: С.В. Абламейко (отв. ред.) [и др.]. – Минск, 2016. – С. 851–855.

5. Amini A. The impact of social segregation on human mobility in developing and industrialized regions / Amini A, Kung K, Kang C, Sobolevsky S, and Ratti C // EPJ Data Science. – 2014. – 3(1):6.

6. Pei T. A new insight into land use classification based on aggregated mobile phone data / Pei T., Sobolevsky S., Ratti C., Shaw S. L., Li T., Zhou, C. // International Journal of Geographical Information Science. – 2014. – 28(9). – P. 1988–2007.

7. Santi P. Quantifying the benefits of vehicle pooling with shareability networks / Santi P., Resta G., Szell M., Sobolevsky S., Strogatz S.H., Ratti C. // Proceedings of the National Academy of Sciences. – 2014. – 111(37). – Рp. 13290–13294.

8. Kung K. Exploring universal patterns in human home/work commuting from mobile phone data / Kung K., Greco K., Sobolevsky S., Ratti C. // PLoS ONE. – 2014. – 9(6):e96180.

9. Hashemian B. Socioeconomic characterization of regions through the lens of individual financial transactions / Hashemian B., Massaro E., Bojic I., Arias J. M., Sobolevsky S., Ratti C. // PloS one – 2017. – 12(11), e0187031.

10. Bojic I. Scaling of foreign attractiveness for countries and states / Bojic I., Belyi, A., Ratt, C., Sobolevsky S. // Applied Geography. – 2016 – 73. – P. 47–52.

11. Sabou M. Visualizing Statistical Linked Knowledge Sources for Decision Support / Sabou M., Hubmann-Haidvogel A., Fischl D., Scharl A. // SemanticWeb. – 2016. – 1. – P. 1–25.

12. Li Q. VisTravel: visualizing tourism network opinion from the user generated content / Li Q., Wu Y., Wang S., Lin M., Feng X., Wang H. // J. Vis. – 2016. – 19. – P. 489–502.

13. Рудикова, Л. В. О разработке системы для поддержки лазерной экспрессной экспертизы. Монография / Л. В. Рудикова – LAP LAMBERT Academic Publishing, 2014. – 134 с.

14. Барсегян А. Методы и модели анализа данных: OLAP и DataMining / A. А. Баргесян, M. С. Куприянов, В. В. Степаненко, И. И. Холод. – СПб: БХВ-Петербург, 2009. – 336 с.: ил.

15. Паклин, Н. Бизнес-аналитика. От данных к знаниям / Н. Паклин, В. Орешков. – СПб.: Питер, 2013. – 704 с.

16. Информационный центр AfterShock [Электронный ресурс]. – Режим доступа: https://aftershock.news/?q=node/479258&full. – Дата доступа: [14.05.2018].

17. Батура, Т. В. Методы анализа данных из социальных сетей / Т.В. Батура, Н. С. Копылова, Ф. А. Мурзин, А. В. Проскуряков // Вестник НГУ. Серия: Информационные технологии. – 2013. – Т. 11, вып. 3. – С. 5–21.

18. Среда ETL (извлечение, преобразование и загрузка) Rational Insight [Электронный ресурс]. – Режим доступа: https://www.ibm.com/support/knowledgecenter/ru/SSRL5J_1.1.1/com.ibm.rational.raer.overview.doc/topics/c_arch_etl_process.html . – Дата доступа: [14.09.2018].

19. GDPR — новые правила обработки персональных данных в Европе для международного IT-рынка [Электронный ресурс]. – Режим доступа: https://habr.com/company/digitalrightscenter/blog/344064/. – Дата доступа: [17.05.2018].

20. Волушкова В.Л, Структура данных для хранения информации в социальных сетях / В. Л Волушкова, А. Ю. Волушкова // Образовательные ресурсы и технологии – 2014. – 2(5). – С. 153-157.