sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2018-4-65-72sapi-238Research ArticleОбработка информации и принятие решенийData processing and decision–makingО концепции создания системы агрегации и обработки данных пользователей социальных cетейAbout a concept of creating a social network users information aggregation and data processing systemРудиковаЛ. B.RudikovaL. V.

Рудикова Лада Владимировна – зав. кафедрой современных технологий программирования, кандидат физико-математических наук

ул. Ожешко. 22, 212, Гродно, 230023

rudikowa@gmail.comМысливецО. Р.MyslivecO. R.

Мысливец Олег Романович – преподаватель кафедры современных технологий программирования, магистр технических наук

ул. Ожешко. 22, 212, Гродно, 230023

myslivec.oleg@yandex.ruГродненский государственный университет имени Янки КупалыРоссияYanka Kupala State University of GrodnoRussian Federation201806022019046572Copyright © Рудикова Л.B., Мысливец О.Р., 20192019Рудикова Л.B., Мысливец О.Р.Rudikova L.V., Myslivec O.R.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/238

Актуальным представляется разработка общей концепции и реализация системы хранения и анализа данных практико-ориентированной направленности, одной из подсистем которой является аналитическая система накопления и анализа данных пользователей социальных сетей. Данные, которые пользователи оставляют о себе в социальных сетях, могут быть полезны при решении различных задач. В предлагаемой статье описывается предметная область, связанная со сбором и хранением данных пользователей социальных сетей. Исходя из предметной области, предлагается общая архитектура универсальной системы сбора и хранения данных, которая базируется на клиент-серверной архитектуре. Для серверной части системы приводится фрагмент модели данных, которая связана с накоплением данных из внешних источников. Описывается каркас архитектуры системы. Разрабатываемая универсальная система базируется на информационной технологии складирования данных и для нее характерны следующие аспекты: расширяемая комплексная предметная область, интегрированность хранимых данных, которые поступают из различных источников, инвариантность хранимых данных во времени с обязательными метками, относительно высокая стабильность данных, поиск необходимых компромиссов в избыточности данных, модульность отдельных блоков системы, гибкость и расширяемость архитектуры, высокие требования к безопасности хранимых данных.

Предлагаемая система организовывает процесс сбора данных и заполнения базы из сторонних источников. Для этого в системе разработан модуль для сбора и преобразования информации из Интернет-источников и отправки их в базу данных. Система предназначена для различных пользователей, заинтересованных в анализе данных пользователей социальных сетей.

 

The development of a general concept and implementation of a data-storage and analysis system for practice oriented data, one of the subsystems of which is an analytical system for the accumulation and analysis of data from users of social networks, is topical. The development of a general concept and implementation of a data-storage and analysis system for practice oriented data, one of the subsystems of which is an analytical system for the accumulation and analysis of data from users of social networks, is topical. Data that users leave about themselves in social networks can be useful in solving various tasks. The proposed article describes the subject area associated with the collection and storage of data from users of social networks. Proceeding from the subject area, the general architecture of the universal data collection and storage system is proposed, which is based on the client-server architecture. For the server side of the system, a fragment of the data model is provided, which is associated with the accumulation of data from external sources. The framework of the system architecture is described. The developed universal system is based on the information technology of data warehousing, and it has the following aspects: an expandable complex subject area, the integration of stored data that come from various sources, the invariance of stored data in time with mandatory labels, relatively high data stability, the search for necessary trade-off in data redundancy, modularity of individual system units, fl and extensibility of the architecture, high security requirements vulnerable data.

The proposed system organizes the process of collecting data and filling the database from external sources. To do this, the system has a module for collecting and converting information from third-party Internet sources and sending them to the database. The system is intended for various users interested in analyzing data of users of social networks.

OLTP-systemsocial networksdata modelgeneral architectureclient-serveranalysis subsystemETL-processReferencesРудикова, Л. В. Об общей архитектуре универсальной системы хранения и обработки данных практико-ориентированной направленности / Л.В. Рудикова / /Системный анализ и прикладная информатика. – Мн.: БНТУ, 2017. – № 2. – С. 12–19.Rudikova, L. V. On the general architecture of a universal data storage and processing system of practice-oriented orientation / Rudikova // System Analysis and Applied Informatics. – Mn.: BNTU, 2017. – № 2. – P. 12–19.Рудикова, Л. В. О моделировании данных предметных-областей практико-ориентированной направленности для универсальной системы складирования и обработки данных/ Л. В. Рудикова, Е. В. Жавнерко // Системный анализ и прикладная информатика. – Мн.: БНТУ, 2017. – №3. – С. 19–26.Rudikova, L. V. On modeling data of subject-areas of practice-oriented orientation for a universal system of data warehousing and data processing / L. V. Rudikova, E. V. Zhavnerko // System Analysis and Applied Informatics. – Mn.: BNTU, 2017. – № 3. – P. 19–26.Belyi, A. Global multi-layer network of human mobility //Alexander Belyi, Iva Bojic, Stanislav Sobolevsky, Izabela Sitko, Bartosz Hawelka, Lada Rudikova, Alexander Kurbatski, Carlo Ratti // International Journal of Geographical Information Science. – 2017. – Volume 31. – P. 1381–1402.Belyi, A. Global multi-layer network of human mobility /Alexander Belyi, Iva Bojic, Stanislav Sobolevsky, Izabela Sitko, Bartosz Hawelka, Lada Rudikova, Alexander Kurbatski, Carlo Ratti // International Journal of Geographical Information Science. – 2017. – Vol. 31. – P. 1381–1402.Белый, А. Б. Данные сервиса Flickr и структура сообществ стран // А. Б. Белый, Л. В. Рудикова, С. Л. Соболевский, А. Н. Курбацкий // Международный конгресс п оинформатике: информационные системы и технологии = International Congress on Computer Sciens : Information Systems and Technologies : материалы Междунар. науч. конгресса, Минск, 24 окт.–27 нояб. 2016 г. / БГУ; редкол.: С.В. Абламейко (отв. ред.) [и др.]. – Минск, 2016. – С. 851–855.Belyi, A. B. Flickr service data and community structure of countries / A.B. Belyi, L.V. Rudikova, S.L. Sobolevsky, A.N. Kurbatski // International Congress on Computer Sciens: Information Systems and Technologies: materials of International Scientific Congress, Republic of Belarus, Minsk, 24 October. – 27 Nov. 2016. / BSU; rare: S.V. Ablameiko (editorial editors) [and others]. – Minsk, 2016. – P. 851–855.Amini A. The impact of social segregation on human mobility in developing and industrialized regions / Amini A, Kung K, Kang C, Sobolevsky S, and Ratti C // EPJ Data Science. – 2014. – 3(1):6.Amini A. The impact of social segregation on human mobility in developing and industrialized regions / Amini A, Kung K, Kang C, Sobolevsky S, and Ratti C // EPJ Data Science. – 2014. – 3(1):6.Pei T. A new insight into land use classification based on aggregated mobile phone data / Pei T., Sobolevsky S., Ratti C., Shaw S. L., Li T., Zhou, C. // International Journal of Geographical Information Science. – 2014. – 28(9). – P. 1988–2007.Pei T. A new insight into land use classification based on aggregated mobile phone data / Pei T., Sobolevsky S., Ratti C., Shaw S. L., Li T., Zhou, C. // International Journal of Geographical Information Science. – 2014. – 28(9), P. 1988–2007.Santi P. Quantifying the benefits of vehicle pooling with shareability networks / Santi P., Resta G., Szell M., Sobolevsky S., Strogatz S.H., Ratti C. // Proceedings of the National Academy of Sciences. – 2014. – 111(37). – Рp. 13290–13294.Santi P. Quantifying the benefits of vehicle pooling with shareability networks / Santi P., Resta G., Szell M., Sobolevsky S., Strogatz S.H., Ratti C. // Proceedings of the National Academy of Sciences. – 2014. – 111(37). – Рp. 13290–13294.Kung K. Exploring universal patterns in human home/work commuting from mobile phone data / Kung K., Greco K., Sobolevsky S., Ratti C. // PLoS ONE. – 2014. – 9(6):e96180.Kung K. Exploring universal patterns in human home/work commuting from mobile phone data / Kung K., Greco K., Sobolevsky S., Ratti C. // PLoS ONE. – 2014. – 9(6):e96180.Hashemian B. Socioeconomic characterization of regions through the lens of individual financial transactions / Hashemian B., Massaro E., Bojic I., Arias J. M., Sobolevsky S., Ratti C. // PloS one – 2017. – 12(11), e0187031.Hashemian B. Socioeconomic characterization of regions through the lens of individual financial transactions / Hashemian B., Massaro E., Bojic I., Arias J. M., Sobolevsky S., Ratti C. // PloS one – 2017 – 12(11), e0187031.Bojic I. Scaling of foreign attractiveness for countries and states / Bojic I., Belyi, A., Ratt, C., Sobolevsky S. // Applied Geography. – 2016 – 73. – P. 47–52.Bojic I. Scaling of foreign attractiveness for countries and states / Bojic I., Belyi, A., Ratt, C., Sobolevsky S. // Applied Geography. – 2016. – 73. – P. 47–52.Sabou M. Visualizing Statistical Linked Knowledge Sources for Decision Support / Sabou M., Hubmann-Haidvogel A., Fischl D., Scharl A. // SemanticWeb. – 2016. – 1. – P. 1–25.Sabou M. Visualizing Statistical Linked Knowledge Sources for Decision Support / Sabou M., Hubmann-Haidvogel A., Fischl D., Scharl A. // SemanticWeb. – 2016 – 1. – P. 1–25.Li Q. VisTravel: visualizing tourism network opinion from the user generated content / Li Q., Wu Y., Wang S., Lin M., Feng X., Wang H. // J. Vis. – 2016. – 19. – P. 489–502.Li Q. VisTravel: visualizing tourism network opinion from the user generated content / Li Q., Wu Y., Wang S., Lin M., Feng X., Wang H. // J. Vis. – 2016. – 19. – P. 489–502.Рудикова, Л. В. О разработке системы для поддержки лазерной экспрессной экспертизы. Монография / Л. В. Рудикова – LAP LAMBERT Academic Publishing, 2014. – 134 с.Rudikova, L. About laser express expertise system implementation. Monography / Lada Rudikova. – LAP LAMBERT Academic Publishing, 2014. – 134 p.Барсегян А. Методы и модели анализа данных: OLAP и DataMining / A. А. Баргесян, M. С. Куприянов, В. В. Степаненко, И. И. Холод. – СПб: БХВ-Петербург, 2009. – 336 с.: ил.Barseghyan, A. Methods and analysis data models: OLAP and DataMining / A. Barseghyan, M. Kupriyanov, V. Stepanenko, I. Kholod – StP.: BHV-Petersburg, 2009. – 336 p.: il.Паклин, Н. Бизнес-аналитика. От данных к знаниям / Н. Паклин, В. Орешков. – СПб.: Питер, 2013. – 704 с.Paklin, N. Business-analytics: from data to knowledge / N. Paklin, V. Oreshkov. – StP.: Piter, 2009. – 624 p.Информационный центр AfterShock [Электронный ресурс]. – Режим доступа: https://aftershock.news/?q=node/479258&full. – Дата доступа: [14.05.2018].Информационный центр AfterShock [Электронный ресурс]. – Режим доступа: https://aftershock.news/?q=node/ 479258&full. – Дата доступа: [14.05.2018].Батура, Т. В. Методы анализа данных из социальных сетей / Т.В. Батура, Н. С. Копылова, Ф. А. Мурзин, А. В. Проскуряков // Вестник НГУ. Серия: Информационные технологии. – 2013. – Т. 11, вып. 3. – С. 5–21.Batura, Т. V. Methods of analyzing data from social networks / Т. В. Batura, N. S. Kopylova, F. A. Murzin, A. V. Proskuryakov // Bulletin of NSU. Series: Information technology. – 2013. – Vol. 11, issue. 3. – P. 5–21.Среда ETL (извлечение, преобразование и загрузка) Rational Insight [Электронный ресурс]. – Режим доступа: https://www.ibm.com/support/knowledgecenter/ru/SSRL5J_1.1.1/com.ibm.rational.raer.overview.doc/topics/c_arch_etl_process.html . – Дата доступа: [14.09.2018].ETL environment (extraction, transformation and loading) Rational Insight [Electronic resource]. – Access mode: ht tps://www.ibm.com/support/knowledgecenter/ru/SSRL5J_1.1.1/com.ibm.rational.raer.overview.doc/topics/c_arch_etl_ process.html. – Access date: [14.09.2018].GDPR — новые правила обработки персональных данных в Европе для международного IT-рынка [Электронный ресурс]. – Режим доступа: https://habr.com/company/digitalrightscenter/blog/344064/. – Дата доступа: [17.05.2018].GDPR – new rules for the processing of personal data in Europe for the international IT market [Electronic resource]. – Access mode: https://habr.com/company/digitalrightscenter/blog/344064/. – Access date: [May 14.05.2018].Волушкова В.Л, Структура данных для хранения информации в социальных сетях / В. Л Волушкова, А. Ю. Волушкова // Образовательные ресурсы и технологии – 2014. – 2(5). – С. 153-157.Volushkova V. L. Data structure for storing information in social networks / V. L. Volushkova, A. Y. Volushkova // Educational resources and technologies. – 2014. – 2 (5). – P. 153–157.

The authors declare that there are no conflicts of interest present.