Козлов А.С., Дудник С.В., Култазин Н.М., Ангапов В.Д., Гринер В.
Email: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Козлов Александр Сергеевич - старший системный администратор,
филиал
Корпорация "Алайн Текнолоджи Ресерч энд Девелопмент, Инк";
Дудник Сергей Викторович - ведущий эксперт,
департамент инфраструктурных решений,
Сбербанк,
г. Москва;
Култазин Нурлан Муратович - инженер инфраструктуры,
Astana International Exchange,
г. Нур-Султан, Республика Казахстан;
Ангапов Василий Данилович - старший системный архитектор,
Digital IQ, г. Улан-Удэ;
Гринер Вадим - главный инженер по качеству,
Red Hat, г. Модиин-Маккабим-Реут, Израиль
Аннотация: рассмотрены методы потоковой обработки данных и их математического моделирования. Предложена схема систематизации представлений об особенностях потоковой передачи данных. Построена базовая схема облачной платформы, показаны преимущества ее организации в виде распределенной информационной системы и задачи, которые при этом должны быть решены, в частности отмечена задача согласования графика обработки запросов, которая может быть решена через алгоритмы параллельной обработки. Построена математическая модель распределенной облачной платформы на базе набора параметров периферийных вычислительных узлов и центрального вычислительного узла, а также функций отображения процессов развертывания задания и маршрутизации потока данных. На базе данной модели проведен расчет пропускной способности и времени задержки при обработке заданий в сетевой среде.
Ключевые слова: облачная платформа, маршрутизация потока данных, распределенная информационная система, вычислительный узел, пропускная способность, время задержки, математическая модель, график заданий.
APPLICATION OF DISTRIBUTED COMPUTING FOR MULTIMEDIA STREAMING
Kozlov A.S., Dudnik S.V., Kultazin N.M., Angapov V.D., Griner V.
Kozlov Aleksandr Sergeevich - Sr. System Administrator,
BRANCH
"ALIGN TECHNOLOGY RESEARCH AND DEVELOPMENT INCORPORATED", EMEA RUSSIAN REGION;
Dudnik Sergei Victorovich - Leading Expert,
DEPARTMENT OF INFRASTRUCTURE SOLUTIONS,
SBERBANK,
MOSCOW;
Kultazin Nurlan Muratovich - Infrastructure Еngineer,
ASTANA INTERNATIONAL EXCHANGE,
NUR-SULTAN, REPUBLIC OF KAZAKHSTAN;
Angapov Vasilii Danilovich - Senior systems Architect,
DIGITAL IQ, ULAN – UDE;
Griner Vadim - Senior Quality Engineer,
RED HAT, MODIIN MACCABIM REUT, ISRAEL
Abstract: the methods of streaming data processing and mathematical modeling are considered. A systematization scheme of streaming data transmission is proposed. The basic scheme of the cloud platform is developed, the advantages of its organization in the form of a distributed information system and the tasks that must be solved are shown. The task of coordinating the request processing schedule, which can be solved through parallel processing algorithms, is noted. A mathematical model of a distributed cloud platform is built on the basis of a set of parameters of peripheral computing nodes and a central computing node, as well as indication functions of task deployment processes and data flow routing. The model allowed calculating the bandwidth and delaying time of processing tasks in a network environment.
Keywords: cloud platform, data flow routing, distributed information system, computing node, bandwidth, delay time, mathematical model, task schedule.
Список литературы / References
- Yang L., Cao J., Yuan Y., Li T., Han A., Chan C. A framework for partitioning and execution of data stream applications in mobile cloud computing. In: International Conference on Cloud Computing 2012. Vol. 40. Р 23–32. https://doi.org/10.1145/2479942.2479946/.
- Zeadally S., Das A.K. & Sklavos N., Cryptographic technologies and protocol standards for Internet of Things. Internet of Things, 100075. doi: 10.1016/j.iot.2019.100075.
- Yang L., Cao J., Cheng H., Ji Y. Multi-user computation partitioning for latency sensitive mobile cloud applications. IEEE Trans. Comput. 8 (64), 2253–2266,
- Soyata T. et al. Combat: mobile cloud-based compute/communications infrastructure for battlefield applications. In: Proceedings of SPIE. Vol. 8403. Pp. 1–13. https://doi.org/10.1117/12.919146.
- Akidau T. et al. The dataflow model: a practical approach to balancing correctness, latency, and cost in massive-scale, unbounded, out-of-order data processing. In: Very Large Data Bases 2015. Vol. 8. 1792–1803, 2015.
- Marcu O.-C., Costan A., Antoniu G. & Perez-Hernandez M.S., Spark Versus Flink: Understanding Performance in Big Data Analytics Frameworks. 2016 IEEE International Conference on Cluster Computing (CLUSTER). doi: 10.1109/cluster.2016.22.
- Dixit A., Choudhary J. & Singh D.P., Survey of Apache Storm Scheduler. SSRN Electronic Journal. doi: 10.2139/ssrn.3168564.
- Chellappan S. & Ganesan D., Introduction to Apache Spark and Spark Core. Practical Apache Spark, 79–113.
- Chintapalli S. et al. Benchmarking streaming computation engines: storm, flink and spark streaming. In: International Parallel and Distributed Processing Symposium, 2016. Р 1789–1792 (2016).
- Fukui T., Matsuura S., Inomata A. & Fujikawa K., A Two-tier Overlay Publish/Subscribe System for Sensor Data Stream Using Geographic Based Load Balancing, 2013 27th International Conference on Advanced Information Networking and Applications Workshops. doi: 10.1109/waina.2013.170.
- Jonathan A., Chandra A., Weissman J.B. Multi-query optimization in wide area streaming analytics. In: Symposium on Cloud Computing, 2018. Р 412–425 (2018).
- Yin F., Li X., Li X. & Li Y., Task Scheduling for Streaming Applications in a Cloud-Edge System. Security, Privacy, and Anonymity in Computation, Communication, and Storage Lecture Notes in Computer Science, 105–114. doi: 10.1007/978-3-030-24900-7_9.
- Heintz B., Chandra A., Sitaraman R.K. Optimizing grouped aggregation in geo-distributed streaming analytics. In: High Performance Distributed Computing, 2015. Р 133–144, 2015.
- Heintz B., Chandra A., Sitaraman R.K. Trading timeliness and accuracy in geodistributed streaming analytics. In: Symposium on Cloud Computing 2016. Р 361–373, 2016. https://doi.org/10.1145/2987550.2987580.
- Hwang J., Cetintemel U., Zdonik S.B. Fast and highly-available stream processing over wide area networks. In: International Conference on Data Engineering 2008. Р 804–813, 2008.
- Yin F., Li X., Li X. & Li Y., 2019. Task Scheduling for Streaming Applications in a Cloud-Edge System. Security, Privacy, and Anonymity in Computation, Communication, and Storage Lecture Notes in Computer Science, 105–114. doi: 10.1007/978-3-030-24900-7_9.
Ссылка для цитирования данной статьи
|
|
Тип лицензии на данную статью – CC BY 4.0. Это значит, что Вы можете свободно цитировать данную статью на любом носителе и в любом формате при указании авторства. |
Козлов А.С., Дудник С.В., Култазин Н.М., Ангапов В.Д., Гринер В. ПРИМЕНЕНИЕ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ ПРИ РАБОТЕ С ПОТОКОВЫМ МУЛЬТИМЕДИА // Наука, техника и образование № 6(70), 2020. - С.{см. журнал}.
|