- авг 21, 2019
Гарнышев И.Н., Казанцев С.В., Мальков Р.Ю., Семенов И.Д., Юдин С.В.
Email: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Гарнышев Игорь Николаевич - сетевой инженер,
отдел администрирования сетей передачи данных,
Тинькофф Банк;
Казанцев Сергей Владимирович - главный инженер,
департамент сетей передачи данных,
Сбербанк;
Мальков Роман Юрьевич – эксперт,
Центр компетенций по облачным решениям,
Техносерв,
г. Москва;
Семенов Иван Дмитриевич - старший инженер,
департамент сетей передачи данных,
Servers.com Лимассол, Кипр;
Юдин Степан Вячеславович - администратор сети,
департамент технического обеспечения и развития инфраструктуры информационных систем,
Спортмастер, г. Москва
Аннотация: в статье проведен анализ принципов энтропийного кодирования. Разработаны основы методологии кодирования дискретного информационного источника. Предложены алгоритмы определения условной энтропии и общего количества информации после обработки данных дискретного источника. Разработана схема определения диапазона значений ожидаемой длины для символьного набора дискретного источника. Показано, что разработанную методологию можно использовать для построения алгоритмов кодирования Хаффмана, арифметического кодирования и универсального кодирования.
Ключевые слова: дискретный информационный источник, функция вероятности, условная энтропия, общее количества информации, символьный блок, ожидаемая длина, неравенство Крафта-Макмиллана.
PECULIARITIES OF THE ENTROPY CODING ALGORITHMS’ DEVELOPMENT
Garnyshev I.N., Kazantsev S.V., Malkov R.Yu., Semenov I.D., Iudin S.V.
Garnyshev Igor Nikolaevich - Network Engineer,
DATA NETWORK ADMINISTRATION DEPARTMENT,
TINKOFF BANK;
Kazantsev Sergei Vladimirovich - Senior Engineer,
NETWORK DEPARTMENT,
SBERBANK;
Malkov Roman Yurevich – Expert,
CLOUD SOLUTIONS DEPARTMENT,
TECHNOSERV CLOUD,
MOSCOW;
Semenov Ivan Dmitrievich - Senior Engineer,
NETWORK DEPARTMENT,
SERVERS.COM LIMASSOL, CYPRUS;
Yudin Stepan Vyacheslavovich - Network Administrator,
DEPARTMENT OF TECHNICAL SUPPORT AND INFORMATION SYSTEMS INFRASTRUCTURE DEVELOPMENT,
SPORTMASTER, MOSCOW
Abstract: the article includes analysis of the principles of entropy coding. The basics of the coding methodology for a discrete information source are developed. Algorithms for determining the conditional entropy and the mutual information of the discrete source processed data are proposed. The scheme of the expected length values range determining for a code string of a discrete source is developed. It is shown that the developed methodology can be used to develop Huffman coding, arithmetic coding and universal coding algorithms.
Keywords: discrete information source, probability function, conditional entropy, mutual information, code string, expected length, Kraft inequality.
Список литературы / References
- Csiszár I., & Körner J., Information theory: Coding theorems for discrete memoryless systems. Cambridge: Cambridge University Press.
- McEliece R.J., The theory of information and coding. Cambridge: Cambridge University Press.
- Zhong Y., Alajaji F. & Campbell L.L., 2007. Error Exponents for Asymmetric Two-User Discrete Memoryless Source-Channel Systems. 2007 IEEE International Symposium on Information Theory. doi:10.1109/ isit.2007.4557472.
- Haghighat J., Hamouda W. & Soleymani M., Random Binning and Turbo Source Coding for Lossless Compression of Memoryless Sources. IEEE Vehicular Technology Conference. doi:10.1109/vtcf.2006.366.
- Sungkar M. & Berger T., Discrete Reconstruction Alphabets in Discrete Memoryless Source Rate-Distortion Pblems., 2018 IEEE International Symposium on Information Theory (ISIT). doi:10.1109/isit.2018.8437835.
- Bissiri P. & Walker S., A Definition of Conditional Probability with Non-Stochastic Information. Entropy, 20 (8), 572. doi:10.3390/e20080572.
- Gu Y.H. & Wu W.M., 2011. DDoS Detection and Prevention Based on Joint Entropy and Conditional Entropy. Key Engineering Materials, 474-476, 2129-2133. doi:10.4028/www.scientific.net/kem.474-476.2129.
- Yan K., Conditional entropy and fiber entropy for amenable group actions. Journal of Differential Equations, 259(7), 3004-3031. doi:10.1016/j.jde.2015.04.013.
- Patil G., Conditional Entropy ProfilesBased in part on the article “Conditional entropy profiles” by G. P. Patil, which appeared in the Encyclopedia of Environmetrics. Encyclopedia of Environmetrics. doi:10.1002/9780470057339.val005m.pub2.
- Zhou X., 2016. A formula of conditional entropy and some applications. Discrete and Continuous Dynamical Systems, 36(7), 4063-4075. doi:10.3934/dcds.2016.36.4063.
- Zen, Q. & Wang J., Information Landscape and Flux, Mutual Information Rate Decomposition and Entropy Production. doi:10.20944/preprints201710.0067.v1.
- Wiegand T. & Schwarz H., Source coding: Part I of fundamentals of source and video coding. Boston: Now.
- Moffat A., Huffman Coding. Encyclopedia of Algorithms, 938-942. doi:10.1007/978-1-4939-2864-4_633.
- Tamir D., Delta-Huffman Coding of Unbounded Integers. 2018 Data Compression Conference. doi:10.1109/dcc.2018.00081.
- Salman N.H., New Image Compression/Decompression Technique Using Arithmetic Coding Algorithm. Journal of Zankoy Sulaimani - Part A, 19(1), 263-272. doi:10.17656/jzs.10604.
- Al-Rababaa A., Laval C.U. & Dube D., A finite-precision adaptation of bit recycling to arithmetic coding. 2015 IEEE International Symposium on Signal Processing and Information Technology (ISSPIT). doi:10.1109/isspit.2015.7394382.
Ссылка для цитирования данной статьи
| Тип лицензии на данную статью – CC BY 4.0. Это значит, что Вы можете свободно цитировать данную статью на любом носителе и в любом формате при указании авторства. | ||
|
Гарнышев И.Н., Казанцев С.В., Мальков Р.Ю., Семенов И.Д., Юдин С.В. ОСОБЕННОСТИ ПОСТРОЕНИЯ АЛГОРИТМОВ ЭНТРОПИЙНОГО КОДИРОВАНИЯ // Наука, техника и образование № 7(60), 2019. - С.{см. журнал}. |
||
