Text mining журнала ДУ-46 с применением частотных методов обработки текста

Для принятия обоснованных решений по устранению сбоев и неисправностей, возникших на объектах железнодорожной инфраструктуры, необходим оперативный доступ к информации о ранее выявленных нарушениях и динамике их устранения. Технические журналы, такие как ДУ‑46, содержат ценные сведения о состоянии этих объектов (путей, стрелочных переводов, светофоров, фидеров, контактной сети и др.), однако в моменте они практически не используются при анализе причин вновь возникающих отказов.

Цель: разработка алгоритма обработки записей журнала ДУ‑46, позволяющего по запросу оператора получать сведения о предыдущих неисправностях или выполненных работах по конкретным объектам инфраструктуры.

Методы: предобработка текста, лемматизация с использованием морфологического анализатора М. Коробова, частотный анализ текста, TF‑IDF, L2‑нормализация, вычисление косинусного расстояния и сортировка результатов.

Результат: создан прототип приложения, позволяющий осуществлять поиск релевантных записей и отображать метрику сходства между запросом и найденными фрагментами, которые помимо всего прочего могут носить рекомендательный характер и использоваться для установления причин возникших сбоев.

Заключение: использование оперативных журналовосмотравсочетаниисметодамиинтеллектуальногоанализатекста(textmining) может стать основой для построения рекомендательных систем и систем поддержки принятия решений в техническом обслуживании объектов ж.д. инфраструктуры. 

1. Информационные технологии на железнодорожном транспорте : учебное пособие : в 3 частях / Л.И. Папировская, Д.Н. Франтасов, Е.А. Часовских, М.Н. Липатова. Самара: СамГУПС, 2020. Часть 2: Информационные технологии в системе обеспечения движения поездов. 2020. 156 с.

2. Надежкин В.А. О возможности применения технологий искусственного интеллекта для определения и прогнозирования технического состояния устройств железнодорожной автоматики и телемеханики / В.А. Надежкин, С.А. Надежкина, А.Р. Мусин // Известия Петербургского университета путей сообщения. 2025. Т. 22. № 2. С. 484-491. DOI: 10.20295/1815-588X-2025-2-484-491 EDN: XONKFC

3. Минтус А.Н. Разработка системы предиктивной аналитики для технического обслуживания устройств сигнализации, централизации и блокировки / А.Н. Минтус, С.И. Кучеренко, И.Г. Герасина // Сборник научных трудов Донецкого института железнодорожного транспорта. 2025. № 1(76). С. 59-64. EDN: TBRCBY

4. Анализ загрузки путевого развития станции (по данным архивов систем централизаций стрелок и сигналов) / С.В. Бушуев, Б.В. Рожкин, А.А. Блюдов, Н.С. Голочалов // Вестник Уральского государственного университета путей сообщения. 2021. № 2(50). С. 30-44. DOI: 10.20291/2079-0392-2021-2-30-44 EDN: XAKKGM

5. Андронов И.А. Анализ современных подходов к построению систем электронного документооборота / И.А. Андронов, В.Г. Сидоренко // Интеллектуальные транспортные системы : Материалы IV Международной научно-практической конференции, Москва, 22 мая 2025 года. Москва: Российский университет транспорта (МИИТ), 2025. С. 42-48. DOI: 10.30932/9785002587582-2025-42-48 EDN: EWUCGV

6. Sundaram S., Zeid A. Technical language processing for Prognostics and Health Management: applying text similarity and topic modeling to maintenance work orders // Journal of Intelligent Manufacturing. 2024. Vol. 36. Pp. 1637–1657. DOI: 10.1007/s10845-024-02323-4

7. Инструкция по обеспечению безопасности движения поездов при производстве путевых работ : инструкция ОАО «РЖД» № ЦШ-530 : утв. ОАО «РЖД» 20.09.2011 г. № 2055р. (ред. от 18.09.2020). URL: https://itt-54.ru/wp-content/uploads/2023/12/Инструкция-ОАОРЖД-Инструкция-по-обеспечению-БД-N-ЦШ-530-11от-20.09-2011-г.-№-2055р.pdf (дата обращения: 22.08.2025).

8. Русаков А.М. Тестирование программных библиотек лемматизации текстов на Python / А.М. Русаков, П.А. Полянская // Наукосфера. 2023. № 11-1. С. 210-218. DOI: 10.5281/zenodo.10136822 EDN: EJFGZF

9. Коробов М. и др. Морфологический анализатор и генератор для русского и украинского языков // Материалы Международной конференции «Анализ изображений, социальных сетей и текстов» (International Conference on Analysis of Images, Social Networks and Texts) / Communications in Computer and Information Science. 2015. С. 320–332. DOI: 10.1007/978-3-319-26123-2_31

10. Salton G., Wong A., Yang C.S. A vector space model for automatic indexing // Communications of the ACM. 1975. Vol. 18. No. 11. Pp. 613–620. DOI:10.1145/361219.361220

11. TfidfTransformer [Электронный ресурс] // scikitlearn developers. URL: https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfTransformer.html. (дата обращения: 23.08.2025).

12. Об утверждении стратегического направления в области цифровой трансформации транспортной отрасли РФ до 2030 г.: распоряжение Правительства РФ от 03.11.2023 г. № 3097р // Министерство транспорта Российской федерации. URL: https://mintrans.gov.ru/documents/2/12953 (дата обращения: 26.08.2025).

13. Зудина А. Еще одна безбумажная технология. // Гудок : газета «Волжская магистраль». 17.03.2023. № 9. URL: https://gudok.ru/zdr/168/?page_print_=Y&ID=1629697 (дата обращения 24.08.2025).