<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">sustain</journal-id><journal-title-group><journal-title xml:lang="ru">Надежность</journal-title><trans-title-group xml:lang="en"><trans-title>Dependability</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1729-2646</issn><issn pub-type="epub">2500-3909</issn><publisher><publisher-name>RAMS Journal Limited liability company</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.21683/1729-2646-2023-23-4-25-30</article-id><article-id custom-type="elpub" pub-id-type="custom">sustain-553</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ОБРАБОТКА БОЛЬШИХ ДАННЫХ. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>BIG DATA PROCESSING. ARTIFICIAL  INTELLIGENCE</subject></subj-group></article-categories><title-group><article-title>Сравнительный анализ методов оценки надежности по большим данным эксплуатации сложных систем</article-title><trans-title-group xml:lang="en"><trans-title>A comparative analysis of the methods of evaluating dependability using Big Data of complex system operation</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Бурсиан</surname><given-names>Е. Ю.</given-names></name><name name-style="western" xml:lang="en"><surname>Bursian</surname><given-names>E. Yu.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Бурсиан Елена Юрьевна – кандидат технических наук, доцент кафедры «Высшая математика».</p><p>Московский пр., д. 9, Санкт-Петербург, 190031</p></bio><bio xml:lang="en"><p>Elena Yu. Bursian - Candidate of Engineering, Associate Professor, Department of Advanced Mathematics.</p><p>9 Moskovsky pr., Saint Petersburg, 190031</p></bio><email xlink:type="simple">bursianeu@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Проурзин</surname><given-names>В. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Prourzin</surname><given-names>V. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Проурзин Владимир Афанасьевич – кандидат физико-математических наук, старший научный сотрудник лаборатории «Методов анализа надежности».</p><p>Большой пр. В.О., д.61, Санкт-Петербург, 199178</p></bio><bio xml:lang="en"><p>Vladimir A. Prourzin - Candidate of Physics and Mathematics, Senior Researcher, Laboratory of Methods of Reliability Analysis.</p><p>61 Boljshoy prospekt V.O., Saint Petersburg, 199178</p></bio><email xlink:type="simple">proursin@gmail.com</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Проурзин</surname><given-names>О. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Prourzin</surname><given-names>O. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Проурзин Олег Владимирович – кандидат технических наук, доцент кафедры «Информационные и вычислительные системы».</p><p>Московский пр., д. 9, Санкт-Петербург, 190031</p></bio><bio xml:lang="en"><p>Oleg V. Prourzin - Candidate of Engineering, Associate Professor, Department of Information and Computer Systems.</p><p>9 Moskovsky pr., Saint Petersburg, 190031</p></bio><email xlink:type="simple">pvo777@yandex.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Петербургский государственный университет путей сообщения Императора Александра I</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Emperor Alexander I St. Petersburg State Transport University</institution><country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru"><institution>Институт проблем машиноведения Российской Академии Наук</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Institute for Problems in Mechanical Engineering of the Russian Academy of Sciences</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2023</year></pub-date><pub-date pub-type="epub"><day>04</day><month>12</month><year>2023</year></pub-date><volume>23</volume><issue>4</issue><fpage>25</fpage><lpage>30</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Бурсиан Е.Ю., Проурзин В.А., Проурзин О.В., 2023</copyright-statement><copyright-year>2023</copyright-year><copyright-holder xml:lang="ru">Бурсиан Е.Ю., Проурзин В.А., Проурзин О.В.</copyright-holder><copyright-holder xml:lang="en">Bursian E.Y., Prourzin V.A., Prourzin O.V.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.dependability.ru/jour/article/view/553">https://www.dependability.ru/jour/article/view/553</self-uri><abstract><sec><title>Цель</title><p>Цель. Целью работы является исследование методов оценки показателей надежности на основе анализа больших данных, полученных в результате мониторинга эксплуатации технических систем и их комплектующих. Производится сравнительный анализ эффективности робастных статистических методов оценки показателей надежности сложных технических систем по данным их эксплуатации.</p></sec><sec><title>Методы</title><p>Методы. В статье применяются методы математической статистики, а именно: робастные методы оценки параметра положения зашумленной выборки и численные методы статистического моделирования. Рассмотрены пять методов оценивания параметра положения (сдвига): выборочное среднее как неробастный метод, используемый для сравнения; выборочная медиана как простейший робастный метод оценки параметра положения; двухэтапная процедура оценивания с отсечением выбросов по правилу трех сигм; двухэтапная процедура оценивания с отсечением выбросов с использованием бокс-плота Тьюки; робастный метод Хьюбера. Сравнительный анализ методов оценки показателей надежности системы проводился путем статистического моделирования в пакете статистических вычислений R. Рассмотрено пять законов распределений для генерации выборок наработки до отказа и времени восстановления элементов: экспоненциальное распределение, распределение Вейбулла, логнормальное распределение, гамма-распределение и равномерное распределение.</p></sec><sec><title>Результаты</title><p>Результаты. Статистический анализ больших данных эксплуатации технических систем осложнен неоднородностью и зашумленностью этих данных, а также наличием ошибок и выбросов различной природы. В первую очередь это обусловлено различиями в нагрузках и условиях эксплуатации для каждого объекта. Здесь эта проблема рассмотрена применительно к задаче оценки показателей надежности структурно-сложной монотонной системы с независимым восстановлением элементов. Рассмотрены методы отбраковки аномальных данных и робастного оценивания параметра положения выборки и проведен сравнительный анализ эффективности этих методов для различных законов распределения. Показано, что робастные методы оценивания дают существенный выигрыш в точности по сравнению со стандартным выборочным средним. Наиболее эффективной показала себя двухэтапная процедура, основанная на отсечении выбросов с использованием боксплота Тьюки.</p></sec><sec><title>Выводы</title><p>Выводы. Результаты работы позволяют повысить точность оценки показателей надежности, основанной на использовании данных эксплуатации сложных технических систем. Они могут быть использованы в области обработки больших данных и теории надежности сложных систем.</p></sec></abstract><trans-abstract xml:lang="en"><sec><title>Aim</title><p>Aim. The paper aims to research the methods of evaluating dependability indicators based on the analysis of Big Data obtained in the course of monitoring the operation of technical systems and their components. A comparative analysis is performed of the efficiency of robust statistical methods of evaluating the dependability indicators of complex technical systems based on operation data.</p></sec><sec><title>Methods</title><p>Methods. The paper uses methods of mathematical statistics, specifically robust methods of evaluating the translation parameter of a noisy sample and numerical methods of statistical modeling. The authors consider five methods of evaluating the translation parameter: sample mean as a nonrobust method used for comparison; sample median as the simplest robust method of evaluating the translation parameter; two-stage evaluation procedure with truncation of outliers according to the three sigma rule; two-stage evaluation procedure with truncation of outliers using Tukey’s box-and-whisker plot; Huber’s robust method. The comparative analysis of the methods of evaluating system dependability indicators was conducted by means of statistical modeling in the R statistical computation package. Five distribution laws for generating an element’s time-to-failure and recovery time samples were considered: exponential distribution, Weibull distribution, log-normal distribution, gamma distribution and uniform distribution.</p></sec><sec><title>Results</title><p>Results. Statistical analysis of Big Data associated with the operation of technical systems is complicated by the heterogeneity and noisiness of such data, as well as the presence of errors and outliers of varied nature. That is primarily due to the varied loads and operating conditions of each object. Herein this problem is examined as regards the problem of evaluating the dependability indicators of a structurally complex monotonic system with independent element recovery. The paper examines methods of rejecting anomalous data and robust evaluation of the sample position parameter and performs a comparative analysis of the efficiency of such methods for various distribution laws. It is shown that robust methods of evaluation enable significantly higher accuracy as compared to the standard sample mean. The two-stage procedure based on the truncation of outliers and Tukey’s box-and-whisker plot proved to be the most efficient.</p></sec><sec><title>Conclusions</title><p>Conclusions. The paper’s findings allow improving the accuracy of evaluation of dependability indicators based on complex technical system operation data. They can be used in Big Data processing and complex system dependability theory.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>большие данные</kwd><kwd>робастная оценка</kwd><kwd>статистическое моделирование</kwd><kwd>надежность</kwd><kwd>коэффициент готовности</kwd></kwd-group><kwd-group xml:lang="en"><kwd>Big Data</kwd><kwd>robust estimate</kwd><kwd>statistical modeling</kwd><kwd>dependability</kwd><kwd>availability factor</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Leskovec J., Rajaraman A., Ullman J.D. Mining of massive data sets. Cambridge: Cambridge university press, 2020. 498 p. DOI: 10.1017/9781108684163</mixed-citation><mixed-citation xml:lang="en">Leskovec J., Rajaraman A., Ullman J.D. Mining of massive data sets. Cambridge: Cambridge university press; 2020. DOI: 10.1017/9781108684163.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Лемешко Б.Ю., Лемешко С.Б., Семенова М.А. К вопросу статистического анализа больших данных // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2018. № 44. c. 40-49. DOI: 10.17223/19988605/44/5</mixed-citation><mixed-citation xml:lang="en">Lemeshko B.Yu., Lemeshko S.B., Semionova M.A. [On the statistical analysis of big data]. [Herald of the Tomsk State University. Control, computer technology and information science] 2018;44:40-49. DOI: 10.17223/19988605/44/5. (in Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Проурзин В.А., Проурзин О.В. Методы анализа больших данных надежности восстанавливаемых систем // Интеллектуальные технологии на транспорте. 2022. № 1(29). C. 34-38. DOI: 10.24412/2413-2527-2022129-34-38</mixed-citation><mixed-citation xml:lang="en">Prourzin V.A., Prourzin O.V. Methods for Big Data analysis of reliability of recoverable systems. Intellectual Technologies on Transport 2022;1(29):34-38. DOI: 10.24412/2413-2527-2022-129-34-38. (in Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Крамер Г. Математические методы статистики. М.: Мир, 1975. 648 с.</mixed-citation><mixed-citation xml:lang="en">Cramer H. Mathematical methods of statistics. Moscow: Mir; 1975.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Barnett V., Lewis T. Outliers in Statistical Data. New York: Wiley, 1994. 424 p.</mixed-citation><mixed-citation xml:lang="en">Barnett V., Lewis T. Outliers in Statistical Data. New York: Wiley; 1994.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Tukey D. A survey of sample from contaminated distribution / In: Contribution to Probability and Statistics, ed. I Olkin. Stanford: Stanford Univ. Press, 1960. Pp. 446–486.</mixed-citation><mixed-citation xml:lang="en">Tukey D. A survey of sample from contaminated distribution. In: Olkin I., editor. Contribution to Probability and Statistics. Stanford: Stanford Univ. Press; 1960. P. 446-486.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Хьюбер П. Робастность в статистике. M.: Мир, 1984. 304 с.</mixed-citation><mixed-citation xml:lang="en">Huber P. Robust statistics. Moscow: Mir; 1984.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Shevlyakov G.L., Vilchevski N.O. Robustness in Data Analysis: Criteria and Methods. Berlin, Boston: De Gruyter, 2001. 320 p. DOI: 10.1515/9783110936001</mixed-citation><mixed-citation xml:lang="en">Shevlyakov G.L., Vilchevski N.O. Robustness in Data Analysis: Criteria and Methods. Berlin, Boston: De Gruyter; 2001. DOI: 10.1515/9783110936001.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Байхельт Ф., Франкен П.М. Надежность и техническое обслуживание. Математический подход. М.: Радио и связь, 1988. 392 с.</mixed-citation><mixed-citation xml:lang="en">Beichelt F., Franken P. Reliability and Maintenance – Mathematical Methods. Moscow: Radio i sviaz; 1988.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Рябинин И.А., Черкесов Г.Н. Логико-вероятностные методы исследования надежности структурно-сложных систем. М.: Радио и связь, 1981. 264 с.</mixed-citation><mixed-citation xml:lang="en">Riabinin I.A., Cherkesov G.N. [Logical and probabilistic methods of dependability study of structurally complex systems]. Moscow: Radio i sviaz; 1981. (in Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Prourzin V.A. Techno-Economic Risk in Designing Complex Systems: Algorithms for Analysis and Optimization // Automation and Remote Control. 2003. Vol. 64. No. 7. Pp. 1054-1062. DOI: 10.1023/A:1024773916089</mixed-citation><mixed-citation xml:lang="en">Prourzin V.A. Techno-economic risk in designing complex systems: algorithms for analysis and optimization. Automation and Remote Control 2003;64(7):1054-1062. DOI: 10.1023/A:1024773916089.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Диллон Б., Сингх Ч. Инженерные методы обеспечения надежности систем. М.: Мир, 1984. 318 с.</mixed-citation><mixed-citation xml:lang="en">Dhillon B., Singh C. Engineering reliability. Moscow: Mir; 1984.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
