Оценка безопасности искусственного интеллекта
https://doi.org/10.21683/1729-2646-2020-20-4-25-34
Аннотация
Цель. В данной статье обсуждается подход к оценке безопасности систем с искусственным ителлектом (ИИ). Это актуально для тех случаев, когда ИИ используется в системах, связанных с обеспечением безопасности, а также применительно к железнодорожным системам автоматизации, в составе которых предполагается применение средств ИИ. Методы. Основное внимание в работе уделено не столько самому ИИ, сколько оценке его безопасности. Более пристальное внимание к моделям ИИ показывает, что многие из них, в особенности машинное обучение, являются статистическими. Таким образом, при проведении оценки безопасности, помимо выполнения обычных процедур, необходимо подвергнуть анализу модель, используемую в ИИ. Результаты. Часть допустимой интенсивности опасных случайных отказов, предусмотренных для соответствующего уровня полноты безопасности, должна отводиться для вероятностного сбойного поведения системы ИИ. Авторы излагают свои идеи на простых примерах и предлагают тему для научных исследований, разработка которой может сыграть решающую роль при внедрении ИИ в ответственные системы. Заключение. Представлен метод экспертизы безопасности систем с искуственным интеллектом.
Об авторах
Йенс Брабанд
Siemens Mobility GmbH
Германия
Германия
Йенс Брабанд – доктор естествознания, главный эксперт по RAMSS at Siemens Mobility GmbH, профессор Технического Университета
Брауншвейг
Хендрик Шебе
TÜV Rheinland
Германия
Германия
Шебе Хендрик – доктор физико-математических наук, заведующий отделом анализа рисков и опасностей
Кельн
Список литературы
1. Anscombe F.J. Graphs in Statistical Analysis // American Statistician. 1973. 27(1). P. 17–21.
2. Braband J., Gall H., Schäbe H. Proven in Use for Software: Assigning an SIL Based on Statistics / Mahboob Q., Zio E., editors. Handbook of RAMS in Railway systems – Theory and Practice. Boca Raton, Taylor and Francis. 2018.
3. Brunette E.S., Flemmer R.C., Flemmer C.L. A review of artificial intelligence // Proc. 4th International Conference on Autonomous Robots and Agents. Feb. Wellington. 2009. P. 385-392.
4. Chen S.H., Jakeman A.J., Norton J.P. Artificial Intelligence techniques: An introduction to their use for modelling environmental systems // Mathematics and Simulation. 2008. Vol. 78. P. 379-400.
5. Corni M. Is Artificial Intelligence Racist? (And Other Concerns). URL : https://towardsdatascience.com/is-artificial-intelligence-racist-and-other-concerns817fa60d75e9 [accessed October 25, 2018].
6. Cybenko G. Approximations by superpositions of sigmoidal functions // Mathematics of Control, Signals, and Systems. 1989. № 2(4). P. 303–314.
7. Hättasch N., Geisler N. The Deep Learning Hype: Presentation at 36C3. 2019. URL: https://www.youtube.com/watch?v=FomrN5XHQhY.
8. EN 50128. Railway applications – Communication, signalling and processing systems – Software for railway control and protection systems; 2011.
9. EN 50129. Railway applications – Communication, signalling and processing systems – Software for railway control and protection systems; 2018.
10. IEC 61508. Functional safety of electrical/electronic/ programmable electronic safety-related systems; 2010.
11. Ivanov A.I., Kuprianov E.N., Tureev S.V. Neural network integration of classical statistical tests for processing small samples of biometrics data // Dependability. 2019. № 19(2). P. 22-27.
12. Pearl J., Mackenzie D. The Book of Why. Penguin Science, 2018.
13. Putzer H. Ein strukturierter Ansatz für funktional sichere KI. Presentation at DKE Funktionale Sicherheit. Erfurt; 2019. (in Ger.)
14. Schäbe H. SIL Apportionment and SIL Allocation. / Mahboob Q., Zio E., editors. Handbook of RAMS in Railway systems – Theory and Practice. Boca Raton, Taylor and Francis. 2018. P. 69-78.
15. Underwriter Laboratories: Standard for Safety for the Evaluation of Autonomous Products. Draft UL 4600; 2019.
16. Wang J., Ma Y., Zhang L., et al. Deep learning for smart manufacturing: Methods and Applications // Journal of Manufacturing Systems. 2017. № 48. P. 144-156.
17. Wigger P. Independent Safety Assessment – Process and Methodology / Mahboob Q., Zio E., editors. Handbook of RAMS in Railway systems – Theory and Practice. Boca Raton, Taylor and Francis. 2018. P. 475-485.
Рецензия
Для цитирования:
Брабанд Й., Шебе Х. Оценка безопасности искусственного интеллекта. Надежность. 2020;20(4):25-34. https://doi.org/10.21683/1729-2646-2020-20-4-25-34
For citation:
Braband J., Schäbe H. On safety assessment of artificial intelligence. Dependability. 2020;20(4):25-34. https://doi.org/10.21683/1729-2646-2020-20-4-25-34
Просмотров:
1336
ISSN 1729-2646 (Print)
ISSN 2500-3909 (Online)
ISSN 2500-3909 (Online)
Послать статью по эл. почте 