digitallawJournal of Digital Technologies and LawJournal of Digital Technologies and Law2949-2483Kazan Innovative University named after V. G. Timiryasov10.21202/jdtl.2023.14dxnwhvdigitallaw-183Research ArticleARTICLESСТАТЬИLegal Means of Providing the Principle of Transparency of the Artificial IntelligenceПравовые средства обеспечения принципа прозрачности искусственного интеллектаhttps://orcid.org/0000-0001-7622-6215ХаритоноваЮ. С.KharitonovaYu. S.

Харитонова Юлия Сергеевна – доктор юридических наук, профессор, профессор кафедры предпринимательского права, руководитель Центра правовых исследований искусственного интеллекта и цифровой экономики

Scopus Author ID: https://www.scopus.com/authid/detail.uri?authorId=57316440400

Web of Science Researcher ID: https://www.webofscience.com/wos/author/record/708572

Google Scholar ID: https://scholar.google.ru/citations?user=61mQtb4AAAAJ

РИНЦ Author ID: https://elibrary.ru/author_items.asp?authorid=465239

119991, г. Москва, Ленинские горы, 1

Yuliya S. Kharitonova – Doctor of Law, Professor, Professor of the Department of Entrepreneurial Law, Head of the Center for legal research of artificial intelligence and digital economy

Scopus Author ID: https://www.scopus.com/authid/detail.uri?authorId=57316440400

Web of Science Researcher ID: https://www.webofscience.com/wos/author/record/708572

Google Scholar ID: https://scholar.google.ru/citations?user=61mQtb4AAAAJ

RSCI Author ID: https://elibrary.ru/author_items.asp?authorid=465239

1 Leninskiye gory, 119991 Moscow

sovet2009@rambler.ruМосковский государственный университет имени М. В. ЛомоносоваРоссияLomonosov Moscow State UniversityRussian Federation20232006202312337–358Copyright © Kharitonova Y.S., 20232023Харитонова Ю.С.Kharitonova Y.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.lawjournal.digital/jour/article/view/183Objective

Objective: to analyze the current technological and legal theories in order to define the content of the transparency principle of the artificial intelligence functioning from the viewpoint of legal regulation, choice of applicable means of legal regulation, and establishing objective limits to legal intervention into the technological sphere through regulatory impact.

Methods

Methods: the methodological basis of the research is the set of general scientific (analysis, synthesis, induction, deduction) and specific legal (historical-legal, formal-legal, comparative-legal) methods of scientific cognition.

Results

Results: the author critically analyzed the norms and proposals for normative formalization of the artificial intelligence transparency principle from the viewpoint of impossibility to obtain the full technological transparency of artificial intelligence. It is proposed to discuss the variants of managing algorithmic transparency and accountability based on the analysis of social, technical and regulatory problems created by algorithmic systems of artificial intelligence. It is proved that transparency is an indispensible condition to recognize artificial intelligence as trustworthy. It is proved that transparency and explainability of the artificial intelligence technology is essential not only for personal data protection, but also in other situations of automated data processing, when, in order to make a decision, the technological data lacking in the input information are taken from open sources, including those not having the status of a personal data storage. It is proposed to legislatively stipulate the obligatory audit and to introduce a standard, stipulating a compromise between the technology abilities and advantages, accuracy and explainability of its result, and the rights of the participants of civil relations. Introduction of certification of the artificial intelligence models, obligatory for application, will solve the issues of liability of the subjects obliged to apply such systems. In the context of professional liability of professional subjects, such as doctors, militants, or corporate executives of a juridical person, it is necessary to restrict the obligatory application of artificial intelligence if sufficient transparency is not provided.

Scientific novelty

Scientific novelty: the interdisciplinary character of the research allowed revealing the impossibility and groundlessness of the requirements to completely disclose the source code or architecture of the artificial intelligence models. The principle of artificial intelligence transparency may be satisfied through elaboration and provision of the right of the data subject and the subject, to whom the decision made as a result of automated data processing is addressed, to reject using automated data processing in decision-making, and the right to object to the decisions made in such a way.

Practical significance

Practical significance: is due to the actual absence of sufficient regulation of the principle of transparency of artificial intelligence and results of its functioning, as well as the content and features of the implementation of the right to explanation the right to objection of the decision subject. The most fruitful way to establish trust towards artificial intelligence is to recognize this technology as a part of a complex sociotechnical system, which mediates trust, and to improve the reliability of these systems. The main provisions and conclusions of the research can be used to improve the legal mechanism of providing transparency of the artificial intelligence models applied in state governance and business.

Цель

Цель: анализ действующих технологических и юридических теорий для определения содержания принципа прозрачности работы искусственного интеллекта с позиции правового регулирования, выбора применимых средств правового регулирования и установление объективных границ юридического вмешательства в технологическую сферу с помощью регулирующего воздействия.

Методы

Методы: методологическую основу исследования составляет совокупность общенаучных (анализ, синтез, индукция, дедукция) и специально­юридических (историко­правовой, формально­юридический, сравнительно­правовой) методов научного познания.

Результаты

Результаты: подвергнуты критическому анализу нормы и предложения для нормативного оформления принципа прозрачности искусственного интеллекта с точки зрения невозможности получения полной технологической прозрачности искусственного интеллекта. Выдвинуто предложение обсудить варианты политики управления алгоритмической прозрачностью и подотчетностью на основе анализа социальных, технических и регулятивных проблем, создаваемых алгоритмическими системами искусственного интеллекта. Обосновано, что прозрачность является необходимым условием для признания искусственного интеллекта заслуживающим доверия. Обосновано, что прозрачность и объяснимость технологии искусственного интеллекта важна не только для защиты персональных данных, но и в иных ситуациях автоматизированной обработки данных, когда для принятия решений недостающие из входящей информации технологические данные восполняются из открытых источников, в том числе не имеющих значения хранилищ персональных данных. Предложено законодательно закрепить обязательный аудит и ввести стандарт, закрепляющий компромисс между возможностями и преимуществами технологии, точностью и объяснимостью результата ее работы и правами участников общественных отношений. Введение сертификации моделей искусственного интеллекта, обязательных к применению, позволит решить вопросы ответственности обязанных применять такие системы субъектов. В контексте вопроса о профессиональной ответственности профессиональных субъектов, таких как врачи, военные, органы корпоративного управления юридического лица, требуется ограничить обязательное применение искусственного интеллекта в случаях, если не обеспечена его достаточная прозрачность.

Научная новизна

Научная новизна: междисциплинарный характер исследования позволил выявить невозможность и необоснованность требований полного открытия исходного кода или архитектуры моделей искусственного интеллекта. Принцип прозрачности искусственного интеллекта может быть обеспечен за счет проработки и обеспечения права субъекта данных и субъекта, которому адресовано решение, принятое в результате автоматизированной обработки данных, на отказ от применения автоматизированной обработки данных для принятия решений и права на возражения против принятых таким способом решений.

Практическая значимость

Практическая значимость: обусловлена отсутствием в настоящее время достаточного регулирования принципа прозрачности искусственного интеллекта и результатов его работы, а также содержания и особенностей реализации права на объяснение и права на возражение субъекта решения. Наиболее плодотворный путь для установления доверия к искусственному интеллекту заключается в том, чтобы признать данную технологию частью сложной социотехнической системы, которая опосредует доверие, и повышать надежность этих систем. Основные положения и выводы исследования могут быть использованы для совершенствования правового механизма обеспечения прозрачности моделей искусственного интеллекта, применяемых в государственном управлении и бизнесе.

 

 

Автоматизированная обработка данныхавтономностьалгоритмискусственный интеллектправопринятие решенийпрозрачностьцифровая экономикацифровые технологииэтикаAlgorithmartificial intelligenceautomated data processingautonomydecision-makingdigital economydigital technologiesethicslawtransparencyReferencesДьяконова, М. О., Ефремов, А. А., Зайцев, О. А. и др.; И. И. Кучерова, С. А. Синицына (ред.). (2022). Цифровая экономика: актуальные направления правового регулирования: научно­практическое пособие. Москва: ИЗиСП, НОРМА.Balduzzi, D., Frean, M., Leary, L., Lewis, J. P., Ma, K. W. D., & McWilliams, B. (2017). The shattered gradients problem: If resnets are the answer, then what is the question? In International Conference on Machine Learning (pp. 342–350). PMLR.Калятин, В. О. (2022). Дипфейк как правовая проблема: новые угрозы или новые возможности? Закон, 7, 87–103. https://doi.org/10.37239/0869­4400­2022­19­7­87­103Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610–623).Кутейников, Д. Л., Ижаев, О. А., Зенин, С. С., Лебедев, В. А. (2020). Алгоритмическая прозрачность и подотчетность: правовые подходы к разрешению проблемы «черного ящика». Lex russica (Русский закон), 73(6), 139–148. https://doi.org/10.17803/1729­5920.2020.163.6.139­148Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on fairness, accountability and transparency (pp. 77–91). PMLR.Савельев, А. И. (2021). Научно­практический постатейный комментарий к Федеральному закону «О персональных данных» (2­е изд., перераб. и доп.). Москва: Статут.Camilleri, M. A. (2018). Market segmentation, targeting and positioning. In Travel marketing, tourism economics and the airline product (pp. 69–83). New York: Springer.Силкин, В. В. (2021). Транспарентность исполнительной власти в цифровую эпоху. Российский юридический журнал, 4, 20–31. https://doi.org/10.34076/20713797_2021_4_20Cho, Y. H., Kim, J. K., & Kim, S. H. (2002). A personalized recommender system based on web usage mining and decision tree induction. Expert systems with Applications, 23(3), 329–342. https://doi.org/10.1016/s0957-4174(02)00052-0Balduzzi, D., Frean, M., Leary, L., Lewis, J. P., Ma, K. W. D., & McWilliams, B. (2017). The shattered gradients problem: If resnets are the answer, then what is the question? In International Conference on Machine Learning (pp. 342–350). PMLR.Cragun, B. J., & Steudel, H. J. (1987). A decision-table-based processor for checking completeness and consistency in rule-based expert systems. International Journal of Man-Machine studies, 26(5), 633–648. https://doi.org/10.1016/s0020-7373(87)80076-7Bender, E. M., Gebru, T., McMillan­Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610–623).Dyakonova, M. O., Efremov, A. A., Zaitsev, O. A., et al.; I. I. Kucherova, S. A. Sinitsyna (Eds.). (2022). Digital economy: topical areas of legal regulation: scientific-practical tutorial. Moscow: IZISP, NORMA. (In Russ.).Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on fairness, accountability and transparency (pp. 77–91). PMLR.Foss-Solbrekk, K. (2021). Three routes to protecting AI systems and their algorithms under IP law: The good, the bad and the ugly. Journal of Intellectual Property Law & Practice, 16(3), 247–258. https://doi.org/10.1093/jiplp/jpab033Camilleri, M. A. (2018). Market segmentation, targeting and positioning. In Travel marketing, tourism economics and the airline product (pp. 69–83). New York: Springer.Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.Cho, Y. H., Kim, J. K., & Kim, S. H. (2002). A personalized recommender system based on web usage mining and decision tree induction. Expert systems with Applications, 23(3), 329–342. https://doi.org/10.1016/s0957­4174(02)00052­0Goodman, B., & Flaxman, S. (2017). European Union regulations on algorithmic decision-making and a “right to explanation”. AI magazine, 38(3), 50–57. https://doi.org/10.1609/aimag.v38i3.2741Cragun, B. J., & Steudel, H. J. (1987). A decision­table­based processor for checking completeness and consistency in rule­based expert systems. International Journal of Man-Machine studies, 26(5), 633–648. https://doi.org/10.1016/s0020­7373(87)80076­7Gunning, D. (2017). Explainable artificial intelligence (XAI). Defense advanced research projects agency (DARPA). nd Web. 2(2), 1.Foss­Solbrekk, K. (2021). Three routes to protecting AI systems and their algorithms under IP law: The good, the bad and the ugly. Journal of Intellectual Property Law & Practice, 16(3), 247–258. https://doi.org/10.1093/jiplp/jpab033Hacker, P., Krestel, R., Grundmann, S., & Naumann, F. (2020). Explainable AI under contract and tort law: legal incentives and technical challenges. Artificial Intelligence and Law, 28(4), 415–439. https://doi.org/10.1007/s10506-020-09260-6Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.Hastie, T., Tibshirani, R., Friedman, J. H., & Friedman, J. H. (2009). The elements of statistical learning: data mining, inference, and prediction (Vol. 2). New York: Springer.Goodman, B., & Flaxman, S. (2017). European Union regulations on algorithmic decision­making and a “right to explanation”. AI magazine, 38(3), 50–57. https://doi.org/10.1609/aimag.v38i3.2741Hofmann, T., Schölkopf, B., & Smola, A. J. (2008). Kernel methods in machine learning.Gunning, D. (2017). Explainable artificial intelligence (XAI). Defense advanced research projects agency (DARPA). nd Web. 2(2), 1.Kalis, B., Collier, M., & Fu, R. (2014). 10 promising AI applications in health care. Harvard Business Review.Hacker, P., Krestel, R., Grundmann, S., & Naumann, F. (2020). Explainable AI under contract and tort law: legal incentives and technical challenges. Artificial Intelligence and Law, 28(4), 415–439. https://doi.org/10.1007/s10506­020­09260­6Kalpokas, I. (2019). Algorithmic Governance. Politics and Law in the Post-Human Era. Cham: Palgrave Pivot.Hastie, T., Tibshirani, R., Friedman, J. H., & Friedman, J. H. (2009). The elements of statistical learning: data mining, inference, and prediction (Vol. 2). New York: Springer.Kalyatin, V. O. (2022). Deepfake as a legal problem: new threats or new opportunities? Zakon, 7, 87–103. (In Russ.). https://doi.org/10.37239/0869-4400-2022-19-7-87-103Hofmann, T., Schölkopf, B., & Smola, A. J. (2008). Kernel methods in machine learning.Kharitonova, Y. S., Savina, V. S., & Pagnini, F. (2021). Artificial Intelligence’s Algorithmic Bias: Ethical and Legal Issues. Perm U. Herald Jurid. Sci, 3(53), 488–515. https://doi.org/10.17072/1995-4190-2021-53-488-515Kalis, B., Collier, M., & Fu, R. (2014). 10 promising AI applications in health care. Harvard Business Review.Koene, A., Clifton, C., Hatada, Y., Webb, H., & Richardson, R. (2019). A governance framework for algorithmic accountability and transparency. Panel for the Future of Science and Technology.Kalpokas, I. (2019). Algorithmic Governance. Politics and Law in the Post-Human Era. Cham: Palgrave Pivot.Kuteynikov, D. L., Izhaev, O. A., Zenin, S. S., & Lebedev, V. A. (2020). Algorithmic Transparency and Accountability: Legal Approaches to Solving the “Black Box” Problem. Lex Russica, 73(6), 139–148. (In Russ.). https://doi.org/10.17803/1729-5920.2020.163.6.139-148Kharitonova, Y. S., Savina, V. S., & Pagnini, F. (2021). Artificial Intelligence’s Algorithmic Bias: Ethical and LegalLawrence, R. L., & Wright, A. (2001). Rule-based classification systems using classification and regression tree (CART) analysis. Photogrammetric engineering and remote sensing, 67(10), 1137–1142.Issues. Perm U. Herald Jurid. Sci, 3(53), 488–515. https://doi.org/10.17072/1995­4190­2021­53­488­515LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444.Koene, A., Clifton, C., Hatada, Y., Webb, H., & Richardson, R. (2019). A governance framework for algorithmic accountability and transparency. Panel for the Future of Science and Technology.Maggiolino, M. (2018). EU trade secrets law and algorithmic transparency. Available at SSRN 3363178.Lawrence, R. L., & Wright, A. (2001). Rule­based classification systems using classification and regression tree (CART) analysis. Photogrammetric engineering and remote sensing, 67(10), 1137–1142.Malgieri, G., & Comandé, G. (2017). Why a right to legibility of automated decision-making exists in the general data protection regulation. International Data Privacy Law, 7(4), 243–265. https://doi.org/10.1093/idpl/ipx019LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444.McEwen, R., Eldridge, J., & Caruso, D. (2018). Differential or deferential to media? The effect of prejudicial publicity on judge or jury. The International Journal of Evidence & Proof, 22(2), 124–143. https://doi.org/10.1177/1365712718765548Maggiolino, M. (2018). EU trade secrets law and algorithmic transparency. SSRN 3363178.Najafabadi, M. M., Villanustre, F., Khoshgoftaar, T. M., Seliya, N., Wald, R., & Muharemagic, E. (2015). Deep learning applications and challenges in big data analytics. Journal of Big Data, 2(1), 1–21. https://doi.org/10.1186/s40537-014-0007-7Malgieri, G., & Comandé, G. (2017). Why a right to legibility of automated decision­making exists in the general data protection regulation. International Data Privacy Law, 7(4), 243–265. https://doi.org/10.1093/idpl/ipx019Pak, M., & Kim, S. (2017). A review of deep learning in image recognition. In 2017 4th international conference on computer applications and information processing technology (CAIPT). https://doi.org/10.1109/caipt.2017.8320684McEwen, R., Eldridge, J., & Caruso, D. (2018). Differential or deferential to media? The effect of prejudicial publicity on judge or jury. The International Journal of Evidence & Proof, 22(2), 124–143. https://doi.org/10.1177/1365712718765548Payre, W., Cestac, J., & Delhomme, P. (2014). Intention to use a fully automated car: Attitudes and a priori acceptability. Transportation research part F: traffic psychology and behavior, 27, 252–263.Najafabadi, M. M., Villanustre, F., Khoshgoftaar, T. M., Seliya, N., Wald, R., & Muharemagic, E. (2015). Deep learning applications and challenges in big data analytics. Journal of Big Data, 2(1), 1–21. https://doi.org/10.1186/s40537­014­0007­7https://doi.org/10.1016/j.trf.2014.04.009Pak, M., & Kim, S. (2017). A review of deep learning in image recognition. In 2017 4th international conference on computer applications and information processing technology (CAIPT). https://doi.org/10.1109/caipt.2017.8320684Plous, S. E. (2003). Understanding prejudice and discrimination. McGraw-Hill.Payre, W., Cestac, J., & Delhomme, P. (2014). Intention to use a fully automated car: Attitudes and a priori acceptability. Transportation research part F: traffic psychology and behavior, 27, 252–263. https://doi.org/10.1016/j.trf.2014.04.009Quillian, L. (2006). New approaches to understanding racial prejudice and discrimination. Annu. Rev. Sociol., 32, 299–328. https://doi.org/10.1146/annurev.soc.32.061604.123132Plous, S. E. (2003). Understanding prejudice and discrimination. McGraw­Hill.Samek, W., Montavon, G., Lapuschkin, S., Anders, C. J., & Müller, K. R. (2021). Explaining deep neural networks and beyond: A review of methods and applications. Proceedings of the IEEE, 109(3), 247–278. https://doi.org/10.1109/jproc.2021.3060483Quillian, L. (2006). New approaches to understanding racial prejudice and discrimination. Annu. Rev. Sociol., 32, 299–328. https://doi.org/10.1146/annurev.soc.32.061604.123132Savelyev, A. I. (2021). Scientific-practical article-by-article commentary to Federal Law “On personal data” (2nd ed., amended and abridged). Moscow: Statut. (In Russ.).Samek, W., Montavon, G., Lapuschkin, S., Anders, C. J., & Müller, K. R. (2021). Explaining deep neural networks and beyond: A review of methods and applications. Proceedings of the IEEE, 109(3), 247–278. https://doi.org/10.1109/jproc.2021.3060483Selbst, A., & Powles, J. (2017). “Meaningful information” and the right to explanation. International Data Privacy Law, 7(4), 233–242. https://doi.org/10.1093/idpl/ipx022Selbst, A., & Powles, J. (2017). “Meaningful information” and the right to explanation. International Data Privacy Law, 7(4), 233–242. https://doi.org/10.1093/idpl/ipx022Silkin, V. V. (2021). Transparency of executive power in digital epoch. Russian Juridical Journal, 4, 20–31. (In Russ.). https://doi.org/10.34076/20713797_2021_4_20Silver, D. et al. (2017). Mastering the game of go without human knowledge. Nature, 550(7676), 354.Silver, D. et al. (2017). Mastering the game of go without human knowledge. Nature, 550(7676), 354.Vargas, R., Mosavi, A., & Ruiz, R. (2018). Deep learning: a review. Preprints.org. https://doi.org/10.20944/preprints201810.0218.v1Vargas, R., Mosavi, A., & Ruiz, R. (2018). Deep learning: a review. Preprints.org. https://doi.org/10.20944/preprints201810.0218.v1von Eschenbach, W. J. (2021). Transparency and the black box problem: Why we do not trust AI. Philosophy & Technology, 34(4), 1607–1622.von Eschenbach, W. J. (2021). Transparency and the black box problem: Why we do not trust AI. Philosophy & Technology, 34(4), 1607–1622.Wachter, S., Mittelstadt, B., & Floridi, L. (2017). Why a right to explanation of automated decision­making does not exist in the general data protection regulation. International Data Privacy Law, 7(2), 76–99. https://doi.org/10.1093/idpl/ipx005Wachter, S., Mittelstadt, B., & Floridi, L. (2017). Why a right to explanation of automated decision-making does not exist in the general data protection regulation. International Data Privacy Law, 7(2), 76–99. https://doi.org/10.1093/idpl/ipx005Wulf, A. J. & Seizov, O. (2022). “Please understand we cannot provide further information”: evaluating content and transparency of GDPR­mandated AI disclosures. AI & SOCIETY, 1–22. https://doi.org/10.1007/s00146022­01424­zWulf, A. J. & Seizov, O. (2022). “Please understand we cannot provide further information”: evaluating content and transparency of GDPR-mandated AI disclosures. AI & SOCIETY, 1–22. https://doi.org/10.1007/s00146022-01424-zYampolskiy, R. V. (2019). Unexplainability and incomprehensibility of artificial intelligence. arXiv preprint arXiv:1907.03869Yampolskiy, R. V. (2019). Unexplainability and incomprehensibility of artificial intelligence. arXiv preprint arXiv:1907.03869许可、刘畅. 论算法备案制度 // 人工智能. 2022. № 1. P. 66. [Xu Ke, Liu Chang. (2022). On the Algorithm Filing System. Artificial Intelligence, 1, 66.]许可、刘畅. 论算法备案制度 // 人工智能. 2022. № 1. P. 66. [Xu Ke, Liu Chang. (2022). On the Algorithm Filing System. Artificial Intelligence, 1, 66.]

The authors declare that there are no conflicts of interest present.