АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Abstract
Одной из самых больших революций, произошедших за последние 20 с лишним лет, может стать массовый и беспрецедентный рост вычислительных возможностей компьютеров благодаря развитию аппаратного обеспечения. Конечным результатом этого стал огромный объем данных, который начал генерироваться ежедневно.
Full text
THE VI INTERNATIONAL SCIENTIFIC CONFERENCE “SCIENTIFIC FOUNDATIONS FOR THE USE OF INFORMATION TECHNOLOGIES OF A NEW LEVEL AND MODERN PROBLEMS OF AUTOMATION”, NOVEMBER 20, 2025 359 АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА Байжанова Н.А. Старший преподаватель кафедры «Интеллектуальные системы», СБУМИПТК https://doi.org/10.5281/zenodo.17768023 Аннотация. Одной из самых больших революций, произошедших за последние 20 с лишним лет, может стать массовый и беспрецедентный рост вычислительных возможностей компьютеров благодаря развитию аппаратного обеспечения. Конечным результатом этого стал огромный объем данных, который начал генерироваться ежедневно. Ключевые слова: Искусственный интеллект; цифровые технологии; конфиденциальность и защита данных, права человека, правовая система Abstract. One of the greatest revolutions of the past 20-plus years may be the massive and unprecedented increase in computing power thanks to advances in hardware. The end result is the enormous volume of data being generated daily. Keywords: Artificial intelligence; digital technologies; privacy and data protection; human rights; legal system Одной из самых больших революций, произошедших за последние 20 с лишним лет, может стать массовый и беспрецедентный рост вычислительных возможностей компьютеров благодаря развитию аппаратного обеспечения. Конечным результатом этого стал огромный объем данных, который начал генерироваться ежедневно. По мере увеличения размера данных росли и методы их обработки. Прямо сейчас данные и связанные с ними проблемы зависят от бизнеса/предметной области. Наиболее распространенный метод решения проблем, связанных с данными, включает использование знаний о машинном и искусственном обучении для получения значимых идей, закономерностей и прогнозов. Однако, поскольку существует ряд бизнес-проблем, существует также ряд алгоритмов, которые можно использовать, что делает важным понимание взаимосвязи между алгоритмами и различными видами бизнес-проблем, что помогает выбрать правильный алгоритм, ведущий к лучшие результаты. Вопрос – «Какой алгоритм использовать?» можно ответить, сначала ответив на несколько предварительных вопросов, таких как: В чем проблема бизнеса? 1. Если бизнес-цель – операционная или стратегическая? 2. Как будет реализована модель для решения бизнес-задачи? 3. Соответствуют ли возможности алгоритма требованиям для решения бизнесзадачи? После того, как на эти вопросы будут даны ответы, становится легко сузить круг вопросов до того алгоритма, который лучше всего подходит для решения конкретной бизнес-проблемы. Алгоритмы искусственного интеллекта В наше время существует множество машинных алгоритмов, каждый из которых имеет собственный подход к решению различных проблем, от оптимизации до
THE VI INTERNATIONAL SCIENTIFIC CONFERENCE “SCIENTIFIC FOUNDATIONS FOR THE USE OF INFORMATION TECHNOLOGIES OF A NEW LEVEL AND MODERN PROBLEMS OF AUTOMATION”, NOVEMBER 20, 2025 360 классификации и сегментации. Чтобы ответить на вопрос, который поможет в определении выбранного алгоритма, необходимо знать наиболее часто используемые алгоритмы и категорию, к которой они относятся. Сначала можно понять категории, а затем им можно назначить алгоритмы. Алгоритмы, с которыми мы имеем дело ежедневно, можно разделить на бизнес-задачи, настройку обучения, бизнес-цель и методику реализации. Когда дело доходит до бизнес-проблем, проблема может быть либо: 1. Регрессия (для прогнозирования требуются непрерывные числовые значения) 2. Классификация (прогнозирование определенных заранее определенных классов / категорий) 3. Сегментация (классификация данных в неопределенных группах) 4. Прогнозирование (прогнозирование значений во времени) 5. Оптимизация (Оптимизация значений на основе некоторого ограничения) Бизнес-цели могут быть в основном двух типов: 1. Стратегические (долгосрочные и среднесрочные цели) 2. Оперативная (краткосрочные цели) Различные типы алгоритмов развертываются с использованием метода диапазона, такого как: 1. Традиционные или классические статистические методы (алгоритмы, работающие исключительно на фундаментальных понятиях статистики) 2. Методы машинного обучения (алгоритмы работают с использованием концепции самообучения) 3. Глубокое обучение (алгоритмы, использующие архитектуру нейронной сети для работы) Множество алгоритмов можно легко разделить на категории, используя указанные выше группы. Как только категории становятся понятными, становится легко ответить на вопрос, который помогает нам выбрать правильный алгоритм для решения данной проблемы. Характеристики алгоритмов искусственного интеллекта Собственный метод подхода к проблеме различается в разных типах алгоритмов, и это проявляется в их характеристиках. Характеристики алгоритма можно в целом понять, сосредоточив внимание на таких ключевых областях, как: 1. Точность: существует общий уровень точности сложных алгоритмов машинного и глубокого обучения, обычно имеющих высокий уровень точности, в то время как, с другой стороны, традиционные методы имеют пороговое значение и обеспечивают точность спуска и не ошибаются по праву. иногда делают другие алгоритмы. 2. Интерпретируемость: иногда важен вопрос, как мы можем получить ту точность, которую мы получаем, и именно здесь алгоритмы, обеспечивающие высокую точность, настолько сложны, что их внутренняя работа похожа на «черный ящик» и менее интерпретируема. Становится трудно понять, что делает модель, поскольку расчеты настолько длинные и сложные, и их нелегко понять. 3. Тип: модели могут быть параметрическими или непараметрическими. Параметрические модели – это модели, в которых обычно используется математическое уравнение, которое работает при определенных обстоятельствах для правильного функционирования. Другими словами, существует набор строгих предположений, которые
THE VI INTERNATIONAL SCIENTIFIC CONFERENCE “SCIENTIFIC FOUNDATIONS FOR THE USE OF INFORMATION TECHNOLOGIES OF A NEW LEVEL AND MODERN PROBLEMS OF AUTOMATION”, NOVEMBER 20, 2025 361 должны быть выполнены, что позволяет алгоритму принадлежать данным определенному семейству распределений и пытаться создать линию наилучшего соответствия и делать прогнозы. Однако есть и другие модели, которые можно отнести к категории непараметрических, которые имеют меньше требований к предположениям, которые необходимо выполнить, и не создают математических уравнений для функционирования. Алгоритмы могут быть основаны на правилах, расстояниях, вероятностях и т. д. 4. Возможности обработки размера данных: некоторые алгоритмы могут обрабатывать данные очень больших размеров, т. е. имеется большое количество строк. Точно так же определенный алгоритм лучше всего подходит для работы с большими данными. 5. Устойчивость к мультиколлинеарности: некоторые алгоритмы, особенно древовидные алгоритмы, гораздо более устойчивы к мультиколлинеарности, чем, скажем, традиционные модели. 6. Восприимчивость к выбросам: параметрические алгоритмы обычно более уязвимы к выбросам, в то время как другие – нет. 7. Допущения: для некоторых алгоритмов существует набор предопределенных предположений, которые должны быть выполнены, чтобы они функционировали должным образом, в то время как для других, обычно непараметрических алгоритмов, отсутствуют или менее жесткие требования к предположениям. 8. Этап обучения и тестирования: время, затрачиваемое на этапах обучения и тестирования, отличается в зависимости от определенного алгоритма, который зависит от большого количества небольших изолированных вычислений, занимающих много времени на этапе тестирования, в то время как алгоритмы, в которых задействованы математические уравнения, занимают больше времени на этапе обучения. Рис1. Плюсы и минусы алгоритмов искусственного интеллекта
THE VI INTERNATIONAL SCIENTIFIC CONFERENCE “SCIENTIFIC FOUNDATIONS FOR THE USE OF INFORMATION TECHNOLOGIES OF A NEW LEVEL AND MODERN PROBLEMS OF AUTOMATION”, NOVEMBER 20, 2025 362 Основная часть алгоритмов относится к области прогнозных моделей, поэтому, как только характеристики таких моделей будут поняты, на основе этих характеристик можно будет оценить достоинства и недостатки каждого из этих алгоритмов. 1. Linear / Logistic Regression И линейная, и логистическая регрессия являются параметрическими методами. Это статистически надежные методы. По сравнению с другими методами (преимущественно методами машинного обучения) они не так точны, но каждый раз обеспечивают приличную точность. Самым важным преимуществом этих методов является интерпретируемость, поскольку они предлагают коэффициенты для каждой характеристики, что в конечном итоге помогает понять ключевые факторы. Кроме того, они эффективны, поскольку требуют меньше времени на обучение и тестирование. Проблемы с этими методами включают в себя особые требования к предположениям, поскольку для правильной работы этих алгоритмов важно, чтобы выполнялся конкретный набор предположений, например, что зависимая переменная имеет нормальное распределение (для линейной регрессии), данные не имеют мультиколлинеарности и гетероскедастичности. 2. Support Vector Machines Это один из наиболее важных и мощных алгоритмов для выполнения классификации, который также может использоваться для решения задач регрессии. Машина опорных векторов была настолько мощным алгоритмом, что на некоторое время задержала рост искусственных нейронных сетей, поскольку была более мощной, чем она сама. SVM благодаря своей способности выполнять преобразования ядра может довольно эффективно работать с данными большого размера. Это делает полезным классифицировать те данные, в которых количество функций очень велико. SVM также
THE VI INTERNATIONAL SCIENTIFIC CONFERENCE “SCIENTIFIC FOUNDATIONS FOR THE USE OF INFORMATION TECHNOLOGIES OF A NEW LEVEL AND MODERN PROBLEMS OF AUTOMATION”, NOVEMBER 20, 2025 363 имеет свой собственный набор недостатков, таких как то, что это не очень хороший алгоритм для решения проблемы регрессии, а также проблемы многоклассовой классификации, и его реальная сила заключается в двоичной классификации. Он может работать с данными больших размеров, но это занимает много времени и, следовательно, не является очень эффективным алгоритмом. 3. K Nearest Neighbor KNN – один из самых простых для понимания и реализации алгоритмов, который широко используется из-за своей простоты. Будучи непараметрическим методом, он не имеет проблем с предположениями, и данные не должны быть в определенном статистическом формате для правильной работы KNN. Время, затрачиваемое на фазу обучения, если не очень велико, так как на этой фазе выполняются не основные вычисления. В отличие от наивных байесовских машин и машин опорных векторов, которые в основном используются для решения задач классификации, KNN может использоваться для решения как задач регрессии, так и классификации с одинаковым уровнем ожидаемой точности. Кроме того, поскольку он ищет похожие события для составления прогнозов, он также широко используется в качестве метода обработки пропущенных значений. 4. Naïve Bayes Naïve Bayes метод – это вероятностный метод, способный выполнить большое количество вероятностных вычислений за очень короткий период времени для прогнозирования. Это причина того, что он очень эффективен, поскольку занимает меньше времени на этапе обучения и тестирования и может работать с данными очень больших размеров. Из-за таких функций он является одним из наиболее широко распространенных алгоритмов для выполнения операций, связанных с текстом, таких как классификация текста, поскольку он может выполнять мультиклассовую классификацию без особых проблем. Среди заметных недостатков наивного байесовского метода – то, что он работает только для решения задач классификации, а не регрессии. 5. Decision Trees Среди наиболее широко используемых алгоритмов Decision Trees можно использовать как для регрессии, так и для классификации. Decision Trees как алгоритм имеет длинный список преимуществ, но среди различных преимуществ наиболее важными являются то, что, поскольку это алгоритм, основанный на правилах, он не требует выполнения каких-либо предположений. Алгоритм Decision Trees настолько хорошо интерпретируем, что его прогнозы могут быть визуализированы (в виде древовидной диаграммы), что помогает особенно в ситуациях, когда необходимо передать процесс, посредством которого алгоритм приходит к конкретному прогнозу. На этом преимущества не заканчиваются, так как из-за его внутреннего функционирования на этапе тестирования требуется меньше времени, не подвержен выбросам или отсутствующим значениям, а также не имеет проблем с данными, имеющими мультиколлинеарность. 6. Random Forest Random Forest – это особый случай бэггинга, когда с использованием самозагрузки и случайных подпространств создается ряд выборок, для которых подходит алгоритм
THE VI INTERNATIONAL SCIENTIFIC CONFERENCE “SCIENTIFIC FOUNDATIONS FOR THE USE OF INFORMATION TECHNOLOGIES OF A NEW LEVEL AND MODERN PROBLEMS OF AUTOMATION”, NOVEMBER 20, 2025 364 решающей привязки, и вычисляются множественные точности, тем самым упрощая иначе сложную границу решения, следовательно, решая проблему мультиколлинеарности. Поскольку в качестве алгоритмов используются Decision Trees, он имеет почти тот же набор преимуществ (включая отсутствие требований к предположениям, подготовке данных и приличный уровень точности), но не имеет того же набора недостатков, что и пытается решить проблема переобучения. Проблемы Random Forest отличаются от деревьев решений, так как они могут стать чрезвычайно сложными, требующими больших вычислительных затрат и затрат времени. Также,уровень повышения точности уменьшается с увеличением количества пакетов (образцов), поэтому роль настройки гиперпараметров становится чрезвычайно важной, таких как глубина деревьев и количество пакетов. Самая большая потеря Random Forest – это отсутствие интерпретируемости, поскольку он работает как черный ящик, и это одно из преимуществ Decision Trees, которого нет в Random Forest, поскольку это один из методов ансамблевого обучения, который в целом очень плохо интерпретируемый. 7. Bagging / Boosting Bagging и Boosting, оба являются ансамблевыми методами. Цель обоих этих методов – решить проблему переобучения. Bagging – это параллельный процесс, в то время как Bossting – последовательный метод. Оба эти метода могут использовать любой алгоритм, но наиболее распространенный алгоритм – это Decision Trees. В результате они могут решать задачи классификации и регрессии. Одно из преимуществ таких методов заключается в том, что они не требуют большого количества данных для получения хороших прогнозов и могут прилично работать даже с ограниченными данными. Высокая точность и преимущество в том, что они не подвержены выбросам, отсутствующим значениям, отсутствию требований к предположениям и мультиколлинеарности, делают их очень хорошим алгоритмом для работы. 8. Artificial Neural Networks ANN – это сложный алгоритм глубокого обучения, который работает в режиме обучения с подкреплением. Он способен обеспечить высокий уровень точности и может решать как проблемы регрессии, так и классификации. Они не требуют никаких предположений для правильной работы и могут обрабатывать данные в больших количествах. Одна из проблем с ANN заключается в том, что на этапе обучения требуется много времени, так как он должен сходиться к лучшим значениям весов и смещения, однако после обучения сети время, необходимое для прогнозов (этап тестирования), составляет очень низкий, что делает алгоритм привлекательным для работы. Будучи алгоритмом глубокого обучения, ANN может быть развернута для решения проблем, связанных с различными видами данных, включая данные, содержащие мультимедиа (аудио, изображения и т. д.). На него также не влияют выбросы,недостающие значения и мультиколлинеарность. У каждой бизнес-проблемы есть свой набор уникальных ограничений. В бизнесзадачах, где задействован текст, данные обычно имеют очень большие размеры, и здесь можно использовать такой алгоритм, как Наивный Байес. Если бизнес-задача связана с мультимедиа, можно использовать алгоритмы глубокого обучения, такие как ИНС. Если проблема связана с двоичной классификацией, то лучшим алгоритмом является SVM, в то время как для задач классификации с несколькими классами можно использовать методы
THE VI INTERNATIONAL SCIENTIFIC CONFERENCE “SCIENTIFIC FOUNDATIONS FOR THE USE OF INFORMATION TECHNOLOGIES OF A NEW LEVEL AND MODERN PROBLEMS OF AUTOMATION”, NOVEMBER 20, 2025 365 ансамблевого обучения наряду с ИНС и Нави Байесом. Если требуется в конечном итоге показать решение толпе, не связанной с наукой о данных / статистикой, тогда алгоритмы с высокой степенью интерпретации являются правильными. Все эти факторы влияют на то, достаточно ли хорош алгоритм для решения бизнес-задачи, несмотря на его отдельные качества или их отсутствие. Путь вперед Понимание различных алгоритмов очень важно, поскольку помогает выбрать правильный алгоритм и оптимизировать точность, которую можно достичь с помощью этого алгоритма. Однако также важно понимать будущее применения таких алгоритмов. Например, модуль Hunga Bunga (на стадии бета-тестирования) от scikit изучает тесты и сравнивает длинный список моделей, доступных в Sklearn, после того, как пользователь подает предварительно обработанные данные. Это позволяет пользователю применить все основные алгоритмы за один раз и получить список с точностью, обеспечиваемой каждым алгоритмом. Это по-прежнему не может заменить требования к специалисту по данным, обладающему глубокими знаниями различных алгоритмов, знанием преимуществ и ограничений каждого алгоритма, помогающего в их правильной СПИСОК ЛИТЕРАТУРЫ 1. Е. В. Боровская, Н. А. Давыдова. /Основы искусственного интеллекта : учебное пособие / 4-е изд., электрон. Москва.: Лаборатория знаний, 2020. 130 с. 2. https://e-nivers.ru/upload/iblock/0ff/nuvwbbj4xzowmql7tt2tccwurvap92p2.pdf 3. https://asu-analitika.ru/kak-vybrat-luchshij-algoritm-iskusstvennogo-intellekta 4. https://aws.amazon.com/ru/what-is/artificial-intelligence/ 5. https://cyberleninka.ru/article/n/etika-i-iskusstvennyy-intellekt-problemy-iprotivorechiya