- Артикул:00203261
- Автор: Потапов А.С.
- ISBN: 5-7325-0881-3
- Обложка: Твердый переплет
- Издательство: Политехника (все книги издательства)
- Город: СПб
- Страниц: 548
- Формат: 60х90 1/16
- Год: 2007
- Вес: 817 г
В книге подробно рассмотрен принцип минимальной длины описания, являющийся следствием теоретико-информационного подхода к построению моделей и выбору гипотез. Этот принцип становится все более популярным при решении сложных задач автоматического анализа данных, традиционно относившихся к области искусственного интеллекта. Рассмотрены задачи распознавания образов, машинного восприятия и грамматического и логического выводов, для которых использование принципа минимальной длины описания уже позволило получить более эффективные решения. На конкретных примерах показана возможность разработки унифицированного подхода к решению указанных задач.
Книга предназначена для широкого круга читателей: студентов, молодых ученых и специалистов, интересующихся компьютерными науками и, в частности, искусственным интеллектом.
Оглавление
Предисловие
Глава 1 Индуктивный вывод
1.1. Проблема выбора гипотез в индуктивном выводе
1.1.1. Что такое индуктивный вывод? Неформальное рассмотрение
1.1.2. Основные понятия индуктивного вывода
1.1.3. Критерии сравнения гипотез
1.1.4. Бритва Оккама и принцип минимальной длины описания
1.1.5. Бритва Оккама в научной эстетике и биологических системах
1.2. Байесовские методы в индуктивном выводе и машинном обучении
1.2.1. Теорема Байеса для выбора модели
1.2.2. Принятие решений и предсказание на основе правила Байеса
1.2.3. Методы максимума апостериорной вероятности и максимального правдоподобия
1.2.4. Проблема априорных вероятностей
1.3. Основные положения теории информации
1.3.1. Теория информации Шеннона: историческая справка
1.3.2. Энтропия дискретной случайной величины
1.3.3. Энтропия непрерывной случайной величины
1.3.4. Префиксное кодирование
1.4. Информационная мера при выборе модели
1.4.1. Теоретико-информационная интерпретация правила Байеса
1.4.2. Методы второго порядка и предположение нормальности
1.4.3. Среднеквадратичное отклонение и энтропия
1.4.4. Коэффициент корреляции и средняя взаимная информация
1.4.5. Проблема информативности модели
1.5. Машина Тьюринга и алгоритмическая сложность
1.5.1. Понятие алгоритма
1.5.2. Формализм машины Тьюринга
1.5.3. Универсальная машина Тьюринга
1.5.4. Понятие алгоритмической сложности
1.5.5. Индивидуальная случайность бинарной строки
1.5.6. Алгоритмическая сложность как количество информации
1.6. Алгоритмическая сложность и сравнение гипотез
1.6.1. Предсказание на основе алгоритмической вероятности
1.6.2. Алгоритмическая сложность в индуктивном выводе
1.6.3. Индукция и предсказание
1.6.4. Полнота и комбинаторный взрыв
1.6.5. Проблема субъективности и инкрементное машинное обучение
1.7. Заключение
Глава 2 Низкоуровневые задачи машинного обучения
2.1. Распознавание образов в контексте машинного обучения
2.1.1. Вводные замечания по проблеме машинного обучения
2.1.2. Основные понятия распознавания образов
2.1.3. Дополнительные предположения о пространстве описаний и множестве классов
2.1.4. Постановка задачи распознавания в зависимости от количества априорной информации
2.1.5. Задачи распознавания в терминах индуктивного вывода
2.2. Классификация образов
2.2.1. Решающие функции
2.2.2. Критерии, основанные на функциях расстояния
2.2.3. Статистический подход
2.2.4. Информационный критерий
2.3. Распознавание с учителем
2.3.1. Линейные решающие функции и опорные векторы
2.3.2. Обобщенные решающие функции и ядра
2.3.3. Выбор эталонных образов
2.3.4. Параметрические методы оценивания плотности вероятности
2.3.5. Непараметрические методы оценивания плотности вероятности
2.3.6. Информационные критерии в распознавании
2.3.7. Принцип МДО и априорные ограничения методов распознавания
2.3.8. Пример практического приложения: распознавание целей
2.4. Группирование образов в пространстве признаков
2.4.1. Проблема обучения без учителя
2.4.2. Задача группирования
2.4.3. Кластеризация на основе функций расстояния
2.4.4. Использование смесей в задаче группирования
2.4.5. Критерии выбора числа кластеров
2.4.6. Основные упрощения в постановке задачи группирования
2.5. Выбор признаков
2.5.1. Общие замечания о проблеме выбора признаков
2.5.2. Преобразование кластеризации при обучении с учителем
2.5.3. Проблема выбора признаков при обучении без учителя
2.5.4. Анализ главных компонент и факторный анализ
2.5.5. Уменьшение избыточности данных и поиск интересных направлений в пространстве признаков
2.5.6. Анализ независимых компонент
2.5.7. Представления информации, объединяющие свойства распределенных и локальных представлений
2.5.8. Информационный критерий качества представления
2.5.9. Пример практического приложения: выбор текстурных признаков
2.6. Регрессия и сегментация
2.6.1. Задача регрессии
2.6.2. Проблема выбора факторов и ее решение с помощью принципа МДО
2.6.3. Задача сегментации
2.6.4. Информационный критерий качества сегментации
2.7. Заключение
Глава 3 Машинное восприятие
3.1. Представление изображений в системах компьютерного зрения
3.1.1. Машинное восприятие в контексте искусственного интеллекта
3.1.2. Интерпретация изображений как центральная проблема компьютерного зрения
3.1.3. Представления в виде необработанных данных: пиксельный уровень
3.1.4. Низкоуровневые представления: математические модели изображений
3.1.5. Средний уровень: структурные методы
3.1.6. Верхний уровень: методы, основанные на знаниях
3.1.7. Иерархические представления изображений
3.2. Принцип минимальной длины описания в интерпретации изображений
3.2.1. Выбор представления изображений с теоретикоинформационной точки зрения
3.2.2. Общие предположения о свойствах изображений
3.2.3. Сегментация изображений на однородные области
3.2.4. Построение структурных элементов на основе контурной информации
3.2.5. Формирование составных структурных элементов
3.2.6. Пример практического приложения: совмещение изображений
3.2.7. Некоторые выводы относительно общей проблемы индукции
3.3. Теоретико-информационный подход к машинному восприятию речи
3.3.1. Проблема машинного слуха и распознавание речи
3.3.2. Основные понятия в области распознавания речи
3.3.3. Распознавание фонем по различительным признакам
3.3.4. Распознавание слов по цепочкам символов
3.3.5. Выделение границ слов и модели языка на основе N-грамм
3.3.6. Выделение устойчивых сочетаний фонем
3.3.7. Ограничения рассмотренных методов машинного восприятия
3.4. Формирование лингвистических единиц, основанных на семантике, на примере системы CELL
3.4.1. Проблема смысла референтных выражений
3.4.2. Общая архитектура системы CELL
3.4.3. Реализация зрительной и акустической подсистем в системе CELL
3.4.4. Основные результаты тестирования системы CELL
3.4.5. Дальнейшее развитие системы CELL
3.4.6. Нерешенные проблемы автоматического построения концептуальных систем
3.5. Иерархические представления, неполная декомпозиция задач и адаптивный резонанс
3.5.1. Введение иерархичности при решении NP-полных задач
3.5.2. Понятие адаптивного резонанса
3.5.3. Теоретико-информационная интерпретация адаптивного резонанса
3.5.4. Адаптивный резонанс при интерпретации изображений
3.5.5. Адаптивный резонанс в анализе речи
3.5.6. Использование обратных связей при совместной интерпретации аудио- и видео информации
3.5.7. Концепция метасистемых переходов
3.6. Заключение
Глава 4 Высокоуровневые задачи индуктивного вывода
4.1. Проблема индуктивного вывода символьных представлений
4.2. Формальные грамматики
4.2.1. Историческая справка
4.2.2. Основные определения
4.2.3. Типы формальных грамматик
4.2.4. Стохастические грамматики
4.2.5. Синтаксический разбор
4.3. Грамматический вывод
4.3.1. Основные определения и постановка задачи
4.3.2. Восстановление грамматик перечислением
4.3.3. Эвристические процедуры грамматического вывода
4.3.4. Байесовский вывод стохастических грамматик
4.3.5. Теоретико-информационный подход к грамматическому выводу
4.3.6. Некоторые замечания о восстановлении грамматик при информаторном представлении
4.4. Приложения методов восстановления грамматик на основе принципа МДО в анализе естественных языков
4.4.1. Краткое сравнение формальных грамматик с моделями языка на основе ЛГ-грамм
4.4.2. Обучение фразам
4.4.3. Разделение морфов на классы на основе принципа МДО
4.4.4. Построение классов слов на основе принципа МДО
4.4.5. Проблема выделения подзадач при восстановлении грамматик
4.5. Наборы правил, деревья и графы решений
4.5.1. Построение наборов порождающих правил
4.5.2. Информационный критерий качества дерева решений
4.5.3. «Жадные» алгоритмы построения деревьев решений
4.5.4. Ограничения представления информации в форме деревьев решений
4.5.5. Представления, расширяющие деревья решений
4.5.6. Обсуждение символьных представлений
4.6. Заключение
Литература