Игры с элементами случайного выбора известны, по меньшей мере, с 300 года до н.э., но математический анализ случайных чисел и вероятностей стал проводиться гораздо позднее. Некоторые работы, выполненные индийским математиком Махавиракарьей (Mahaviracarya), датированы примерно IX веком. В Европе первые попытки проведения такого анализа начались только в эпоху итальянского Возрождения, приблизительно с 1500 года. Первый значимый систематический анализ был проведен Джироламо Кардано примерно в 1565 году, но его работы оставались неопубликованными до 1663 года. В это время открытие Блезом Паскалем систематического способа вычисления вероятностей (о котором он сообщил в переписке с
Пьером Ферма в 1654 году) впервые привело к утверждению теории вероятностей как математической дисциплины. Первым опубликованным учебником по теории вероятностей была книга Гюйгенса De Ratiociniis in Ludo Aleae [712]. Кроме того, Паскаль ввел понятие условной вероятности, которое описано в учебнике Гюйгенса. Преподобный Томас Байес (1702—1761 гг.) сформулировал правило формирования рассуждений об условных вероятностях, которое было названо в его честь. Работы Байеса были опубликованы только после его смерти [88]. Колмогоров в свой работе [826] (которая вышла вначале на немецком языке, в 1933 году) впервые представил теория вероятностей в виде строго аксиоматической инфраструктуры. В дальнейшем Реньи [1282] сформулировал аксиоматическое представление, в котором в качестве примитивного понятия используется условная, а не абсолютная вероятность.
Паскаль использовал вероятность в таких вычислениях, которые требовали не только ее объективной интерпретации, как свойства мира, основанного на симметрии или относительных частотах событий, но и субъективной интерпретации, основанной на оценке степени уверенности. Первая интерпретация обнаруживается в проведенном Паскалем анализе вероятностей в играх с элементами случайности, а последняя — в знаменитых доводах "Спора с Паскалем", касающихся возможного существования Бога. Однако Паскаль недостаточно четко учитывал различие между этими двумя интерпретациями. Указанное различие было впервые наглядно подчеркнуто Джеймсом Бернулли (1654-1705 гг.).
Лейбниц ввел "классическое" понятие вероятности как доли перечислимых, равновероятных случаев, которое использовалось также Бернулли, но полностью проанализировано Лапласом (1749-1827 гг.). Это понятие является противоречивым из-за наличия частотной и субъективной интерпретации. События могут рассматриваться как равновероятные либо из-за наличия естественной, физической симметрии между ними, либо просто из-за того, что мы не обладаем достаточными знаниями, которые позволили бы считать одно событие более вероятным, чем другое. Подход, предусматривающий использование последних, субъективных соображений, оправдывающих допустимость присваивания равных вероятностей, известен под названием принципа безразличия [792].
Споры между приверженцами объективного и субъективного подходов обострились в XX столетии. Колмогоров [827], Р.А. Фишер [473] и Ричард фон Мизес [1544] были сторонниками относительной частотной интерпретации. Приведенная в работе Карла Поппера [1228] (которая была вначале выпущена на немецком языке, в 1934 году) интерпретация "проявлений закономерностей" позволяет проследить истоки формирования относительных частот вплоть до основополагающих законов физической симметрии. Франк Рамсей [1265], Бруно де Финетти [342], Р.Т. Кокс [304], Леонард Сэведж [1354] и Ричард Джеффри [727] интерпретировали вероятности как степени уверенности конкретных лиц. Проводимый ими анализ степеней уверенности был тесно связан с полезностями и с поведением, а именно в этом направлении анализа оценивалась готовность субъекта делать те или иные ставки. Рудольф Карнап, последовав за Лейбницем и Лапласом, предложил субъективную интерпретацию вероятности другого рода — не как определенной степени уверенности конкретного лица, а как степень уверенности, которую должна иметь идеализированная личность в отношении истинности конкретного высказывания а, если дан конкретный ряд свидетельств е.
Карнап попытался продвинуться дальше Лейбница или Лапласа, сформулировав понятие степени
подтверждения математически точно, как логического отношения между а и е. Исследования этого отношения имели своей целью создание математической дисциплины, которая была названа "^индуктивной логикой по аналогии с обычной дедуктивной логикой [224], [225]. Карнап не смог далеко расширить свою индуктивную логику за пределы пропозиционального случая, а Хилари Патнем [1247] показала, что некоторые фундаментальные сложности послужили бы препятствием при создании строгих расширений языков, способных выражать арифметические соотношения.
С попыткой создать индуктивную логику тесно связана проблема референтных классов. Подход, предусматривающий выбор "наиболее конкретного" референтного класса с достаточными размерами, был формально предложен Рейхенбахом [1273]. Были сделаны различные попытки сформулировать более сложные подходы для предотвращения некоторых очевидных ошибок, связанных с использованием правила Рейхенбаха (к наиболее известным из них относятся работы Генри Кайберга [873], [874]), но такие подходы остаются в определенной степени лишенными теоретического фундамента. В опубликованной в дальнейшем работе [54] методы Карнапа распространены на теорию первого порядка, что позволило избежать многих сложностей, связанных с применением прямолинейного метода референтных классов.
Байесовские вероятностные рассуждения использовались в искусственном интеллекте начиная с 1960-х годов, особенно в области медицинской диагностики. Эти методы применялись не только для составления диагноза на основании доступных свидетельств, но и для выбора дополнительных вопросов и тестов с использованием теории информационного значения (раздел 16.6), если доступные свидетельства не позволяли прийти к окончательному выводу [583], [584]. Одна из систем превзошла людей-экспертов в области диагностики острых брюшных заболеваний [340]. Но такие ранние байесовские системы были подвержены многочисленным недостаткам. Поскольку в этих системах отсутствовали какие-либо теоретические модели диагностируемых ими условий, они были чувствительными к нерепрезентативным данным, встречающимся в тех ситуациях, когда доступны были лишь небольшие выборки [341]. Еще более важным недостатком было то, что в этих системах не применялись лаконичные формальные средства (подобные тем, которые будут описаны в главе 14) для представления и использования информации об условной независимости, поэтому эксплуатация этих систем требовала накопления, хранения и обработки таблиц с вероятностными данными, достигающих колоссальных размеров. Из-за этих сложностей вероятностные методы решения задач в условиях неопределенности не вызывали интереса исследователей в области искусственного интеллекта в период 1970-х-середины 1980-х годов. Достижения в этой области, появившиеся в конце 1980-х годов, которые изменили эту ситуацию, описаны в следующей главе.
Наивное байесовское представление для совместных распределений широко исследовалось в литературе по распознаванию образов с 1950-х годов [421]. Кроме того, такой способ представления использовался в области выборки текста, часто не совсем продуманно, начиная с [984]. Вероятностные основы этого метода, который дополнительно описан в упр. 13.18, были сформулированы в работе Робертсона иСпарка Джонса [1297]. Домингос и Паццани [402] объяснили причины поразительного успеха наивных байесовских рассуждений даже в тех проблемных областях, где они явно нарушали предположения о независимости.
По теории вероятностей есть много хороших вводных учебников, включая [254] и [1310]. Морис де Грот [378] подготовил объединенное введение в проблематику
вероятностей и статистики с байесовской точки зрения, а также выпустил более расширенный учебник [377]. В учебнике Ричарда Хемминга [608] дано математически сложное введение в теорию вероятностей с точки зрения интерпретации проявления закономерностей, основанной на физической симметрии. В [605] и [606] описана ранняя история развития понятия вероятности. Бернстейн [114] составил увлекательный популярный отчет об истории понятия риска.