|
Helgus ~ µастер ~ Kласс: Это незавершённая статья по ивентологии и её применениям |
Байесовская вероятность — распространённая интерпретация понятия вероятности как «меры состояния знания»[1]; есть два представления относительно байесовской вероятности, которые по-разному интерпретируют концепцию меры «состояния знания»:
- для объективистской школы, мера «состояния знания» может быть оправдана стремлением к рациональности и последовательности в измерении «состояния знания» и может интерпретироваться как формальное расширение аристотелевской логики[2][3].
- для субъективистской школы, мера «состояния знания» — это мера «личной уверенности» [4].
Многие современные методы машинного обучения основаны на объективистских байесовских принципах[5].
История[]
Термин «байесовский» обязан Томасу Байесу, который доказал специальный случай того, что теперь называют теоремой Байеса. Лаплас доказал более общую версию теоремы и использовал её в небесной механике, медицинской статистике, и юриспруденции.
Хотя теорема Байеса использовалась уже более двухсот лет (байесовский вывод), интерпретация байесовской вероятности имеет более современную историю. Идея, что «вероятность» должна интерпретироваться как «субъективная степень веры в суждения» была предложена независимо Бруно де Финетти в Италии (1930)[6] и Фрэнком Рамсеем в Кембридже (1931)[7]. Субъективная вероятность была изобретена, чтобы разрешить проблемы с классическим определением вероятности.
Слово «байесовский» появилось в 1950-ых, но к 1960-ым, оно стало термином, предпочитаемым людьми, которые стремились избежать резкой критики более узкого «частотного» подхода к теории вероятности[8][9].
Байесовский анализ исследовался позже Харольдом Джеффрисом, Ричардом Т. Коксом, Ирвингом Дж. Гудом, Леонардом Дж. Сэвиджем и Эдвином Т. Джэйнсом. Среди других известных сторонников теории байесовской вероятности Джон Мэйнард Кейнс, Бернард O. Купман, Деннис В. Линдли и многие философы 20-ого столетия.
В байесовской теории оценка вероятности может быть получена несколькими способами. Один основан на пари: степень веры в суждение отражена в шансах, что эксперт желает держать пари на успех суда над его истиной. Ричард Т. Кокс показал, что байесовский вывод — единственный индуктивный вывод, который является логически последовательным[10].
Варианты[]
Субъективная байесовская вероятность интерпретирует «вероятность» как
- «степень веры (или сила веры), которую человек имеет к истинности суждения»,
и в этом отношении она субъективна. Некоторые люди, которые называют себя байесианцами, не принимают эту субъективность, в соответствии с чем они расценили бы определение байесовской вероятности в этой статье как ошибочное. Главными представителями этой объективистской школы был Эдвин Джэйнс и Харольд Джеффрис. Возможно главный объективистский байесианец из ныне живущих — Джеймс Берджер. Хосе Бернардо и другие принимают некоторую степень субъективности, но полагают, что потребность в априорных предположениях существует во многих практических ситуациях.
Применения[]
С 1950-ых, байесовская теория и байесовская вероятность широко применялись благодаря теореме Кокса, принципу Джэйнса максимальной энтропии и аргумента Датской книги. Во многих применениях, байесовские методы являются более общими и кажется, дают лучшие результаты чем частотная вероятность[11]. Байесовские факторы были также применены к Бритве Оккама.
Немного о научном методе применении байесовского вероятностного вывода [1]. В этом представлении, теорема Байеса явно или неявно используется, чтобы обновить силу предшествующих научных верований в правду гипотез в свете новой информации от наблюдения или эксперимента.
Байесовские методы были недавно применены, чтобы фильтровать электронную почту от спама. Байесовский фильтр спама использует множество э-писем, чтобы определить то, что, как первоначально полагают, является спамом. После того, как спам определен, фильтр использует особенности этого спам-э-письма, чтобы определить новые сообщения или как спам или законная э-почта. Сообщения новой э-почты действуют как новая информация, и если ошибки на определениях спама и законной э-почты замечены пользователем, эта новая информация обновляет информацию в первоначальном множестве э-писем с надеждой, что будущая фильтрация будет более точной.
См. также[]
- Интерпретации вероятности
- Субъективная вероятность (обзор)
- Байесовский вывод
- Теорема Байеса
- Байесовское фильтрование
- Теорема Кокса
- Вероятность (частота)
- Неопределённость
- Вывод
- Байесовская сеть
- Аргумент Судного Дня (Doomsday argument) в пользу спорности использования байесовского вывода
- Максимум-энтропийная термодинамика — байесовский взгляд на термодинамику
- Философия математики
- Алгоритмическая вероятность на Scholarpedia
Источники[]
- ↑ E.T. Jaynes. Probability Theory: The Logic of Science Cambridge University Press, (2003). ISBN 0-521-59271-2
- ↑ Richard T. Cox, Algebra of Probable Inference, The Johns Hopkins University Press, 2001
- ↑ E.T. Jaynes. Probability Theory: The Logic of Science Cambridge University Press, (2003). ISBN 0-521-59271-2
- ↑ de Finetti, B. (1974) Theory of probability (2 vols.), J. Wiley & Sons, Inc., New York
- ↑ Bishop, CM., Pattern Recognition and Machine Learning. Springer, 2007
- ↑ Fondamenti Logici del Ragionamento Probabilistico (1930)
- ↑ The Foundations of Mathematics (1931), See p50-1 (Субъективная теория вероятности была обнаружена независимо и в приблизительно то же самое время Франком Рамсей в Кембридже и Бруно де Финетти в Италии. Возникла даже дискуссия для объяснения неправильного мнения, что Рамсей, якобы, предложил эту теорию первым).
- ↑ Jeff Miller, "Earliest Known Uses of Some of the Words of Mathematics (B)"
- ↑ Stephen. E. Fienberg, When did Bayesian Inference become "Bayesian"? Bayesian Analysis (2006).
- ↑ Richard T. Cox, Algebra of Probable Inference, The Johns Hopkins University Press, 2001
- ↑ ET. Jaynes. Probability Theory: The Logic of Science Cambridge University Press, (2003). ISBN 0-521-59271-2
Ссылки[]
- Алгоритмическая вероятность на Scholarpedia
- Учебник по байесовской вероятности
- On-line учебник: David MacKay. Information Theory, Inference, and Learning Algorithms — содержит много глав по байесовским методам, включая вводные примеры; аргументы в защиту байесовских методов (в стиле Эдвина Джейнса); современное состояние методов Монте-Карло, метода принятого сообщения (message-passing method), вариационных методов; а также примеры, иллюстрирующие тесную связь между байесовским выводом и сжатием данных.
- Прекрасный вводный on-line учебник по байесовской вероятности из Университета Королевы Мари в Лондоне
- An Intuitive Explanation of Bayesian Reasoning — очень достойное введение by Eliezer Yudkowsky
- Giffin, A. and Caticha, A. 2007 Updating Probabilities with Data and Moments
- Gillies, D.Philosophical theories of probability Routledge 2000
- Hacking, I. 1965 The Logic of Statistical Inference CUP
- Hacking, I. 1967 'Slightly More Realistic Personal Probability' Philosophy of Science vol34
- Hacking, I. 2006 The Emergence of Probability: A Philosophical Study of Early Ideas about Probability, Induction and Statistical Inference: A Philosophical Study of Early ... on Statistical and Probabilistic Mathematics Cambridge University Press
- Jaynes, E.T. (2003) Probability Theory : The Logic of Science Cambridge University Press.
- Jaynes, E.T. (1998) Probability Theory : The Logic of Science.
- Jeffrey, R.C. 1983 The Logic of Decision University of Chicago Press
- Jeffrey, R.C. 2004 Subjective Probability: The Real Thing, Cambridge University Press
- Kyburg, H.E. 1974 The Logical Foundations of Statistical Inference Reidel
- Kyburg, H.E. 1983 Epistemology and Inference University of Minnesota Press
- Kyburg, H.E. 1987 'Bayesian versus non-Bayesian Evidential Updating' Artificial Intelligence 31
- Kyburg & Smokler (eds) 1980 Studies in Subjective Probability Robert E. Krieger
- Lakatos, I. 1968 'Changes in the Problem of Inductive Logic' published as Chapter 8 of Philosophical Papers Volume 2 Cambridge University Press 1978
- Bretthorst, G. Larry, 1988, Bayesian Spectrum Analysis and Parameter Estimation in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;
- Страница Фрэнка Рамсея
- David Howie: Interpreting Probability, Controversies and Developments in the Early Twentieth Century, Cambridge University Press, 2002, ISBN 0-521-81251-8
- Colin Howson and Peter Urbach: Scientific Reasoning: The Bayesian Approach, Open Court Publishing, 2nd edition, 1993, ISBN 0-8126-9235-7 — философские оправдания байесовской и частотной статистики; доводы в пользу субъективной интерпретации вероятности.
- Luc Bovens and Stephan Hartmann: Bayesian Epistemology. Oxford: Oxford University Press 2003. — Распространяет программу Байеса на более сложные сценарии решения (например зависимые и частично надежные наблюдения и инструменты измерения), использующие сетевые байесовские модели; также проверяет теорему невозможности когерентной упорядоченности информационных множеств и предлагает меру, которая предлагает частичную когерентную упорядоченность.
- Jeff Miller "Earliest Known Uses of Some of the Words of Mathematics (B)"
- James Franklin The Science of Conjecture: Evidence and Probability Before Pascal — история с байесовской точки зрения.
- Paul Graham "Bayesian spam filtering"
- Howard Raiffa Decision Analysis: Introductory Lectures on Choices under Uncertainty. McGraw Hill, College Custom Series. (1997) ISBN 0-07-052579-X
- Devender Sivia, Data Analysis: A Bayesian Tutorial. Oxford: Clarendon Press (1996), pp. 7-8. ISBN 0-19-851889-7
- Skyrms, B. 1987 'Dynamic Coherence and Probability Kinematics' Philosophy of Science vol 54
- Henk Tijms: Understanding Probability, Cambridge University Press, 2004
- Is the portrait of Thomas Bayes authentic? Who Is this gentleman? When and where was he born? The IMS Bulletin, Vol. 17 (1988), No. 3, pp. 276-278
- Ask the experts о теореме Байеса из Scientific American