Welcome to Pyro Examples and Tutorials!

— by Heyang Gong

Pyro 是一个 Deep Universal Probabilistic Programming, 将会是我们 Causal AI 的一个重要编程框架。这是一个 Pyro 教程的中文编译项目，我们的翻译一方面仅仅翻译部分内容使之尽量接近原来的官方教程，另外一方面会加入一些个人的总结的理解。

相关资料包括：

• Pyro 官网

• Pyro 全面介绍

• Pyro 官方教程汉化版

需要注意：在本教程中，我们混用了随机函数，函数，分布，随机变量这几个概念，他们都是概率程序(probabilistic programs)的不同说法。

Causal AI: https://sites.google.com/view/minituring/

Introduction:

• Pyro 模型介绍
  • 初等随机函数
  • 一个简单模型
  • pyro.sample 原语
  • 通用概率编程
  • 下一步？
• Pyro 推断简介
  • 随机函数的条件化
  • 用指导分布近似后验
  • 参数化分布和变分推断
  • 例子完整代码
  • 拆解成梯度下降法
  • 下一步？
• SVI Part I: 随机变分推断基础
  • SVI数学基础简介
  • 指导分布
  • 目标函数ELBO
  • SVI 类
  • optimizers
  • 掷硬币例子
  • 思考
• SVI Part II: 条件独立性，子采样和 Amortization
  • 条件独立声明
  • 子采样
  • Amortization
  • 变分自编码
• SVI Part III: ELBO 梯度估计
  • 数学背景
  • 简单情况: 可重参数化
  • Tricky case: 不可重参数化
  • Reducing Variance via Dependency Structure
  • Reducing Variance with Data-Dependent Baselines
  • 端对端 Baseline 例子
• Pyro中随机函数的维度
  • 随机函数的维度
  • plate内部张量子采样
  • 广播和并行计算

Advanced:

• 离散潜变量模型
  • 概览
  • Mechanics of enumeration
  • Plates and enumeration
  • 时间序列示例
• 自定义 SVI 目标函数
  • SVI 的基本用法
  • 修改损失函数
  • 自定义 ELBO 损失函数
• Pyro 模型中使用 PyTorch JIT Compiler
  • Introduction
  • A simple model
  • Varying structure
• Mini-Pyro
  • Example use of mini-Pyro
• Poutine: Pyro 中使用 Effect Handlers 编程手册
  • Introduction
  • Pyro 的算法构建基石库 Poutine
  • 用 Messenger 构建新 EH
  • Messenger 类的方法详解
  • 回顾和总结例子的处理
  • Mini-pyro 简介
  • 用 effect handlers 实现推断算法实战

Examples:

• 变分自编码器
  • VAE 数学简介
  • VAE in Pyro
  • Inference
  • Code and Sample results
• 贝叶斯回归简介(Part I)
  • Setup
  • 线性回归
  • 使用 SVI 做贝叶斯回归
  • Model Evaluation
  • Model Serving via TorchScript
• 贝叶斯回归推断算法(Part II)
  • Model + Guide
  • SVI
  • HMC
  • Comparing Posterior Distributions
  • MultivariateNormal Guide
  • 参考文献
• 深度马尔可夫模型
  • 模型分布
  • 指导分布
  • 随机变分推断
  • Data Loading, Training, and Evaluation
  • Bells, whistles, and other improvements
• Attend Infer Repeat
  • Multi-mnist 数据集的生成模型
  • 模型分布
  • 指导分布
  • Inference
  • Results
  • In practice
• 半监督变分自编码器
  • 半监督VAE简介
  • 推断中的挑战
  • 思路一：标准目标函数，直接估计
  • 思路二：标准目标函数，改进 estimator
  • 思路三：改进目标函数
  • 总结
  • Final thoughts
• 随机波动率的 Levy 稳定分布模型
  • Summary
  • Table of contents

Contributed:

• 离散潜变量-高斯混合模型
  • Overview
  • Training a MAP estimator
  • Serving the model: predicting membership
  • MCMC
• 高斯过程
  • 数学理解
  • 数据集
  • 构建模型
  • 模型推断和训练
  • 稀疏高斯过程
• 高斯过程潜变量模型
  • Dataset
  • Modelling
  • Inference
  • Visualizing the result
  • Remarks
  • 参考文献
• 贝叶斯优化
  • Problem Setup
  • 目标函数
  • 高斯过程先验
  • Define an acquisition function
  • The inner loop of Bayesian Optimization
  • Running the algorithm
• 用 EasyGuide 构建 guides
  • 时间序列建模
  • 用 EasyGuide 快速构建 guide
  • Amortized guides
• Forecasting I: univariate, heavy tailed
  • Summary
• Forecasting II: 状态空间模型
  • Intro to state space models
  • Gaussian HMM
  • Heavy-tailed modeling with Linear HMM
• Forecasting III: 层级模型
  • Multivariate time series
  • Deeper hierarchical models
  • Subsampling
• 跟踪未知数量的对象
  • Generate data
  • Train
• Compiled Sequential 重要采样
  • 构建 model
  • 构建 guide:
  • Create a CSIS instance:
  • 参考文献
• 理性言论行动框架
• 用 RSA 理解 Hyperbole
  • Pragmatic Halo
  • Irony and More Complex Affect
• 卡尔曼滤子
  • Dynamic process
  • Kalman Update
  • Nonlinear Estimation: Extended Kalman Filter
  • 参考文献
• 设计自适应实验以研究工作记忆
  • 工作记忆模型
  • Inference in the model
  • Bayesian optimal experimental design
  • The adaptive experiment
  • Extensions
  • 参考文献
• 贝叶斯最优实验设计预测美国总统选举
  • 选择先验分布
  • Setting up the model
  • Measuring the expected information gain of a polling strategy
  • Running the experiment
  • Conclusions
  • 参考文献
• Dirichlet 过程混合模型
  • 什么是贝叶斯非参数模型？
  • Inference
  • Criticism
  • 参考文献
• Boosting 黑盒变分推断
  • Theoretical Background
  • BBBVI in Pyro
  • The Complete Implementation

Code Examples:

• Capture-Recapture Models (CJS Models)
• 因果VAE
• 隐马尔可夫模型
• LDA主题模型
• Markov Chain Monte Carlo
• NeuTraReparam
• 稀疏 Gamma 深度指数族分布
• Deep Kernel Learning
• Plated Einsum
• 多元预测
• 高斯过程时间序列模型
• 序贯蒙特卡洛滤波

Indices and tables

• Index

• Module Index

• Search Page