LoRA 微调的云上漂流

写在前面 Serverless + 大模型推理,有什么难的? 在传统的serverless架构中(如 AWS Lambda、Google Cloud Functions),系统设计的核心诉求是: 快速启动、短暂执行、高并发调度,主要针对 CPU-bound 轻量计算任务。 比如调用一个图像压缩函数、一个用户注册校验、一个数据库查询包装器等,这类请求大多数只需几百毫秒甚至几十毫秒,CPU 足够胜任。 但当我们把同样的「serverless」理念搬到大模型推理场景时,立刻面临三重冲击: ...

Created: 2025-05-25 · Updated: 2025-05-25 · 6 分钟 · Martin

Preference Alignment on Diffusion Model: A Comprehensive Survey for Image Generation and Editing

欢迎引用 🎉

Created: 2025-02-09 · Updated: 2025-02-09 · 1 分钟 · Martin

从RNN到Transformers

递归神经网络 简单的神经网络由三部分组成:输入,隐藏层,输出 深度神经网络(DNN)一般是增加隐藏层的数量。 递归神经网络(RNN)更加关注的是隐藏层中每个神经元在时间上的成长与进步。 ...

Created: 2025-02-01 · Updated: 2025-05-01 · 44 分钟 · Martin
what-is-rl

强化学习

多臂老虎机问题(MAB) 符号&问题定义 大写斜体表示随机变量,例如$A, R, A_t, R_t$ 小写字母表示这些随机变量的实现,例如$a, r, a_t, r_t, Pr${$A_t=a_t$} 花体,区间等表示集合,例如$\mathcal{A}, [0, 1], \mathbb{N}$ Given: a set of k actions, $\mathcal{A}$, number of rounds T. Repeat for t in T rounds: ...

Created: 2025-02-01 · Updated: 2025-05-01 · 14 分钟 · Martin

时序分析/预测

记录一些基础方法 时间序列 可视化三种时间序列 Brownian motion (stochastic process) Lorenz attractor (chaotic system) Lotka-Volterra system (deterministic system of differential equations) 随机过程是一种非确定性的过程,即其未来状态依赖于概率分布,无法通过确定的数学公式精确预测。布朗运动(Brownian Motion)是一种典型的随机过程,常见于金融市场、分子扩散等领域。 混沌系统是一类确定性但不可预测的系统,即尽管系统是由确定性的方程描述的,但对初始条件极其敏感,导致长期行为难以预测。洛伦兹系统(Lorenz System)是一个经典的混沌系统,最早由 Edward Lorenz 研究气象现象时提出。其特征包括: 由确定性方程控制(如微分方程)。 对初始条件极其敏感(“蝴蝶效应”)。 具有某种结构(如吸引子),但长期行为是不可预测的。 确定性系统是完全由数学规则或方程所控制的系统,即 如果初始条件相同,每次运行都会得到相同的结果。洛特卡-沃尔泰拉(Lotka-Volterra)方程描述了捕食者(如狼)和被捕食者(如兔子)种群的动态变化。这类系统的特征包括: 未来状态由当前状态唯一决定。 没有随机性,系统演化完全可预测。 在生物学、物理学、化学等领域有广泛应用。 数据填充技术 这主要用于处理时间序列上的缺失值,主要有三种方法 ...

Created: 2025-02-01 · Updated: 2025-02-01 · 5 分钟 · Martin