本报告提出PRAGMA,一组面向多源银行事件序列的编码器式基础模型,采用key–value–time的离散化token化与双分支(Profile / Event)+ History Encoder架构,在26M用户、24B事件、207B tokens的语料上以masking自监督预训练,形成可广泛迁移到信用评分、欺诈检测、产品推荐、LTV等任务的通用记录级表示。 在多个下游任务上,冻结嵌入+线性probe或LoRA微调均显著优于任务专用基线,例如信用评分PR-AUC提升约+130.2%,沟通参与PR-AUC提升约+79.4%,并通过小比例参数微调(~2%)实现高效特化与部署便利性。
| 任务 | 指标 | 相对提升(PRAGMA vs baseline) |
|---|---|---|
| Credit scoring | PR-AUC | +130.2% |
| Comm. engagement | PR-AUC | +79.4% |
| External fraud | Precision | +16.7% |
| Product recommendation | mAP | +40.5% |
| Recurrent transactions | F1 | +5.8% |
| Lifetime value | ROC-AUC | +2.6% |
元数据与概览(引言与报告概览)
图示及一览(引用图 1)
逐节深度解读
图表深度解读(逐图与逐表)
图 1(整体性能对比,page 0):图示把任务特定模型(灰色条)与 PRAGMA-S/M/L(不同紫色)做并列,标注了各任务的最大相对提升(例如 Credit 标注 +130.2%),图意在强调 PRAGMA 在若干关键任务上相对于内部基线的显著提速,但该图仅展示相对变化且作者声明未公开绝对指标以保护商业敏感性,因此不能通过图读出具体基线基准或绝对性能水平。
图 2(事件时间线示意,page 2):图 2 用时间轴与事件卡片示例展示事件与 profile state 的并行表示(event:timestamp + key–value,profile:evaluation point 时的键值对),并强调 life-long 事件的首次发生时间用于恢复被截断历史的里程碑信息;该图支持数据结构化表述并说明为何需要混合的时间编码策略。
图 3(tokenisation 细节,page 4):该图直观展示 key→单 token,value→(category/number/text)不同编码路径,以及时间被映射为 log-seconds 与周期性日/周/月特征;图内示例(如 Description 被切分为 met / al / plan)帮助理解为何 field-internal positional encoding 有别于跨字段位置索引。
图 4(模型架构示意,page 5):该图分层展示 Profile State Encoder、Event Encoder、History Encoder 及它们之间的数据流,强调 Event Encoder 为每个事件独立计算聚合表示,再由 History Encoder 做跨事件自注意力融合,同时展示 RoPE 用于时间坐标的嵌入点;图中表格(Table 1)列出了三种模型规模的 d_model、d_ffn 与深度、head 数等超参,支持对比不同规模的架构变化。
表 1(模型家族参数配置,page 5):表明 PRAGMA-S/M/L 三个规格分别为 10M/100M/1B 参数,d_model 分别约 192/512/1024,d_ffn 768/2048/4096,profile/event/history 编码器深度与注意力头数也随规模增加;此表为量化规模-容量关系的直接证据。
任务性能汇总表(Table 2、3、4、5 等散见 page 9–11):
可视化与表格的限制:所有表格均以“相对改善”形式报告(x/baseline − 1),并且作者明确不公开绝对分数,这在评估模型与基线的绝对实用性时构成限制;此外,内部基线的具体实现细节与训练资源也未详列,限制外部复现与性能再现的精确比较。
估值分析(本报告适用性说明)
风险因素评估(作者识别与额外备注)
审慎的批判性视角与细微差别
结论性综合
若需我继续:
请选择下一步要我重点扩展的部分。
2604.08649.pdf