本文系统阐述了基于俄罗斯滨海边疆区房地产市场大规模估价的机器学习建模全流程,包括数据收集、异常值识别、因子构建与选择、模型构建及评估。针对地块和公寓两类细分市场,分别采用了线性回归结合地质统计学回归克里金方法与基于规则生成的RuleFit模型,解决了数据噪声大和模型可解释性要求高的问题,显著提升了估价准确率和透明度,为法律等实际应用提供了有力支持。
报告标题: Modern approaches to building effective interpretable models of the property market using machine learning
作者: Tanashkina Irina G., Tanashkin Alexey S., Maksimchuik Alexander S., Poshivailo Anna Yu.
发布机构: 俄罗斯符拉迪沃斯托克远东联邦大学太平洋量子中心及滨海边疆区地产评估中心
日期: 未明确指出(包含近期文献引用至2024年)
主题: 利用机器学习方法构建针对俄罗斯滨海边疆区房地产市场的 interpretable(可解释)预测模型,覆盖土地及公寓市场。
核心论点和目标:
介绍房地产价值预测的长期挑战,特别强调数据不足、市场不发达与非线性关系等问题。
俄罗斯房地产估价多用于制定 cadastral value(土地簿价),直接关乎税收和土地使用政策,准确性影响经济发展及投资环境。。
传统估价方法包括比较法、成本法、收益法,当前面临技术升级需求——机器学习可提高预测准确度。
强调“透明度”或模型“可解释性”——普通用户能清楚理解计算过程尤为重要,黑箱模型难以满足行政和法律需求。
文献综述指出线性回归是基础模型,但对空间特性处理不足,地统计学等空间方法能改善,设计“回归-克里金(regression-kriging)”融合线性趋势与空间残差。 ,2,3]
现实市场数据含大量噪音和异常,需细致预处理,文献和教程多忽视这一点。
采用机器学习扩展,如加入规则(RuleFit)和地统计方法等提高模型表现。
研究区域为俄罗斯远东滨海边疆区,面积约16.5万平方公里,人口约180万,核心城市符拉迪沃斯托克(约60万居民),地理位置优越,是APEC等多边经济合作区域。
经济多元复杂,地产价格受地形、交通、历史建筑分布等多重影响,预测难度大。
研究聚焦两大市场细分:土地地块和公寓,共采集数据约4.5万条用于建模。 ,5,6]
强调数据质量,异常值包括录入误差和恶意虚假数据,需剔除以防影响预测性能。
土地地块(一维对象)价格同位点附近价格差异受地理位置、地形影响有限,使用空间聚类筛查异常。
图2与3显示城市与郊区等统计分布差异,提示聚类筛除异常不可忽视区域异质性。
对公寓(多维对象)因素复杂,如建筑结构、楼层、面积等影响价格,更依赖机器学习聚类算法(DBSCAN)及稳健回归(RANSAC)识别异常点。
RANSAC对数变换下的平方米价格与面积呈指数型负相关,找出离群高偏离点排除。
表1示例另一栋楼某单元异常交易价极低明显为虚假数据,应剔除。 ,8,9,10]
依据法规和现实逻辑筛选变量类别:物理特性(面积、建成年代、墙体材质)、地理位置(至交通中心、医疗设施距离)、社会经济指标(人口、商品流通)等。
利用Python开源工具(osmnx、networkx)从OpenStreetMap提取设施数据,计算点到设施的距离或数量,使用路网真实距离替代直线距离提升准确度(见图6,揭示路行距离远大于直线距离)。
创新用图论中的“节点中心性”(harmonic centrality)量化道路网络发展程度,反映交通通达性对地产价值影响(图7(a,b)展示道路节点中心性与土地点的映射和插值结果)。
构造复合变量如折合人口与距离组合指标提升解释力度(图8显示立方根变换提升相关性)。
通过分析相关矩阵(图9、图10)检测多重共线性(如多个距离变量相似),采用PCA合成、剔除负面经济含义变量或冗余变量降低维度。
旁证类别变量(如墙体材质)分布及代表性(图11显示“木材”材质因极少且价格异常被剔除或后续用修正系数调节)。
借助前向逐步选取法(forward selection)结合统计检验(Durbin-Watson、Jarque-Bera等)细化入模变量,(表2总结土地市场线性回归最佳变量数为4)。 ,12,13,14,15,16,17,18,19,20]
由于分布偏态(价格非正态),对因变量采用自然对数变换(图12),保证预测正值及模型更稳定。
初用多元线性回归建模,选取4个关键变量(包括距离水体、海岸、镇厅及医院等综合指标),满足回归诊断要求(图13、14、15及表3),调整后R2约0.76,残差正常且无自相关,方差膨胀因子(VIF)低无多重共线性。
结合地统计学传统的克里金插值对线性回归残差进行空间建模,满足空间连续性和平稳性假设(图16、17),弥补地理局部差异。
通过将线性回归趋势预测与克里金残差预测合并,预测精度明显提升:交叉验证平均误差由28.36%降至19.23%(图18)。此回归-克里金复合模型兼顾解释性与空间异质性。 ,21,22,23,24,25,26,27]
相关性弱且无明显空间关系(图10),地统计方法难施展,先用线性回归模型(选取8变量,基于F检验选择最优变量组),未对因变量转换。
模型尽管系数显著,符合基本假设,但残差非正态分布(图19、20、21),调整后R2仅约0.32,表现有限。预测值倾向高估低价,低估高价(图22(a)),显示强非线性依赖。
引入“RuleFit”模型:结合LASSO线性回归与基于随机森林自动提取的决策树规则,兼顾非线性捕捉与模型解释能力。
挑选17个关键特征与变量(包括面积、距离、墙体材质、楼层等),构造逾8万候选模型,最终通过交叉验证、经济合理性指标选出含22规则和12特征的最终模型(附录表A.6)。
RuleFit模型取得显著改善,R2达0.6,MAE和平均近似误差均优于线性回归(表5),预测云图更聚至对角线(图22(b)),表现更出色。
RuleFit缺陷在于随机性导致规则生成多样,重复相似规则增加理解负担,且模型复制性较差,对训练集变化敏感。
该模型适用于公寓所在建筑物的多单元聚合点情况,规则林表达了复杂、非线性、多因素交互,线性回归难及。 ,27,28,29,30,31,32,33,34]
本文从实际市场数据出发,围绕可解释性要求,系统展示异常检测、变量构造、模型选择等步骤的挑战及解决方案。
多方法结合:线性回归贡献可解释趋势,地统计克里金描述空间残差,RuleFit兼顾非线性与解释性。
现实数据处理复杂,噪声大,合理剔除异常值是保证模型精确预测前提。
特征工程不可拘泥于传统,融合图论等相关学科方法,合成新变量,增强模型效果。
RuleFit与回归-克里金等混合模型为高复杂度、多维度数据提供了理想的解决方案。
未来模型融合方向有极大潜力,能提升高质量且具解释性的房地产估值模型的构建。 ,35]
全球地图局部放大,标示滨海边疆区区域及人口分布。突出该区域与邻近国家(中国、朝鲜)及区域中心城市符拉迪沃斯托克。该图形象展示了地理优势和经济辐射潜力,有助于理解地理因素在评估中的重要作用。
局部区域土地地块每平方米价格示意,显示同一空间邻近地块价格波动大,反映价格受到地形地貌(如坡度、洪水风险)等微观因素影响。但由于估价侧重典型值,价格应相符于空间距离的连续性,提示聚类异常值筛除必要。
城市区域与郊区土地价格中位数对比,显示城市价格集中且明显高于郊区,提示若不按区域聚类直接排除极值导致重要城市样本误判。配合概率密度图表,城市与郊区市场需区别对待。
公寓价格报价与成交分布对比,成交价格在5万-10万卢布区间异常偏少,怀疑含虚假标价,且混合聚类分析支持此区间成交异常。
RANSAC回归拟合的公寓面积与对数价格关系,显示价格随面积指数性下降趋势,并且成功识别异常点(离群点以橘色表示),支持异常筛除和稳健回归的应用。
直线距离与道路距离对比,展示在复杂地形及岛屿环境下公路距离远超直线距离,强调用真实路网距离能提升位置特征的现实准确性。
(a) 道路网络节点中心性空间分布,红黄表示高中心性节点集中区域
(b) 该中心性通过插值转化为连续“道路网发展”指标,作为位置特征辅助模型。两图说明交通网络节点中心性指标的有效提取和建模利用。 ,16]
人口/路程综合因素与建筑平均平方米价格关系,
(a)原始线性相关(r=0.65)
(b)整体指数变换(1/3次方)增强相关性(r=0.7)
表明通过数学变换可强化变量相关性,提高模型预测表现。
土地地块与公寓数据的相关矩阵(去异常、多重共线性后)
显示参与回归的关键特征变量间强相关度和与目标变量的相关度
并以边框突出高相关变量组合提示多重共线性问题。
可见土地特征相关性整体更强,公寓相对弱,证明土地模型拟合更佳且空间依赖显著。
公寓墙体材质与价格概率密度
木结构样本极少,价格显著偏低,不具代表性,模型排除或待补偿。
强调整体数据分布特征判断变量经济意义的重要性。
目标变量(地块每平方米价格)原始分布与对数转化后的正态拟合对比
确认数据转化合理性,缓解偏态分布对线性模型带来的影响。
线性回归关键统计结果截图,调整后R2达0.76,系数符号、显著性各项指标满足线性回归假设。
残差分布近似正态(正态概率图,Jarque-Bera测试p=0.156>0.05),残差无自相关(Durbin-Watson接近2),残差与样本顺序散点无趋势,验证模型假设。 ,24]
变差函数拟合(指数模型)与空间相关度随距离缓慢减弱趋势图,满足克里金插值条件空间平稳性与连续性,支撑地统计残差建模合理。 ,26]
线性回归与线性回归联合克里金预测对比图,联合模型更集中于对角线,说明拟合误差更小,预测更准确。
公寓市场线性回归结果(图19)与残差均匀无自相关(图20),但残差不正态(图21),R2只0.32;
预测真实值对比图(图22(a))显示低估高价、高估低价倾向;
RuleFit模型拟合更优,残差减少且数据点更贴合y=x线(图22(b))。 ,29,30]
报告明确风险与问题点:
报告针对以上风险提供缓解策略:
整体而言,报告在数据预处理完整性、特征工程创新性以及复合模型的应用均体现较高水平且合理,但面对复杂真实市场的适用性仍需进一步验证。 ,30,34,35]
本文全面展示了在真实嘈杂数据条件下,如何构建具备可解释性的机器学习房地产估值模型的实务流程。针对俄罗斯滨海边疆区土地和公寓两大细分市场,采用了两种截然不同的策略:
报告从异常值筛查、特征工程到模型建立与验证均详尽处理,强调实际操作中对空间数据特性和非线性关系的关注。
所采用的由浅入深、融合多学科技术的混合模型方法,为复杂房地产市场估值提供了行之有效的路径。
此外,详细图表结合实例解析(如图2-22)和附录中完整规则呈现,进一步保证结果的可靠性和模型解释透明度。
整体而言,报告立足实际法律和经营需求,推动了可解释机器学习方法在房地产估值领域的应用和发展。
包含22条决策规则和12个关键特征,涵盖面积、距离、建筑材质、樓层等多维维度。
模型公式同时兼顾单变量的线性关系和多变量交互的非线性影响,规则表达清晰,可解释性较传统黑箱模型大幅提升。 ,41]
本文系统阐述了针对实务中复杂房地产数据建立解释性机器学习模型的路径和方法,体现了极佳的理论与实践结合。
通过空间统计与机器学习结合处理土地地块数据,通过规则化稀疏回归专门处理公寓多维交互问题,实现双市场场景下模型的有效构建与验证。
这一研究对于推动区域房地产价值评估以及政策管理具有重要的实践指导意义。
2506.15723.pdf