在数据质量成为AI模型性能瓶颈的当下，麻省理工学院（MIT）提出了一种突破性的“零样本数据清洗”（Zero-Shot Data Cleaning）框架，通过融合小模型（SLM）与大模型（LLM）的协同优势，实现了无需标注数据即可自动修复脏数据的目标。这一创新框架标志着数据清洗技术从“经验驱动”向“认知驱动”的跨越。
传统数据清洗依赖人工标注的清洗规则或大量标注数据，而MIT的框架通过分解任务逻辑，让SLM负责识别SQL结构、对齐数据库模式，生成包含缺失信息的“SQL草图”；再由LLM基于常识推理填充具体值，例如将用户输入的“timothy”自动修正为数据库中的“timmy”。实验表明，该框架在零样本场景下执行准确率较纯SLM提升5.5%-16.4%，较纯LLM提升10%-20%。
其核心创新在于三方面：一是提出数据库序列化策略，使SLM能泛化至新数据库；二是设计问题感知对齐器，通过语义推断生成更精准的SQL草图；三是开发多级匹配机制，为LLM推荐最相关的候选值。该框架在医疗保险数据清洗中，8小时完成220万条记录的修复，错误修正准确率超96%。
这一技术突破不仅将数据科学家从繁琐的清洗工作中解放，更通过“小模型+大模型”的协同范式，为垂直领域数据治理提供了可扩展的通用解决方案。随着数据隐私法规趋严，基于概率推理的零样本清洗框架正成为企业数据治理的新选择。
版权声明:本文仅代表作者观点，不代表人工智能资讯网立场。
本文系作者授权人工智能资讯网发表，未经许可，不得转载。
