From Text to Parameters: Predicting Item Parameters from Embedding Regularization with Reliability and Design Ceilings
从文本到参数：用嵌入正则化预测项目参数及其信度与设计上限AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要主题为心理测量学中的项目参数预测与基准评估，属于文本嵌入回归与测量评估框架，未涉及所提供领域细分中的因果推断、面板、离散选择、结构估计、时间序列或金融计量等方向，故不选择任何细分。
反馈分类问题
正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
从文本到参数：用嵌入正则化预测项目参数及其信度与设计上限
- 研究问题
- 摘要关注的是项目反应理论中的冷启动问题：新编制的测验题目在未做实地试测前，其心理测量学参数未知，能否仅凭题目文本特征预测项目参数（难度、区分度、伪猜测），以及如何评估这类预测的真实水平。
- 方法与思路
- 作者提出一个评估框架：对题目文本嵌入做正则化回归，用重复交叉验证的 R 平方并报告其重抽样标准差，同时构造两个性能上限——由参数标准误导出的信度上限，以及由模拟功效校准导出的设计上限；并在数学题库 EEDI 与医学执照基准 BEA 2024 上应用。
- 材料陈述的贡献
- 摘要称，题目难度可从文本高度预测（重复交叉验证 R 平方约 0.53，约为其信度上限的 57%），区分度与伪猜测较难预测；但对照上限后发现这一表面层级源于目标信度而非文本信号强度，文本在各难度目标上均恢复约 57%–63% 的可信方差，而 3PL 伪猜测参数的信度上限接近零。摘要还称在 BEA 上基于嵌入的回归在几乎不解释方差的情况下仍匹配排行榜 RMSE，并指出单次训练测试划分可使 R 平方虚高约 0.1–0.15。
- 阅读关注点
- 应核对信度上限与设计上限的具体构造方式与假设、重复交叉验证的设计与重抽样次数、EEDI 与 BEA 的样本与题目规模、文本嵌入模型与正则化形式的选择，以及 BEA 上 RMSE 匹配与 R 平方接近零并存的具体数值与解释。
- 阅读边界
- 仅依据摘要，无法判断识别假设、模型设定细节、数据规模与外部效度；摘要未说明嵌入模型、正则化超参数与交叉验证折数等实现细节。该文为 arXiv 预印本，未经同行评审验证，不能据此声称已被期刊接收或结论已获证实。
原文摘要
Newly developed items must ordinarily be field tested before their psychometric properties are known, creating a cold start problem for item calibration. Predicting item parameters from features is a long standing measurement problem dating back to the Linear Logistic Test Model; modern text embeddings now automate the design matrices traditionally specified by hand. We propose an evaluation framework combining regularized regression on item text embeddings, repeated cross validated R squared reported with its resampling standard deviation, and two performance upper bounds: a reliability ceiling derived from parameter standard errors, and a design ceiling derived from simulation based power calibration. Applying this framework to a mathematics item bank (EEDI) and a medical licensure benchmark (BEA 2024), we find that item difficulty is highly predictable from text (repeated cross validated R squared = 0.53, or about 57% of its reliability ceiling), whereas discrimination and pseudo guessing appear less predictable. However, evaluating these results against our ceilings reveals that this apparent hierarchy stems from target reliability rather than text signal strength: text uniformly recovers 57 to 63% of the reliable variance across difficulty targets, whereas the 3PL pseudo guessing parameter has a reliability ceiling near zero, making it an unviable target at current precision. On BEA, embedding based regression matches leaderboard RMSE despite explaining almost no variance, highlighting the critical need for scale free metrics and explicit ceilings in benchmarking. Finally, we show that a single train and test split can inflate apparent accuracy by 0.1 to 0.15 in R squared, underscoring the necessity of repeated cross validation for calibration support applications and future benchmark construction.