Should we trust web-scraped data?
我们应当信任网页抓取数据吗？AI 解读 ↓
← 返回论文列表与筛选
阅读说明
本页整理公开书目信息，不生成学术质量评分。AI 解读根据题名及所注明的摘要或原文片段生成，未完成全文核验，可能有误；具体假设、证明与结论请核对原文。摘要保留来源文本，未经模型改写。
DOI 首次登记不等于接收或发表日期。部分更正、评论等条目没有独立摘要；缺少可靠材料时保留待补状态。
本页为预印本版本；arXiv 收录、作者填写的期刊信息以及作者既有发表经历，都不单独证明本篇已接收。作者发表记录按 OpenAlex 身份与完整姓名、本站覆盖期刊 ISSN 及正式卷期核对，只展示已核实例，档案仍可能误合并。
引用量采用 OpenAlex 单条关联记录，不合计多个记录；关联记录可能包含正式发表版本，不等于此版本单独引用。缺失不视为零，引用指标不代表论文质量。
关注作者按书目中的完整姓名匹配，同名和姓名变体需人工辨别。相关论文先按共享细分方向和具体方法排列，再参考通用方法与发表日期。
分类依据与纠错
AI 根据所提供的论文材料归类：摘要讨论通用数据采集与抽样偏差，未提供足够证据归入所列具体计量领域。
反馈分类问题正在核对关联版本…
代码、数据与补充材料
正在核对对应版本的资源…
关注这篇论文的作者
我们应当信任网页抓取数据吗？
- 研究问题
- 使用网页抓取开展实证研究时，网页内容随时间变化、按请求个性化呈现及缺少总体名录，会如何造成样本选择偏差？
- 方法与思路
- 作者从内容易变、个性化和未索引三类来源分析抓取数据的抽样偏差，通过实例展示问题，并提出预判、检测与克服偏差的建议。
- 材料陈述的贡献
- 摘要将朴素抓取程序可能产生抽样偏差作为核心论点，报告实例中的普遍性与幅度，并为研究者和审稿人提供数据质量建议。
- 阅读关注点
- 应核对各实例的目标总体和抽样机制、偏差幅度的衡量依据，以及所提建议需要哪些额外信息、是否能够实际纠正选择偏差。
- 阅读边界
- 这是 arXiv 预印本，同行评审或期刊接收未获核实；摘要未给出实例细节、具体偏差数值或修正方案的有效性条件。
原文摘要
The increasing adoption of econometric and machine-learning approaches by empirical researchers has led to a widespread use of one data collection method: web scraping. Web scraping refers to the use of automated computer programs to access websites and download their content. The key argument of this paper is that naïve web scraping procedures can lead to sampling bias in the collected data. This article describes three sources of sampling bias in web-scraped data. More specifically, sampling bias emerges from web content being volatile (i.e., being subject to change), personalized (i.e., presented in response to request characteristics), and unindexed (i.e., abundance of a population register). In a series of examples, I illustrate the prevalence and magnitude of sampling bias. To support researchers and reviewers, this paper provides recommendations on anticipating, detecting, and overcoming sampling bias in web-scraped data.