聂今压
2019-05-21 09:00:08

美国国家电信和信息协会(NTIA)最近发布了评估其实施47亿美元宽带刺激计划(宽带技术机会计划,即BTOP)的研究。 NTIA ASR Analytics支付了500万美元进行这项研究,称其为“独立”。

该研究的主要发现是,持有至少一项BTOP拨款的县的宽带普及率比没有BTOP拨款的匹配县增加了2个百分点。 然后,ASR Analytics将此结果应用于其他显示更多宽带优势的研究。 可以看出,这2个百分点的差异可以推断为巨大的经济效益,例如每年增加57亿美元到210亿美元的经济产出。

广告

然而,仔细阅读该报告表明,该研究中最重要的部分并非完全独立:选择哪个BTOP奖项进行研究。

这是问题所在。 该报告仅评估了托管BTOP项目的县的样本。 如果样本是随机的,那就好了,但事实并非如此。 相反,正如报告中所述,“NTIA在研究开始时选择了这些项目纳入评估研究。” 不是独立评估者,而是NTIA - 据称正在评估的实体。

NTIA是如何选择包含哪些项目的呢? 根据一份概述研究设计的早期报告,要包括在内,受让人必须是“愿意参与有关[补助金]影响的有意义的对话的参与者”,并且必须有“某种高水平的相信[项目]将在没有重大技术或财务障碍的情况下完成。... [S]当选地点可以代表不同质量的补助金,但不应包括极度困难或退回的补助金。“

在选择案例研究时,这种方法已经足够糟糕 - 如果不能考虑表现不佳的项目,它们如何具有代表性? 但是,当它构成经验方法论的基础时,它变得更加糟糕。 正如ASR Analytics本身在一份所写,“拨款的选择是有目的的,并不意味着产生统计样本。” 然而,他们使用这些非常赠款作为他们统计学研究的县的基础。

因此,分析发现精选案件相对于对照组的积极影响并不令人惊讶,尽管考虑到修正案,但这种影响可能很小,这也许是令人惊讶的。

它不一定是这样的。

首先,NTIA不应该负责评估自己。 这种安排中的错位激励是显而易见的。 如何运行自己的程序会有什么严重错误的机会呢?

其次,500万美元是这项研究的巨额资金。 NTIA可以向研究生提供补助金和数据,而不是雇用一家公司,而是获得数百项研究而不是一项研究。 或者它本可以聘请两三名独立研究人员,为他们提供数据并允许他们在没有积极的NTIA参与的情况下进行评估。 想象一下,我们不仅可以学习BTOP,还可以学习计划有效性和评估,以及来自不同学科的多份报告。

潜在的问题是BTOP没有实现成本效益或评估。 在发放赠款之前,71位经济学家(包括本文)致函NTIA,描述了根据预期成本效益选择项目的系统方法。 相反,NTIA似乎以临时方式选择项目。 实际上,我和斯坦福大学的格雷戈里·罗斯顿在去年发表的一篇论文中发现,赠款的预期成本效益相差100倍。令人信服的是,这种传播反映了系统的,连贯的过程的结果。 。

所有这些都表明,与农村公用事业服务(RUS)相比,NTIA是透明度和责任的典范,后者通过宽带倡议计划(BIP)再分配了25亿美元的宽带刺激资金。 RUS的评估方法似乎是发布季度报告,详细说明已经分配了多少钱,并突出了一两个成功案例。

简而言之,我们仍然没有关于分配给宽带的72亿美元刺激计划的有效性的严谨的经验信息。 但我们确实有进一步的证据表明,即使你在新闻稿中称之为“独立”,自我评估也不太可能产生真正独立的评论。

Wallsten是技术政策研究所的研究副总裁和高级研究员。