智慧数据:导航物联网与大数据的下一个前沿
收集数据从未如此简单。只需点击几下,企业即可接入最先进云技术,捕获存储海量信息。十年前,扩展数据收集是负担得起昂贵服务器和专业工程师的大企业特权。
今日,物联网(IoT)让每个设备成为数据生成器。2020年,单人每秒产生1.7MB数据。更惊人的是,自动驾驶汽车单日可生成11TB数据——数字只增不减。
对数据科学家而言,信息丰富既是福也是挑战。当新深度学习模型达92%准确率,本能反应是怪数据不足。"收集更多数据模型会改善",我们常这么期望数量解决一切。
这引出关键问题:多少数据真够用?更重要的,多少数据算过度?
机器学习圈子很少提此担忧,即使大数据可能是40泽字节负债。若数据是新石油,必须精炼;失控积累威胁可持续性和安全。
或许真问题在于大数据非AI终极答案。我们需要重新审视收集什么。
早期数字化因高成本强迫谨慎选数,培养责任感和质量焦点。存储算力变廉价后,数量超越质量,数据沦为商品。我们不再追问收集的数据是否真增值。
数据会老化退化。非所有信息同等价值——数百自拍与综合医学文献库分析价值天差地别。处理陈旧冗余数据浪费资源、误导模型。
廉价存储和高速计算虽令人安心,但仅当人类专长随摩尔定律同步进化时才能跟上。若无辨别真正决策依据的数据,我们将溺于噪音而非获洞见。
物联网技术