传感器无处不在——例如,当道路空无一人时关闭高速公路灯时可监测桥梁的健康状况,监测电信网络和电网的复杂信号。这些传感器的每一次闪烁都是一个字节的数据,经过精心记录和存储。随着过去十年数据存储成本的暴跌,我们谈论的是数字仓库中雪崩般的数据。
这些数据中的大部分都在黑暗中,没有经过分析,也看不见。这就是专家们所说的暗数据。现在,随着人工智能进入基础设施领域,这些休眠的数据即将成为人们关注的焦点。
IEEE终身高级会员Raul Colcher表示:“事实上,似乎有大量关于基础设施运营的数据可以更好地用于提高其有效性。”
人工智能因数据而蓬勃发展——数据越多越好。当涉及到训练复杂的人工智能模型时,这些多年来从无数传感器和系统中收集的暗数据可能非常有价值。
那么,揭露这些暗数据有什么大不了的?首先,它改变了基础设施运营的游戏规则。随着人工智能的介入将暗数据带入聚光灯下,我们可以期待效率的飞跃,以及设计和使用我们的基础设施的新方法,以实现数据比人更频繁移动的未来。
字节构建得更好
很多时候,暗数据没有被使用,因为它没有被正确标记,因此很难分析。一些研究表明(https://ieeexplore.ieee.org/document/9740126),使用暗数据可以大大改进在手机网络中分配资源的机器学习算法。在另一个案例中,一家石油和天然气工厂的数据科学家能够使用暗数据在不干扰运营的情况下改进工厂的数字模型。
哪里的影响最大?
分析和建模这些数据的好处是巨大而多样的。从规划到运营、维护等,基础设施的各个方面都可能发生转变。描绘更准确的模型、更好的自动化,以及对我们的系统如何真正工作的更深入理解。
挑战
然而,利用暗数据也面临着一些挑战,暗数据虽然丰富,但并不总是干净或无错误的。数据质量、偏见、数据来源和安全性等问题迫在眉睫。解决这些挑战对于充分发挥人工智能在基础设施领域的潜力至关重要。
正如IEEE会员汪齐齐所言:“数据量的激增并不保证更好的结果。过滤掉干扰或质量低劣的数据提出了重大挑战。” 中国正积极探索利用人工智能技术处理庞大的基础设施数据,以促进其城市建设和发展。
了解更多:2023年是人工智能具有里程碑意义的一年,由于生成人工智能工具的力量,广大公众对人工智能的认识越来越高。IEEE Spectrum深入报道了发展情况。由此可以查看2023年最热门人工智能故事的总结:https://spectrum.ieee.org/ai-news-2023。
好文章,需要你的鼓励
加利福尼亚大学和萨里大学研究团队开发了一种创新的AI系统,能够仅通过简单的手绘素描就在复杂照片中精确识别关键点。这项技术突破了传统机器学习需要大量同类数据的限制,实现了真正的跨模态学习。系统在动物关键点识别任务中达到了39%的准确率,超越现有方法约5个百分点,并且在真实手绘素描测试中表现稳定。该技术有望在生物学研究、医疗诊断、工业检测等多个领域找到广泛应用。
AI系统正变得越来越善于识别用户偏好和习惯,像贴心服务员一样定制回应以取悦、说服或保持用户注意力。然而这种看似无害的个性化调整正在悄然改变现实:每个人接收到的现实版本变得越来越独特化。这种认知漂移使人们逐渐偏离共同的知识基础,走向各自的现实世界。AI个性化不仅服务于我们的需求,更开始重塑这些需求,威胁社会凝聚力和稳定性。当真相本身开始适应观察者时,它变得脆弱且易变。
约翰霍普金斯大学发布DOTRESIZE技术,通过最优传输理论实现AI大模型智能压缩。该方法将相似神经元合并而非删除,在保持性能的同时显著降低计算成本。实验显示,压缩20%后模型仍保持98%性能,为AI技术普及和可持续发展提供新路径。