认识达内从这里开始

大数据计算平台是大数据的硬件与系统基础，对大数据的所有分析与处理都需要在高性能的计算平台上进行;共性技术是大数据分析与处理的知识与技术基础，所有的大数据系统都涉及数据采集、传输、存储、处理和分析过程中的多项共性的技术;典型的应用可以用来验证计算平台和共性技术的可行性与执行效率，并为相近应用的研发提供借鉴。

经过近几年的快速发展，大数据已经形成从数据采集、数据处理到数据分析的完整产业，为社会经济的发展提供有力的数据支持。然而技术的发展赶不上数据数量和形式的变化速度，这需要大数据研发和从业人员不断努力来适应新情况。下面从计算平台、共性技术和应用3个方面对大数据的技术现状及存在的问题进行阐述。

1 大数据计算平台现状及存在的问题

大数据计算平台是大数据产品体系的核心龙头。大数据计算平台以云计算为基础环境、以服务模式为总体架构，覆盖大数据应用全过程，支持多源异构海量数据的采集、存储、集成、处理、分析、可视化展现、交互式应用，涉及企业大数据产品体系的各个层面，为各层产品实现提供关键技术支撑。

当前，面向信息服务的大数据计算平台还远不成熟，平台优化和节能等关键技术有待突破，面临的问题主要包括以下几个方面。

● 平台研发需要交叉学科知识。由于大数据计算平台环境复杂，要提高大数据计算平台的处理能力、优化平台性能和降低能耗、提高平台的安全性和隐私保护，需要多学科、多种专业背景的科研人员协同创新、联合攻关，才能实现技术突破。平台研发需要交叉学科知识。

● 平台研发人才缺乏。由于大数据应用在许多行业属于新生事物，虽然很多企业管理者认识到了大数据的潜在价值，但还处于观望状态，不愿冒风险做领先者;多数企业缺少大数据技术和应用人才，也缺少大数据应用的技术平台，无法开展实际应用项目;目前大数据技术还很不成熟，很多是开源软件，实施应用项目成本高、风险大。企业、科研机构和大学协同创新是突破行业示范应用障碍的有效途径。

● 平台框架需要突破。大数据计算平台的处理和分析能力主要依赖分布式计算框架来完成。分布式计算框架不仅要提供高效的计算模型、简单的编程接口，还要具备容错能力和高扩展性。大数据计算平台的计算框架主要分为批处理和流处理两种。批处理计算框架主要针对静态数据的离线计算，吞吐量好，但是不能保证实时性;流处理计算框架主要针对动态数据的在线实时计算，时效性好，但是难以获取数据全貌。

● 技术环境不统一。目前大数据最前沿的计算框架和衍生的生态圈都分布在以GitHub为主的开源社区内，形成了大数据基础架构和大数据分析处理技术群。大数据的技术环境为用户提供了丰富的技术选择，但也给用户掌握和使用多样性的大数据技术造成障碍，且提高了应用成本。

2 大数据共性技术现状及存在的问题

根据处理流程，大数据技术可以分为基础架构支持、数据采集、数据存储、数据计算以及展现与交互几类。具体来说，基础架构涉及的技术包括云计算平台、云存储、虚拟化、网络以及资源监控等;数据采集涉及的技术包括数据总线、抽取—转换—加载(extract-transform-load， ETL)工具等;数据存储涉及的技术包括分布式文件系统、关系型数据库、NoSQL数据库、内存数据库等;数据计算涉及的技术包括数据查询、统计与分析、数据预测与挖掘、图谱挖掘、商业智能(business intelligence，BI)等;展现与交互技术包括图形与报表、可视化工具、增强现实技术等。此外，大数据技术还包括大数据的安全与隐私保护等相关技术。

当前，大数据的存储、处理、分析、展示等关键技术有待突破，大数据处理和分析能力、算法的数据处理能力远远达不到实际应用要求。现有的信息技术不足以解决大数据的问题，面对丰富和复杂的大数据应用场景，需要多学科、多领域的交叉合作才能解决。这给传统信息技术带来了挑战，主要表现在：多源多模大数据的获取和融合;对数据质量和低质量数据的容忍;面向大数据算法及理论的进一步研究;对现有可扩展存储和处理的计算架构更新设计;对大数据并行处理及分析挖掘技术适应性设计等。

3 大数据应用的现状及存在的问题

随着国家政策扶持力度的不断加大，产业资本的持续投入，国内外发展大数据的积极性都很高，行业应用得到快速推广。当前，大数据的应用给企业不仅带来了技术和应用模式上的突破，还为商业模式的创新以及企业的转型发展带来了驱动力。对公共服务机构来说，挖掘大数据的潜在价值对解决城市发展问题、完善社会机制、更好地服务于市民有着重大的意义。

虽然大数据应用逐步深入人们的生活，但限于目前大数据技术仍不成熟，因此与实际问题解决需求存在一定的差异，主要表现如下。

● 时空大数据面临海量数据管理、时空数据融合、时空大数据理论框架和时空推理与数据挖掘的深度结合的挑战;针对时空大数据模式发现与价值提炼的问题，揭示大尺度事件的演化推理机理，突破大尺度安全时间的理解和局限的挑战。

● 媒体大数据的包容量大、源头多且成分迥异的特性，给媒体大数据计算理论和关联算法的研究带来了巨大的挑战。此外，目前无论是科学研究还是新技术开发，都没有解决计算机按内容自动搜索视频媒体的可行性方案。

● 为了有效地利用物联网海量多样化的大数据，挖掘其价值，一方面需要对网络进行优化，使其具备未来物联网需具备的承载大数据的能力;另一方面，对用户的服务进行分析挖掘，充分实现物联网的潜在价值。

● 物流大数据应用领域面临使用大数据技术推动电子商务与现代物流的协同发展问题，是物流大数据应用的一大挑战。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请添加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。