大数据学_学件简介

大数据学简介

个人介绍

作者背景：本文的作者目前是一名大数据高级工程师，拥有丰富的项目经验，曾参与管理和开发日处理量超过200T的数据项目，涉及100P+的项目数据容量和1000+节点的集群规模，作者从Java前后端开发转型到大数据工程师，并在这一过程中积累了大量实战经验，最终著有《实战大数据（Hadoop+Spark+Flink）》等书籍。

大数据介绍

1、数据源的重要性

数据作为生产力：在大数据时代，数据被视为第一生产力，因其能够通过分析和挖掘产生巨大的价值。

获取数据的必要性：企业若无法正确或有效地获取数据，将无法充分利用数据资源，从而错失数据中隐藏的价值。

2、数据的获取与存储

多样化的数据获取：根据不同的数据来源和格式，采用浏览器探针、爬虫技术、Canal日志组件、Flume等工具进行数据采集。

存储技术的发展：硬盘存储容量的提升并没有带来相对应的访问速度提升，因此大数据存储技术的优化主要集中在磁盘IO上。

并行存储与冗余：通过多硬盘并行读取和冗余硬盘阵列（RAID）或HDFS分布式文件系统来提高数据存储的效率和安全性。

3、数据处理与分析

离线与实时处理：大数据处理分为离线处理和实时处理，根据不同的业务需求选择合适的处理方式。

交互式分析：传统数据库在面对海量数据时显得力不从心，因此分布式技术如SQL on Hadoop成为更佳选择。

机器学习与数据挖掘：利用Spark ML和Flink ML等机器学习库对海量数据进行分析挖掘，是大数据处理的重要组成部分。

4、资源管理

资源管理的复杂性：随着多种大数据处理框架和应用的出现，如何高效地管理和分配计算资源成为了一个核心问题。

YARN的作用：YARN作为一个通用的资源管理系统，能够有效管理和调度不同作业和服务所需的资源，提高资源利用率。

1、大数据工作岗位

主要岗位分类：大数据领域的主要工作岗位包括大数据开发工程师、大数据分析师、大数据运维工程师、大数据仓库工程师、ETL工程师和数据挖掘工程师等。

2、大数据工程师的技能要求

全面技能要求：大数据工程师需要掌握Linux命令及shell编程、Java编程基础、MySQL数据库操作等多方面技能。

3、大数据学习路径

基础阶段：包括Linux系统、Java编程和MySQL数据库的学习。

进阶阶段：学习大数据存储、处理和分析的相关技术和工具。

相关问题与解答

1、问题：大数据处理中为何要区分离线处理和实时处理？

解答：离线处理通常用于处理大规模数据集，不需要即时结果，而实时处理则用于需要快速响应的场景，如实时监控和即时推荐系统。

2、问题：为什么传统的单节点数据库在大数据场景下不再适用？

解答：传统单节点数据库在处理海量数据时存在性能瓶颈，无法有效扩展，分布式数据库如Hadoop和Spark能够提供更高的数据处理能力和容错性，更适合大数据应用。