spark学习资料,spark自学

大家好，今天小编关注到一个比较有意思的话题，就是关于spark学习资料的问题，于是小编就整理了5个相关介绍spark学习资料的解答，让我们一起看看吧。

1. flink和spark哪个好学习？
2. java学习到哪个阶段才可以学习大数据docker spark等？
3. 用机器学习的方法来处理大数据，是直接学Spark，还是重点学习Hadoop？
4. 伪分布式的spark/mapreduce是只供用来学习的吗？
5. 如果想走编程路线，大学四年应该如何学习？

flink和spark哪个好学习？

Spark更好

以其卓越的计算性能还是占据了大数据开发的半壁江山（或者三分之一壁？）

但是从长期发展角度来看，Spark在实时方向的劣势却是比较致命的缺陷——很多大公司在数据处理上都需要无延迟处理，而Spark无论怎么样去微批处理，还是会存在一定的小延迟。

java学习到哪个阶段才可以学习大数据docker spark等？

大部分培训机构开设的Java培训课程主要针对0基础人群，所以课程内容也会从基础阶段开始讲起，小编以优就业课程为例，首先你大概会学一个月左右的基础知识，这一阶段主要是学习基础语法、核心类库、异常、***、IO、网络编程、线程、反射JDK1.8新特性等知识。

接下来第二阶段主要是学习HTML5、CSS3、异步交互技术AJAX等技术，让你能从零开始独立编写一个网页，学习完这些技术，在这一阶段你还会学到通过J***a工具JDBC、JDBCUtils技术连接数据，让程序完成前台到后台的完整请求等知识。这一阶段也需要一个月左右的时间学习。

第三阶段主要是学习一些常用的J***a框架，例如SpringMVC、Mybatis、Spring、Oracle、Linux&Redis&Nginx、M***en等，这些框架都是目前主流框架，掌握了它们，在找工作的时候你的竞争力会更强，这一阶段要学习一个半月左右，因为从这一阶段开始你就会解除企业级实战项目，这一阶段的实操时间会比前两个阶段长。

第四阶段则是分布式项目实战阶段，这一阶段主要是教你如何独立的做一个商城项目，这个项目***用当前热门的互联网分布式架构，使用Git进行代码管理，汇总之前学过的技术进行企业级开发。这一阶段也需要学习一个半月左右。

用机器学习的方法来处理大数据，是直接学Spark，还是重点学习Hadoop？

如果偏重于算法，还是重点学一下spark，偏重于大数据开发和数据仓库建设，可以偏重hadooop，不过两者都很重要，其功能体系也比较复杂，从基础知识来说，都需要了解和学习，至于深度，根据方向选择

伪分布式的spark/mapreduce是只供用来学习的吗？

首先，Mapreduce是较早出现的，它介绍了分布式处理大数据的基本思路。而Spark我现在正在学习，Matei Zaharia的毕业论文，也就是spark的介绍论文现在已经在CSDN上被翻译成了中文。

建议先学习一下Mapreduce，主要了解一个任务是怎么被执行的。这个网上都有。然后，spark学习主要应该集中在了解spark对SQL语句的执行机制上。

不同的分布式框架各有优势，针对的业务场景是不一样的。MapReduce能更好的处理大批量的ETL业务而Spark则相对更为专注于Machine Learning。对于公司而言，这些业务如果能在同一集群上面跑则能有效降低成本。要允许不同框架同时运行在同一集群，最首要解决的问题就是如何分配资源。在没有Yarn的时候，一个比较简单的做法是，***设集群有100台机器，我们将50台机器分配给Spark，将另外50台分配给MapReduce任务。这样做似乎并没什么不妥。但是***设每天我们跑MapReduce的任务时间只有1小时，其他大部分时间都是在跑Spark，那么一天里面有23小时，50台机器都处于空闲状态，而Spark的机器则很可能有大量的作业在排队。这显然不是一个很有效利用集群的方法。

spark和mapreduce都是可以实际部署的技术，两者具有一定的相似性，但是spark的跨平台性更好，更适合快速部署和设计。

mapreduce是一种思想，具体实现起来方法各不相同，比如map的方法就可以有千万种之多，google提出的算法只是作为一个通用的框架，给开发者提供一个已经验证的思路，来处理分布式存储的问题，spark在此之上进行了改进。

所以两者都不是伪分布式，而是真正的分布式。

如果想走编程路线，大学四年应该如何学习？

首先，对于计算机大类专业的同学来说，编程能力是非常重要的，不论未来走开发路线，还是算法路线，亦或是运维路线，都要重视编程能力的提升。[_a***_]作为打开计算机技术大门的钥匙，不仅是学习后续专业课的基础，也是参加比赛和科研、项目实践的基础。

如果未来要从事开发岗，要选择一个主攻方向，不同的方向需要构建不同的知识结构。从当前的技术发展趋势和人才需求趋势来看，大数据领域会持续释放出大量的开发岗位，尤其在当前大数据技术尚处在落地应用的初期，开发岗位的需求量还是比较大的，这一点从近两年的人才需求情况来看，就有比较明显的体现。

大数据开发方向需要按照三个阶段来制定学习计划，第一个阶段是编程语言的学习，目前J***a、Python、Scala和Go这几门编程语言在大数据开发领域的应用比较广泛，其中J***a岗位的数量相对比较多，而且作为全场景编程语言，J***a的学习资料和参考案例也比较多。

第二个阶段是大数据平台的学习，初学者可以从Hadoop、Spark开始学起，由于这部分内容比较多，所以要重视边做实验边学习理论。在整个大数据技术体系结构下，大数据平台是一个重要的基石，不论是大数据开发，还是大数据运维，都需要依赖于大数据平台。

第三个阶段是结合具体的行业场景做实践，这不仅对于提升自己的编程能力有较大的帮助，对于后续的就业和读研也都有比较直接的影响。对于本科生来说，要想为自己构建一个较好的实践场景，可以积极参加老师的课题组和项目组。

最后，如果有计算机大类专业的学习和实践相关问题，可以向我发起咨询。

个人推荐学一门后端编程语言，J***a语言，因为J***a作为一门成熟的编程语言，该有的编程思想都有，该有的特性都有，生态系统也非常完善。可以这么说，学会了J***a，再去学习其它语言就是水到渠成的事。

到此，以上就是小编对于spark学习资料的问题就介绍到这了，希望介绍关于spark学习资料的5点解答对大家有用。

[免责声明]本文来源于网络，不代表本站立场，如转载内容涉及版权等问题，请联系邮箱:83115484@qq.com，我们会予以删除相关文章，保证您的权利。转载请注明出处：http://www.lnbtw.com/post/51242.html