kettle学习资料,kettle入门教程

大家好，今天小编关注到一个比较有意思的话题，就是关于kettle学习资料的问题，于是小编就整理了3个相关介绍kettle学习资料的解答，让我们一起看看吧。

1. 学习大数据都需要掌握什么技术，本人只听过hadoop？
2. mysql数据库可以连接sqlserver数据库吗，想要定时获取数据该怎么办？
3. 怎样成为优秀的大数据工程师？需要具备哪些技术？

学习大数据都需要掌握什么技术，本人只听过hadoop？

大数据技术其实也有很多方向

1.etl方向，主要做数据转换，清冼等，需要掌握的技术etl,如 kettle,informatica,sqoop,datax等等

2.大数据运维方向，需要掌握linux,hadoop,hive,hbase,es等组件的安装运维调优

3.后台开发方向，需要java,python,熟悉各种大数据组件API

4.前端方向，数据可视化方向，如tableau,quickview,biee,js,vue.js等等

首先得搭建一个完全分布式集群，可以用vmware虚拟机。入门的话，首先得了解hadoop生态，数据存储hdfs，第一代计算框架mapreduce，资源调度yarn，分布式协调服务zookeeper，***工具Common，分布式数据库hbase，数据仓库hive这些必不可少。

然后就是第二代计算框架spark，这里又包含了spark生态圈，数据挖掘spark mlib，数据分析sparkR，数据查询spark sql，实时计算spark straming。这些搞定之后，你就可以成为一个合格的大数据工程师了[呲牙]

学习大数据，如果你是零基础的话要学习Java和linux,然后才开始学习大数据技术

包括：（HADOOP-HIVE-OOZIE-WEB-SPARK-SCALA-KAFKA-HBASE-Python-FLUME）

当然学习大数据最重要的是要有真实的大数据项目可以实训！

大数据的技能要求

此处我们来说说入门学习需要掌握的基本技能：

1、J***a

2、Linux命令

3、HDFS

4、MapReduce

5、 Hadoop

6、Hive

7、ZooKeeper

8、HBase

我们都知道现在学习大数据，Hadoop是其中一个必学的技术，简单来说，Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。那Hadoop该学习哪些内容？需要了解什么呢？有Hadoop经典学习资料吗？

HDFS

HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。

MapReduce

通俗说MapReduce是一套从海量源数据提取分析元素末后返回结果集的编程模型，将文件分布式存储到硬盘是第一步，而从海量数据中提取分析我们需要的内容就是MapReduce做的事了。

MapReduce的基本原理就是：将大的数据分析分成小块逐个分析，然后再将提取出来的数据汇总分析，从而获得我们想要的内容。当然怎么分块分析，怎么做Reduce操作非常复杂，Hadoop已经提供了数据分析的实现，我们只需要编写简单的需求命令即可达成我们想要的数据。

关于Hadoop的使用方式：

感觉现在各个公司使用Hadoop的方式都不一样，主要我觉得有两种吧。

第一种是long running cluster形式，比如Yahoo，不要小看这个好像已经没什么存在感的公司，Yahoo可是Hadoop的元老之一。这种就是建立一个Data Center，然后有几个上千Node的Hadoop Cluster一直在运行。比较早期进入Big Data领域的公司一般都在使用或者使用过这种方式。

mysql数据库可以连接sqlserver数据库吗，想要定时获取数据该怎么办？

根据我所知道的回答一下这个问题。

虽然mysql和sqlerver均属于关系型数据库，可以执行SQL查询语句，但是mysql数据库并不能直接连接而sqlserver数据库，反之亦然。需要通过“中间人”完成这件事。

如果需要定期的从sqlserver数据库中取出数据放到mysql中，建议使用编程语言实现。该编程语言必须同时有mysql接口和sqlserver接口。由于题主的需求不是很复杂，只是定期的从sqlserver数据中提取数据到mysql数据库，建议考虑使用脚本语言：pyton或者php。

step1：python读取sqlserver的数据

python读取sqlserver数据的数据表的内容需要用到pymssql这个第三方库，可以使用pip安装；

相关代码如下图所示，用于读取sqlserver数据库的内容。

step2：python将读取的数据存入mysql数据库

python操作mysql数据库需要第三方库MySQLdb的支持，可以通过pip的方式安装；

你可以使用微软的ACCESS通过ODBC建立到两个库表的链表，在ACCESS中编辑SQL语句来互传数据。我想这也是微软搞ACCESS的初衷，ACCESS打通各种数据库的路径

谢邀~

我的理解题主是要把Mysql中的数据，想办法放到SqlServer中，如果是相同类型的两个数据库，会比较简单一些，但是像这种不同类型的数据库，是没有办法直接连接。

关于这种场景，我谈一谈我能想到的解决方案。

作为程序员，首先能想到的方法就是通过代码来实现，只要能通过代码（J***a、Python、PHP等等，什么熟悉用什么）连上两种类型的数据库，做一个定式服务，把数据从Mysql数据库中读取出来，然后插入到SqlServer中即可。

如果数据不多，每次可以做全量的同步：也就是把目标库中的数据全部删除之后，再把所有数据同步过去。

也可以做增量同步，一般是判断数据中的时间戳，读取增量数据进行同步。

有专门的ETL工具，实现这种跨数据库的数据抽取功能，建议数据量比较大的时候，可以考虑ETL工具。可选用的工具很多，比如：Informatica，Kettle，Talend，N***icat Premium等等。

怎样成为优秀的大数据工程师？需要具备哪些技术？

楼主这样问，应该是个刚接触大数据的同学，咱不来虚的，实打实回答一下。

第一，这两个问题顺序反一下，比较合理。先掌握一些大数据技术，再去成为优秀的大数据工程师。

第二，如果是培训或者[_a***_]，基本不会去做什么底层平台研发，根本不用考虑，就是放眼整个国内都是用的国外开源的大数据生态技术，直到近两年才有一些国内大厂贡献了几个不错的组件，但在企业里落地使用情况怎么样还不好说。华为，腾讯都开源有自己的大数据组件，有的已经成为了Apache基金会的顶级项目，说明国内在底层，生态上的贡献已经有一席之地了，但这种源码级工程师在各行各业都不太多的。

那么，做大数据工程师主要工作就是应用研发，数据分析和运维部署这三块（说实话，安全这一块也很重要，在大数据这块尤其重要）。目前来看中小企业是不会特别区分这些岗位的，很多小企业连个正式的运维都没有的，经常是一人身兼多职，有机会有本事的同学也可以到大厂感受一下研发氛围和流程。

做好了上述三个方面工作自然就算的上优秀了。应用研发方面要求熟悉大数据组件Hadoop，Hive，Spark，Kafka，Flink，Hbase，ES等，我这里说的，你只要摸透精通其中三个，能力就不虚现在业内一半的大数据从业者。为什么这么说？大数据概念也就15年火起来，在这之前大学正经的大数据科班出身可以说不存在的，除了阿里腾讯等大厂自身数据优势（被迫）成长起来的一点大牛之外，业内普通的大数据工程师哪个不是培训或J***a转型过去的？打着高薪噱头培训机构蜂拥而至鱼龙混杂，学生水平能力参差不齐，光学历上都有初中毕业到硕士毕业的差别（我没听说博士去培训这个东西的）。不吹不黑，培训机构刚出来的良品率低到不能看。

上述三个职责方面，运维部署其实排在最前，一般来说包含搭建大数据环境，升级集群和安全维护这些（安全工作能做好，你很优秀！）。部署伪集群一般也是学习大数据的第一步，不弄个集群去学习练手，其他都是纸上谈兵。各个课程大纲也都会讲如何配置搭建。然后学习路径也可以按照机构课程表来，毕竟他们目标是速成，想快速通关的看机构的课表没错了。想把基本功做扎实的就再参考大数据知识图谱来查漏补缺吧。

这个全都能做到，技术框架的硬本事已经无可挑剔了。程序员的基本素养补一补（代码规范之类），再看数据分析这一块。大数据工程师区别于其他软件开发工程师的地方，我觉得应该在这里。你需要有自己的想法和数据分析能力，有一定数据敏感性，不能一直等着领导boss给你派活。概率统计，分析挖掘这一块的知识要学习，提升软实力。你要有做数据产品的头脑，也要有数据驱动的心思。

先手码到这，我从事大数据工作，现在一小公司负责数据业务，还有什么疑问困惑可以评论或私信我，方便给出具体可行的建议。

到此，以上就是小编对于kettle学习资料的问题就介绍到这了，希望介绍关于kettle学习资料的3点解答对大家有用。

[免责声明]本文来源于网络，不代表本站立场，如转载内容涉及版权等问题，请联系邮箱:83115484@qq.com，我们会予以删除相关文章，保证您的权利。转载请注明出处：http://www.lnbtw.com/post/48636.html