第一节　大数据的取得与整理

所谓大数据是我们进入大数据时代之后所面对的一个现实的数据世界：海量的数据，数据量还在加速增长，而且数据形态各异，质量参差不齐。不过好的方面是，这些数据中蕴藏着巨大的价值，发现这些价值的过程就是知识发现（Knowledge Discovery in Database，KDD），这个过程的终极目标是让数据规则有序地组织起来，既有哲学的美感又有数学的优雅，然后在这个坚实的数据基石上构建信息、知识和智慧的摩天大厦。理想很丰满，现实很骨感。要实现这一目标并不容易，需要有效的方法和工具，这就是我们下面要谈的大数据技术。

数据量的积累是一个量变到质变的过程，这个过程早在2012年之前就已经开始，只是在2012年跨过了质变的节点，而且现在得到广泛应用的大数据科技大都可以追溯到大数据时代到来之前。这些科技的诞生和发展凝聚了先驱者大量的智慧和心血，大数据时代到来之后，这些人的贡献被更多人熟知，现在数据领域里的专业人才有了一个特定的名称：数据科学家。

能够笑看风云起，在数据的海洋上乘风破浪，数据科学家需要有内外兼修的功夫和称手的兵器。接下来我们阐述数据科学家必备的看家本领。