使用Python写spark 示例

发布时间：2019-08-17 08:49:47编辑：auto阅读（1688）

    个人GitHub地址： https://github.com/LinMingQiang

    为什么要使用Python来写Spark

    Python写spark我认为唯一的理由就是：你要做数据挖掘，AI相关的工作。因为很多做数挖的他们的基础语言都是python，他们如果重新学scala比较耗时，而且，python他的强大类库是他的优势，很多算法库只有python有。

    Win本地编写代码调试

    编辑器：PyCharm
    Spark：1.6
    Python：2.7

    Win环境准备

    1. Python的安装
      解压python包，在环境变量里面配上bin的路径
    2. Spark的安装
      下载spark的bin文件，解压即可，在环境变量配置SPARK_HOME
      要可以通过编辑器来安装，如pycharm，查找pyspark库安装即可
    3. Hadoop安装
      安装hadoop环境 。在win下面需要winutils.exe；在环境里面配置HADOOP_HOME 即可

    代码示例

    # -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark import *
import os
print(os.environ['SPARK_HOME'])
print(os.environ['HADOOP_HOME'])
if __name__ == '__main__':
    sc = SparkContext("local[8]")
    rdd = sc.parallelize("hello Pyspark world".split(" "))
    counts = rdd \
        .flatMap(lambda line: line) \
        .map(lambda word: (word, 1)) \
        .reduceByKey(lambda a, b: a + b) \
        .foreach(print)
    sc.stop

    问题1：
    from pyspark import *
    找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到（可能需要解压py4j）
    %PYTHON%\Lib\site-packages下面去。这样，你的编辑器才能找到。
    或者：
    配置你的编辑器的环境变量：
    PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages

    使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py

关键字：

上一篇： Python股票处理之三_实时监测

下一篇： python基础学习04（死循环）