spark运行python代码一般使用命令
spark-submit test.py这样的形式来运行
如果代码中设置了参数的话,还需要在命令行中传入参数
其中spark默认使用的hdfs中的文档运行
如果要运行本地文件的话,可以加上file://
例如:
spark-submit wordcount.py file:///home/tst
这样的形式
再简单记录一下spark的textfile函数,该函数返回的是一个RDD
使用spark处理数据的时候首先都要有一个RDD,然后使用这个自带的一些方法
来处理,方法如下:
转换:
map
filter
flatmap
sample
groupByKey
reduceByKey
union
join
cogroup
crossProduct
mapValues
sort
partitionBy
操作:
count
collect
reduce
lookup
save
在转换方法中的函数执行完后生成的还是一个RDD结构
而操作函数返回的就不是RDD了