spark如何实现parquetfile的写操作-大悟县灿优商贸网站建设

关于灿优商贸

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

spark如何实现parquetfile的写操作

小编给大家分享一下spark如何实现parquetfile的写操作,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

创新互联是一家专业提供西华企业网站建设,专注与成都网站建设、成都网站制作、H5网站设计、小程序制作等业务。10年已为西华众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

parquetfile的写

case class ParquetFormat(usr_id:BigInt , install_ids:String )
val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

看完了这篇文章,相信你对“spark如何实现parquetfile的写操作”有了一定的了解,如果想了解更多相关知识,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


网页标题:spark如何实现parquetfile的写操作
网页路径:http://www.apyobr.com/article/piodgo.html

其他资讯