spark简单例子

一、统计指定索引的每个值有多少个:

成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的平桥网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");

var pairRdd=textFile.filter(x=>x.split("\\|",-1).length>68).map{x=>val data=x.split("\\|",-1)(67); (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)

二、统计数据列数

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt"); 

var pairRdd=textFile.map{x=>val data=x.split("\\|",-1).length; (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)


网页题目:spark简单例子
文章源于:http://www.hxwzsj.com/article/jghjhe.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 成都网站制作 网站设计 重庆手机网站建设 成都网站制作 专业网站设计 企业网站设计 重庆企业网站建设 营销型网站建设 成都响应式网站建设 攀枝花网站设计 成都网站建设 营销型网站建设 重庆网站制作 教育网站设计方案 网站设计 成都网站建设 成都网站建设公司 成都网站建设 重庆网站设计 成都网站建设 网站制作公司 成都商城网站建设