Spark1.4源码走读笔记之隐式转换

 RDD源码中隐式转换

延庆ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为成都创新互联的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18980820575(备注:SSL证书合作)期待与您的合作!

 def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {

    map(x => (x, null)).reduceByKey((x, y) => x, numPartitions).map(_._1)

  }

使用了隐式参数,运行时不需要手动提供参数ord,运行时会根据上下文注入参数

  def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] = withScope {

    groupBy[K](f, defaultPartitioner(this))

  }

  def groupBy[K](

      f: T => K,

      numPartitions: Int)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] = withScope {

    groupBy(f, new HashPartitioner(numPartitions))

  }


当前题目:Spark1.4源码走读笔记之隐式转换
文章地址:http://www.hxwzsj.com/article/joisoi.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 古蔺网站建设 成都网站建设流程 温江网站设计 泸州网站建设 企业网站制作 成都企业网站建设公司 网站建设公司 成都企业网站设计 成都网站制作 营销网站建设 手机网站制作设计 成都响应式网站建设 成都网站设计 定制网站设计 高端网站设计 重庆手机网站建设 成都网站制作 成都网站制作 重庆企业网站建设 LED网站设计方案 成都响应式网站建设 手机网站设计