SparkSQL使用IDEA快速入门DataFrame与DataSet的完美教程

//导包

import org.apache.spark.rdd.RDD

import org.apache.spark.sql.SparkSession

//代码

// 1.创建SparkSession

     val spark = SparkSession.builder().master( "local[*]" ).appName( "sql" ).getOrCreate()

// 2.使用spark 获取sparkContext 上下文对象

     val sc = spark.sparkContext

// 3.使用SparkContext 读取文件并按照空格切分 返回RDD

     val rowRDD: RDD[(Int, String, Int)] = sc.textFile( "./data/person.txt" ).map(_.split( " " )).map(x=>(x( 0 ).toInt,x( 1 ),x( 2 ).toInt))

// 4.导入隐式类

     import spark.implicits._

//5.将RDD 转换为DataFrame 指定元数据信息

     val dataFrame = rowRDD.toDF( "id" , "name" , "age" )

//6.数据展示

     dataFrame.show()

//导包

import org.apache.spark.sql.{Row, SparkSession}

import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}

//编写代码

//1.实例SparkSession

     val spark = SparkSession.builder().master( "local[*]" ).appName( "sql" ).getOrCreate()

//2.根据SparkSession获取SparkContext 上下文对象

     val sc = spark.sparkContext

// 3.使用SparkContext读取文件并按照空开切分并返回元组

     val rowRDD = sc.textFile( "./data/person.txt" ).map(_.split( " " )).map(x=>Row(x( 0 ).toInt,x( 1 ),x( 2 ).toInt))

// 4.导入隐式类

     import spark.implicits._

//5.使用StructType 添加元数据信息

     val schema = StructType(List(

       StructField( "id" , IntegerType, true ),

       StructField( "name" , StringType, true ),

       StructField( "age" , IntegerType, true )

     ))

//6.将数据与元数据进行拼接 返回一个DataFrame

     val dataDF = spark.createDataFrame(rowRDD,schema)

//7.数据展示

     dataDF.show()

//导包

import org.apache.spark.rdd.RDD

import org.apache.spark.sql.SparkSession

//定义单例对象

   case class Person(Id:Int,name:String,age:Int)

//编写代码

//1.实例sparkSession

     val spark = SparkSession.builder().master( "local[*]" ).appName( "sql" ).getOrCreate()

//2.通过sparkSession获取sparkContext 上下文对象

     val sc = spark.sparkContext

//3.通过sparkContext 读取文件并按照空格切分 将每一个数据保存到person中

     val rowRDD: RDD[Person] = sc.textFile( "./data/person.txt" ).map(_.split( " " )).map(x=>Person(x( 0 ).toInt,x( 1 ),x( 2 ).toInt))

// 4.导入隐式类

     import spark.implicits._

//5.将rowRDD转换为dataFrame

     val dataFrame = rowRDD.toDF()

     //6.数据展示

     dataFrame.show()