奥鹏作业网《大数据开发技术（二）》19秋期末考核-0001
一、单选题 (共 15 道试题,共 30 分)
1.GraphX中（）是存放着Edg对象的RDD
A.VertexRDD
B.RDD[(VertexId,VD)]
C.RDD[Edge]
D.EdgeRDD
2.GraphX中graph.vertices可以得到（）
A.顶点视图
B.顶点与边的三元组整体视图
C.边视图
D.有向图
3.Scala中哪个函数可以创建区间数组（）
A.range
B.ofDim
C.fill
D.concat
4.var a=10; while(a<20){ a+=1; } 共循环了（）次
A.9
B.12
C.11
D.10
5.Scala通过（）来定义变量
A.val
B.val
C.define
D.def
6.Scala中（）方法返回一个列表，包含除了第一个元素之外的其他元素
A.tail
B.last
C.init
D.head
7.Spark GraphX中类Graph的reverse方法可以（）
A.按照设定条件取出子图
B.合并边相同的属性
C.取两个图的公共顶点和边作为新图，并保持前一个图顶点与边的属性
D.反转图中所有边的方向
8.Spark中运行交互式SQL查询的大规模并行查询引擎是（）
A.Spark SQL
B.Spark Core
C.Mllib
D.BlinkDB
9.Spark中DataFrame的（）方法是进行连接查询
A.where
B.limit
C.join
D.apply
10.Spark中的每个RDD一般情况下是由（）个分区组成的
A.无数
B.多
C.1
D.0
11.Scala列表中（）可以表示为一个空列表
A.None
B.Nill
C.Nil
D.List
12.Spark Streming中（）函数当被调用类型分别为（K，V）和（K，W）键值对的2个DStream 时，返回类型为（K，（V，W））键值对的一个新 DStream。
A.union
B.reduce
C.join
D.cogroup
13.Spark GraphX中类Graph的aggregateMessages方法可以（）
A.收集邻居顶点的顶点Id和顶点属性
B.收集邻居顶点的顶点Id
C.将顶点信息更新到图中
D.向指定顶点发送信息并聚合信息
14.GraphX中（）是完整提供边的各种操作类
A.VertexRDD
B.RDD[(VertexId,VD)]
C.RDD[Edge]
D.EdgeRDD
15.Scala函数组合器可以接收一个可以处理嵌套列表的函数，然后把返回结果连接起来的方法是（）
A.map
B.foreach
C.flatten
D.flatmap
二、多选题 (共 10 道试题,共 20 分)
16.TF-IDF中TF指的是（）
A.逆文档概率
B.词频
C.词在文档集中出现的概率
D.词在文档集中出现的概率
E.词在文档中出现的次数
17.Spark SQL可以处理（）
A.RDD
B.Parquet文件
C.JSON文件
D.Hive表
18.以下哪个方法可以创建RDD（）
A.textFile
B.parallelize
C.makeRDD
D.loadFile
19.Spark DataFrame中（）方法可以返回一个List
A.takeAsList
B.take
C.collectAsList
D.collect
20.TF-IDF中IDF指的是（）
A.逆文档概率
B.词频
C.词在文档集中出现的概率
D.词在文档集中出现的概率
E.词在文档中出现的次数
21.以下算法中属于监督学习算法的是（）
A.随机森林
B.逻辑回归
C.Kmeans
D.KNN算法
22.MLlib中进行数据标准化的方式有（）
A.StandardScaleer
B.Standard
C.Normalizer
D.MinMaxScaler
23.以下哪种方法可以让Spark不自定义分区也能对任何类型RDD 简单重分区（）
A.resetpartition
B.repartiton
C.coalesce
D.Partition
24.Spark是一个（）计算框架
A.快速
B.容错
C.可扩展
D.分布式
25.Scala支持（）
A.高阶函数
B.柯里化
C.匿名函数
D.函数嵌套
三、判断题 (共 10 道试题,共 20 分)
26.RDD是一个可读写的数据结构
27.Scala函数组合器中flatmap结合了map和flatten的功能，接收一个可以处理嵌套列表的函数，然后把返回结果连接起来
28.RDD的sortBy排序默认是升序
29.Spark中DataFrame 的查询操作也是一个懒操作， 仅仅生成一个查询计划， 只有触发Action 操作才会进行计算并返回查询结果。
30.Scala中高阶函数可以产生新的函数，并将新的函数作为返回值。
31.默认情况下，Scala 使用的是可变集合
32.RDD的转换操作是用于触发转换操作的操作，这个时候才会真正开始进行计算。
33.键值对RDD由一组组的键值对组成，这些RDD被称为PairRDD。
34.PairRDD中groupBy（func）func返回key，传入的RDD的各个元素根据这个key进行分组。
35.Dstream输出操作中foreachRDD的正确用法是使用rdd.foreachPartition方法创建一个单独的连接对象，然后使用该连接对象输出所有RDD分区中的数据到外部系统
四、主观填空题 (共 5 道试题,共 10 分)
36.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是##
37.Scala中定义函数的关键字是##
38.图中以当前顶点为目标点的边的数量是##度数
39.Spark SQL 可以通过##方法将HDFS 上的格式化文件转换为DataFrame
40.Mllib中线性会馆算法中的参数reParam默认值是##
五、问答题 (共 3 道试题,共 12 分)
41.请描述图计算应用中的Google的PageRank网页排名
42.请阐述Spark的生态圈
43.请概括使用Spark Streaming的四个基本步骤
六、名词解释 (共 2 道试题,共 8 分)
44.Spark GraphX
45.SparkContext
