# 1.
导入
CSV
数据
setwd("F:/学习资料/
R语言
统计与分析应用/第二章")
mydata <- read.table("example2_1.csv",header = TRUE, sep = ",")
# 注意 R 中的路径使用的 / 不是 dos 中的 \
mydata
# 2.
导入
Excel
数据
library(
因为一个项目需要，原始
数据
全部是
Excel
文件，包括.xls和.xlsx格式，并且很多
excel
数据
的格式并不规范，一个个转为csv格式不太现实，所以把所有能了解到的读取
excel
的
方法
都试了一遍，做个简单汇总。
相关的包：RODBC、xlsx、openxlsx、gdata、readxl，测试平台win7。
RODBC包-相关
方法
RODBC-odbcConnect
Excel
2007()
方法
1：需要将
Excel
数据
转化为文本文件（制表符分隔）
data2<-read.delim("C:/Users/zhang/Desktop/波士顿房价
数据
.txt",header=T,sep="")
txt文本
数据
，
数据
之间为空格。但是注意：此处的sep=" "内有空格 。
方法
2：需要将
Excel
文件转化为CSV（逗号分隔）
data1<-read.csv("C:/Users/zhang/Desktop/波士顿房价
数据
.csv",he
今天找了好多包来快速读取数量量比较大的
excel
包，但是总是出现OutOfMemoryError (Java): GC overhead limit exceeded，内存溢出报错。找到了两个R包可以解决该问题
目前找到三个包可以读取
excel
数据
。
1 ，读取exce
最近报名了生信技能树的实习，其中一个考核是Debug之前可以正常运行但是现在由于版本更新等原因出错的代码。生信技能树作为生信领域头部公众号，之前也是一直想好好啃一啃干货。现在借助这次实习机会好好成长一下吧~发现一个有意思的可视化函数。一图胜千言，现在越来越重视
数据
的可视化。自然，联想到之前做过项目中可视化临床基线表的内容，故一齐汇总。
利用“DT::datatable”函数将
数据
框转化为
表格
以网页形式展示
下述代码首先通过常用的基因注释包“org.Hs.eg.db”得到基因的Symbol、name
大
数据
面试题——spark
数据
倾斜调优（五）
在Spark中，
数据
倾斜是一个常见的问题，它会导致任务执行时间过长，甚至导致任务失败。因此，我们需要对
数据
倾斜进行调优。
以下是一些调优
方法
：
1. 均匀分布
数据
如果
数据
倾斜是由于
数据
分布不均匀导致的，可以尝试使用随机数将
数据
均匀分布到不同的分区中。可以使用repartition或coalesce
方法
来实现。
2. 使用聚合函数
如果
数据
倾斜是由于某些键的值过大导致的，可以尝试使用聚合函数，如reduceByKey或aggregateByKey，将键值对合并为一个值。这样可以减少
数据
传输量，从而减少
数据
倾斜。
3. 使用随机前缀
如果
数据
倾斜是由于某些键的值过大导致的，可以尝试使用随机前缀来将键值对分散到不同的分区中。可以使用map
方法
来实现。
4. 使用自定义分区器
如果
数据
倾斜是由于默认的哈希分区器导致的，可以尝试使用自定义分区器来将
数据
均匀分布到不同的分区中。可以实现Partitioner接口来自定义分区器。
5. 使用广播变量
如果
数据
倾斜是由于某些变量在多个任务中重复计算导致的，可以尝试使用广播变量来共享变量。可以使用broadcast
方法
来实现。
6. 使用缓存
如果
数据
倾斜是由于某些
数据
在多个任务中重复使用导致的，可以尝试使用缓存来避免重复计算。可以使用cache或persist
方法
来实现。
以上是一些常见的调优
方法
，但具体的调优
方法
需要根据具体的情况来选择。
