spark 至轻云演示

🧙 Questions

演示至轻云快速使用

☄️ Ideas

1. 购买服务器

• 阿里云： https://ecs.console.aliyun.com/

过滤4核心8GB，然后任意选一个

选择Centos 7.9 64位的系统版本

注意安全组需要开放端口号，8080、8081、8082、4040
固定宽带 1MB

自定义root密码

获取抢占服务器的内网ip和外网ip

系统信息如下

• 系统：Centos7.9
• 资源：4核8GB
• 外网ip：47.92.206.49
• 内网ip：172.16.215.83
• 账号：root
• 密码：Zhiqingyun123..

2. 进入服务器

ssh root@47.92.206.49

3. 安装java环境

sudo yum install java-1.8.0-openjdk-devel java-1.8.0-openjdk -y 
java -version

4. 下载至轻云安装包

等待时间会比较久，大约1个GB大小安装包

cd /tmp
nohup wget https://isxcode.oss-cn-shanghai.aliyuncs.com/zhiqingyun/zhiqingyun.tar.gz >> download_zhiqingyun.log 2>&1 &
tail -f download_zhiqingyun.log

5. 解压安装包

cd /tmp
tar -vzxf zhiqingyun.tar.gz

6. 启动至轻云

cd /tmp/zhiqingyun/bin
bash start.sh

7. 检测服务是否启动

• 健康检测接口：http://47.92.206.49:8080/tools/open/health

8. 访问至轻云服务

1M的带宽，首次加载，大约40s

• 访问接口：http://47.92.206.49:8080
• 管理员账号：admin
• 管理员密码：admin123

9. 创建用户租户

• 创建用户zhiqingyun
• 创建租户体验租户

10. 上传许可证

在官网的最下面，可以免费获取体验许可证

• 官网获取：https://zhiqingyun.isxcode.com/

11. 安装集群

退出后台管理，使用zhiqingyun账号登录

StandAlone类型的集群，支持默认安装spark服务

推荐使用内网ip
host：172.16.215.83
用户名： root
密码： Zhiqingyun123..
默认安装Spark： 打开

12. 访问spark服务

• spark master: http://47.92.206.49:8081

• spark worker: http://47.92.206.49:8082

13. 添加mysql数据源

如果用户没有可测试的mysql数据源，可以通过docker快速启动测试mysql

docker run \
  --name zhiqingyun-mysql \
  --privileged=true \
  --restart=always \
  -d \
  -p 30306:3306 \
  -e MYSQL_ROOT_PASSWORD=zhiqingyun123 \
  -e MYSQL_DATABASE=test_db \
  mysql:8.0

• dbType: Mysql
• jdbcUrl: jdbc:mysql://47.92.206.49:30306/test_db
• username: root
• password: zhiqingyun123

14. 新建作业流，执行默认sparksql

默认sql为查询当前时间

12. 新建jdbc执行sql

创建两个表，一张原始表一张结果表，并在原始表中插入一条数据

-- 原始表
create table users(
    username varchar(100),
    sex int,
    birth datetime
);
-- 结果表
create table users_result(
    username varchar(100),
    sex int,
    birth varchar(100)
);
insert into users values('zhangsan',13,now());

13. 新建jdbc查询sql

通过jdbc查询作业，查看原始表中的数据。

select * from users;

14. 自定义函数参考

• 自定义函数模版地址： https://github.com/isxcode/spark-function-template

15. 上传资源中心

自定义函数需要先上传编译的jar包

• 演示函数下载：https://openfly.oss-cn-shanghai.aliyuncs.com/spark-custom-func.jar
• 演示依赖下载：https://repo1.maven.org/maven2/cn/hutool/hutool-all/5.8.27/hutool-all-5.8.27.jar

16. 新建自定义函数

• 名称：to_chinese_date
• 类型：UDF
• 类名：com.isxcode.star.udf.Func
• 返回类型：string
• 备注：将时间格式转成中文

17. 使用自定义函数

新建sparksql查询作业，使用sparksql将原始表中的日期格式改成中文格式，并同步到结果表中。

CREATE TEMPORARY VIEW from_table
USING org.apache.spark.sql.jdbc
OPTIONS (
    driver 'com.mysql.cj.jdbc.Driver',
    url 'jdbc:mysql://47.92.206.49:30306/test_db',
    user 'root',
    password 'zhiqingyun123',
    dbtable 'users'
);
CREATE TEMPORARY VIEW to_table
USING org.apache.spark.sql.jdbc
OPTIONS (
    driver 'com.mysql.cj.jdbc.Driver',
    url 'jdbc:mysql://47.92.206.49:30306/test_db',
    user 'root',
    password 'zhiqingyun123',
    dbtable 'users_result'
);
insert into to_table select username,sex, to_chinese_date(birth) from from_table;
select * from to_table;

18. 自定义作业使用

• 自定义作业模版地址：https://github.com/isxcode/spark-job-template
• 官网pi计算作业下载：https://openfly.oss-cn-shanghai.aliyuncs.com/spark-examples_2.12-3.4.1.jar

上传资源中心

• 应用名称: pi-demo
• mainClass: org.apache.spark.examples.SparkPi
• 请求参数: 10

19. 查看pi计算结果

• 访问spark界面：http://47.92.206.49:8081

可以查看pi的结果值

产品手册

• 产品手册连接

🔗 Links

• spark docs