Skip to content

spark example

Jump to bottom
shuanghu476641514 edited this page Sep 1, 2017 · 12 revisions

场景说明：

使用 Spark 流任务, 从 Socket 端口读取消息并写到控制台

步骤如下：

  1. 编译代码

  2. 启动socket服务端

  3. 启动spark stream

具体步骤

  1. 编译spark stream源码

在项目根目录下，执行，如下命令

mvn clean package -pl examples -am

在{udp_demo_home}/examples/target目录下，会有examples-{version}.jar文件，该jar内的com.baifendian.udp.example.spark.JavaCustomReceiver为spark streaming类。

  1. 启动socket服务

使用linux自带程序nc，作为socket服务端。假设端口为9999，命令如下：

nc -lk 9999
  1. 启动spark stream
spark-submit   --class com.baifendian.udp.example.spark.JavaCustomReceiver  --master local[*] /opt/udp/tmp/examples-1.0-SNAPSHOT/lib/examples-1.0-SNAPSHOT.jar localhost 9999 2>/dev/null
  1. 输入数据

在nc窗口输入数据，如下：

$ nc -lk 9999
This is a spark test.
This is a spark test2.
This is a spark test3.

在spark streaming窗口，可以看到如下结果：

Time: 1504235754000 ms
-------------------------------------------
This is a spark test.

-------------------------------------------
Time: 1504235755000 ms
-------------------------------------------
This is a spark test2.
-------------------------------------------
Time: 1504235756000 ms
-------------------------------------------
This is a spark test3.
-------------------------------------------
Time: 1504235757000 ms
-------------------------------------------

-------------------------------------------
Time: 1504235758000 ms
-------------------------------------------

本实例参考，官方例子

Clone this wiki locally