Grafana项目流程

1. 先用Xftp向虚拟机BIG_DATA_LAB_NEW中的/opt/lib中导入df_connect_finance-0.1-jar-with-dependencies.jar 与 jdbc_mysql_5.1.44-dependencies.jar这两个jar包。

如果jar包在后面运行有问题的话，可以用chmod a+rwx df_connect_finance-0.1-jar-with-dependencies.jar 和 chmod a+rwx jdbc_mysql_5.1.44-dependencies.jar去修改权限，如果没毛病忽略这条。

 

1. 然后使用ops format去清理资源，然后用ops start mask1110000去开启服务，速度有点慢。

用ops status看，启动之后有如下服务：

 

1. 然后打开Postman，使用GET，http://localhost:8083/connector-plugins/，Headers栏中的设置是：

点击Send按钮。由于可能启动服务较慢，如果没有内容稍微等待。然后可以看到如下内容：

如果还没显示，

可以用tail -f /mnt/logs/distributedkafkaconnect.log查看日志看当前状态。

 

1. 然后开始添加connector，使用POST，http://localhost:8083/connectors/，

然后再Body框中输入：

{

    "name": "finace_source_connector_01",

    "config": {

        "cuid": "finace_source_connector_01",

        "connector.class": "com.datafibers.flink.stream.FinanceSourceConnector",

        "tasks.max": "1",

        "topic": "stock_source",

        "portfolio": "Top 10 IT Service",

        "interval": "5",

        "spoof": "RAND",

        "schema.registry.uri": "http://localhost:8081"

    }

}

由于前后老师有两个jar包，如果你不知道你是哪个，

也可能是输入这个：

{

    "name": "finace_source_connector_01",

    "config": {

        "cuid": "finace_source_connector_01",

        "connector.class": "com.datafibers.flink.stream.FinanceSourceConnector",

        "tasks.max": "1",

        "topic": "stock_source",

        "portfolio": "Top 10 IT Service",

        "interval": "5",

        "spoof": "RAND",

        "schema.registry.uri": "http://localhost:8081"

    }

}

二选一，总有一个可以使用。然后Headers栏中的设置是：

 

若成功，则下面result栏中显示的是跟你Body一样的内容。

 

1. 然后使用GET，http://localhost:8002/subjects，去查看result，

将会自动创建Schema Registry，结果为：

也可以用以下命令查询其他属性：

GET http://localhost:8002/subjects/stock_source/versions

GET http://localhost:8002/schemas/ids/1

也可以用这种方式查看导入数据：

kafka-avro-console-consumer --bootstrap-server localhost:9092 --topic stock_source

然后显示这样：

1. 然后写入mySQL中，使用mysql -u root -pmypassword进入。看一下数据库有什么，show databases; ，如果没有demo数据库，去create database demo; ，如果有并且没用，drop一下重新建立一个也可以。

 

1. 然后切回Postman，使用POST，http://localhost:8083/connectors/ ，

输入：

{

  "name": "jdbc-sink-mysql-01",

  "config": {

    "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",

    "tasks.max": "1",

    "topics": "stock_source",

    "connection.url": "jdbc:mysql://localhost:3306/demo",

    "connection.user": "root",

    "connection.password": "mypassword",

    "auto.create": "true"

  }

}

让connector连接mySQL数据库，但是前提是demo数据库的确存在，而且其中不能有同名表。

 

1. 然后安装Grafana 5.3.0，首先cd到opt文件夹中，然后使用：

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.3.0.linux-amd64.tar.gz 
tar -zxvf grafana-5.3.0.linux-amd64.tar.gz 

去下载并解压最新版本。

然后cd到grafana文件夹中的bin文件夹，用./grafana-server命令去启动grafana服务，启动之后可以在localhost:3000中看到grafana的UI，账号admin，密码admin，然后修改密码进入，屏幕左侧有一个齿轮形状的Configuration图标，

点击Preferences，当然organization name随意，

需要像如下设置Time Zone:

 

然后我们可以add data source：

账号root，密码mypassword，目标数据库为demo。

然后点击Save & Test（绿色按钮）。

之后，去导入json脚本去设置一个Grafana的dashboard，

脚本地址为：

https://github.com/datafibers-community/df_demo/blob/master/df-visualisation/dashboard_Grafana/DataFibers%20Demo-1506617390438.json

推荐用复制粘贴的方式贴在下面那个大框里：

然后使用 按钮来进行上传，就能显示这个json脚本配置的新的dashboard了：

1. 如果前面的步骤都对，还不会显示数据内容，你需要去修改一下每个小dashboard中的SQL语句，点击每个dashboard的题头，然后点Edit：

 

然后下面有一个SQL语句：

原本from后面是 test_stock，你需要把每个小的dashboard中的SQL语句改成 from stock_source，像上图一样。

 

1. 然后再改一个比较特殊的dashboard，。

你需要把SELECT后面的1 as metrics删除。

然后把整个dashboard的显示时间段（UI的右上角）设置为5分钟，，然后点刷新键，就可以正常显示你的第一个dashboard了：