大数据项目问题集

给我自己看的启动项
mongo启动
mongod --dbpath E:\MongoDB\data\db
show dbs 查看数据库
use [db名称]
show tables 查看表名
执行bin路径下的：elasticsearch.bat
npm run start
redis
1.redis-server
2.redis-cli
zookeeper
zkServer
kafka
1..\bin\windows\kafka-server-start.bat .\config\server.properties
2..\bin\kafka-console-producer.sh --broker-list localhost:9092 --topic recommender
========================== 华丽丽的分割线 ====================================

1:MongoClient、MongoClientURI爆红

我测试了好多依赖，都以为不是依赖能解决的了，最后还是试对了，猛女哭泣。
添加依赖即可

   <dependencies>
       <dependency>
           <groupId>org.mongodb</groupId>
           <artifactId>casbah-core_2.10</artifactId>
           <version>3.1.1</version>
       </dependency>
   </dependencies>

2:Failed to find data source: com.mongodb.spark.sql

添加依赖

<!-- spark 连接 mongo的连接器 -->
<dependency>
    <groupId>org.mongodb.spark</groupId>
    <artifactId>mongo-spark-connector_2.11</artifactId>
    <version>2.3.1</version>
</dependency>
 
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.3.1</version>
</dependency>
 
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.3.1</version>
</dependency>

3：Caused by: java.lang.NumberFormatException: For input string: “movieId”

数据文件有杂质，手动删除或数据预处理都可以解决

4：SLF4J: Class path contains multiple SLF4J bindings.

出现了多余的SLF4J包
在依赖中排除多余的log包

 <dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-core_2.11</artifactId>
     <version>2.3.1</version>
     <exclusions>
         <exclusion>
             <groupId>org.slf4j</groupId>
             <artifactId>slf4j-log4j12</artifactId>
         </exclusion>
     </exclusions>
 </dependency>

4：Failed to find data source: org.elasticsearch.spark.sql.

添加依赖
伙伴们，相信我，这个问题找遍了都没有合适的解决方案，就只有一个老兄说 “ 将elasticsearch-spark-20_2.11-6.4.1.jar放到Spark的jars目录下 ”，但是我并没有这个jar包，然后我搜索了elasticsearch-spark找到对应版本的依赖，就是如下所示的。

<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch-spark-20_2.11</artifactId>
    <version>6.4.1</version>
</dependency>